Я. Гудфеллоу, И. Бенджио, А. Курвилль

458 

 
Обучение представлений 
шимся подходом – 
порождающими состязательными сетями
(generative adversarial 
network) (Goodfellow et al., 2014c). В нем порождающая модель обучается обманы-
вать классификатор с прямым распространением, который пытается распознавать 
все примеры, порожденные моделью, как фальшивки, а все примеры из обучающего 
набора – как настоящие. В этой системе любой структурный паттерн, который сеть 
прямого распространения может распознать, является сильно выраженным.
Исходные данные
Реконструкция
Рис. 15.5 

Автокодировщик, обученный с применением среднеквадра-
тической ошибки, не справился с робототехнической задачей реконструк-
ции мячика для настольного тенниса. Само присутствие мячика и все его 
пространственные координаты – важные каузальные факторы, имеющие 
отношение к задаче робота. К сожалению, емкость автокодировщика огра-
ничена, и обучение с использованием среднеквадратической ошибки не 
позволило идентифицировать мячик как достаточно выраженный фактор 
для кодирования. Изображения любезно предоставила Челси Финн
Порождающая состязательная сеть более подробно описана в разделе 20.10.4. Сей-
час же нам достаточно понимать, что сети обучаются тому, что считать выраженным. 
В работе Lotter et al. (2015) показано, что модели, обученные генерировать изобра-
жения головы человека, часто не генерируют уши, если обучались с применением 
среднеквадратической ошибки, но благополучно делают это, если при обучении ис-
пользовалась состязательная сеть. Поскольку уши не являются слишком яркими или 
темными на фоне окружающей кожи, то они не считаются выраженным фактором 
относительно среднеквадратической ошибки в качестве функции потерь, но уши 
имеют характерную форму и находятся в одном и том же месте, поэтому сеть пря-
мого распространения можно легко обучить их распознаванию, а значит, в модели на 
основе порождающей состязательной сети они будут ярко выраженными факторами. 
Примеры изображений см. на рис. 15.6. Порождающие состязательные – лишь один 
шаг на пути к определению того, какие факторы следует представлять. Мы ожидаем, 
что будущие исследователи найдут более удачные способы определения того, какие 
факторы представлять, и разработают механизмы представления различных факто-
ров, зависящие от задачи.
В работе Sch
ö
lkopf et al. (2012) отмечено, что преимущество обучения каузальных 
факторов состоит в том, что если для истинного порождающего процесса