Роль ГСД в возрождении глубокого обучения
Хотя в этой книге ГСД остались на заднем плане, в возрождении глубокого обучения они сыграли важнейшую роль. Группа Джеффри Хинтона в Торонтском университете долгое время совершенствовала методы моделирования изображений и добилась выдающихся успехов. Мы считаем необходимым отметить роль ГСД в развитии нейронных сетей.
Порождающие состязательные сети
Не сказать о ПСС невозможно1. Было показано, что ПСС прекрасно справляются
синтезом новых изображений после обучения на существующих. Эту идею мож-но обобщить и на другие предметные области:
звук2; видео3;
порождение изображений по текстовым описаниям4.
ПСС – это сеть, в которой параллельно обучаются без учителя две модели. Глав-ная отличительная особенность ПСС (и порождающих моделей вообще) состоит в том, что количество параметров относительно объема обучающих данных зна-чительно меньше,чем обычно.Сеть вынуждена представлятьданные эффективно, поэтому она лучше справляется с порождением данных, похожих на обучающие.
Обучение порождающих моделей, обучение без учителя и ПСС
Если бы у нас был большой набор обучающих изображений (как, например, набор данных ImageNet5), то мы могли бы построить порождающую нейронную сеть, ко-торая выдает изображения (а не занимается классификацией). Сгенерированные изображения рассматривались бы как выборки из модели. Порождающая модель
ПСС как раз и генерирует такие изображения, в то время как вспомогательная дискриминантная сеть пытается сгенерированные изображения классифициро-вать как настоящие или синтетические.
1
2
3
4
5
Goodfellow et al., 2014. Generative Adversarial Networks // https://arxiv.org/abs/1406.2661.
https://github.com/usernaamee/audio-GAN.
Vondrick, Pirsiavash and Torralba, 2016. Generating Videos with Scene Dynamics // http:// carlvondrick.com/tinyvideo/paper.pdf.
Zhang et al., 2016. StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks // https://arxiv.org/abs/1612.03242.
http://image-net.org/.
Сети, предобученные без учителя 115
ходе обучения ПСС мы стремимся обновлять параметры, так чтобы сеть гене-рировала более правдоподобные изображения. Наша цель – сделать изображения настолько реалистичными, чтобы дискриминантная сеть не могла отличить на-стоящие изображения от синтетических.
Так, при моделировании набора данных ImageNet с помощью ПСС количество примеров составляет примерно 100 миллионов. В процессе обучения набор объ-емом 200 ГБ сводится ко множеству параметров объемом порядка 100 МБ. Цель обучения – найти наиболее эффективное представление таких признаков, как группы похожих пикселей, границы и другие паттерны.
Do'stlaringiz bilan baham: |