Neyron tarmoq asoslari va uni chuqur o'rganish

Роль ГСД в возрождении глубокого обучения

Хотя в этой книге ГСД остались на заднем плане, в возрождении глубокого обучения они сыграли­ важнейшую роль. Группа Джеффри Хинтона в Торонтском университете долгое время совершенствовала методы моделирования изображений и добилась выдающихся успехов. Мы считаем необходимым отметить роль ГСД в развитии нейронных сетей.

Порождающие состязательные сети

Не сказать о ПСС невозможно1. Было показано, что ПСС прекрасно справляются

0. 
   синтезом новых изображений после обучения на существующих. Эту идею мож-но обобщить и на другие предметные области:
   

 звук2;  видео3;


 порождение изображений по текстовым описаниям4.
ПСС – это сеть, в которой параллельно обучаются без учителя две модели. Глав-ная отличительная особенность ПСС (и порождающих моделей вообще) состоит в том, что количество параметров относительно объема обучающих данных зна-чительно меньше,чем обычно.Сеть вынуждена представлятьданные эффективно, поэтому она лучше справляется с порождением данных, похожих на обучающие.


Обучение порождающих моделей, обучение без учителя и ПСС

Если бы у нас был большой набор обучающих изображений (как, например, набор данных ImageNet5), то мы могли бы построить порождающую нейронную сеть, ко-торая выдает изображения (а не занимается классификацией). Сгенерированные изображения рассматривались бы как выборки из модели. Порождающая модель

0. 
   ПСС как раз и генерирует такие изображения, в то время как вспомогательная дискриминантная сеть пытается сгенерированные изображения классифициро-вать как настоящие или синтетические.
   

1

2

3

4

5

Goodfellow et al., 2014. Generative Adversarial Networks // https://arxiv.org/abs/1406.2661.

https://github.com/usernaamee/audio-GAN.

Vondrick, Pirsiavash and Torralba, 2016. Generating Videos with Scene Dynamics // http:// carlvondrick.com/tinyvideo/paper.pdf.

Zhang et al., 2016. StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks // https://arxiv.org/abs/1612.03242.

http://image-net.org/.

Сети, предобученные без учителя  115

0. 
   ходе обучения ПСС мы стремимся обновлять параметры, так чтобы сеть гене-рировала более правдоподобные изображения. Наша цель – сделать изображения настолько реалистичными, чтобы дискриминантная сеть не могла отличить на-стоящие изображения от синтетических.
   

Так, при моделировании набора данных ImageNet с помощью ПСС количество примеров составляет примерно 100 миллионов. В процессе обучения набор объ-емом 200 ГБ сводится ко множеству параметров объемом порядка 100 МБ. Цель обучения – найти наиболее эффективное представление таких признаков, как группы похожих пикселей, границы и другие паттерны.