Я. Гудфеллоу, И. Бенджио, А. Курвилль

15.1. Жадное послойное предобучение без учителя
Обучение без учителя сыграло важнейшую роль в воскрешении глубоких нейрон-
ных сетей, позволив исследователям впервые обучить глубокую сеть с учителем, не 
требуя специализации архитектуры, например свертки или рекурсии. Мы называем 
эту процедуру 
предобучением без учителя
, или, если быть точным, 
жадным послой-
ным предобучением без учителя
. Это канонический пример того, как представле-
ние, обучен ное для одной задачи (обучение без учителя, пытающееся уловить форму 
входного распределения), иногда оказывается полезным для другой задачи (обуче-
ние с учителем на том же входном домене).

---

Жадное послойное предобучение без учителя 

445
Жадное послойное предобучение без учителя опирается на алгоритм обучения од-
нослойного представления, например: ОМБ, однослойный автокодировщик, модель 
разреженного кодирования или еще какая-то модель, обучающая латентные пред-
ставления. Каждый слой предобучается без учителя, получая выход от предыдущего 
слоя и порождая в качестве выхода новое представление данных с предположительно 
более простым распределением (или более простыми связями с другими переменны-
ми, скажем, категориями, которые нужно предсказать).
Процедуры жадного послойного обучения без учителя давно уже используют-
ся, чтобы обойти трудности совместного обучения слоев глубокой нейронной сети 
с учителем. Этот подход восходит еще к неокогнитрону (Fukushima, 1975). Возрож-
дение глубокого обучения в 2006 году началось с открытия, что процедуру жадно-
го обучения можно использовать для отыскания хороших начальных значений для 
процедуры совместного обучения всех слоев, причем так можно с успехом обучать 
даже полносвязные архитектуры (Hinton et al., 2006; Hinton and Salakhutdinov, 2006; 
Hinton, 2006; Bengio et al., 2007; Ranzato et al., 2007a). До этого открытия считалось 
практически возможным обучить только глубокие сверточные сети и сети, своей глу-
биной обязанные рекурсии. Сейчас мы знаем, что для обучения полносвязной глубо-
кой архитектуры необязательно использовать жадное послойное предобучение, но 
это был первый успешный подход.
Жадное послойное предобучение называется 
жадным
, потому что это жадный ал-
горитм, т. е. он оптимизирует каждую часть решения независимо, а не совместно все 
части сразу. Оно называется 
послойным
, потому что этими независимыми частями 
являются слои сети. Точнее говоря, в ходе жадного послойного обучения обрабатыва-
ется по одному слою за раз – во время обучения 
k
-го слоя все остальные фиксирова-
ны. В частности, нижние слои (обучаемые первыми) уже не изменяются после пере-
хода к верхним. В названии процедуры употребляется фраза «