Я. Гудфеллоу, И. Бенджио, А. Курвилль

жадным предобучением с учителем
.
В оригинальном варианте жадного предобучения с учителем (Bengio et al., 2007) 
каждый этап состоит из задачи обучения с учителем, содержащей только часть сло-
ев финальной нейронной сети. На рис. 8.7 показан пример жадного предобучения 
с учителем, когда каждый скрытый слой предварительно обучен в составе мелкого 
МСП с учителем, принимающего на входе выход предыдущего скрытого слоя. Вмес-
то предобучения по одному слою за раз в работе Simonyan and Zisserman (2015) про-
изводится предобучение глубокой сверточной сети (11 слоев весов), а затем первые 
четыре и последние три слоя этой сети используются для инициализации еще более 
глубоких сетей (до 19 слоев). Средние слои новой, очень глубокой сети инициали-
зируются случайным образом. Затем производится совместное обучение новой сети. 
Другой вариант, исследованный в работе Yu et al. (2010), – применять 
выходы
ранее 
обученных МСП, а также первоначальные входные данные в качестве входов каждо-
го дополнительного этапа.
Почему жадное предобучение с учителем дает какой-то эффект? В пионерской ра-
боте Bengio et al. (2007) высказана гипотеза, что оно дает более правильное направле-
ние промежуточным слоям глубокой иерархии. В общем случае предобучение может 
оказаться полезным как для оптимизации, так и для обобщаемости.
Обобщением предобучения с учителем является перенос обучения (transfer lear-
ning): в работе Yosinski et al. (2014) была предобучена глубокая сверточная сеть 
с восьмью уровнями весов на наборе задач (подмножество, состоящее из 1000 кате-
горий объектов из набора ImageNet), а затем сеть того же размера была инициали-
зирована первыми 
k
слоями первой сети. Далее все слои второй сети (верхние слои 
которой были инициализированы случайным образом) были совместно обучены для 
выполнения различных наборов задач (другое подмножество ImageNet из 1000 кате-
горий объектов), но число обучающих примеров было меньше, чем для первого набо-
ра. Другие подходы к переносу обучения в контексте нейронных сетей обсуждаются 
в разделе 15.2.
Сюда же можно отнести подход FitNets (Romero et al., 2015). Он начинается 
с обуче ния сети достаточно малой глубины и достаточно большой ширины (число 
блоков в слое), чтобы ее было легко обучить. Затем эта сеть становится