Я. Гудфеллоу, И. Бенджио, А. Курвилль

без учителя
», потому 
что каждый слой обучается с помощью алгоритма обучения представления без учи-
теля. А «
предобучение
» – так как предполагается, что это первый шаг, предшествую-
щий применению алгоритма совместного обучения для настройки работы всех слоев 
вмес те. В контексте задачи обучения с учителем эту процедуру можно рассматривать 
как регуляризатор (в некоторых экспериментах предобучение уменьшает ошибку 
тес тирования, не уменьшая ошибку обучения) и как вид инициализации параметров.
Обычно слово «предобучение» относится не только к самому этапу предобуче-
ния, но и ко всему двухфазному протоколу, в котором фаза предобучения сочетается 
с фазой обучения с учителем. Фаза обучения с учителем может включать обучение 
простого классификатора на признаках, выявленных в фазе предобучения, или окон-
чательную настройку с учителем всей сети, построенной в фазе предобучения. В боль-
шинстве случаев общая схема обучения одна и та же и не зависит ни от конкретного 
алгоритма обучения без учителя, ни от типа модели. Хотя выбор алгоритма обучения 
без учителя, безусловно, влияет на детали, большинство приложений предобучения 
без учителя следует этому общему протоколу.
Жадное послойное предобучение без учителя можно также использовать для ини-
циализации других алгоритмов обучения без учителя, в частности глубоких автоко-
дировщиков (Hinton and Salakhutdinov, 2006) и вероятностных моделей со многими 
слоями латентных переменных. К числу таких моделей относятся глубокие сети до-
верия (Hinton et al., 2006) и глубокие машины Больцмана (Salakhutdinov and Hinton, 
2009a). Эти глубокие порождающие модели описаны в главе 20.

---

446 

 
Обучение представлений 
Как было сказано в разделе 8.7.4, возможно также жадное послойное предобучение 
с учителем. В его основе лежит предположение о том, что обучить мелкую сеть про-
ще, чем глубокую, похоже, подтверждающееся в некоторых контекстах (Erhan et al., 
2010).