Я. Гудфеллоу, И. Бенджио, А. Курвилль

15.1.1. Когда и почему работает предобучение без учителя?
Часто жадное послойное предобучение без учителя может дать значительное умень-
шение ошибки тестирования в задачах классификации. Именно из-за этого наблюде-
ния в 2006 году вновь пробудился интерес к глубоким нейронным сетям (Hinton et 
al., 2006; Bengio et al., 2007; Ranzato et al., 2007a). Но во многих других задачах предо-
бучение без учителя либо не дает никакого выигрыша, либо даже наносит заметный 
вред. В работе Ma et al. (2015) изучалось влияние предобучения на модели предска-
зания химической активности и обнаружилось, что в среднем предобучение наносит 
небольшой вред, но в ряде задач оказывается очень полезно. Поскольку предобуче-
ние без учителя иногда полезно, но часто вредно, важно понимать, когда и почему оно 
работает, чтобы определить, применимо ли оно к конкретной задаче.
Алгоритм 15.1.
Протокол жадного послойного предобучения без учителя
Дано: алгоритм 
ℒ
обучения признаков без учителя, который принимает обучаю-
щий набор примеров и возвращает кодировщик 
f
. Исходные данные представлены 
в виде матрицы 
X
, по одной строке на пример, а 
f
(1)
(
X
) – выход первой фазы ко-
дировщика. Если требуется окончательная настройка, то используется обучаемая 
модель 
𝒯
, которая принимает начальную функцию 
f
, входные примеры 
X
(а в слу-
чае если для настройки применяется алгоритм обучения с учителем, – еще и ассо-
циированные метки 
Y
) и возвращает настроенную функцию. Число фаз равно 
m
.
f
←
тождественная функция
X~
= 
X
for
k
= 1, …, 
m