Я. Гудфеллоу, И. Бенджио, А. Курвилль

учителем
для второй сети, называемой 
учеником
. Сеть-ученик гораздо глубже и уже (от 11 до 
19 слоев), и обучить ее методом СГС при нормальных обстоятельствах было бы за-
труднительно. Обучение сети-ученика облегчается тем, что ученик учится предсказы-
вать не только выход исходной задачи, но и значение среднего слоя сети-учителя. Эта 
дополнительная задача предоставляет ряд рекомендаций по использованию скрытых 
слоев и может упростить задачу оптимизации. Вводятся дополнительные параметры, 
чтобы восстановить средний слой пятислойной сети-учителя по среднему слою бо-
лее глубокой сети-ученика. Но целью является не предсказание финального класса, 
а предсказание скрытого среднего слоя сети-учителя. Таким образом, у нижних слоев 
сети-ученика две цели: помочь выходам выполнить свою задачу, а также предсказать 

---

278 

 
Оптимизация в обучении глубоких моделей
промежуточный слой сети-учителя. Хотя обучать узкую и глубокую сеть труднее, 
чем широкую и мелкую, но узкая и глубокая сеть лучше обобщается и, безуслов но, 
для узкой сети с небольшим числом параметров вычислительная стоимость обучения 
ниже. Без рекомендаций по скрытому слою сеть-ученик в экспериментах вела себя 
очень плохо – как на обучающем, так и на тестовом наборе. Таким образом, рекомен-
дации по средним слоям, быть может, являются одним из средств обучения нейрон-
ных сетей, с трудом поддающихся обучению другими методами. Но не исключено, 
что другие методы оптимизации или изменение архитектуры тоже могло бы решить 
проблему.
y
y
y
y
y
y
x
(с)
x
(a)
h
(1)
h
(2)