Я. Гудфеллоу, И. Бенджио, А. Курвилль

с разомкнутой обратной связью
, 
когда выходы сети (или примеры, выбранные из выходного распределения) подают-
ся обратно на вход. В таком случае входные данные, которые сеть видит в процес-
се обуче ния, могут сильно отличаться от того, что она видит на этапе тестирования. 
Один из способов сгладить эту проблему – обучать как на форсированных, так и на 
свободных входах, например выдавая в качестве предсказания правильную метку че-
рез несколько шагов в будущем с использованием развернутых рекуррентных путей 
между выходом и входом. Таким образом, можно обучить сеть принимать во внимание 
входные условия (скажем, те, что она генерирует сама в свободном режиме), которые 
не встречались во время обучения, и отображать состояние обратно в такое, которое 
заставит сеть генерировать правильные выходы после нескольких шагов. Еще один 
подход (Bengio et al., 2015b) сократить разрыв между входами, предъявляемыми на 
этапе обучения и на этапе тестирования, – случайно выбирать между подачей на вход 

---

Рекуррентные нейронные сети 

325
сгенерированных или фактических значений. В этом подходе используется стратегия 
обучения по плану, с тем чтобы постепенно увеличивать долю сгенерированных зна-
чений на входе.
На этапе обучения
На этапе тестирования
Рис. 10.6 

Форсирование учителя – метод обучения, применимый к РНС, 
в которых есть связи между выходом и скрытым состоянием на следующем 
временном шаге. (
Слева
) На этапе обучения мы подаем 
истинный выход
y
(
t
)
, взятый из обучающего набора, на вход 
h
(
t
+1)
. (
Справа
) После того как 
модель развернута, истинный выход, вообще говоря, неизвестен. В таком 
случае мы аппроксимируем истинный выход