Я. Гудфеллоу, И. Бенджио, А. Курвилль

обратным распространением во времени
(back-propagation 
through time – BPTT) и будет подробно рассмотрен в разделе 10.2.2. Таким образом, 
сеть с рекурсией между скрытыми блоками является очень мощной, но дорогой для 
обучения. Существует ли альтернатива?
10.2.1. Форсирование учителя и сети с рекурсией на выходе
Сеть, в которой имеются только рекуррентные связи между выходными блоками 
на одном временном шаге и скрытыми блоками на следующем (рис. 10.4), является 
строго менее мощной, потому что ей недостает рекуррентных связей между скрыты-
ми блоками. Так, с ее помощью нельзя смоделировать универсальную машину Тью-
ринга. Поскольку в сети нет рекуррентных связей между скрытыми блоками, необхо-
димо, чтобы выходные блоки запоминали всю ту информацию о прошлом, которую 
сеть будет использовать для предсказания будущего. Поскольку выходные блоки 
Рис. 10.5 

Развернутая во времени рекуррентная нейронная сеть 
с единственным выходом в конце последовательности. Такую сеть можно 
использовать для агрегирования последовательности и порождения пред-
ставления фиксированного размера, подаваемого на вход следующего 
этапа обработки. В самом конце может быть сравнение с меткой (как по-
казано на рисунке), но можно также получить градиент 
o
(
t
)
посредством об-
ратного распространения от последующих модулей

---

324 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
явно обуча ются совпадению с метками обучающего набора, то маловероятно, что они 
запомнят нужную информацию о прошлой истории входов, – разве что пользова-
тель знает, как описать полное состояние системы, и включает эти сведения в состав 
выходных меток обучающего набора. Но у исключения рекуррентных связей между 
скрытыми блоками есть и преимущество – для любой функции потерь, основанной 
на сравнении предсказания в момент 
t
с меткой в момент 
t
, все временные шаги пол-
ностью независимы. Следовательно, обучение можно распараллелить и вычислять 
градиент для каждого шага 
t
изолированно. Нет нужды вычислять сначала выход для 
предыдущего временного шага, потому что обучающий набор уже содержит идеаль-
ное значение этого выхода.
Модели, в которых имеются рекуррентные связи, идущие от выходов обратно в мо-
дель, можно обучить методом