Я. Гудфеллоу, И. Бенджио, А. Курвилль

форсирования учителя
(teacher forcing). Форсирова-
ние учителя – процедура, берущая начало в критерии максимального правдоподобия, 
когда во время обучения модель получает истинную метку 
y
(
t
)
в качестве входа в мо-
мент 
t 
+ 1. Как это происходит, можно видеть, рассмотрев последовательность с двумя 
временными шагами. Критерий условного максимального правдоподобия имеет вид:
log 
p
(
y
(1)
, 
y
(2)
| 
x
(1)
, 
x
(2)
) 
(10.15)
= log 
p
(
y
(2)
| 
y
(1)
, 
x
(1)
, 
x
(2)
) + log 
p
(
y
(1)
| 
x
(1)
, 
x
(2)
). 
(10.16)
Здесь мы видим, что в момент 
t
= 2 модель обучается максимизировать условную 
вероятность 
y
(2)
при известной до этого момента последовательности 
x
и предыду-
щем значении 
y
из обучающего набора. Таким образом, критерий максимального 
правдоподобия говорит, что на этапе обучения мы должны подать обратно на вход 
не собственный выход модели, а значения меток, описывающие, каким должен быть 
правильный выход. Это показано на рис. 10.6.
Исходным обоснованием форсирования учителем было желание избежать обрат-
ного распространения во времени в моделях, где нет связей между скрытыми блока-
ми. Его можно применять и к моделям, где такие связи есть, при условии что имеют-
ся связи между выходом на одном временном шаге и значениями, вычисленными на 
следующем шаге. Но коль скоро скрытые блоки становятся функцией предшествую-
щих временных шагов, необходим алгоритм BPTT. Поэтому некоторые модели мож-
но обучать, применяя и форсирование учителя, и BPTT.
Недостаток строгого метода форсирования учителя проявляется, если впослед-
ствии предполагается использовать сеть в режиме