Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
(
t
)
= 
g
(
t
)
(
x
(
t
)
, 
x
(
t
–1)
, 
x
(
t
–2)
, …, 
x
(2)
, 
x
(1)
) 
(10.6)
= 
f
(
h
(
t
–1)
, 
x
(
t
)
; 
θ
). 
(10.7)
Функция 
g
(
t
)
принимает на входе всю прошлую последовательность (
x
(
t
)
, 
x
(
t
–1)
, 
x
(
t
–2)
, 
…, 
x
(2)
, 
x
(1)
) и порождает текущее состояние, но развернутая рекуррентная структура 
позволяет представить 
g
(
t
)
в виде многократного применения функции 
f
. Таким об-
разом, процесс развертки дает два важных преимущества:
1) независимо от длины последовательности размер входа обученной модели 
всегда один и тот же, поскольку он описывается в терминах перехода из одного 
состояния в другое, а не в терминах истории состояний переменной длины;
2) одну и ту же функцию перехода 
f
с одними и теми же параметрами можно ис-
пользовать на каждом шаге.

---

320 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
Эти два фактора позволяют обучить одну модель 
f
, которая действует на всех вре-
менных шагах и для последовательностей любой длины, не прибегая к обучению 
отдельных моделей 
g
(
t
)
для каждого временного шага. Обучение единственной раз-
деляемой модели открывает возможность обобщения на такие длины последователь-
ности, которые не встречались в обучающем наборе, и позволяет оценивать модель 
при наличии гораздо меньшего числа обучающих примеров, чем понадобилось бы без