Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
(
t
):
s
(
t
)
= 
f
(
s
(
t
–1)
, 
x
(
t
)
; 
θ
). 
(10.4)
Теперь состояние содержит информацию обо всей прошлой последовательности.
Рекуррентные нейронные сети можно строить разными способами. Как почти лю-
бую функцию можно рассматривать как нейронную сеть прямого распространения, 
так и практически любую рекуррентную функцию можно рассматривать как рекур-
рентную нейронную сеть. Во многих рекуррентных нейронных сетях используется 
уравнение (10.5) или аналогичное для задания значений скрытых блоков. Чтобы под-
черкнуть, что состояние – это на самом деле скрытые блоки сети, перепишем уравне-
ние (10.4), используя для представления состояния переменную 
h
:
h
(
t
)
= 
f
(
h
(
t
–1)
, 
x
(
t
)
; 
θ
). 
(10.5)
Такая сеть показана на рис. 10.2; в типичных РНС есть дополнительные архитек-
турные особенности, например выходные слои, которые читают информацию из со-
стояния 
h
, чтобы сделать предсказание.
Когда рекуррентную сеть обучают решать задачу, в которой требуется предсказы-
вать будущее по прошлому, сеть обычно обучается использовать 
h
(
t
)
как сводку от-
носящихся к задаче аспектов последовательности входных данных, предшествующей 
моменту 
t
. В общем случае в сводке по необходимости утрачивается часть инфор-
мации, потому что она отображает последовательность произвольной длины (
x
(
t
)
,