Я. Гудфеллоу, И. Бенджио, А. Курвилль

W
, и связи между скрытым и выходным 
слоями, параметризованные матрицей весов 
V
. Уравнение (10.8) опреде-
ляет прямое распространение в этой модели. (
Слева
) РНС и ее функция 
потерь, представленные в виде рекуррентных связей. (
Справа
) То же в виде 
развернутого во времени графа вычислений, в котором каждая вершина 
ассоциирована с одним моментом времени

---

322 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
где параметрами являются векторы смещения 
b
и 
c
, а также матрицы весов 
U
, 
V
и 
W
соответственно для связей между входным и скрытым слоями, между скрытым и вы-
ходным слоями и между скрытыми блоками. Это пример рекуррентной сети, которая 
отображает входную последовательность на выходную той же длины. Полная потеря 
для данной входной последовательности 
x
в совокупности с последовательностью 
меток 
y
равна сумме потерь по всем временным шагам. Например, если 
L
(
t
)
– отрица-
тельное логарифмическое правдоподобие 
y
(
t
)
при условии 
x
(1)
, …, 
x
(
t
)
, то
L
({
x
(1)
, …, 
x
(
τ
)
}, {
y
(1)
, …, 
y
(
τ
)
}) 
(10.12)
(10.13)
(10.14)
Развернуть
Рис. 10.4 

РНС, в которой единственным видом рекурсии является об-
ратная связь между выходным и скрытым слоями. На каждом временном 
шаге 
t
вход обозначен