Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
(1)
, …, 
x
(
τ
)
) = 
P
(
τ
)
P
(
x
(1)
, …, 
x
(
τ
)
| 
τ
). 
(10.34)
Стратегия прямого предсказания 
τ
применялась, например, в работе Goodfellow et 
al. (2014d).
10.2.4. Моделирование контекстно-обусловленных 
последовательностей с помощью РНС
В предыдущем разделе мы описали соответствие между РНС и ориентированной 
графической моделью последовательности случайных величин 
y
(
t
)
вообще без входов 
x
. Конечно, наша формулировка РНС в виде уравнения (10.8) включает последова-
тельность входов 
x
(1)
, 
x
(2)
, …, 
x
(
τ
)
. В общем случае представление РНС в виде графи-
ческой модели применимо не только к совместному распределению величин 
y
, но 
и к услов ному распределению 
y
при условии 
x
. В контексте сетей прямого распро-
странения в разделе 6.2.1.1 уже обсуждалось, что любую модель, представляющую 
величину 
P
(
y
; 
θ
), можно интерпретировать как модель, представляющую распределе-

---

Рекуррентные нейронные сети 

331
ние 
P
(
y 
| 
ω
), где 
ω
= 
θ
. Мы можем обобщить такую модель на представление распреде-
ления 
P
(