Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
на каждом 
временном шаге. На рис. 10.8 показана графическая интерпретация модели. Верши-
ны 
h
(
t
)
, включенные в графическую модель, разрывают связь между прошлым и бу-
дущим, играя роль посредника между ними. Переменная 
y
(
i
)
в отдаленном прошлом 
может оказывать влияние на переменную 
y
(
t
)
посредством влияния на 
h
. Структура 
этого графа показывает, что модель можно эффективно параметризовать, используя 
на каждом шаге одни и те же условные распределения вероятности, и что когда все 
переменные получены в результате наблюдения, вероятность их совместной комби-
нации можно эффективно вычислить. 
Рис. 10.8 

Введение переменной состояния в графическую модель РНС, 
хотя она и является детерминированной функцией своих аргументов, по-
могает понять, как можно получить очень эффективную параметризацию, 
основанную на формуле (10.5). Все участки этой последовательности (со-
держащие 
h
(
t
)
и 
y
(
t
)
) имеют одинаковую структуру (одно и то же число входов 
для каждой вершины) и могут разделять параметры с другими участками
Даже в случае эффективной параметризации графической модели некоторые опе-
рации остаются вычислительно сложными. Например, трудно предсказать отсут-
ствующие значения в середине последовательности.
За сокращение числа параметров рекуррентным сетям приходится расплачиваться 
трудностями 
оптимизации
этих параметров.
Разделение параметров в рекуррентных сетях основано на предположении о том, что 
одинаковые параметры можно использовать на разных временных шагах. Это в точ-
ности означает, что условное распределение вероятности переменных в момент 
t 
+ 1 
1
Условное распределение таких величин при условии их родителей детерминировано. Это 
вполне допустимо, хотя графические модели с такими детерминированными скрытыми 
блоками проектируют нечасто.

---