Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
(
t
)
, которые исключаются из модели.
Рис. 10.7 

Полносвязная графическая модель последовательности 
y
(1)
, 
y
(1)
, …, 
y
(
t
)
, …. Любое прошлое наблюдение 
y
(
i
)
может повлиять на условное 
распределение некоторых 
y
(
t
)
(для 
t
> 
i
) при условии предыдущих значений. 
Параметризация графической модели в точном соответствии с эти графом 
(как в формуле 10.6) может оказаться крайне неэффективной, посколь-
ку число входов и параметров для каждого следующего элемента после-
довательности будет постоянно возрастать. РНС, обеспечивающая такую 
же связность, но при этом эффективную параметризацию, показана на 
рис. 10.8

---

Рекуррентные нейронные сети 

329
Интереснее взглянуть на структуру графической модели РНС, получающуюся, 
если рассматривать скрытые блоки 
h
(
t
)
как случайные величины
1
. Включение скрытых 
блоков в графическую модель показывает, что РНС дает эффективную параметри-
зацию совместного распределения наблюдений. Предположим, что мы представили 
совместное распределение дискретных значений в виде таблицы – массива, содер-
жащего по одному элементу для каждой возможной комбинации значений, равному 
вероятности этой комбинации. Если 
y
может принимать 
k
значений, то в табличном 
представлении будет 
O
(
k
τ
) параметров. Для сравнения – благодаря разделению чис-
ло параметров РНС как функция длины последовательности имеет порядок 
O
(1). 
Число параметров РНС можно изменять для управления емкостью модели, но оно не 
обязано увеличиваться вместе с длиной последовательности. Из формулы (10.5) вид-
но, что РНС эффективно параметризует долгосрочные связи между переменными, 
рекуррентно применяя одну и ту же функцию 
f
и одни и те же параметры