Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
(
t
–1)
, 
x
(
t
–2)
, …, 
x
(2)
, 
x
(1)
) на вектор фиксированной длины 
h
(
t
)
. В зависимости от крите-
рия обуче ния некоторые аспекты прошлой последовательности могут запоминаться 
в сводке с большей точностью, чем остальные. Например, если РНС используется для 
статистического моделирования языка, как правило, для предсказания следующего 
слова по известным предыдущим, то достаточно сохранить только информацию, не-

---

Развертка графа вычислений 

319
обходимую для предсказания остатка предложения. Самая трудная ситуация склады-
вается, когда мы хотим, чтобы вектор 
h
(
t
)
был достаточно полным для приближенного 
восстановления входной последовательности, как в автокодировщиках (глава 14).
Развернуть
Рис. 10.2 

Рекуррентная сеть без выходов. Эта сеть просто обрабаты-
вает информацию из входа 
x
, включая ее в состояние 
h
, которое передает-
ся дальше во времени. (
Слева
) Принципиальная схема. Черный квадратик 
обозначает задержку на один временной шаг. (
Справа
) Та же сеть в виде 
развернутого графа вычислений, в котором каждая вершина ассоциирова-
на с одним моментом времени
Уравнение (10.5) можно изобразить двумя способами. Первый способ – нарисо-
вать диаграмму, содержащую по одному узлу для каждой компоненты, которая могла 
бы существовать в физической реализации модели, например в биологической ней-
ронной сети. В этом случае сеть определяет схему, которая содержит физические де-
тали и работает в режиме реального времени, а ее текущее состояние может оказывать 
влия ние на будущее; этот вариант изображен в левой части рис. 10.2. В этой главе 
черный квадратик на принципиальной схеме сети означает, что взаимодействие име-
ет место с задержкой на один временной шаг, т. е. происходит переход из состояния 
в момент 
t
в состояние в момент 
t
+ 1. Другой способ изобразить РНС – нарисовать 
развернутый граф вычислений, в котором каждая компонента представлена многими 
переменными состояния, по одной на временной шаг. Каждая переменная на каж-
дом временном шаге изображается в виде отдельной вершины графа вычислений, 
как в правой части рис. 10.2. Разверткой мы называем операцию, которая отображает 
принципиальную схему в граф вычислений с повторяющимися частями. Размер раз-
вернутого графа зависит от длины последовательности.
Мы можем представить развернутое рекуррентное выражение после 
t
шагов функ-
цией 
g
(
t
)
: