Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
t
, активации скрытого слоя – 
h
(
t
)
, выходы – 
o
(
t
)
, мет-
ки – 
y
(
t
)
, а потеря – 
L
(
t
)
. (Слева) Принципиальная схема. (Справа) Развер-
нутый граф вычислений. Такая РНС менее мощная (способна выразить 
меньшее множество функций), чем РНС из семейства на рис. 10.3. РНС, 
показанная на рис. 10.3, может поместить любую информацию о прошлом 
в скрытое представление 
h
и передать 
h
в будущее. РНС на этом рисунке 
обучена помещать конкретное выходное значение в 
o
, и 
o
– единственная 
информация, которую разрешено передавать в будущее. Не существует 
прямых горизонтальных связей, исходящих из 
h
. Предыдущий 
h
связан 
с настоящим только косвенно – с помощью порожденных им предсказаний. 
Если размерность вектора 
o
не слишком велика, то в нем обычно отсут-
ствует какая-то важная информация о прошлом. Поэтому такая РНС менее 
мощная, но зато ее легче обучить, потому что каждый временной шаг можно 
обучать отдельно от всех остальных, благодаря чему возможно в большей 
степени распараллелить обучение (см. раздел 10.2.1)

---

Рекуррентные нейронные сети 

323
где 
p
model
(
y
(
t
)
| {
x
(1)
, …, 
x
(
t
)
}) берется из элемента 
y
(
t
)
выходного вектора модели 
y
ˆ
(
t
)
. Вы-
числение градиента этой функции потерь относительно параметров – дорогая опе-
рация. Для вычисления градиента необходимо выполнить прямое распространение, 
двигаясь слева направо по развернутому графу на рис. 10.3, а затем обратное распро-
странение, двигаясь справа налево по тому же графу. Время работы имеет порядок 
O
(
τ
), и его нельзя уменьшить за счет распараллеливания, потому что граф прямого 
распространения принципиально последовательный: каждый временной шаг можно 
обсчитать только после завершения предыдущего. Состояния, вычисленные во вре-
мя прямого прохода, необходимо хранить до повторного использования на обратном 
проходе, поэтому объем потребляемой памяти также имеет порядок 
O
(
τ
). Алгоритм 
обратного распространения, применяемый к развернутому графу и имеющий слож-
ность 
O
(
τ
), называется