Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
(
t
)
выходом модели 
o
(
t
)
и по-
даем этот выход обратно в модель
10.2.2. Вычисление градиента в рекуррентной нейронной сети
Вычисление градиента в рекуррентной нейронной сети не вызывает трудностей. 
Нужно просто применить обобщенный алгоритм обратного распространения из раз-
дела 6.5.6 к развернутому графу вычислений. Никаких специальных алгоритмов не 
нужно. Градиенты, полученные в результате обратного распространения, можно за-
тем использовать в сочетании с любым универсальным градиентным методом для 
обучения РНС.
Чтобы составить интуитивное представление о поведении алгоритма BPTT, при-
ведем пример вычисления градиентов для уравнений РНС выше (уравнение 10.8 
и 10.12). В нашем графе вычислений имеются параметры 
U
, 
V
, 
W
, 
b
и 
c
, а также по-
следовательность вершин, индексированных временем 
t
: 
x
(
t
)
, 
h
(
t
)
, 
o
(
t
)
и 
L
(
t
)
. Для каждой 
вершины 
N
мы должны рекурсивно вычислить градиент 
∇
N
L
, зная градиенты, вычис-
ленные в вершинах, следующих за ней в графе. Рекурсия начинается с вершин, непо-
средственно предшествующих окончательной потере:
(10.17)

---

326 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
Предполагается, что выходы 
o
(
t
)
используются в качестве аргумента функции 
softmax для получения вектора вероятностей выходов 
y
ˆ. Предполагается также, что 
функция потерь – это отрицательное логарифмическое правдоподобие истинной 
метки 
y
(
t
)
при известных к этому моменту входах. Градиент 
∇
o
(
t
)
L
по выходам в момент 
t
для всех 
i
, 
t
имеет вид:
(10.18)
Мы движемся в направлении от конца последовательности к началу. В последний 
момент времени 
τ
у