Я. Гудфеллоу, И. Бенджио, А. Курвилль

W
(1)
J
и 
∇
W
(2)
J
. Пройти назад от 
J
к весам можно 
по двум путям: через стоимость перекрестной энтропии и через стоимость снижения 
весов. Путь через стоимость снижения весов относительно прост; он всегда вносит 
вклад 2
λ
W
(
i
)
в градиент по 
W
(
i
)
.
Другой путь – через стоимость перекрестной энтропии – несколько сложнее. Обо-
значим 
G
градиент по ненормированным логарифмам вероятностей 
U
(2)
, предос-
тавляемым операцией 
cross_entropy
. Алгоритм обратного распространения должен 
теперь исследовать две ветви. На более короткой он прибавляет 
H
⏉
G
к градиенту 
W
(2)
, применяя правило обратного распространения для второго аргумента опера-
ции умножения матриц. Вторая ветвь соответствует более длинной цепочке, идущей 
на рисунке вниз. Сначала алгоритм вычисляет 
∇
H 
J
= 
GW
(2)
⏉
, применяя правило об-

---

192 

 
Глубокие сети прямого распространения 
ратного распространения для первого аргумента операции матричного умножения. 
Затем применяется правило обратного распространения операции 
relu
, чтобы обну-
лить компоненты градиента, соответствующие тем элементам 
U
(1)
, которые меньше 
0. Обозначим результат 
G
′
. На последнем шаге правило обратного распространения 
применяется ко второму аргументу операции 
matmul
, в результате чего к градиенту