Я. Гудфеллоу, И. Бенджио, А. Курвилль

u
(
i
)
. (
c
) Граф вычисления 
выражения 
H
= max{0, 
XW
+ 
b
}
, который вычисляет матрицу плана 
H
, содер-
жащую блоки линейной ректификации, если дана матрица плана, содержа-
щая мини-пакет входов 
X
. (
d
) В примерах a–c к каждой переменной при-
менялось не более одной операции, но это необязательно. Здесь показан 
граф вычислений, в котором применяется более одной операции к весам 
w
модели линейной регрессии. Веса используются как для вычисления пред-
сказания 
y
�
, так и для вычисления штрафа за сложность 
λ
Σ
i
w
i
2
, поощряющего 
снижение весов

---

Обратное распространение и другие алгоритмы дифференцирования 

181
6.5.2. Правило дифференцирования сложной функции
Это правило применяется для вычисления производных функций, являющихся ком-
позициями других функций, чьи производные известны. Алгоритм обратного рас-
пространения как раз и посвящен реализации таких вычислений путем очень эффек-
тивного упорядочения операций.
Пусть 
x
– вещественное число, а 
f
и 
g
– функции, отображающие одно веществен-
ное число в другое. Обозначим 
y
= 
g
(
x
), 
z
= 
f
(
g
(
x
)) = 
f
(
y
). Тогда правило дифферен-
цирования сложной функции записывается в виде:
(6.44)
Мы можем обобщить эту формулу на случай нескольких переменных. Пусть