Я. Гудфеллоу, И. Бенджио, А. Курвилль

X
,
G
)
должен вернуть
(
∇
X
op.f
(
inputs
)
i
)
G
i
, 
(6.54)
а это и есть реализация правила дифференцирования сложной функции, выраженной 
уравнением (6.47). Здесь 
inputs
– это список входов операции, 
op.f
– математическая 

---

Обратное распространение и другие алгоритмы дифференцирования 

189
функция, реализуемая операцией, 
X
– входы, градиенты которых мы хотим вычис-
лить, а 
G
– градиент по выходу операции.
Метод 
op.bprop
всегда должен считать, что все его входы отличны друг от друга, 
даже если на самом деле это не так. Например, если оператору 
mul
передаются две 
копии 
x
для вычисления 
x
2
, то метод 
op.bprop
все равно должен вернуть 
x
в качестве 
производной по обоим входам. Впоследствии алгоритм обратного распространения 
сложит оба аргумента и получит 2
x
– правильную полную производную по 
x
.
Программные реализации алгоритма обратного распространения обычно предо-
ставляют как операции, так и их методы 
bprop
, поэтому пользователь библиотеки 
глубокого обучения может выполнить обратное распространение по графам, постро-
енным из таких общеупотребительных операций, как умножение матриц, потенциро-
вание, логарифмирование и т. д. Программисты, создающие новые реализации обрат-
ного распространения, а также опытные пользователи, которым нужно добавить свои 
операции в дополнение к существующим в библиотеке, должны реализовать методы 
op.bprop
новых операций самостоятельно.
Формально алгоритм обратного распространения описан в алгоритме 6.5.
Алгоритм 6.5.
Внешняя обвязка алгоритма обратного распространения. Здесь про-
изводятся только инициализация и очистка. Основная работа выполняется в под-
программе 
build_grad
, описанной в алгоритме 6.6.