Я. Гудфеллоу, И. Бенджио, А. Курвилль

прямым аккумулированием
(forward 
mode accumulation). Прямое аккумулирование было предложено для вычисления 
градиентов в режиме реального времени в рекуррентных сетях, см., например, Wil-
liams and Zipser, 1989. При таком подходе удается также избежать хранения значе-
ний и градиентов для всего графа, пожертвовав частью вычислительной эффектив-
ности ради памяти. Связь между прямым и обратным режимами аккумулирования 
аналогична связи между умножением слева и справа при перемножении последо-
вательности матриц:
ABCD
.
 
(6.58)
Можно считать, что это матрицы Якоби. Например, если 
D
– вектор-столбец, а 
A
содержит много строк, то в графе будет один выход и много входов. Если выпол-
нять умножения от конца к началу, то вычислять нужно будет только произведения 
мат рицы на вектор. Это соответствует обратному аккумулированию. Напротив, если 
умно жать слева направо, то нужно будет вычислять произведения матрицы на матри-
цу, и все вычисление окажется намного дороже. Однако если число строк 
A
меньше 
числа столбцов 
D
, то дешевле выполнять умножение слева направо, что соответству-
ет прямому аккумулированию.
Во многих сообществах, не связанных с машинным обучением, принято писать 
код дифференцирования на традиционном языке программирования, например Py-
thon или C, и автоматически сгенерированная программа применяется к функциям, 

---

Обратное распространение и другие алгоритмы дифференцирования 

195
написанным на том же языке. Но в глубоком обучении графы вычислений обычно 
представляются с помощью явных структур данных, создаваемых специальными 
библиотеками. У такого подхода есть недостаток: разработчик библиотеки должен 
определить методы 
bprop
для каждой операции, а пользователь ограничен лишь теми 
операциями, которые определил автор. Однако у него есть и достоинство: для каждой 
операции можно написать специализированные правила обратного распространения, 
что позволяет повысить быстродействие и устойчивость неочевидными способами, 
которые автоматическая процедура вряд ли смогла бы повторить.
Таким образом, обратное распространение – не единственный и не оптимальный 
способ вычисления градиента, но это удобный на практике метод, который удовлет-
воряет потребности сообщества машинного обучения. В будущем, когда специали-
сты-практики будут лучше знать о достижениях общей теории автоматического диф-
ференцирования, технология дифференцирования для глубоких сетей, возможно,
усовершенствуется.