Я. Гудфеллоу, И. Бенджио, А. Курвилль

179
6.5. Обратное распространение 
и другие алгоритмы дифференцирования
При использовании нейронной сети прямого распространения, которая принимает 
вход 
x
и порождает выход 
y
�
, информация передается по сети в одном направлении – 
вперед. Вход 
x
содержит начальную информацию, которая доходит до скрытых бло-
ков каждого слоя, и в конечном итоге порождается 
y
�
. Это и называется 
прямым рас-
пространением
. На этапе обучения прямое распространение может продолжаться, 
пока не будет получена скалярная стоимость 
J
(
θ
). Алгоритм 
обратного распростра-
нения
(Rumelhart et al., 1986a) позволяет передавать информацию о стоимости об-
ратно по сети для вычисления градиента.
Аналитически выписать выражение для градиента легко, но его численное вычис-
ление может оказаться накладным. В алгоритме обратного распространения для это-
го применяется простая и недорогая процедура.
Сам термин «обратное распространение» зачастую трактуют неверно, понимая под 
ним весь алгоритм обучения многослойных нейронных сетей. На самом деле обратное 
распространение относится только к вычислению градиента, тогда как для обучения 
с помощью этого градиента применяют другие алгоритмы, например стохастическо-
го градиентного спуска. Кроме того, иногда ошибочно полагают, что обратное рас-
пространение касается только многослойных нейронных сетей, хотя, в принципе, так 
можно вычислять производные любой функции (для некоторых функций правиль-
ным ответом является сообщение о том, что производная не определена). Мы опи-
шем, как вычислить градиент 
∇
x 
f
(
x
, 
y
) произвольной функции 
f
, где