Я. Гудфеллоу, И. Бенджио, А. Курвилль

188 

 
Глубокие сети прямого распространения 
кие выполняет граф, построенный в первом случае. Основное различие состоит в том, 
что при символьно-числовом подходе этот граф явно не создается.
6.5.6. Общий алгоритм обратного распространения
Алгоритм обратного распространения очень прост. Чтобы вычислить градиент неко-
торой скалярной величины 
z
относительно одного из предков в графе, мы прежде всего 
заметим, что градиент по 
z
равен 
dz
/
dz
= 1. Затем можно вычислить градиент по каждо-
му родителю 
z
в графе, умножая текущий градиент на якобиан операции, породившей 
z
. И так мы продолжаем умножать на якобианы, двигаясь в обратном направлении по 
графу, пока не дойдем до 
x
. Если некоторая вершина достижима из 
z
по двум или более 
путям, то мы просто суммируем градиенты, полученные вдоль каждого пути.
Более формально, каждая вершина графа 
𝒢
соответствует некоторой переменной. 
Для максимальной общности будем считать, что эта переменная описывается тензо-
ром 
V
. В общем случае число размерностей тензора произвольно. Скаляры, векторы 
и матрицы являются частными случаями тензоров.
Будем предполагать, что с каждой переменной 
V
ассоциированы следующие под-
программы:
 

get_operation
(
V
): возвращает операцию, которая вычисляет 
V
, представляя 
ее в виде ребер графа вычислений, входящих в 
V
. Например, на языке C++ 
(или Python) можно написать класс, представляющий операцию умножения 
матриц, и функцию 
get_operation
. Предположим, что некоторая переменная 
является результатом умножения матриц,