Я. Гудфеллоу, И. Бенджио, А. Курвилль

C
= 
AB
. Тогда 
get_operation
(
V
) воз-
вращает указатель на экземпляр соответствующего класса C++.
 

get_consumers
(
V
, 
𝒢
): возвращает список переменных, представленных дочерни-
ми вершинами 
V
в графе вычислений 
𝒢
.
 

get_inputs
(
V
, 
𝒢
): возвращает список переменных, представленных родитель-
скими вершинами 
V
в графе вычислений 
𝒢
.
С каждой операцией 
op
ассоциированна также операция 
bprop
. Она умеет вычис-
лять произведение якобиана на вектор, описываемое формулой (6.47). Именно так 
алгоритм обратного распространения достигает максимальной общности. Каждая 
операция знает, как выполнить обратное распространение по ребрам графа, в кото-
рых она участвует. Например, для создания переменной 
C
= 
AB
используется опера-
ция умножения матриц. Пусть градиент скалярной величины 
z
относительно 
C
равен 
матрице 
G
. Тогда операция матричного умножения отвечает за определение двух пра-
вил обратного распространения, по одному для каждого аргумента. Если мы знаем, 
что градиент по выходу равен 
G
, то метод 
bprop
операции умножения матриц должен 
сказать, что градиент относительно 
A
равен 
GB
⏉
. Аналогично, если запросить у мето-
да 
bprop
градиент относительно 
B
, то операция умножения матриц, ответственная за 
реализацию 
bprop
, сообщит, что нужный нам градиент равен 
A
⏉
G
. Сам метод обратно-
го распространения ничего не знает о правилах дифференцирования. Он только вы-
зывает методы 
bprop
каждой операции, передавая им нужные аргументы. Формально 
метод 
op.bprop(inputs,