Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
– множество 
аргументов, по которым производные вычисляются, а 
y
– дополнительное множе-
ство аргументов, по которым они не вычисляются. В алгоритмах обучения нас чаще 
всего интересует градиент функции стоимости относительно ее параметров 
∇
θ 
J
(
θ
). 
Во многих задачах машинного обучения приходится вычислять и другие произво-
дные – в процессе обучения или для анализа обученной модели. Алгоритм обратного 
распространения можно применить и к таким задачам тоже. Идея вычисления про-
изводных путем распространения информации по сети очень общая, она применима, 
в частности, к вычислению якобиана функции 
f
, порождающей много значений. Но 
мы ограничимся наиболее типичным случаем, когда значением 
f
является скаляр.
6.5.1. Графы вычислений
До сих пор мы использовали при обсуждении нейронных сетей сравнительно нефор-
мальный язык графов. Но для точного описания алгоритма обратного распростране-
ния полезно иметь более формальный язык 
графов вычислений
.
Есть много способов формализации вычислений в виде графов.
В данном случае вершины графа будут соответствовать переменным. Переменная 
может быть скаляром, вектором, матрицей, тензором или иметь еще какой-то тип.
Для формализации графов нам понадобится также ввести понятие 
операции
. Опе-
рация – это простая функция одной или многих переменных. Язык графов сопрово-
ждается множеством допустимых операций. Функции, более сложные, чем операции, 
можно описать с помощью композиции операций.
Без ограничения общности можно считать, что операция возвращает единствен-
ную переменную. Общность не теряется, потому что эта переменная может состоять 

---