Я. Гудфеллоу, И. Бенджио, А. Курвилль

6.5.10. Производные высшего порядка
В некоторых программных системах поддерживается использование производных 
высшего порядка. Среди библиотек глубокого обучения этим отличаются как ми-
нимум Theano и TensorFlow. В этих библиотеках для описания производных ис-
пользуется та же структура данных, что для описания исходной дифференцируемой 
функции. Поэтому механизм символьного дифференцирования можно применить 
к производным.
В контексте глубокого обучения редко приходится вычислять одну вторую произ-
водную скалярной функции. Обычно нас интересуют свойства матрицы Гессе. Если 
имеется функция 
f
: 
ℝ
n
⟶
ℝ
, то ее матрица Гессе имеет размер 
n
×
n
. В типичном при-
ложении машинного обучения 
n
– это количество параметров модели, которое легко 
может исчисляться миллиардами. Поэтому представить матрицу Гессе целиком не-
реально.
Вместо явного вычисления гессиана в глубоком обучении обычно используют 
методы Крылова
. Это набор итеративных приемов выполнения различных опера-
ций, например приближенного обращения матрицы или нахождения ее собственных 
значений и собственных векторов, с использованием только умножения матрицы на 
вектор.
Чтобы применить методы Крылова к гессиану, нужно только уметь вычислять про-
изведение матрицы Гессе 
H
и произвольного вектора 
v
. Сделать это просто (Christian-
son, 1992):
Hv
= 
∇
x
[(
∇
x
f
(
x
))
⏉
v
].
 
(6.59)
Оба градиента в этом выражении можно вычислить автоматически с помощью 
подходящей библиотеки. Отметим, что внешний градиент применяется к внутренне-
му градиенту функции.
Если сам вектор 
v
порожден графом вычислений, то программе автоматического 
дифференцирования необходимо сказать, чтобы она не дифференцировала граф, по-
рождающий