Я. Гудфеллоу, И. Бенджио, А. Курвилль

матрицу Гессе
, или 
гессиан
. Матрица Гессе 
H
(
f
)(
x
) определяется следую-
щим образом:

---

88 

 
Численные методы
(4.6)
Можно также сказать, что матрица Гессе является якобианом градиента.
Всюду, где вторые частные производные непрерывны, операторы дифференциро-
вания коммутативны, т. е. их можно менять местами:
(4.7)
Это означает, что 
H
i
, 
 j
= 
H
j
, 
 i
, т. е. в таких точках матрица Гессе симметрична. Для 
большинства функций, встречающихся в глубоком обучении, матрица Гессе является 
вещественной и симметричной почти всюду. А раз так, то мы можем найти множест во 
вещественных собственных значений и ортогональный базис собственных векторов. 
Вторая производная в направлении единичного вектора 
d
, по определению, равна 
d
⏉
Hd
. Если 
d
– собственный вектор 
H
, то вторая производная в этом направлении 
равна соответствующему собственному значению. Для других направлений 
d
вторая 
производная по направлению равна взвешенному среднему всех собственных значе-
ний с весами от 0 до 1, причем чем меньше угол между собственным вектором и 
d
, тем 
больше вес этого вектора. Максимальное собственное значение определяет макси-
мальную вторую производную, а минимальное – минимальную. Вторая производ ная 
по направлению дает информацию об ожидаемом качестве шага градиентного спус-
ка. Можно аппроксимировать функцию 
f
(
x
) в окрестности точки