Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
) в окрестности некоторой точки 
θ
0
, производные более высокого порядка при этом игнорируются.
J
(
θ
) 
≈
J
(
θ
0
) + (
θ
– 
θ
0
)
⏉
∇
θ
J
(
θ
0
) + 
1
/
2
(
θ
– 
θ
0
)
⏉
H
(
θ
– 
θ
0
), 
(8.26)
где 
H
– гессиан 
J
относительно 
θ
, вычисленный в точке 
θ
0
. Пытаясь найти критиче-
скую точку этой функции, мы приходим к правилу Ньютона для обновления пара-
метров:
θ
*
= 
θ
0
– 
H
–1
∇
θ
J
(
θ
0
). 
(8.27)
Таким образом, для локально квадратичной функции (с положительно определен-
ной матрицей 
H
) умножение градиента на 
H
–1
сразу дает точку минимума. Если це-
левая функция выпуклая, но не квадратичная (имеются члены более высокого поряд-
ка), то это обновление можно повторить, получив тем самым алгоритм обучения 8.8, 
основанный на методе Ньютона.
Для неквадратичных поверхностей метод Ньютона можно применять итеративно, 
при условии что матрица Гессе остается положительно определенной. Отсюда выте-
кает двухшаговая итеративная процедура. Сначала мы обновляем или вычисляем об-
ратный гессиан (путем обновления квадратичной аппроксимации). Затем обновляем 
параметры в соответствии с формулой (8.27).