Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
(0)
)
⏉
∇
x
f
(
x
(0)
) + 
1
/
2
(
x
– 
x
(0)
)
⏉
H
(
f
)(
x
(0)
)(
x
– 
x
(0)
). 
(4.11)
Из этого уравнения находим критическую точку функции:
x
*
= 
x
(0)
– 
H
(
f
)(
x
(0)
)
–1
∇
x

f
(
x
(0)
). 
(4.12)
Если 
f
– положительно определенная квадратичная функция, то метод Ньютона 
состоит в однократном применении уравнения (4.12) для непосредственного нахож-
дения точки минимума. Если функция 
f
не квадратичная, но может быть локально 
аппроксимирована положительно определенной квадратичной функцией, то уравне-
ние (4.12) нужно применить несколько раз. Итеративное уточнение аппроксимации 
с нахождением минимума аппроксимирующей функции позволяет достичь крити-
ческой точки гораздо быстрее, чем метод градиентного спуска. Это полезное свой-
ство вблизи локального минимума, но оно может оказаться опасным в окрестности 
седловой точки. В разделе 8.2.3 мы увидим, что метод Ньютона годится, только если 
ближайшая критическая точка является минимумом (все собственные значения мат-
рицы Гессе положительны), тогда как метод градиентного спуска не притягивается 
к седловой точке, если только на нее не указывает градиент.
Алгоритмы оптимизации, основанные только на градиенте, в частности метод гра-
диентного спуска, называются 
алгоритмами оптимизации первого порядка
. Если 

---

Оптимизация градиентным методом 
