Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ

J
(
θ
0
), 
(8.32)
где 
H
– гессиан 
J
относительно 
θ
, вычисленный в точке 
θ
0
. Основная вычислительная 
трудность при применении обновления Ньютона – вычисление обратного гессиана 
H
–1
. В квазиньютоновских методах (из которых алгоритм BFGS самый известный) 
обратный гессиан аппроксимируется матрицей 
M
t
, которая итеративно уточняется 
в ходе обновлений низкого ранга.
Определение и вывод аппроксимации BFGS приводятся во многих учебниках по 
оптимизации, в т. ч. Luenberger (1984).
После нахождения аппроксимации гессиана 
M
t
направление спуска 
ρ
t
определя-
ется по формуле 
ρ
t
= 
M
t
g
t
. В этом направлении производится линейный поиск для 
определения величины шага 
ε
*
. Окончательное обновление параметров производит-
ся по формуле
θ
t
+1
= 
θ
t
+ 
ε
*
ρ
t
.
 
(8.33)
Как и в методе сопряженных градиентов, в алгоритме BFGS производится после-
довательность линейных поисков в направлениях, вычисляемых с учетом информа-
ции второго порядка. Но, в отличие от метода сопряженных градиентов, успех не так 
сильно зависит от того, находит ли линейный поиск точку, очень близкую к истин-
ному минимуму вдоль данного направления. Поэтому BFGS тратит меньше времени 
на уточнение результатов каждого линейного поиска. С другой стороны, BFGS дол-
жен хранить обратный гессиан 
M
, для чего требуется память объема 
O
(
n
2
), поэтому 
BFGS непригоден для современных моделей глубокого обучения, насчитывающих 
мил лионы параметров.