Я. Гудфеллоу, И. Бенджио, А. Курвилль

Алгоритм 8.9.
Метод сопряженных градиентов
Require:
начальные значения параметров 
θ
0
.
Require:
обучающий набор 
m
примеров
Инициализировать 
ρ
0
= 0
Инициализировать 
g
0
= 0
Инициализировать 
t
= 1
while
критерий остановки не выполнен 
do
Инициализировать градиент 
g
t
= 0
Вычислить градиент: 
g
t
←
(1/
m
)
∇
θ
Σ
i
L
(
f
(
x
(
i
)
; 
θ
), 
y
(
i
)
)
Вычислить 
β
t
= ((
g
t
– 
g
t
–1
)
⏉
g
t
)/
g
⏉
t
–1 
g
t
–1
(метод Полака–Рибьера)
(Нелинейный метод сопряженных градиентов: иногда сбрасывать 
β
t
в 0, на-
пример если 
t
кратно некоторой константе 
k
, скажем 
k
= 5)
Вычислить направление поиска: 
ρ
t
= –
g
t
+ 
β
t 
ρ
t
–1
Произвести поиск с целью нахождения: 
ε
*
= argmin
ε
(1/
m
)
Σ
m
i
=1
L
(
f
(
x
(
i
)
; 
θ
t
+ 
+ 
ε
ρ
t
), 
y
(
i
)
)

---

Приближенные методы второго порядка 

271
(Если функция стоимости строго квадратичная, не искать 
ε
*
, а вычислить 
аналитически)
Применить обновление: 
θ
t
+1
= 
θ
t
+ 
ε
*
ρ
t
t
←
t
+ 1
end while
Есть сообщения, что нелинейный метод сопряженных градиентов дает неплохие ре-
зультаты при обучении нейронных сетей, хотя часто имеет смысл инициализировать 
оптимизацию, выполнив несколько итераций стохастического градиентного спуска, 
и только потом переходить к нелинейным сопряженным градиентам. Кроме того, хотя 
нелинейный алгоритм сопряженных градиентов традиционно считался пакетным ме-
тодом, его мини-пакетные варианты успешно применялись для обучения нейронных 
сетей (Le et al., 2011). Позже были предложены адаптации метода сопряженных гради-
ентов, например алгоритм масштабированных сопряженных градиентов (Moller, 1993).
8.6.3. Алгоритм BFGS
Алгоритм Бройдена–Флетчера–Гольдфарба–Шанно (BFGS) – попытка взять не-
которые преимущества метода Ньютона без обременительных вычислений. В этом 
смысле BFGS аналогичен методу сопряженных градиентов. Однако в BFGS подход 
к аппроксимации обновления Ньютона более прямолинейный. Напомним, что об-
новление Ньютона определяется формулой
θ
*
= 
θ
0
– 
H
–1
∇