Я. Гудфеллоу, И. Бенджио, А. Курвилль

d
t
= 
∇
θ
J
(
θ
) не дает 
вклада в направлении 
d
t
–1
. Следовательно, 
d
t
ортогонально 
d
t
–1
. Эта связь между 
d
t
–1
и 
d
t
иллюстрируется на рис. 8.6 для нескольких итераций метода наискорейшего 
спуска. Как видно по рисунку, выбор ортогональных направлений спуска не сохра-
няет минимума вдоль предыдущих направлений поиска. Отсюда и зигзагообразная 
траектория, поскольку после спуска к минимуму в направлении текущего градиента 
мы должны заново минимизировать целевую функцию в направлении предыдуще-
го градиента. А значит, следуя направлению градиента в конце каждого отрезка, мы 
в некотором смысле перечеркиваем достигнутое в направлении предыдущего отрез-
ка. Метод сопряженных градиентов и призван решить эту проблему.
В методе сопряженных градиентов направление следующего поиска является со-
пряженным к направлению предыдущего, т. е. мы не отказываемся от того, что было 
достигнуто в предыдущем направлении. На 
t
-ой итерации обучения направление сле-
дующего поиска определяется формулой:
d
t
= 
∇
θ
J
(
θ
) + 
β
t
d
t
–1
,
(8.29)
где 
β
t
– коэффициент, определяющий, какую часть направления 
d
t
–1
следует приба-
вить к текущему направлению поиска.

---

270 

 
Оптимизация в обучении глубоких моделей
Два направления