Я. Гудфеллоу, И. Бенджио, А. Курвилль

W
с фиксированным 
H
, 
а затем оптимизацию по 
H
с фиксированным 
W
.
Покоординатный спуск – не самая удачная стратегия, когда значение одной пе-
ременной сильно влияет на оптимальное значение другой, как в функции 
f
(
x
) = 

---

276 

 
Оптимизация в обучении глубоких моделей
= (
x
1
– 
x
2
)
2
+ 
α
(
x
1
2
+ 
x
2
2
), где 
α
– положительная постоянная. Для минимизации первого 
члена нужно, чтобы переменные мало отличались друг от друга, а для минимизации 
второго – чтобы обе были близки к нулю. Минимум достигается, когда обе перемен-
ные равны 0. Методом Ньютона эту задачу можно было бы решить за один шаг, по-
тому что она квадратичная и положительно определенная. Однако при малых 
α
метод 
покоординатного спуска сходится очень медленно, потому что первый член не дает 
изменить одну переменную, так чтобы ее значение сильно отличалось от значения 
второй переменной.
8.7.3. Усреднение Поляка
Усреднение Поляка (Polyak and Juditsky, 1992) заключается в усреднении несколь-
ких точек на траектории алгоритма оптимизации в пространстве параметров. Если на 
протяжении 
t
итераций градиентного спуска алгоритм посетил точки 
θ
(1)
, …, 
θ
(
t
)
, то вы-
ходом алгоритма усреднения Поляка будет 
θ
�
(
t
) = (1/
t
)
Σ
i
θ
(
i
)
. Для некоторых классов 
задач, например градиентного спуска в применении к выпуклым задачам, этот подход 
дает сильные гарантии сходимости. В применении к нейронным сетям обоснование 
скорее эвристическое, но на практике дает неплохие результаты. Основная идея со-
стоит в том, что алгоритм оптимизации может несколько раз пересечь овраг, так и не 
попав в точку на его дне. Но усреднение по точкам на каждом склоне оврага должно 
быть расположено ближе ко дну.
В невыпуклых задачах траектория оптимизации может оказаться очень сложной 
и заходить во много различных областей. Вряд ли полезно включать точки, посещен-
ные в далеком прошлом, которые могут быть отделены от текущей точки большими 
барьерами на поверхности функции стоимости. Поэтому, когда усреднение Поляка 
применяется к невыпуклым задачам, обычно берут экспоненциально затухающее 
скользящее среднее: