Я. Гудфеллоу, И. Бенджио, А. Курвилль

8.3.2. Импульсный метод
Стохастический градиентный спуск остается популярной стратегией оптимизации, 
но обучение с его помощью иногда происходит слишком медленно. 
Импульсный ме-
тод
(Polyak, 1964) призван ускорить обучение, особенно в условиях высокой кри-
визны, небольших, но устойчивых градиентов или зашумленных градиентов. В им-
пульсном алгоритме вычисляется экспоненциально затухающее скользящее среднее 
прошлых градиентов и продолжается движение в этом направлении. Работа импульс-
ного метода иллюстрируется на рис. 8.5.
20
10
0
–10
–20
–30
–30 –20 –10
0
10
20
Рис. 8.5 

Импульсный метод призван решить две проблемы: плохую 
обусловленность матрицы Гессе и дисперсию стохастического градиента. 
На рисунке показано, как преодолевается первая проблема. Эллипсы обо-
значают изолинии квадратичной функции потерь с плохо обусловленной 
матрицей Гессе. Красная линия, пересекающая эллипсы, соответствует 
траектории, выбираемой в соответствии с правилом обучения методом мо-
ментов в процессе минимизации этой функции. Для каждого шага обуче-
ния стрелка показывает, какое направление выбрал бы в этот момент метод 
градиентного спуска. Как видим, плохо обусловленная квадратичная целе-
вая функция выглядит как длинная узкая долина или овраг с крутыми скло-
нами. Импульсный метод правильно перемещается вдоль оврага, тогда как 
градиентный спуск впустую тратил бы время на перемещение вперед-на-
зад поперек оврага. Сравните также с рис. 4.6, где показано поведение гра-
диентного спуска без учета импульса
Формально говоря, в импульсном алгоритме вводится переменная 
v
, играющая 
роль скорости, – это направление и скорость перемещения в пространстве парамет-
ров. Скорость устанавливается равной экспоненциально затухающему скользящему 
среднему градиента со знаком минус. Название алгоритма проистекает из физиче-
ской аналогии, согласно которой отрицательный градиент – это сила, под действием 
которой частица перемещается в пространстве параметров согласно законам Нью-
тона. В физике импульсом называется произведение массы на скорость. В импульс-

---