Я. Гудфеллоу, И. Бенджио, А. Курвилль

91
учитывается также гессиан, как в методе Ньютона, то это 
алгоритм оптимизации 
второго порядка
(Nocedal and Wright, 2006).
20
10
0
–10
–20
–30
–30 –20 –10
0
х
1
х
2
10
20
Рис. 4.6 

Метод градиентного спуска не использует информацию о кри-
визне, содержащуюся в гессиане. Здесь градиентный спуск применяется 
для минимизации квадратичной функции 
f
(
x
)
, для которой число обуслов-
ленности гессиана равно 5. Это означает, что величина кривизны в направ-
лениях наибольшей и наименьшей кривизны различается в пять раз. В дан-
ном случае направление наибольшей кривизны совпадает с вектором [1, 1]
⏉
, 
а наименьшей – с вектором [1, –1]
⏉
. Красной линией показан путь, которым 
следует метод градиентного спуска. Эта вытянутая квадратичная функция 
напоминает длинный каньон. Градиентный спуск бесполезно тратит много 
времени, раз за разом спускаясь по стенкам каньона, поскольку это направ-
ления наискорейшего спуска. Так как шаг слишком большой, мы проскакива-
ем мимо дна каньона и вынуждены спускаться по противоположной стенке 
на следующей итерации. Большое положительное значение матрицы Гессе, 
соответствующее собственному вектору в этом направлении, подсказывает, 
что производная по этому направлению быстро возрастает, поэтому алго-
ритм оптимизации мог бы воспользоваться гессианом и понять, что в данном 
случае производить поиск в направлении наискорейшего спуска не стоит
Алгоритмы оптимизации, применяемые в большинстве случаев, рассматриваемых 
в этой книге, годятся для широкого спектра функций, но не дают почти никаких га-
рантий. Отсутствие гарантий связано с тем, что функции, используемые в глубоком 
обучении, чрезвычайно сложны. Во многих других областях принято разрабатывать 
алгоритмы оптимизации для ограниченного семейства функций.
В контексте глубокого обучения иногда можно получить некоторые гарантии, 
если ограничиться функциями, которые либо удовлетворяют 
условию Липшица
, 
либо имеют производные, удовлетворяющие этому условию. Говорят, что функция 
f
удовлетворяет условию Липшица, если скорость ее изменения ограничена некоторой 
константой 
ℒ
, которая называется постоянной Липшица:
∀