Я. Гудфеллоу, И. Бенджио, А. Курвилль

кривизну
. Допус-
тим, имеется квадратичная функция (многие возникающие на практике функции, 
хотя и не являются квадратичными, могут быть достаточно точно аппроксимирова-
ны ими, по крайней мере локально). Если вторая производная такой функции равна 
нулю, значит, кривизны нет. Это идеально плоская линия, значение которой можно 
предсказать, зная только градиент. Если градиент равен 1, то можно сделать шаг дли-
ны 
ε
вдоль направления отрицательного градиента, и функция стоимости уменьшит-
ся на 
ε
. Если вторая производная отрицательна, то функция изгибается вниз, поэтому 
функция стоимости уменьшится больше чем на 
ε
. Наконец, если вторая производная 
положительна, то функция изгибается вверх, поэтому функция стоимости умень-
шится меньше чем на 
ε
. На рис. 4.4 показано, как от кривизны зависит связь между 
истинным значением функции стоимости и значением, предсказанным на основе ана-
лиза градиента.
Отрицательная
кривизна
Нулевая
кривизна
Положительная
кривизна
f
(
x
)
f
(
x
)
f
(
x
)
x
x
x
Рис. 4.4 

Вторая производная определяет кривизну функции. Показаны 
квадратичные функции с разной кривизной. Штриховой линией обозначено 
значение функции стоимости, ожидаемое на основе анализа одного лишь 
градиента. Если кривизна отрицательна, то функция стоимости убывает 
быстрее, чем предсказывает градиент. Если кривизна равна нулю, то гра-
диент правильно предсказывает значение. Если кривизна положительна, 
то функция стоимости убывает медленнее, чем предсказывает градиент, 
и в конечном счете начинает возрастать, поэтому если шаг выбран слишком 
большим, то можно случайно получить завышенное значение
В случае функции нескольких переменных вторых производных много. Их можно 
собрать в