Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
*
= arg min 
f
(
x
).
Мы предполагаем, что читатель знаком с математическим анализом, но все же при-
ведем краткий обзор понятий, относящихся к оптимизации.
Рассмотрим функцию 
y
= 
f
(
x
), где 
x
и 
y
– вещественные числа. Ее производная 
обозначается 
f
′
(
x
) или 
dy
/
dx
. Производная 
f
′
(
x
) определяет наклон 
f
(
x
) в точке 
x
, 
т. е. коэффициент, на который нужно умножить малое изменение аргумента, чтобы 
получить соответственное изменение результата: 
f
(
x
+ 
ε
) 
≈
f
(
x
) + 
ε
f
′
(
x
).
Производная полезна для минимизации функции, потому что описывает, как из-
менить 
x
, чтобы получить небольшое улучшение 
y
. Например, мы знаем, что 
f
(
x
– 
– 
ε
sign(
f
′
(
x
))) меньше 
f
(
x
) при достаточно малом 
ε
. Поэтому мы можем уменьшить 
f
(
x
), сдвигая 
x
небольшими шагами в направлении, противоположном знаку произ-
водной. Этот метод называется 
градиентным спуском
(Cauchy, 1847). Пример его 
применения показан на рис. 4.1.
2,0
1,5
1,0
0,5
0,0
–0,5
–1,0
–1,5
–2,0
–2,0
0,0
–1,0
1,0
–1,5
0,5
–0,5
1,5
2,0
f
(
x
) = 
1
/
2 
x
2
f
ʹ
(
x
) = 
x
При 
x
> 0 имеем 
f
′
(
x
) > 0,
поэтому 
f
можно уменьшить,
двигаясь влево
Глобальный минимум в точке 
x
= 0. 
Поскольку 
f
′
(
x
) = 0, здесь гради-
ентный спуск останавливается
При 
x
< 0 имеем 
f
′
(
x
) < 0,
поэтому 
f
можно уменьшить,
двигаясь вправо
Рис. 4.1 

Градиентный спуск. Иллюстрация применения метода градиент-
ного спуска с использованием производной для перехода в точку минимума

---

Оптимизация градиентным методом 

85
Если 
f
′
(
x
) = 0, то производная не дает информации о том, в каком направлении сме-
щаться. Точки, в которых 
f
′
(
x
) = 0, называются 
критическими
, или 
стационарными
. 
Локальным минимумом
называется точка, в которой 
f
(
x
) меньше, чем во всех точках 
малой окрестности, поэтому уменьшить 
f
(
x
) путем изменения аргумента на неболь-
шую величину невозможно. 
Локальным максимумом
называется точка, в которой 
f
(
x
) больше, чем во всех точках малой окрестности, поэтому невозможно увеличить 
f
(
x
) путем изменения аргумента на небольшую величину. Некоторые критические 
точки не являются ни минимумами, ни максимумами. Они называются