Я. Гудфеллоу, И. Бенджио, А. Курвилль

u
и градиентом. Если подставить ||
u
||
2
= 1 и игнорировать множи-
тели, не зависящие 
u
, то остается min
u
cos 
θ
. Эта величина достигает минимума, когда 
u
направлен противоположно градиенту. Иначе говоря, градиент указывает направ-
ление вверх, а отрицательный градиент – вниз. Чтобы уменьшить 
f
, мы должны дви-
гаться в направлении отрицательного градиента. Этот алгоритм называется 
методом 
наискорейшего спуска
, или 
градиентным спуском
.
В методе наискорейшего спуска предлагается выбирать новую точку
x
ʹ
= 
x
– 
ε
∇
x
f
(
x
), 
(4.5)
где 
ε
– 
скорость обучения
, положительный скаляр, определяющий длину шага. Вы-
бирать 
ε
можно разными способами. Популярный подход – взять некоторую малую 
константу. Иногда удается найти размер шага, при котором производная по направ-
лению обращается в нуль. Другой подход – вычислить 
f
(
x
– 
ε
∇
x

f
(
x
)) для нескольких 
значений 
ε
и выбрать то, при котором целевая функция принимает наименьшее зна-
чение. Эта стратегия называется 
линейным поиском
.
Метод наискорейшего спуска сходится, если все элементы градиента равны 0 (или, 
на практике, очень близки к нулю). В некоторых случаях можно избежать примене-
ния итеративного алгоритма и сразу перейти к критической точке, решив уравнение 
∇
x

f
(