Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
) плохо обусловлена в текущей точке 
θ
, или если 
θ
находится на стене утеса, или если 
θ
является седловой точкой, маски-
рующей возможность добиться улучшения путем «спуска с горы».
Все эти проблемы можно преодолеть в одной точке и тем не менее остаться «на 
бобах», если найденное направление наибольшего локального улучшения не ведет 
в сторону отдаленных областей с гораздо меньшей стоимостью.
В работе Goodfellow et al. (2015) утверждается, что длительность обучения опреде-
ляется в первую очередь длиной траектории, ведущей к решению. На рис. 8.2 видно, 
что траектория обучения резко удлиняется из-за необходимости обогнуть по широ-
кой дуге скалообразную структуру.

---

Проблемы оптимизации нейронных сетей 

251
В центре многих исследований, посвященных трудностям оптимизации, находит-
ся вопрос о том, достигает ли обучение глобального минимума, локального миниму-
ма или седловой точки, но на практике нейронные сети не находят никакую крити-
ческую точку. На рис. 8.1 показано, что нейронная сеть часто не достигает области 
малых градиентов. Да, собственно, таких критических точек может и не оказаться. 
Например, у функции потерь –log 
p
(
y
| 
x
; 
θ
) может не быть точки глобального ми-
нимума, вместо этого она асимптотически приближается к некоторому значению, по 
мере того как модель становится более уверенной. Для классификатора с дискрет-
ными метками 
y
и softmax-функцией 
p
(
y
| 
x
) отрицательное логарифмическое прав-
доподобие может оказаться сколь угодно близким к нулю, если модель правильно 
классифицирует каждый обучающий пример, но никогда не принимает значения 0. 
Аналогично у вещественной модели 
p
(
y
|