Я. Гудфеллоу, И. Бенджио, А. Курвилль

разделах мы в основном говорили о трудностях вычисления правильного направления 
этих шагов. Не исключено, что некоторые свойства целевой функции, в т. ч. ее градиент, 
можно вычислить только приближенно, и оценка правильного направления будет либо 
смещенной, либо имеющей большую дисперсию. В таких случаях локальный спуск 
может дать или не дать разумно короткий путь к решению, но мы не можем последо-
вать по этому пути. У целевой функции могут быть различные проблемы, например 
плохая обусловленность или разрывные градиенты, из-за которых область, в которой 
градиент дает хорошую модель целевой функции, очень мала. Тогда локальный спуск 
с шагами размера 
ε
, возможно, и определяет разумно короткий путь к решению, но мы 
в состоянии вычислить направление локального спуска только с шагами размера 
δ
≪
ε
. 
В этом случае может оказаться, что путь к решению, определяемый методом локально-
го спуска, содержит слишком много шагов, и пройти по нему невозможно из-за высо-
кой вычислительной стоимости. Иногда локальная информация не дает вообще ника-
ких указаний, например когда у функции имеется широкий плоский участок или если 
нас угораздило попасть точно в критическую точку (такое обычно бывает, только если 
алгоритм находит критические точки в явном виде, как, например, метод Ньютона). 
В таких случаях локальный спуск вообще не определяет путь к решению. Бывает и так, 
что локальное перемещение оказывается слишком «жадным» и уводит нас по пути, ко-
торый идет хоть и вниз, но в сторону от решения, как на рис. 8.4, или к решению, но по 
неоправданно длинной траектории, как на рис. 8.2. В настоящее время мы не понимаем, 
какие из этих проблем в наибольшей степени связаны с трудностями оптимизации ней-
ронных сетей, и в этой области ведутся активные исследования.
Но вне зависимости от того, какие проблемы наиболее значимы, всех их можно из-
бежать, если существует область пространства, связанная с решением относительно 
прямым путем, который может найти метод локального спуска, и если мы сумеем 
инициализировать параметры, так чтобы они попали в эту «хорошую» область. И эта 
точка зрения побуждает к исследованиям в области поиска хороших начальных зна-
чений для традиционных алгоритмов оптимизации.