Я. Гудфеллоу, И. Бенджио, А. Курвилль

бесседловой метод Нью-
тона
(saddle-free Newton method) для оптимизации второго порядка и показано, что 
он значительно улучшает традиционный вариант. Методы второго порядка все еще 
с трудом масштабируются на большие нейронные сети, но если этот бесседловой ме-
тод удастся масштабировать, то он сулит интересные перспективы.
Помимо минимумов и седловых точек, существуют и другие виды точек с нулевым 
градиентом. С точки зрения оптимизации, максимумы очень похожи на седловые 
точки – многие алгоритмы не притягиваются к ним, но немодифицированный метод 
Ньютона не из их числа. Для многих классов случайных функций в многомерном 
пространстве максимумы – такая же экспоненциальная редкость, как и минимумы.

---

248 

 
Оптимизация в обучении глубоких моделей
Проекция 2 
θ
Проекция 1 
θ
J
(
θ
)
Рис. 8.2 

Визуализация функции стоимости нейронной сети. Похожие 
визуализации характерны для нейронных сетей прямого распространения, 
а также сверточных и рекуррентных, применяемых в реальных задачах рас-
познавания объектов и обработки естественных языков. Как ни странно, 
на этих визуализациях обычно не встретишь много бросающихся в глаза 
препятствий. До триумфа алгоритма стохастического градиентного спуска 
в применении к обучению очень больших моделей, датируемого пример-
но 2012 годом, считалось, что поверхности функций стоимости нейронных 
сетей обладают куда более невыпуклой структурой, чем видно на этих про-
екциях. Основное присутствующее здесь препятствие – седловая точка вы-
сокой стоимости вблизи начальных значений параметров, но, как показы-
вает синяя линия, траектория обучения СГС быстро покидает эту седловую 
точку. Основное время затрачено на пересечение сравнительно плоской 
долины функции стоимости, наверное, вследствие высокого шума при вы-
числении градиента, плохой обусловленности гессиана в этой области или 
просто из-за необходимости обойти высокую «гору», видную на рисунке, 
по огибающей дуге. Изображение взято из работы Goodfellow et al. (2015) 
с разрешения авторов
Могут также существовать широкие плоские области с постоянным значением. 
В этих областях равны нулю и градиент, и гессиан. Такие вырожденные участки – 
серь езная проблема для всех алгоритмов численной оптимизации. В выпуклой задаче 
широкая плоская область должна целиком состоять из глобальных минимумов, но 
в общем случае ей могут соответствовать и большие значения целевой функции.