Я. Гудфеллоу, И. Бенджио, А. Курвилль

Рис. 8.1 

Градиентный спуск часто не находит никакой критической 
точки. В этом примере норма градиента возрастает на протяжении всего 
процесса обучения сверточной нейронной сети для обнаружения объек-
тов. (
Слева
) На диаграмме рассеяния показана зависимость вычисленной 
нормы градиента от времени. Для наглядности показана лишь одна нор-
ма на каждый период. Скользящее среднее всех норм градиента показано 
сплошной линией. Очевидно, что норма градиента со временем возрастает, 
а не убывает, как было бы, если бы процесс обучения сходился к критиче-
ской точке. (
Справа
) Несмотря на возрастание градиента, процесс обуче-
ния можно считать успешным. Ошибка классификации на контрольном на-
боре убывает до низкого уровня
Хотя плохая обусловленность характерна не только для обучения нейронных се-
тей, некоторые методы борьбы с ней, используемые в других контекстах, к нейронным 
сетям плохо применимы. Например, метод Ньютона – отличное средство минимиза-
ции выпуклых функций с плохо обусловленными гессианами, но, как мы покажем 
в следующих разделах, для применения к нейронным сетям этот метод нуждается 
в существенной модификации.

---

Проблемы оптимизации нейронных сетей 

245
8.2.2. Локальные минимумы
Одна из самых важных черт выпуклой оптимизации состоит в том, что такую задачу 
можно свести к задаче нахождения локального минимума. Гарантируется, что любой 
локальный минимум одновременно является глобальным. У некоторых выпуклых 
функций в нижней части графика имеется не единственный глобальный минимум, 
а целый плоский участок. Однако любая точка на плоском участке является допусти-
мым решением. При оптимизации выпуклой функции мы точно знаем, что, обнару-
жив критическую точку любого вида, мы нашли хорошее решение.
У невыпуклых функций, в частности нейронных сетей, локальных минимумов 
может быть несколько. Более того, почти у любой глубокой модели гарантированно 
имеется множество локальных минимумов. Впрочем, как мы увидим, это не всегда 
является серьезной проблемой.
Нейронные сети и вообще любые модели с несколькими эквивалентно параметри-
зованными латентными переменными имеют несколько локальных минимумов из-
за проблемы