Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) = 
𝒩
(
y
; 
f
(
θ
), 
β
–1
) отрицательное логариф-
мическое правдоподобие может асимптотически приближаться к минус бесконеч-
ности – если 
f
(
θ
) правильно предсказывает значение 
y
для всех обучающих приме-
ров, то алгоритм обучения будет неограниченно увеличивать 
β
. На рис. 8.4 приведен 
пример, когда локальная оптимизация терпит неудачу при поиске хорошей функции 
стои мости даже в отсутствие локальных минимумов или седловых точек.
J
(
θ
)
θ
Рис. 8.4 

Оптимизация, основанная на локальном спуске, может потер-
петь неудачу, если локальное направление не ведет к глобальному реше-
нию. Здесь показано, как такое может произойти даже в отсутствие локаль-
ных минимумов или седловых точек. Функция стоимости в этом примере 
только асимптотически приближается к низким значениям, но не имеет ми-
нимумов. Проблема вызвана тем, что начальные значения выбраны не по ту 
сторону «горы», и алгоритм не может перебраться через нее. В многомер-
ных пространствах алгоритмы обучения обычно способны обогнуть такие 
горы, но траектория может оказаться длинной, и обучение займет слишком 
много времени (см. рис. 8.2)
Будущим исследователям необходимо глубже разобраться в природе факторов, 
влияющих на длину траектории обучения, и лучше охарактеризовать результат про-
цесса.
Многие из современных направлений исследований нацелены на поиск хороших 
начальных значений параметров в задачах с трудной глобальной структурой, а не на 
разработку алгоритмов с нелокальным перемещением.

---

252 

 
Оптимизация в обучении глубоких моделей
Градиентный спуск и практически все алгоритмы, доказавшие эффективность при 
обучении нейронных сетей, основаны на небольших локальных шагах. В предыдущих