Я. Гудфеллоу, И. Бенджио, А. Курвилль

8.7.6. Методы продолжения и обучение по плану
Как было сказано в разделе 8.2.7, многие проблемы оптимизации проистекают из 
глобальной структуры функции стоимости, их невозможно разрешить просто за счет 
улучшения оценки направления локального обновления. Основная стратегия пре-
одоления таких проблем – попытаться присвоить параметрам начальные значения, 

---

280 

 
Оптимизация в обучении глубоких моделей
находящиеся в области, связанной с решением коротким путем в пространстве пара-
метров, который можно найти методом локального спуска.
Методы продолжения
– это семейство стратегий, которые упрощают оптими-
зацию посредством выбора таких начальных точек, чтобы локальная оптимизация 
проходила в основном в областях пространства с хорошим поведением. Идея заклю-
чается в том, чтобы построить последовательность целевых функций от одних и тех 
же параметров. Чтобы минимизировать функцию стоимости 
J
(
θ
), мы строим новые 
функции стоимости {
J
(0)
, …, 
J
(
n
)
}. Сложность этих функций постепенно нарастает, так 
что минимизировать 
J
(0)
сравнительно легко, а функция 
J
(
n
)
, которую труднее всего 
минимизировать, совпадает с 
J
(
θ
) – истинной функцией стоимости, ради которой 
все и затевалось. Говоря, что 
J
(
i
)
проще 
J
(
i
+
1)
, мы имеем в виду, что она хорошо себя 
ведет в большей части пространства 
θ
. Случайно выбранные начальные значения 
с большей вероятностью окажутся в области, где метод локального спуска способен 
минимизировать функцию стоимости, просто потому что эта область больше. После-
довательность функций стоимости проектируется так, чтобы решение одной функ-
ции было хорошим начальным приближением для другой. Таким образом, мы снача-
ла находим решение легкой задачи, а затем постепенно уточняем его для решения все 
более трудных задач, пока не найдем решения исходной задачи.
Традиционные методы продолжения (которые появились задолго до применения 
этой идеи к обучению нейронных сетей) обычно основываются на сглаживании це-
левой функции. В работе Wu (1997) приведены пример такого метода и обзор род-
ственных ему. Методы продолжения также тесно связаны с имитацией отжига, когда 
к параметрам добавляется шум (Kirkpatrick et al., 1983). В последние годы методы 
продолжения применялись чрезвычайно успешно. В статье Mobahi and Fisher (2015) 
имеется обзор недавних работ, особенно в области приложений ИИ.
Традиционно методы продолжения проектировались прежде всего для преодоле-
ния проблем, связанных с наличием локальных минимумов. Точнее, их цель – найти 
глобальный минимум, несмотря на присутствие многих локальных. Для этого стро-
ятся более простые функции стоимости путем «размытия» исходной. Эту операцию 
размытия можно выполнить, если выборочно аппроксимировать функцию
J
(
i
)
(