Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
�
(
t
)
= 
α
θ
�
(
t–
1)
+ (1 – 
α
)
θ
(
t
)
. 
(8.39)
Такой подход используется в многочисленных приложениях. Недавний пример 
см. в работе Szegedy et al. (2015).
8.7.4. Предобучение с учителем
Иногда прямое обучение модели для решения конкретной задачи – слишком амбици-
озная цель, если модель сложная и с трудом поддается оптимизации или сама задача 
очень трудна. Бывает, что эффективнее обучить более простую модель для решения 
той же задачи, а затем усложнить ее. Или обучить модель решению более простой за-
дачи, а затем перейти к настоящей задаче. Стратегии обучения простых моделей на 
простых задачах, перед тем как приступить к обучению желаемой модели на желае-
мой задаче, имеют собирательное название: 
предобучение
.
Жадные алгоритмы
разбивают задачу на несколько компонент, а затем находят 
оптимальное решение для каждой компоненты в отдельности. К сожалению, не га-
рантируется, что комбинация оптимальных компонент дает оптимальное решение 
задачи в целом. Тем не менее жадные алгоритмы вычислительно могут оказаться го-
раздо дешевле алгоритмов, ищущих наилучшее совместное решение, а их качество, 
хоть и неоптимальное, зачастую приемлемо. После завершения жадного алгоритма 
можно выполнить фазу 
окончательной настройки
, когда алгоритм совместной опти-

---

Стратегии оптимизации и метаалгоритмы 

277
мизации ищет оптимальное решение задачи в целом. Если инициализировать алго-
ритм совместной оптимизации решением, найденным жадным алгоритмом, то можно 
существенно ускорить поиск окончательного решения и улучшить его качество.
Предобучение, и особенно жадное предобучение, встречается в глубоком обучении 
повсеместно. В этом разделе мы опишем алгоритмы предобучения, в которых задача 
обучения с учителем разбивается на несколько более простых задач такого же типа. 
Этот подход называется