Я. Гудфеллоу, И. Бенджио, А. Курвилль

12.1.4. Сжатие модели
Во многих коммерческих приложениях гораздо важнее, чтобы время и потребле-
ние памяти были низкими на этапе вывода модели машинного обучения, тогда как 
затраты на этапе обучения не столь критичны. Если приложение не требует персо-

---

Крупномасштабное глубокое обучение 

377
нализации, то модель можно обучить один раз, а затем развернуть для миллиардов 
пользователей. Во многих случаях у конечного пользователя ресурсов меньше, чем 
у разработчика. Например, сеть распознавания речи можно обучить на кластере из 
мощных компьютеров, а затем установить в мобильный телефон.
Ключевая стратегия сокращения стоимости вывода – 
сжатие модели
(Bucilu
ă
et 
al., 2006). Основная идея – заменить исходную дорогостоящую модель другой, по-
требляющей меньше памяти и работающей быстрее.
Сжатие модели применимо, когда размер исходной модели обусловлен в основ-
ном стремлением предотвратить переобучение. В большинстве случаев модель с наи-
меньшей ошибкой обобщения представляет собой ансамбль нескольких независимо 
обученных моделей. Вычислять предсказание всех 
n
членов ансамбля дорого. Иногда 
даже одна модель обобщается лучше, если она велика (например, если применялась 
регуляризация прореживанием).
Такие большие модели обучают некоторую функцию 
f
(
x
), но используют при этом 
гораздо больше параметров, чем необходимо для решения задачи. Их размер велик 
только потому, что число обучающих примеров ограничено. После того как функция 
f
(
x
) аппроксимирована, мы можем сгенерировать обучающий набор, содержащий 
бесконечно много примеров, просто применив 
f
к случайной выборке 
x
. Затем мы 
обуча ем новую, меньшую модель, так чтобы она совпадала с 
f
(