Я. Гудфеллоу, И. Бенджио, А. Курвилль

Рис. 7.5 

Иллюстрация работы баггинга. Допустим, что мы обучаем де-
тектор цифры 8 на показанном наборе данных, содержащем 8, 6 и 9. Пред-
положим, мы хотим создать два разных набора данных на основе исходного. 
Процедура баггинга строит каждый набор путем выборки с возвращением 
из исходного набора. В первом наборе отсутствует 9, но два раза встреча-
ется 8. На этом наборе данных детектор научится, что кружочек в верхней 
части цифры соответствует 8. На втором наборе повторяется 9 и отсутству-
ет 6. В этом случае детектор научится, что кружочек в нижней части соот-
ветствует 8. Каждое правило по отдельности ненадежно, но если усреднить 
результаты, то получится робастный детектор, дающий максимальную уве-
ренность, только когда присутствуют оба кружочка
Усреднение моделей – исключительно мощный и надежный метод уменьшения 
ошибки обобщения. Его не рекомендуют использовать для эталонного тестирова-
ния алгоритмов в научных статьях, потому что любой алгоритм машинного обуче-
ния можно значительно улучшить путем усреднения моделей, но ценой увеличения 
времени вычислений и потребления памяти. По этой причине сравнение с эталоном 
обычно производят с использованием одной модели.
Соревнования по машинному обучению, как правило, выигрывают методы, произ-
водящие усреднение по десяткам моделей. Показателен недавний пример конкурса 
Netflix Grand Prize (Koren, 2009).

---

224 

 
Регуляризация в глубоком обучении 
Не все методы построения ансамблей призваны сделать ансамбль более регуляри-
зированным, чем отдельные модели. Например, метод 
усиления
(boosting) (Freund 
and Schapire, 1996b,a) строит ансамбль с более высокой емкостью, чем у составляю-
щих его моделей. Усиление применялось для построения ансамблей нейронных сетей 
(Schwenk and Bengio, 1998) путем инкрементного добавления сетей в ансамбль. Так-
же усиление применялось для интерпретации одной нейронной сети как ансамбля 
(Bengio et al., 2006a) путем инкрементного добавления скрытых блоков в сеть.