Я. Гудфеллоу, И. Бенджио, А. Курвилль

ортогонального согласо-
ванного преследования
(orthogonal matching pursuit – OMP) (Pati et al., 1993) вход 
x
кодируется с помощью представления 
h
, решающего следующую задачу оптимиза-
ции с ограничениями:

---

222 

 
Регуляризация в глубоком обучении 
(7.49)
где ||
h
||
0
– число ненулевых элементов 
h
. Эту задачу можно эффективно решить, когда 
на матрицу 
W
наложено ограничение ортогональности. Этот метод часто называют 
OMP-
k
, где 
k
обозначает допустимое число ненулевых признаков. В работе Coates 
and Ng (2011) показано, что OMP-1 может быть чрезвычайно эффективным экстрак-
тором признаков для глубоких архитектур.
На самом деле любую модель со скрытыми блоками можно сделать разреженной. 
В этой книге нам встретится много примеров разреженной регуляризации в различ-
ных контекстах.
7.11. Баггинг и другие ансамблевые методы
Баггинг
(bagging, сокращение от «
bootstrap aggregating
») – это метод уменьшения 
ошибки обобщения путем комбинирования нескольких моделей (Breiman, 1994). 
Идея заключается в том, чтобы раздельно обучить разные модели, а затем организо-
вать их голосование за результаты на тестовых примерах. Это частный случай общей 
стратегии машинного обучения – 
усреднения моделей
. Методы, в которых эта стра-
тегия используется, называются 
ансамблевыми методами
.
Идея усреднения моделей работает, потому что разные модели обычно не делают 
одни и те же ошибки на тестовом наборе.
В качестве примера рассмотрим набор из 
k
моделей регрессии. Предположим, что 
каждая модель делает ошибку 
ε
i
на каждом примере, причем ошибки имеют много-
мерное нормальное распределение с нулевым средним, дисперсиями 
𝔼
[
ε
i
2
] = 
v
и ко-
вариациями 
𝔼
[
ε
i 
ε
j
] = 
c
. Тогда ошибка, полученная в результате усреднения предска-
заний всего ансамбля моделей, равна (1/
k
)
Σ
i
ε
i
. Математическое ожидание квадрата 
ошибки ансамблевого предиктора равно
, 
(7.50)
(7.51)
В случае, когда ошибки идеально коррелированы, т. е. 
c
= 
v
, среднеквадратическая 
ошибка сводится к 
v
, так что усреднение моделей ничем не помогает. В случае, когда 
ошибки вообще не коррелированы, т. е. 
c
= 0, среднеквадратическая ошибка ансамб-
ля равна всего (1/
k
)
v
и, значит, линейно убывает с ростом размера ансамбля. Ины-
ми словами, в среднем ансамбль показывает качество не хуже любого из его членов, 
а если члены совершают независимые ошибки, то ансамбль работает значительно 
лучше своих членов.
Существуют разные методы конструирования ансамбля моделей. Например, чле-
ны могут быть сформированы в результате обучения моделей разного вида разными 
алгоритмами или с разными целевыми функциями. Баггинг – это метод, который по-
зволяет повторно использовать один и тот же вид модели, алгоритм обучения и це-
левую функцию.
Точнее, баггинг подразумевает построение 
k
разных наборов данных. В каждом на-
боре столько же примеров, сколько в исходном, но строятся они путем выборки с воз-

---

Баггинг и другие ансамблевые методы 

223
вращением из исходного набора данных. Это означает, что с высокой вероятностью 
в каждом наборе данных отсутствуют некоторые примеры из исходного набора и при-
сутствует несколько дубликатов (в среднем, если размер результирующего набора 
равен размеру исходного, в него попадет две трети примеров из исходного набора). 
Затем 
i
-я модель обучается на 
i
-м наборе данных. Различия в составе примеров, вклю-
ченных в набор, обусловливают различия между обученными моделями. На рис. 7.5 
приведена иллюстрация.
Нейронные сети дают настолько широкое разнообразие решений, что усреднение 
моделей может оказаться выгодным, даже если все модели обучались на одном и том 
же наборе данных. Различия, обусловленные случайной инициализацией, случайным 
выбором мини-пакетов, разными гиперпараметрами и результатами недетерминиро-
ванной реализации нейронной сети, зачастую достаточны, чтобы различные члены 
ансамбля допускали частично независимые ошибки.
Исходный набор данных
Набор данных после первой 
повторной выборки
Набор данных после второй 
повторной выборки
Первый член ансамбля
Второй член ансамбля