Ын Анналин, Су Кеннет

Рис. 5. Пример с тремя моделями, предсказывающими 
десять исходов, каждый из которых может быть темным 
или светлым. Правильный прогноз для всех десяти — 
темный. Ансамбль, полученный из трех отдельных моде-
лей путем учета большинства голосов, дал наивысшую 
точность прогноза: 80 %

---

10.4. Бэггинг
145
быть взаимно независимы, то есть не коррелировать друг 
с другом.
Метод систематического порождения взаимно независи-
мых деревьев решений известен как бэггинг (bootstrap 
aggregating).
10.4. Бэггинг
В прошлой главе мы исходили из того, что дерево ре-
шений — это набор данных, который последовательно 
разбивается на поддеревья с использованием наилуч-
шей комбинации переменных. Тем не менее поиск луч-
ших комбинаций переменных может быть затруднен, 
поскольку деревья решений склонны к переобучению 
(раздел 1.3).
Чтобы обойти эту проблему, мы можем сконструировать 
деревья решений, используя случайные комбинации 
и порядок переменных, после чего объединить эти дере-
вья для формирования случайного леса.
Бэггинг позволяет построить тысячи деревьев решений, 
которые будут соответствующим образом отличаться 
друг от друга. Чтобы убедиться в минимальной кор-
реляции между деревьями, каждое из них строится со 
случайных набором предикторных переменных, а также 
с использованием случайного фрагмента из обучающего 
набора данных. Это позволяет строить непохожие де-
ревья, которые при этом сохраняют определенные про-
гностические способности. Рисунок 6 показывает, как 

---

146
Глава 10
. 
Случайные леса
для построения деревьев используются предикторные 
переменные.
Корень
Да
Нет
Да
Нет
Да
Нет
Ко
Ко
Ко
Ко
Ко
Ко
К
Ко
Ко
ре
ре
ре
ре
ре
ре
ре
ре
е
нь
нь
нь
нь
нь
нь
нь
нь
нь
нь
ь
Рис. 6. Создание дерева решений путем бэггинга
На рис. 6 показаны девять предикторных переменных, 
которые представлены различными оттенками серого. 
При каждом разбиении набор предикторных переменных 
случайным образом распределяется, после чего алгоритм 
дерева решений выбирает для него лучшую переменную.
Ограничивая набор предикторов для каждого разбиения 
дерева, мы можем получать значительно различающиеся 
деревья, что позволяет избежать переобучения. Чтобы 
снизить его влияние еще больше, мы можем увеличить 
для случайного леса число деревьев решений, в резуль-

---

10.5. Ограничения