Я. Гудфеллоу, И. Бенджио, А. Курвилль

усиленного прореживания 
(dropout boosting), в котором исполь-
зуется точно такой же масочный шум, что в традиционном прореживании, однако эф-
фект регуляризации не достигается. Алгоритм усиленного прореживания обучает ан-
самбль совместно максимизировать логарифмическое правдоподобие на обучающем 
наборе. В том же смысле, в каком традиционное прореживание аналогично баггингу, 
этот подход аналогичен усилению. Как и предполагалось, эксперименты с усиленным 
прореживанием не показали почти никакого эффекта регуляризации, по сравнению 
с обучением всей сети как одной модели. Это показывает, что интерпретация проре-
живания как баггинга не исчерпывается его интерпретацией как устойчивости к шуму. 
Эффект регуляризации баггингового ансамбля достигается, только когда стохастиче-
ски выбранные члены ансамбля обучаются хорошо работать независимо друг от друга.
Идея прореживания дала начало другим стохастическим подходам к обучению 
экспоненциально больших ансамблей моделей, разделяющих веса. Метод DropCon-
nect – частный случай прореживания, в котором каждое произведение одного скаляр-

---

Прореживание 

231
ного веса и состояния одного скрытого блока рассматривается как блок, подлежащий 
выбрасыванию (Wan et al., 2013). Стохастический пулинг – это вариант рандоми-
зированного пулинга (см. раздел 9.3) для построения ансамблей сверточных сетей, 
в котором каждая сеть занимается своей пространственной областью каждой карты 
признаков. До настоящего времени прореживание остается самым широко употреби-
тельным методом неявных ансамблей.
Одна из главных идей прореживания заключается в том, что обучение сети с эле-
ментами стохастичности и предсказание путем усреднения по многим стохасти-
ческим решениям является формой баггинга с разделением параметров. Выше мы 
описывали прореживание как баггинг ансамбля моделей, образованного путем вклю-
чения и исключения блоков. Однако эта стратегия усреднения моделей может приме-
няться не только к включению и исключению. В принципе, допустимы любые виды 
случайной модификации. На практике следует выбирать классы модификаций так, 
чтобы нейронная сеть могла обучиться стойкости к ним. В идеале хотелось бы также, 
чтобы семейство моделей допускало быстрое приближенное правило вывода. Мож-
но представлять себе любой вид модификации, параметризованный вектором