Я. Гудфеллоу, И. Бенджио, А. Курвилль

225
Ансамбль подсетей
Базовая сеть
Рис. 7.6 

Прореживание обучает ансамбль, состоящий из всех подсе-
тей, которые можно построить путем удаления невыходных блоков из базо-
вой сети. В данном случае мы начинаем с сети, имеющей два видимых и два 
скрытых блока. Из этих четырех блоков можно составить 16 подмножеств. 
На рисунке показаны все 16 подсетей, которые можно построить выбра-
сыванием разных подмножеств блоков из исходной сети. В этом крохот-
ном примере есть много сетей, в которых вообще нет входных блоков или 
не существует пути, соединяющего вход с выходом. Эта проблема теряет 
остроту для сетей с более широкими слоями, когда вероятность выбросить 
все возможные пути от входов к выходам уменьшается
Формально, пусть вектор-маска 
μ
определяет, какие блоки включать, а 
J
(
θ
, 
μ
) – 
стоимость модели с параметрами 
θ
и маской 
μ
. Тогда обучение с прореживанием за-
ключается в минимизации 
𝔼
μ
J
(
θ
, 
μ
). Математическое ожидание содержит экспонен-
циально много членов, но мы можем получить несмещенную оценку его градиента 
путем выборки значений 
μ
.
Обучение с прореживанием – не совсем то же, что баггинг. В случае баггинга все 
модели независимы, а в случае прореживания модели разделяют общие параметры, 
причем все модели наследуют разные множества параметров от родительской ней-
ронной сети. Такое разделение параметров позволяет представить экспоненциаль-
но большое число моделей в памяти обозримого объема. В случае баггинга каждая 
модель обучается до сходимости на своем обучающем наборе, а в случае прорежи-
вания большинство моделей явно не обучаются вовсе – обычно исходная модель 
настолько велика, что для перебора всех возможных подсетей не хватило бы и вре-

---