Я. Гудфеллоу, И. Бенджио, А. Курвилль

226 

 
Регуляризация в глубоком обучении 
мени существования вселенной. Вместо этого лишь для малой толики возможных 
подсетей проводится один шаг обучения, а благодаря разделению остальные под-
сети получают хороший набор параметров. Это и все различия. Во всем остальном 
прореживание повторяет алгоритм баггинга. Например, обучающий набор, который 
видит каждая подсеть, в действительности получен выборкой с возвращением из ис-
ходного набора.
y
y
h
1
h
1
h
ˆ
1
x
1
x
1
h
1
μ
h
1
μ
x
1
x
ˆ
1
h
2
h
2
h
ˆ
2
x
2
x
2
h
2
μ
h
2
μ
x
2
x
ˆ
2
Рис. 7.7 

Пример прямого распространения в сети с помощью прорежи-
вания. (
Вверху
) Сеть прямого распространения в этом примере имеет два 
входных блока, один скрытый слой с двумя блоками и один выходной блок. 
(
Внизу
) Для прямого распространения с прореживанием мы случайно выби-
раем вектор 
μ
, имеющий по одному элементу для каждого входного и скры-
того блока. Элементами 
μ
являются нули или единицы, и каждый элемент 
выбирается независимо от других. Вероятность единицы – гиперпараметр, 
который обычно равен 0.5 для скрытых блоков и 0.8 для входных. Каждый 
блок сети умножается на соответствующий элемент маски, а затем прямое 
распространение продолжается по оставшейся части сети, как обычно. Это 
эквивалентно случайному выбору одной из подсетей на рис. 7.6 и прямому 
распространению в ней
Чтобы сделать предсказания, баггинговый ансамбль должен собрать голоса всех 
своих членов. В этом контексте такой процесс называется 
выводом
. До сих пор в опи-
сании баггинга и прореживания не было явного требования о вероятностной при-
роде модели. Теперь мы предположим, что роль модели заключается в нахождении 

---

Прореживание 

227
распределения вероятностей. В случае баггинга 
i
-я модель порождает распределение 
p
(
i
)
(
y
| 
x
). Тогда предсказанием ансамбля будет среднее арифметическое всех распре-
делений:
(7.52)
В случае прореживания каждая подмодель, задаваемая вектором-маской