Я. Гудфеллоу, И. Бенджио, А. Курвилль

μ
, как 
обуче ние ансамбля, состоящего из 
p
(
y
| 
x
, 
μ
) для всех возможных значений 
μ
. Не тре-
буется, чтобы число значений 
μ
было конечным. Например, 
μ
может принимать веще-
ственные значения. В работе Srivastava et al. (2014) показано, что умножение весов на 
μ
∼
𝒩
(
1
, 
I
) может по качеству превосходить прореживание, основанное на двоичных 
масках. Поскольку 
𝔼
[
μ
] = 
1
, стандартная сеть автоматически реализует приближен-
ный вывод в ансамбле без всякого масштабирования весов.
До сих пор мы описывали прореживание исключительно как средство эффективно-
го приближенного баггинга. Но есть и другой, гораздо более широкий взгляд на про-
реживание. Метод прореживания обучает не просто баггинговый ансамбль моделей, 
а ансамбль моделей с общими скрытыми блоками. Это означает, что каждый скры-
тый блок должен демонстрировать хорошее поведение вне зависимости от того, какие 
еще скрытые блоки есть в модели. Скрытые блоки должны быть готовы к тому, что 
окажутся в другой модели. На авторов работы Hinton et al. (2012c) оказала влия ние 
идея, заимствованная из биологии: половое размножение, состоящее в обмене генами 
между двумя разными организмами, оказывает давление эволюционного отбора на 
гены – они должны быть хороши не только сами по себе, но и готовы к обмену между 
организмами. Такие гены и такие признаки устойчивы к изменениям в окружающей 
среде, поскольку неспособны по ошибке адаптироваться к необычным признакам ор-
ганизма или модели. Таким образом, прореживание регуляризирует каждый скры-
тый блок, делая его не просто хорошим признаком, а хорошим в разных контекстах. 
В работе Warde-Farley et al. (2014) обучение с прореживанием сравнивается с обуче-
нием больших ансамблей, и делается вывод, что прореживание дополнительно улуч-
шает ошибку обобщения сверх того, что может быть получено с помощью ансамблей 
независимых моделей.
Важно понимать, что своей мощью прореживание в немалой степени обязано тому 
факту, что к скрытым блокам применяется маскирующий шум. Это можно рассмат-
ривать как форму высокоразумного адаптивного уничтожения информационного 
содержания входа, а не уничтожения исходных входных значений. Например, если 
модель обучает скрытый блок 
h
i
, который обнаруживает лицо, найдя нос, то выбра-
сывание 
h
i
соответствует стиранию информации о присутствии носа в изображении. 
Модель должна обучить еще один 
h
i
, который либо избыточно кодирует присутствие 

---