Я. Гудфеллоу, И. Бенджио, А. Курвилль

232 

 
Регуляризация в глубоком обучении 
носа, либо обнаруживает лицо по наличию другого признака, например рта. Тради-
ционные приемы зашумления – добавление неструктурированного шума к входу – 
неспособны случайным образом стереть информацию о носе из изображения лица, 
разве что величина шума настолько велика, что из изображения удаляется почти вся 
информация. Уничтожение выделенных признаков, а не исходных значений позволя-
ет процессу уничтожения воспользоваться всей накопленной моделью информацией 
о входном распределении.
Еще один важный аспект прореживания – мультипликативность шума. Если бы 
шум был аддитивным с фиксированным масштабом, то скрытый блок линейной ректи-
фикации 
h
i
с добавленным шумом 
ε
мог бы просто обучиться делать 
h
i
очень большим, 
чтобы на его фоне добавленный шум казался незначительным. Мультипликативный 
шум препятствует таким патологическим решениям проблемы устойчивости к шуму.
Еще один алгоритм глубокого обучения, пакетная нормировка, изменяет парамет-
ризацию модели, стремясь ввести в скрытые блоки как аддитивный, так и мультипли-
кативный шум на этапе обучения. Основная цель пакетной нормировки – улучшить 
оптимизацию, но шум может давать регуляризирующий эффект, так что иногда проре-
живание оказывается излишним. Мы вернемся к пакетной нормировке в разделе 8.7.1.
7.13. Состязательное обучение
Во многих случаях нейронные сети демонстрируют сравнимое с человеком качество 
в применении к независимому и одинаково распределенному тестовому набору. По-
этому естественно задаться вопросом, смогли ли эти модели достичь по-настоящему 
человеческого понимания таких задач. Чтобы оценить уровень понимания задачи 
сетью , можно поискать примеры, которые модель классифицирует неправильно. В ра-
боте Szegedy et al. (2014b) обнаружено, что даже нейронные сети, демонстрирующие 
верность классификации, приближающуюся к уровню человека, ошибаются почти 
в 100 процентах случаев, если им предъявить примеры, намеренно построенные с по-
мощью специальной процедуры, которая ищет вход