Я. Гудфеллоу, И. Бенджио, А. Курвилль

210 

 
Регуляризация в глубоком обучении 
пополнен различными искусственно сгенерированными примерами. В таком случае 
вполне вероятно, что причиной улучшения качества стали сами искусственные пре-
образования, а не особенности алгоритма B. Иногда для решения о том, правильно ли 
поставлен эксперимент, необходимо субъективное суждение. Например, алгоритмы 
машинного обучения, привносящие шум во входные данные, выполняют некий вид 
пополнения набора данных. Обычно универсальные операции (например, добавле-
ние гауссова шума) считаются частью самого алгоритма, а операции, специфичные 
для конкретной предметной области (например, случайная обрезка изображения), – 
отдельными шагами предварительной обработки. 
7.5. Робастность относительно шума
В разделе 7.4 наложение шума на входные данные обосновывалось как стратегия 
пополнения набора данных. Для некоторых моделей добавление шума с очень ма-
лой дисперсией к входу модели эквивалентно штрафованию по норме весов (Bishop, 
1995a,b). В общем случае важно помнить, что привнесение шума может дать куда 
больший эффект, чем простое уменьшение параметров, особенно если шум примеши-
вается к скрытым блокам. Подача шума на скрытые блоки – тема настолько важная, 
что заслуживает отдельного обсуждения; алгоритм прореживания, описанный в раз-
деле 7.12, – главное развитие этого подхода.
Еще один способ использования шума ради регуляризации моделей – прибавление 
его к весам. Эта техника применялась в основном в контексте рекуррентных нейрон-
ных сетей (Jim et al., 1996; Graves, 2011). Ее можно интерпретировать как стохасти-
ческую реализацию байесовского вывода весов. В байесовском подходе к обучению 
веса модели считаются неопределенными и представляются распределением вероят-
ности, отражающим эту неопределенность. Прибавление шума к весам – практически 
удобный стохастический способ отразить неопределенность.
Применение шума к весам можно также интерпретировать как эквивалент (при 
определенных допущениях) более традиционной формы регуляризации, поощряю-
щей устойчивость обучаемой функции. Рассмотрим случай регрессии, когда мы 
хотим обучить функцию 
y
�
(