Я. Гудфеллоу, И. Бенджио, А. Курвилль

200 

 
Регуляризация в глубоком обучении 
щения в обмен на уменьшение дисперсии. Эффективным считается регуляризатор, 
который находит выгодный компромисс, т. е. значительно уменьшает дисперсию, не 
слишком увеличивая смещение. Обсуждая обобщение и переобучение в главе 5, мы 
выделили три ситуации, когда обучаемое семейство моделей либо (1) не включает ис-
тинный процесс, порождающий данные, – это соответствует недообучению и прово-
цирует смещение, либо (2) соответствует истинному порождающему процессу, либо 
(3) включает как истинный порождающий процесс, так и много других потенциаль-
ных процессов, – это режим переобучения, когда в ошибке оценивания превалирует 
дисперсия, а не смещение. Цель регуляризации – перевести модель из третьего режи-
ма во второй.
На практике чрезмерно сложное семейство моделей не обязательно включает не то 
что целевую функцию или истинный порождающий процесс, но даже хорошее при-
ближение к тому или другому. Мы почти никогда не имеем доступа к истинному по-
рождающему процессу, поэтому не можем знать наверняка, включает оцениваемое 
семейство этот процесс или нет. Однако алгоритмы глубокого обучения по большей 
части применяются в предметных областях, где истинный порождающий процесс 
почти наверняка не входит в семейство моделей. Алгоритмы глубокого обучения 
обычно используются в чрезвычайно сложных областях – обработка изображений, 
звуковых последовательностей и текстов, где истинный порождающий процесс, по 
существу, сводится к моделированию всего универсума. Не будет таким уж преуве-
личением сказать, что мы всегда пытаемся воткнуть квадратный колышек (порожда-
ющий процесс) в круглое отверстие (наше семейство моделей).
Это означает, что управление сложностью модели – не просто поиск модели пра-
вильного размера с правильным числом параметров. Вместо этого мы могли обнару-
жить – и в реальных приложениях глубокого обучения так почти всегда и бывает – что 
наилучшая эмпирическая модель (в смысле минимизации ошибки обобщения) – это 
большая модель, подходящим образом регуляризированная.
Далее мы дадим обзор нескольких стратегий создания большой регуляризирован-
ной глубокой модели.