Я. Гудфеллоу, И. Бенджио, А. Курвилль

363
Таблица 11.1. Влияние различных гиперпараметров на емкость модели
Гипер-
параметр
Увеличивает
емкость, когда…
Причина
Подводные камни
Число 
скрытых 
блоков
Возрастает
Увеличение числа скрытых 
блоков увеличивает репрезен-
тативную емкость модели
Увеличение числа скрытых 
блоков приводит к увеличению 
времени работы и объема
потребляемой памяти для всех 
операций модели
Скорость
обучения
Настроена
оптимально
Если скорость обучения слиш-
ком велика или слишком мала, 
эффективная емкость модели 
падает из-за плохой оптими-
зации
Ширина
ядра
свертки
Возрастает
Чем больше ширина ядра, тем 
больше параметров у модели
Увеличение ширины ядра при-
водит к уменьшению ширины 
выхода, а значит, и к умень-
шению емкости модели, если 
только не применяется допол-
нение нулями для компенсации 
этого эффекта. Чем шире ядро, 
тем больше памяти нужно для 
хранения параметров и тем 
больше время работы, однако 
уменьшение ширины выхода 
снижает потребление памяти
Неявное 
дополнение 
нулями
Возрастает
Добавление неявных нулей 
перед сверткой позволяет со-
хранить объем представления
Увеличивается время работы 
и потребление памяти
Коэффици-
ент сниже-
ния весов
Убывает
Благодаря уменьшению
коэффициента снижения
весов открывается возмож-
ность для увеличения пара-
метров модели
Коэффици-
ент проре-
живания
Убывает
Не столь частое выбрасывание 
блоков дает блокам возмож-
ность «договориться» между 
собой об аппроксимации 
обучаю щего набора
Увлекшись ручной настройкой гиперпараметров, не упустите из виду конечную 
цель: хорошее качество на тестовом наборе. Один из путей достижения этой цели – до-
бавление регуляризации. При условии что ошибка обучения остается малой, вы всегда 
можете уменьшить ошибку обобщения, собрав дополнительные обучающие данные. 
Лобовой способ, практически гарантирующий успех, – продолжать увеличивать ем-
кость модели и размер обучающего набора, пока задача не будет решена. Конечно, при 
этом растет вычислительная стоимость обучения и вывода, так что применять этот 
способ можно только при наличии достаточных ресурсов. В принципе, этот подход 
может потерпеть неудачу из-за трудностей оптимизации, но для многих задач опти-
мизация не является серьезным барьером, если только выбрана подходящая модель.