Я. Гудфеллоу, И. Бенджио, А. Курвилль

360 

 
Практическая методология 
может стоить дорого или вообще невозможен. Простая альтернатива сбору дополни-
тельных данных – уменьшить размер модели или улучшить регуляризацию, добавив 
такие параметры, как коэффициенты снижения весов, или включив такие стратегии 
регуляризации, как прореживание. Если разрыв между качеством на обучающем 
и тестовом наборах остается неприемлемым даже после настройки гиперпараметров 
регуляризации, то рекомендуется собрать еще данные.
При решении вопроса о сборе дополнительных данных нужно еще определиться, 
сколько именно данных необходимо. Тут полезно построить кривые зависимости 
между размером обучающего набора и ошибкой обобщения, как на рис. 5.4. Экстра-
поляция таких кривых может подсказать, сколько еще данных необходимо для дос-
тижения требуемого уровня качества. Обычно незначительное увеличение общего 
числа примеров не оказывает заметного влияния на ошибку обобщения. Поэтому 
рекомендуется применять к размеру обучающего набора логарифмический масштаб, 
например удваивать число примеров в каждом новом эксперименте.
Если собрать намного больше данных невозможно, то остается только один способ 
уменьшить ошибку обобщения – улучшить сам алгоритм обучения. Но это уже на-
учно-исследовательская работа, а не рекомендации для специалистов-прикладников.
11.4. Выбор гиперпараметров
Во многих алгоритмах глубокого обучения имеются гиперпараметры, управляющие 
различными аспектами поведения алгоритма. Одни влияют на время работы и по-
требление памяти, другие – на качество модели, восстанавливаемой в процессе обуче-
ния, и на ее способность давать правильные результаты при предъявлении новых 
примеров.
Есть два основных подхода к выбору гиперпараметров: ручной и автоматический. 
Для выбора вручную нужно понимать, для чего предназначен каждый гиперпараметр 
и как модель машинного обучения достигает хорошей обобщаемости. Алгоритмы ав-
томатического выбора не требуют от пользователя понимания всех этих тонкостей, 
но зачастую обходятся гораздо дороже с вычислительной точки зрения.