Я. Гудфеллоу, И. Бенджио, А. Курвилль

11.4.2. Алгоритмы автоматической оптимизации 
гиперпараметров
Идеальный алгоритм обучения принимает набор данных и выводит функцию, не 
требуя ручной настройки гиперпараметров. Популярность таких алгоритмов, как ло-

---

364 

 
Практическая методология 
гистическая регрессия и метод опорных векторов, зиждется на способности хорошо 
работать после настройки всего одного-двух гиперпараметров. Нейронные сети ино-
гда тоже показывают неплохие результаты при небольшом числе гиперпараметров, 
но чаще настраивать приходится сорок, а то и больше. Ручная настройка гиперпара-
метров может дать отличный эффект, если у пользователя есть хорошая отправная 
точка, например определенная другими исследователями, работавшими с аналогич-
ным приложением и архитектурой, или если пользователь имеет многомесячный или 
многолетний опыт изучения оптимальных значений гиперпараметров для подобных 
нейронных сетей. Увы, для многих приложений такой отправной точки нет. И тогда 
к отысканию полезных значений гиперпараметров можно привлечь автоматизиро-
ванные алгоритмы.
Поразмыслив о том, как пользователь алгоритма обучения ищет хорошие значения 
гиперпараметров, мы придем к выводу о наличии оптимизации: мы пытаемся най-
ти такие значения, которые оптимизируют некоторую целевую функцию, например 
ошибку на контрольном наборе, иногда в условиях ограничений (на время обучения, 
на потребление памяти или на время распознавания). Поэтому, в принципе, возмож-
но разработать алгоритмы 
оптимизации гиперпараметров
, которые обертывают ал-
горитм обучения и подбирают для него гиперпараметры, скрывая их от пользователя. 
К сожалению, у алгоритмов оптимизации гиперпараметров есть свои гиперпарамет-
ры, например диапазон потенциальных значений каждого из гиперпараметров алго-
ритма обучения. Но такие вторичные гиперпараметры задать обычно проще в том 
смысле, что один и тот же их набор позволяет добиться приемлемого качества для 
широкого круга задач.