Я. Гудфеллоу, И. Бенджио, А. Курвилль

11.4.5. Оптимизация гиперпараметров на основе модели
Поиск хороших значений гиперпараметров можно рассматривать как задачу оптими-
зации. Параметрами решения являются гиперпараметры. Подлежащая оптимизации 
функция стоимости – ошибка на контрольном наборе, возникающая при обучении 
с такими гиперпараметрами. В упрощенной постановке, когда можно вычислить гра-
диент какой-то дифференцируемой метрики ошибки на контрольном наборе относи-
тельно гиперпараметров, мы можем просто двигаться в направлении этого градиента 
(Bengio et al., 1999; Bengio, 2000; Maclaurin et al., 2015). К сожалению, в большинстве 
практических задач этот градиент недоступен – либо из-за высокой стоимости вы-
числений и потребности в памяти, либо потому что взаимодействие гиперпараметров 
с ошибкой на контрольном наборе описывается недифференцируемой функцией, как 
в случае дискретных гиперпараметров.
Чтобы компенсировать отсутствие градиента, мы можем построить модель ошиб-
ки на контрольном наборе, а затем выдвинуть гипотезу о значениях гиперпараметров, 
выполнив оптимизацию в рамках этой модели. В большинстве подобных алгоритмов 
поиска гиперпараметров применяется байесовская модель регрессии для оценки как 
ожидаемого значения ошибки для каждого гиперпараметра, так и неопределенности 

---

Стратегии отладки 

367
этой оценки. Таким образом, оптимизация подразумевает поиск компромисса между 
исследованием (предложением гиперпараметров с высокой неопределенностью, ко-
торые могут дать заметное улучшение, а могут и не дать) и использованием (пред-
ложением гиперпараметров, относительно которых модель уверена, что они будут 
работать так же хорошо, как виденные ей ранее, – обычно это значения, очень близ-
кие к наблюдавшимся прежде). Из современных подходов к оптимизации гиперпара-
метров отметим алгоритмы Spearmint (Snoek et al., 2012), TPE (Bergstra et al., 2011) 
и SMAC (Hutter et al., 2011).
В настоящее время мы не можем однозначно порекомендовать байесовскую опти-
мизацию гиперпараметров в качестве общепринятого средства улучшения результа-
тов глубокого обучения или получения результатов с меньшими усилиями. Иногда 
байесовская оптимизация дает результаты, сравнимые с полученными человеком, 
иногда даже лучшие, но терпит катастрофические неудачи на других задачах. По-
смотреть, как она будет работать на конкретной задаче, пожалуй, имеет смысл, но 
пока этот подход нельзя назвать ни зрелым, ни надежным. Тем не менее оптимизация 
гиперпараметров – важная область исследований, и хотя ее развитием движут в ос-
новном потребности глубокого обучения, ее достижения сулят выигрыш не только 
машинному обучению в целом, но и всем техническим дисциплинам.
Всем алгоритмам оптимизации гиперпараметров, более сложным, чем случайный 
поиск, присущ общий недостаток: чтобы из раунда обучения можно было извлечь 
полезную информацию, он должен быть доведен до конца. Это сильно снижает эф-
фективность, поскольку обычно уже на ранних стадиях эксперимента человек может 
сказать, что некоторая комбинация гиперпараметров абсолютно бессмысленна. В ра-
боте Swersky et al. (2014) приведена первая версия алгоритма, который хранит набор 
из нескольких экспериментов. В различные моменты времени алгоритм оптимиза-
ции гиперпараметров может принять решение: начать новый эксперимент, «заморо-
зить» текущий эксперимент, не обещающий ничего интересного, или «разморозить» 
и возоб новить эксперимент, который ранее был заморожен, но теперь, с появлением 
новой информации, выглядит многообещающе.