Я. Гудфеллоу, И. Бенджио, А. Курвилль

11.4.3. Поиск на сетке
Когда гиперпараметров всего три или того меньше, часто прибегают к 
поиску на сет-
ке
. Для каждого гиперпараметра пользователь выбирает небольшое конечное мно-
жество потенциальных значений. Затем алгоритм поиска обучает модель для каждой 
возможной комбинации значений гиперпараметров. Наилучшими считаются гипер-
параметры, при которых была достигнута наименьшая ошибка на контрольном на-
боре. На рис. 11.2 слева показана сетка значений гиперпараметров.
Как выбирать списки потенциальных значений? В случае числовых (упорядочен-
ных) гиперпараметров наибольший и наименьший элементы каждого списка выби-
раются с запасом, основываясь на результатах аналогичных экспериментов в прош-
лом, чтобы оптимальное значение с большой вероятностью оказалось в выбранном 
диапазоне. Как правило, при поиске на сетке значения выбираются примерно в лога-
рифмическом масштабе, например скорость обучения берется из множества {0.1, 0.01, 
10
–3
, 10
–4
, 10
–5
}, а число скрытых блоков – из множества {50, 100, 200, 500, 1000, 2000}.
Поиск на сетке обычно дает наилучшие результаты, если повторяется несколько 
раз. Предположим, к примеру, что мы провели поиск на сетке гиперпараметра 
α
с по-
тенциальными значениями {–1, 0, 1}. Если наилучшим оказалось значение 1, то мы 
не полностью рассмотрели диапазон, в котором находится оптимальное значение 
α
, 
и потому должны повторить поиск на сдвинутой сетке, например {1, 2, 3}. Если же 
наилучшим оказалось значение 0, то следует уточнить оценку, уменьшив масштаб, 
например, на сетке {–0.1, 0, 0.1}.
С поиском на сетке связана очевидная проблема: вычислительная стоимость экс-
поненциально растет с увеличением числа гиперпараметров. Если имеется 
m
гипер-

---

Выбор гиперпараметров 

365
параметров и каждый принимает 
n
значений, то число раундов обучения-вычисления 
растет как 
O
(
n
m
). Раунды можно распараллелить, причем между машинами, на кото-
рых производятся вычисления, почти не требуется передавать данных. К сожалению, 
из-за экспоненциальной стоимости поиска на сетке даже распараллеливание может 
не принести желаемых результатов.
На сетке
Случайный