Я. Гудфеллоу, И. Бенджио, А. Курвилль

Рис. 11.2 

Сравнение поиска на сетке и случайного поиска. Для на-
глядности показаны всего два гиперпараметра, но на практике их обычно 
гораздо больше. (
Слева
) Для поиска на сетке задается множество значе-
ний каждого гиперпараметра. Алгоритм производит обучение для каждой 
комбинации этих значений. (
Справа
) Для случайного поиска задается рас-
пределение вероятности совместных конфигураций гиперпараметров. Как 
правило, гиперпараметры независимы друг от друга. В качестве распре-
деления одного гиперпараметра часто берут равномерное или логариф-
мически равномерное (для выборки из логарифмически равномерного 
распределения нужно взять экспоненту значения, выбранного из равно-
мерного распределения). Алгоритм поиска производит случайную выборку 
из совместного распределения гиперпараметров и выполняет обучение 
для каждой выбранной комбинации. Оба алгоритма – поиска на сетке и слу-
чайного поиска – вычисляют ошибку на контрольном наборе и возвращают 
лучшую из найденных конфигураций. На рисунке показан типичный случай, 
когда лишь некоторые гиперпараметры оказывают существенное влияние 
на результат. В данном случае существенным оказался только гиперпара-
метр, отложенный по горизонтальной оси. Время, впустую расходуемое 
алгоритмом поиска на сетке, экспоненциально зависит от числа несуще-
ственных гиперпараметров, тогда как алгоритм случайного поиска почти 
на каждом испытании проверяет уникальные значения каждого существен-
ного гиперпараметра. Рисунок взят из работы Bergstra and Bengio (2012) 
с разрешения авторов
11.4.4. Случайный поиск
По счастью, поиску на сетке есть альтернатива, которая столь же проста для програм-
мирования, но удобнее в использовании и сходится к хорошим значениям гиперпара-
метров гораздо быстрее: случайный поиск (Bergstra and Bengio, 2012).
Случайный поиск производится следующим образом. Сначала задаем маргиналь-
ное распределение каждого гиперпараметра, например распределение Бернулли и ка-

---