Я. Гудфеллоу, И. Бенджио, А. Курвилль

366 

 
Практическая методология 
тегориальное распределение для бинарных и дискретных параметров соответственно 
либо логарифмически равномерное распределение для гиперпараметров, принимаю-
щих положительные вещественные значения. Например:
log_learning_rate
∼
u
(–1, –5), 
(11.2)
log_
learning_rate
= 10
log_learning_rate
,
(11.3)
где 
u
(
a
, 
b
) – выборка из равномерного распределения в интервале (
a
, 
b
). Аналогично 
log_number_of_hidden_units
можно выбрать из 
u
(log(50), log(2000)).
В отличие от поиска на сетке, здесь не нужно дискретизировать значения гиперпа-
раметров, поэтому можно исследовать более широкое множество значений, избежав 
дополнительных вычислительных затрат. Как показано на рис. 11.2, случайный по-
иск может оказаться экспоненциально эффективнее поиска на сетке, если существует 
несколько гиперпараметров, не оказывающих существенного влияния на показатель 
качества. Этот вопрос скрупулезно изучен в работе Bergstra and Bengio (2012), где по-
казано, что случайный поиск снижает ошибку на контрольном наборе гораздо быст-
рее, чем поиск на сетке, если оценивать по числу раундов.
Как и при поиске на сетке, зачастую имеет смысл повторить случайный поиск, что-
бы уточнить значения, найденные при первом прогоне.
Основная причина, по которой случайный поиск находит хорошие решения быст-
рее, чем поиск на сетке, – отсутствие лишних экспериментальных раундов, встречаю-
щихся при поиске на сетке, когда два значения некоторого гиперпараметра (при за-
данных значениях остальных) дают один и тот же результат. При поиске на сетке 
у остальных значений гиперпараметра в этих двух раундах будут одинаковые значе-
ния, а при случайном поиске – обычно разные. Поэтому если различие между этими 
двумя значениями не оказывает существенного влияния на ошибку на контрольном 
наборе, то поиск на сетке без нужды повторяет два эквивалентных эксперимента, тог-
да как случайный поиск произведет два независимых испытания других гиперпара-
метров.