Я. Гудфеллоу, И. Бенджио, А. Курвилль

разреженной инициализацией
, при 
которой каждому блоку в начальный момент назначается ровно 
k
ненулевых весов. 
Идея в том, чтобы сделать общий объем входящей в блок информации независимым 
от числа входов 
m
, не заставляя абсолютную величину отдельных весовых элементов 
уменьшаться вместе с 
m
. Разреженная инициализация помогает обеспечить боль-
шее разнообразие блоков на стадии инициализации. Однако она также предполагает 
очень сильные априорные предположения о весах, которые должны иметь большие 
нормально распределенные значения. Поскольку градиентному спуску понадобит-
ся много времени, чтобы сократить «неправильные» большие значения, эта схема 
инициализации может вызывать проблемы для таких блоков (в частности, maxout-
блоков), у которых есть несколько фильтров, которые должны быть тщательно ско-
ординированы друг с другом.
Если вычислительные ресурсы позволяют, обычно имеет смысл рассматривать 
начальный масштаб весов в каждом слое как гиперпараметр и выбирать масштабы, 

---

262 

 
Оптимизация в обучении глубоких моделей
применяя какой-нибудь из алгоритмов поиска гиперпараметров, описанных в раз-
деле 11.4.2, например случайный поиск. Или можно вручную поискать наилучшие 
возможные веса. Хорошее эвристическое правило выбора начальных масштабов – 
проанализировать диапазон стандартного отклонения активаций или градиентов на 
одном мини-пакете данных. Если веса слишком малы, то диапазон активаций будет 
сужаться по мере прямого распространения по сети. Раз за разом определяя первый 
слой с неприемлемой малой активацией и увеличивая веса в нем, можно в конце кон-
цов получить сеть с разумными начальными активациями снизу доверху. Если в этом 
момент обучение все еще происходит слишком медленно, то полезно также проана-
лизировать диапазон стандартных отклонений градиентов и активаций. В принципе, 
эту процедуру можно автоматизировать, и в общем случае она вычислительно дешев-
ле, чем оптимизация гиперпараметра, основанная на ошибке на контрольном наборе, 
поскольку в основе лежит обратная связь с поведением начальной модели на одном 
пакете данных, а не с обученной моделью на контрольном наборе. Этот эвристиче-
ский протокол используется уже долгое время, но лишь недавно он был формализо-
ван и изучен в работе Mishkin and Matas (2015).
До сих пор мы говорили об инициализации весов. К счастью, инициализация дру-
гих параметров обычно проще.
Подходы к заданию смещений и весов должны быть согласованы. Инициализация 
всех смещений нулями совместима с большинством схем инициализации весов. Есть 
несколько ситуаций, в которых разумно присваивать некоторым смещениям ненуле-
вые значения.
 

Если речь идет о смещении для выходного блока, то часто имеет смысл ини-
циализировать его так, чтобы получилась правильная маргинальная статисти-
ка выхода. Для этого предположим, что начальные веса настолько малы, что 
выход блока определяется только смещением. Это оправдывает выбор в каче-
стве смещения величины, обратной значению функции активации, применен-
ной к маргинальной статистике выхода в обучающем наборе. Например, если 
выходом является распределение классов, и это распределение сильно скоше-
но, а маргинальная вероятность 
i
-го класса задается элементом 
c
i
некоторого 
вектора