Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
значениями 
θ
0
аналогом гипотезы о нормальном априорном распределении 
p
(
θ
) 
со средним 
θ
0
. С этой точки зрения, имеет смысл выбирать 
θ
0
близким к 0. При таком 
априорном распределении отсутствие взаимодействия между блоками вероятнее его 
наличия. Блоки взаимодействуют, только если член правдоподобия в целевой функ-
ции выражает сильное предпочтение к такому взаимодействию. С другой стороны, 
если инициализировать 
θ
0
большими значениями, то априорная гипотеза говорит 
о том, какие блоки должны взаимодействовать между собой и как именно.
Существуют некоторые эвристики для выбора начального масштаба весов. Одна 
из них – инициализировать веса в полносвязном слое с 
m
входами и 
n
выходами, вы-
бирая каждый вес из распределения 
U
(–1/
√
_
m
, 1/
√
_
m
). А в работе Glorot and Bengio 
(2010) предлагается использовать 
нормированную инициализацию
(8.23)
Эта последняя эвристика выражает компромисс между желанием инициализиро-
вать все слои, так чтобы была одинакова дисперсия активации, и желанием инициа-
лизировать их, так чтобы была одинаковая дисперсия градиента. Формула выведена 
в предположении, что сеть включает только цепочку умножений матриц безо всяких 
нелинейностей. Очевидно, что реальные нейронные сети не удовлетворяют этому 

---

Стратегии инициализации параметров 

261
предположению, но многие стратегии, разработанные для линейных моделей, дают 
неплохие результаты и в нелинейных сетях.
В работе Saxe et al. (2013) рекомендуется в качестве начальных значений брать 
случайные ортогональные матрицы с тщательно подобранным масштабным коэффи-
циентом