Я. Гудфеллоу, И. Бенджио, А. Курвилль

усиления
g
, который учитывает нелинейности в каждом слое. Авторы при-
водят конкретные значения масштабного коэффициента для нелинейных функций 
активации разных типов. Обоснованием такой схемы инициализации также служит 
модель глубокой сети как последовательности умножений матриц без нелинейно-
стей. При такой модели схема гарантирует, что общее число итераций обучения, не-
обходимое для достижения сходимости, не зависит от глубины.
Увеличение масштабного коэффициента 
g
переводит сеть в режим, когда норма ак-
тивации возрастает при прямом распространении, а норма градиента – при обратном. 
В работе Sussillo (2014) показано, что правильного выбора коэффициента усиления 
достаточно для обучения глубоких сетей с 1000 уровней без применения ортогональ-
ной инициализации. Главная идея этого подхода состоит в том, что в сетях прямо-
го распространения активация и градиент могут возрастать или убывать на каждом 
шаге прямого или обратного распространения, как при случайном блуждании. Объ-
ясняется это тем, что в сетях прямого распространения в каждом слое используется 
своя матрица весов. Если настроить это случайное блуждание, так чтобы норма со-
хранялась, то сеть прямого распространения сможет в большинстве случаев избежать 
проблемы исчезающих и взрывных градиентов, которая возникает, когда на каждом 
шаге используется одна и та же матрица (см. раздел 8.2.5).
К сожалению, оптимальные критерии для начальных весов зачастую не приводят 
к оптимальному качеству. Тому может быть три причины. Во-первых, неподходящий 
критерий – возможно, он не способствует сохранению нормы сигнала во всей сети. 
Во-вторых, свойства, справедливые в момент инициализации, могут нарушаться 
после начала обучения. В-третьих, критерий может ускорять оптимизацию, но не-
преднамеренно увеличивать ошибку обобщения. На практике масштаб весов обычно 
следует рассматривать как гиперпараметр, оптимальное значение которого близко 
к теоретически предсказанному, но не совпадает с ним.
Недостаток правил масштабирования, при которых все начальные веса имеют оди-
наковое стандартное отклонение, например 1/
√
_
m
, состоит в том, что каждый отдель-
ный вес становится очень малым, когда число слоев растет. В работе Martens (2010) 
предложена альтернативная схема, названная