Я. Гудфеллоу, И. Бенджио, А. Курвилль

260 

 
Оптимизация в обучении глубоких моделей
дотвратить потерю сигнала во время прямого или обратного распространения через 
линейные компоненты каждого слоя – чем больше значения в матрице, тем больше 
результат умножения матриц. Однако если начальные веса слишком велики, то мо-
жет случиться взрывной рост значений во время прямого или обратного распрост-
ранения. В рекуррентных сетях большие веса также могут привести к 
хаосу
(на-
столько высокой чувствительности к малым возмущениям входного сигнала, что 
поведение детерминированной процедуры прямого распространения представляется 
случайным). Проблему взрывного градиента можно в какой-то мере сгладить путем 
отсечения градиента (сравнения градиента с порогом перед выполнением шага гра-
диентного спуска). Кроме того, большие веса могут стать причиной экстремальных 
значений, что ведет к насыщению функции активации и полной потере градиента при 
распространении через насыщенные блоки. Балансирование этих разнонаправлен-
ных факторов и определяет идеальный масштаб весов.
Взгляды на проблему с точки зрения регуляризации и оптимизации могут дать со-
вершенно разные подходы к инициализации сети. С точки зрения оптимизации, веса 
должны быть достаточно большими, чтобы способствовать успешному распростране-
нию информации. Но соображения регуляризации побуждают делать веса поменьше. 
Использование таких алгоритмов оптимизации, как стохастический градиентный 
спуск, который производит инкрементные изменения весов и выказывает тенденцию 
к остановке в областях, близких к начальным параметрам (то ли из-за застревания 
в области низких градиентов, то ли потому, что сработал критерий ранней остановки 
вследствие угрозы переобучения), выражает априорное знание о том, что конечные 
параметры должны быть близки к начальным. Напомним (см. раздел 7.8), что для не-
которых моделей градиентный спуск с ранней остановкой эквивалентен снижению 
весов. В общем случае градиентный спуск с ранней остановкой – не то же самое, что 
снижение весов, но между ними можно провести некоторую аналогию, позволяющую 
рассуждать об эффекте инициализации. Мы можем считать инициализацию парамет-
ров