Я. Гудфеллоу, И. Бенджио, А. Курвилль

W
. Выполнение 
t
шагов эквивалентно умножению 
на 
W
t
. Пусть спектральное разложение 
W
имеет вид 
W
= 
V
diag(
λ
)
V
–1
. В этом случае 
легко видеть, что
W
t
= (
V
diag(
λ
)
V
–1
)
t
= 
V
diag(
λ
)
t
V
–1
.
(8.11)
Все собственные значения 
λ
i
, кроме близких к 1 по абсолютной величине, либо 
резко возрастают (если их абсолютная величина больше 1), либо почти обращаются 
в 0 (если абсолютная величина меньше 1). Когда говорят о 
проблеме исчезающего 
и взрывного градиента
, имеют в виду, что в результате вычислений с таким графом 
градиенты также умножаются на коэффициент diag(
λ
)
t
. Если градиент обращается 

---

250 

 
Оптимизация в обучении глубоких моделей
в 0, то трудно понять, в каком направлении изменять параметры, чтобы улучшить 
функцию стоимости, а если резко возрастает, то обучение становится численно не-
устойчивым. Описанные выше утесистые структуры, для борьбы с которыми приме-
няется отсечение градиента, – пример феномена взрывного градиента.
Повторное умножение на 
W
на каждом временном шаге очень похоже на 
степен-
ной метод
нахождения наибольшего собственного значения матрицы 
W
и соответ-
ствующего ему собственного вектора. С этой точки зрения неудивительно, что опера-
ция