Я. Гудфеллоу, И. Бенджио, А. Курвилль

спектральный радиус
J
(
t
)
, опре-
деляемый как максимум абсолютных величин собственных значений.
Чтобы понять, на что влияет спектральный радиус, рассмотрим простой случай 
обратного распространения, в котором матрица Якоби 
J
не зависит от 
t
. Так бывает, 
например, когда сеть чисто линейная. Предположим, что у 
J
имеется собственный 
вектор 
v
, соответствующий собственному значению 
λ
. Посмотрим, что происходит, 
когда вектор градиента распространяется назад во времени. Если начать с градиента 
g
, то после одного шага обратного распространения градиент будет равен 
Jg
, а по-
сле 
n
шагов – 
J
n
g
. Теперь посмотрим, что случится, если обратному распространению 
подвергнуть возмущенный вектор 
g
. Если начать с 
g
+ 
δ
v
, то после одного шага полу-
чится 
J
(
g
+ 
δ
v
), а после 
n
шагов – 
J
n
(
g
+ 
δ
v
). Отсюда видно, что результаты обратного 
распространения, начавшегося с 
g
и с 
g
+ 
δ
v
, после 
n
шагов расходятся на 
δ
J
n
v
. Если 
в качестве 
v
взять единичный собственный вектор 
J
с собственным значением 
λ
, то 
умножение на якобиан просто масштабирует разность на каждом шаге. Результаты 

---