Я. Гудфеллоу, И. Бенджио, А. Курвилль

342 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
двух описанных выше выполнений обратного распространения разделены расстоя-
нием 
δ
|
λ
|
n
: если 
v
соответствует наибольшему значению |
λ
|, то это возмущение дает 
наибольшее возможное расхождение с начальным возмущением 
δ
.
Если |
λ
| > 1, то величина расхождения 
δ
|
λ
|
n
экспоненциально возрастает, если |
λ
| < 1, 
то экспоненциально убывает.
Разумеется, в этом примере предполагалось, что якобиан одинаков на всех времен-
ных шагах, что соответствует рекуррентной нейронной сети без нелинейностей. Если 
же нелинейность присутствует, то ее производная после многих шагов будет близка 
к нулю, что позволит предотвратить взрывообразный рост из-за большого спектраль-
ного радиуса. На самом деле в большинстве недавних работ по эхо-сетям предлагается 
использовать спектральный радиус, много больший 1 (Yildiz et al., 2012; Jaeger, 2012).
Все сказанное выше об обратном распространении посредством повторного умно-
жения на матрицу равным образом применимо и к прямому распространению в сети 
без нелинейностей, когда состояние 
h
(
t
+1)
= 
h
(
t
)
⏉
W
.
Если линейное отображение 
W
⏉
всегда уменьшает 
h
по норме 
L
2
, то говорят, что 
отображение 
сжимающее
. Если спектральный радиус меньше 1, то отображение 
h
(
t
)
в 
h
(
t
+1)
сжимающее, поэтому небольшое изменение с каждым шагом становится все 
меньше. Поэтому сеть неизбежно забывает информацию о прошлом, если для хра-
нения вектора состояния используются вычисления конечной точности (например, 
с 32-разрядными целыми).
Матрица Якоби говорит, как малое изменение