Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
(
t
)
распространяется на один шаг 
вперед, или, эквивалентно, как градиент 
h
(
t
+1)
распространяется на один шаг назад 
в ходе обратного распространения. Отметим, что ни 
W
, ни 
J
не обязаны быть сим-
метричными (хотя обе матрицы квадратные и вещественные), поэтому они могут 
иметь комплексные собственные значения, мнимые части которых соответствуют по-
тенциально колебательному поведению (при повторном применении одного и того 
же якобиана). Хотя 
h
(
t
)
или небольшая вариация 
h
(
t
)
при обратном распространении 
принимают вещественные значения, их можно выразить в таком комплексном бази-
се. Важно лишь, что происходит с абсолютной величиной (модулем комплексного 
числа) координат в потенциально комплексном базисе при умножении матрицы на 
вектор. Собственные значения, абсолютная величина которых больше 1, соответ-
ствуют увеличению (при повторном применении – экспоненциальному росту) или 
уменьшению (экспоненциальному убыванию).
В случае нелинейного отображения якобиан может изменяться на каждом шаге. По-
этому динамика становится более сложной. Но по-прежнему небольшое изменение 
может стать большим после нескольких шагов. Одно из различий между линейным 
и нелинейным случаями состоит в том, что «сплющивающая» нелинейность типа tanh 
может сделать рекуррентную динамику ограниченной. Отметим, что динамика обрат-
ного распространения может оставаться неограниченной, даже если прямое распростра-
нение имеет ограниченную динамику, например когда все tanh-блоки, принадлежащие 
последовательности, находятся в середине своего почти линейного участка и связаны 
матрицами весов со спектральными радиусами больше 1. Впрочем, редко случается, что 
все tanh-блоки одновременно оказываются на линейном участке активации.
В эхо-сетях принята простая стратегия – зафиксировать веса, так чтобы спектраль-
ный радиус был равен примерно 3, тогда информация переносится вперед во време-
ни, но взрывного роста нет из-за стабилизирующего влияния насыщающих нелиней-
ностей типа tanh.

---

Блоки с утечками и другие стратегии нескольких временных масштабов 

343
Сравнительно недавно было показано, что методы, используемые для задания ве-
сов в эхо-сетях, можно применять и для 
инициализации
весов в рекуррентных сетях 
полного обучения (когда рекуррентные веса между скрытыми слоями обучаются 
с помощью обратного распространения во времени), что помогает обучаться долго-
срочным зависимостям (Sutskever, 2012; Sutskever et al., 2013). В этой конфигурации 
хорошие результаты дает выбор начального спектрального радиуса 1.2 в сочетании со 
схемой разреженной инициализации, описанной в разделе 8.4.