Я. Гудфеллоу, И. Бенджио, А. Курвилль

339
10.7. Проблема долгосрочных зависимостей
Математическая проблема обучения долгосрочных зависимостей в рекуррентных 
сетях описана в разделе 8.2.5. Основная трудность состоит в том, что градиенты, рас-
пространяющиеся через много слоев, либо исчезают (в большинстве случаев), либо 
начинают взрывообразно расти (редко, но с большим уроном для оптимизации). 
Даже если предположить, что при заданных параметрах рекуррентная сеть устойчива 
(может хранить воспоминания без взрывного роста градиентов), все равно остается 
проблема назначения долгосрочным зависимостям экспоненциально меньших (из-за 
перемножения большого числа якобианов) весов, чем краткосрочным. Во многих ис-
точниках этот вопрос освещается более глубоко (Hochreiter, 1991; Doya, 1993; Bengio 
et al., 1994; Pascanu et al., 2013). В этом разделе мы подробнее опишем саму проблему, 
а в последующих – подходы к ее преодолению.
В рекуррентных сетях композиция одной и той же функции вычисляется много-
кратно – по одному разу на каждом временном шаге. Это может приводить к поведе-
нию, весьма далекому от линейного (рис. 10.15).
Координата входа
Проекция выхода
4
3
2
1
0
–1
–2
–3
–4
–60
–40
–20
0
20
40
60
1
2
3
4
5
6
Рис. 10.15 

Повторная композиция функций. Многократная композиция 
нелинейной функции (например, показанного здесь гиперболического тан-
генса) приводит к сильно нелинейному результату; обычно в большинстве 
точек производная очень мала, в некоторых велика, и часто наблюдается 
переход от возрастания к убыванию и наоборот. На этом рисунке показана 
линейная проекция 100-мерного скрытого состояния на одно измерение, 
отложенное по оси 
y
. По оси 
x
отложена координата начального состоя-
ния вдоль случайно выбранного направления в 100-мерном пространстве. 
Таким образом, этот график можно рассматривать как сечение графика 
многомерной функции. На графиках показана функция после каждого вре-
менного шага, или, эквивалентно, результат многократной композиции 
функции перехода с самой собой
В частности, композиция функция, применяемая в рекуррентных нейронных се-
тях, чем-то напоминает умножение матриц. Рекуррентное соотношение