Я. Гудфеллоу, И. Бенджио, А. Курвилль

10.11.2. Регуляризация с целью подталкивания 
информационного потока
Отсечение градиента помогает бороться с взрывными градиентами, но ничего не мо-
жет поделать с исчезающими. Говоря о решении проблемы исчезающих градиентов 
и о лучшем улавливании долгосрочных зависимостей, мы обсуждали идею создания 
путей в графе вычислений развернутой рекуррентной архитектуры, вдоль которых 
произведение градиентов, ассоциированных с ребрами, близко к 1. Один из способов 
сделать это дают LSTM-сети и другие механизмы петель и вентилей, рассмотренные 
в разделе 10.10. Еще одна идея – регуляризировать параметры или наложить на них 
ограничения, с тем чтобы подтолкнуть «информационный поток». Конкретно, мы 
хотели бы, чтобы распространяющийся обратно вектор градиента 
∇
h
(
t
)
L
сохранял аб-
солютную величину, даже если функция потерь штрафует только выход в конце по-
следовательности. Формально требуется, чтобы величина
 
(10.50)
была так же велика, как
∇
h
(
t
)
L
.
 
(10.51)

---

Явная память 

351
С этой целью в работе Pascanu et al. (2013) предложен такой регуляризатор:
 
(10.52)
Может показаться, что вычислить градиент этого регуляризатора трудно, но в ра-
боте Pascanu et al. (2013) предложена аппроксимация, в которой распространяющиеся 
обратно векторы 
∇
h
(
t
)
L
рассматриваются как постоянные (применительно к этому регу-
ляризатору, т. е. нет необходимости производить через них обратное распространение). 
Эксперименты показывают, что в сочетании с эвристикой отсечения по норме (для 
борьбы с взрывными градиентами) этот регуляризатор может значительно увеличить 
временную протяженность зависимостей, которым может обучиться РНС. Поскольку 
он удерживает динамику РНС на грани взрывного роста градиентов, отсечение осо-
бенно важно – без него рост градиентов не позволит обучению успешно завершиться. 
Главный недостаток этого подхода в низкой, по сравнению с LSTM, эффективности на 
задачах, где данных в изобилии, например в задаче моделирования языка.