Я. Гудфеллоу, И. Бенджио, А. Курвилль

10.9.3. Удаление связей
Еще один подход к обработке долгосрочных зависимостей – организация состояния 
РНС в нескольких временных масштабах (El Hihi and Bengio, 1996) с целью упрос-
тить протекание информации на большое расстояние в более медленном масштабе.
Эта идея отличается от прямых связей сквозь время, поскольку подразумевается 
активное 
удаление
связей длины 1 и замена их более длинными. Модифицирован-
ные таким способом блоки вынуждены работать в более протяженном временном 
масштабе. Прямые связи 
добавляют
ребра. Блоки, получившие новые связи, могут 
обучить ся работе в протяженном временном масштабе, но могут поступить и наобо-
рот, предпочтя другие, более короткие связи.
Есть несколько способов принудить группу рекуррентных блоков к работе в раз-
ных временных масштабах. Один из них – сделать рекуррентные блоки протекаю-
щими, но ассоциировать разные группы блоков с разными фиксированными времен-
ными маштабами. Эта идея предложена в работе Mozer (1992) и успешно воплощена 
в работе Pascanu et al. (2013). Другой способ – производить явные дискретные обнов-
ления в разные моменты времени с разной частотой для разных групп блоков. Этот 
подход применен в работах El Hihi and Bengio (1996) и Koutnik et al. (2014). Он по-
казал хорошие результаты на ряде эталонных наборов данных.
10.10. Долгая краткосрочная память 
и другие вентильные РНС
На момент написания книги самыми эффективными моделями последовательностей 
в практических приложениях были 
вентильные РНС
(gated RNN). К ним относятся 
долгая краткосрочная память
(long short-term memory – LSTM) и сети, основанные 
на вентильных рекуррентных блоках.
Как и блоки с утечкой, вентильные РНС основаны на идее прокладывания таких 
путей сквозь время, на которых производные не обнуляются и не устремляются резко 
вверх. В случае блоков с утечкой это достигалось с помощью весов связей – посто-
янных, задаваемых вручную или являющихся параметрами. Вентильные РНС обоб-
щают эту идею на веса связей, которые могут изменяться на каждом временном шаге.

---

Долгая краткосрочная память и другие вентильные РНС 

345
Блоки с утечкой позволяют сети 
накапливать
информацию (например, свидетель-
ства в пользу конкретного признака или категории) на протяжении длительного вре-
мени. Но иногда полезно, чтобы после использования этой информации нейронная 
сеть забыла старое состояние. Например, если последовательность состоит из под-
последовательностей и мы хотим, чтобы блок с утечкой накапливал свидетельства 
внутри каждой подпоследовательности, то необходим механизм забывания старого 
состояния – сброса его в нуль. И хорошо бы, чтобы нейронная сеть обучилась, когда 
это нужно делать, не обременяя нас принятием решения. Именно для этого и предна-
значены вентильные РНС.