Я. Гудфеллоу, И. Бенджио, А. Курвилль

10.10.1. Долгая краткосрочная память
Удачная мысль о введении петель для создания путей, по которым градиент может 
течь длительное время, – основной вклад в первоначальную модель долгой кратко-
срочной памяти (Hochreiter and Schmidhuber, 1997). Позднее было внесено важней-
шее дополнение – вес петли должен быть контекстно-обусловленным, а не фикси-
рованным (Gers et al., 2000). Сделав вес петли вентильным (управляемым другим 
скрытым блоком), мы можем динамически изменять временной масштаб интегри-
рования. В данном случае имеется в виду, что даже для LSTM с фиксированными 
параметрами временной масштаб интегрирования может изменяться в зависимости 
от входной последовательности, поскольку временные константы выводятся самой 
моделью. Идея LSTM оказалась чрезвычайно успешной во многих приложениях, 
например: неограниченное распознавание рукописных текстов (Graves et al., 2009), 
распознавание речи (Graves et al., 2013; Graves and Jaitly, 2014), порождение рукопис-
ных текстов (Graves, 2013), машинный перевод (Sutskever et al., 2014), подписывание 
изобра жений (Kiros et al., 2014b; Vinyals et al., 2014b; Xu et al., 2015) и грамматиче-
ский разбор (Vinyals et al., 2014a).
Принципиальная схема LSTM показана на рис. 10.16. Ниже приведены соответ-
ствующие уравнения прямого распространения для архитектуры мелкой рекуррент-
ной сети. Есть также примеры успешного использования более глубоких архитектур 
(Graves et al., 2013; Pascanu et al., 2014a). Вместо блока, который просто применяет 
поэлементную нелинейность к аффинному преобразованию входов и рекуррентным 
блокам, в рекуррентных LSTM-сетях имеются «LSTM-ячейки», обладающие внут-
ренней рекуррентностью (петлей) в дополнение к внешней рекуррентности РНС. 
У каждой ячейки такие же входы и выходы, как у обыкновенной рекуррентной сети, 
но еще имеются дополнительные параметры и система вентильных блоков, управ-
ляющих потоком информации. Самым важным компонентом является блок состоя-
ния 
s
i
(
t
)
с линейной петлей, аналогичный описанным выше блокам с утечкой. Однако 
теперь вес петли (или ассоциированная временна

я константа) управляется