Я. Гудфеллоу, И. Бенджио, А. Курвилль

Рис. 10.10 

Условная рекуррентная нейронная сеть, отображающая по-
следовательность значений 
x
переменной длины в распределение после-
довательностей значений 
y
такой же длины. По сравнению с рис. 10.3, эта 
РНС содержит связи между предыдущим выходом и текущим состоянием. 
Эти связи позволяют РНС моделировать произвольное распределение по-
следовательностей 
y
при условии последовательностей 
x
такой же длины. 
РНС на рис. 10.3 способна представить только распределения, в которых 
значения 
y
условно независимы друг от друга при условии значений 
x
10.3. Двунаправленные РНС
Все рассмотренные до сих пор рекуррентные сети имели «каузальную» структуру, 
т. е. на состояние в момент 
t
влияет только информация в прошлые моменты времени 

---

Архитектуры кодировщик-декодер или последовательность в последовательность 

333
x
(1)
, …, 
x
(
t
–1)
и текущий вход 
x
(
t
)
. Некоторые обсуждавшиеся модели допускают также 
влияние прошлых значений 
y
на текущее состояние, если значения 
y
доступны.
Но во многих приложениях мы хотим получать предсказание 
y
(
t
)
, которое может 
зависеть от всей входной последовательности. Например, в задаче распознавания 
речи правильная интерпретация текущего звука как фонемы может зависеть от не-
скольких следующих фонем из-за коартикуляции и даже от нескольких следующих 
слов из-за лингвистических зависимостей между соседними словами: если акустиче-
ски допустимы две интерпретации текущего слова, то, чтобы различить их, возмож-
но, понадобится заглянуть далеко в будущее (или в прошлое). Это относится также 
к распознаванию рукописных текстов и многих других задач обучения одной после-
довательности на основе другой, рассматриваемых в следующем разделе.
Двунаправленные рекуррентные нейронные сети были придуманы для удовлетво-
рения именно этой потребности (Schuster and Paliwal, 1997). Они оказались чрезвы-
чайно успешными (Graves, 2012) в распознавании рукописных текстов (Graves et al., 
2008; Graves and Schmidhuber, 2009), распознавании речи (Graves and Schmidhuber, 
2005; Graves et al., 2013) и биоинформатике (Baldi et al., 1999).
Как следует из самого названия, двунаправленные РНС являются комбинацией 
РНС, движущейся вперед во времени (от начала последовательности к ее концу), 
и РНС, движущейся в обратном направлении. На рис. 10.11 показана типичная дву-
направленная РНС;