Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
(1)
, …, 
y
(
n
y
)
по входной последователь-
ности 
x
(1)
, 
x
(2)
, …, 
x
(
n
x
)
. Сеть состоит из кодирующей РНС, которая читает 
входную последовательность, и декодирующей РНС, которая генерирует 
выходную последовательность (или вычисляет вероятность заданной вы-
ходной последовательности). Конечное скрытое состояние кодирующей 
РНС используется для вычисления контекстной переменной 
C
фиксирован-
ного размера, которая представляет собой семантическую сводку входной 
последовательности и подается на вход декодирующей РНС
Если контекстом 
C
является вектор, то декодирующая РНС – обычная РНС, 
отобра жающая вектор в последовательность, описанная в разделе 10.2.4. Как мы ви-

---

336 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
дели, существуют, по меньшей мере, два способа организовать вход такой РНС. Вхо-
дом можно считать начальное состояние РНС, или вход можно соединять со скрыты-
ми блоками на каждом временном шаге. Можно также сочетать оба способа.
Не требуется, чтобы размеры скрытого слоя кодировщика и декодера совпадали.
Очевидное ограничение этой архитектуры проявляется, когда размер контекста 
C
, 
порождаемого кодировщиком, слишком мал для формирования надлежащей сводки 
длинной последовательности. Это явление отмечено в работе Bahdanau et al. (2015) 
в применении к машинному переводу. Авторы предложили сделать 
C
последователь-
ностью переменной длины, а не вектором фиксированной длины. Кроме того, они вве-
ли 
механизм внимания
, который обучается ассоциировать элементы последователь-
ности 
C
с элементами выходной последовательности. Детали см. в разделе 12.4.5.1.