Я. Гудфеллоу, И. Бенджио, А. Курвилль

335
(1) 
Кодировщик
или 
читатель
, или 
входная
РНС обрабатывает входную последова-
тельность. Кодировщик порождает контекст 
C
, обычно в виде простой функции конеч-
ного скрытого состояния. (2) 
Декодер
, или 
писатель
, или 
выходная
РНС обусловлена 
этим вектором фиксированной длины (как на рис. 10.9) и генерирует выходную по-
следовательность 
Y
= (
y
(1)
, …, 
y
(
n
y
)
). От представленных выше в этой главе архитектур 
эта отличается тем, что длины 
n
x
и 
n
y
могут различаться, тогда как в предыдущих архи-
тектурах действовало ограничение 
n
x
= 
n
y
= 
τ
. В архитектуре последовательность в по-
следовательность обе РНС совместно обучаются максимизировать среднее величины 
log 
P
(
y
(1)
, …, 
y
(
n
y
)
) | 
x
(1)
, …, 
x
(
n
x
)
) по всем парам последовательностей 
x
и 
y
в обучающем 
наборе. Последнее состояние 
h
n
x
кодирующей РНС обычно используется как представ-
ление 
C
входной последовательности, подаваемой на вход декодирующей РНС.
Кодировщик
Декодер
Рис. 10.12 

Пример архитектуры РНС типа кодировщик-декодер, или 
последовательность в последовательность, которая обучается генериро-
вать выходную последовательность