Я. Гудфеллоу, И. Бенджио, А. Курвилль

334 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
Рис. 10.11 

Вычисление типичной двунаправленной рекуррентной ней-
ронной сети, которая должна обучиться отображать входные последова-
тельности 
x
на выходные последовательности 
y
, с функцией потерь 
L
(
t
)
на 
каждом шаге 
t
. Рекуррентные блоки 
h
распространяют информацию вперед 
во времени (слева направо), а блоки 
g
– назад во времени (справа нале-
во). Таким образом, в каждой точке 
t
выходные блоки 
o
(
t
)
могут пользовать-
ся сводной информацией о прошлом из входа 
h
(
t
)
и сводной информацией 
о будущем из входа 
g
(
t
)
В этом разделе мы обсудим, как обучить РНС отображать входную последователь-
ность на выходную необязательно такой же длины. Такая задача возникает во многих 
приложениях, например распознавании речи, машинном переводе и вопросно-ответ-
ных системах, где входные и выходные последовательности в обучающем наборе, во-
обще говоря, имеют разную длину (хотя их длины могут быть взаимосвязаны).
Вход такой РНС часто называют «контекстом». Мы хотим породить представле-
ние контекста 
C
. Контекст 
C
может быть вектором или последовательностью векто-
ров, агрегирующей входную последовательность 
X
= (
x
(1)
, …, 
x
(
n
x
)
).
Простейшая архитектура РНС для отображения одной последовательности пере-
менной длины на другую была предложена сначала в работе Cho et al. (2014a), а вскоре 
вслед за ней в работе Sutskever et al. (2014), авторы которой независимо разработали 
эту архитектуру и впервые применили ее к машинному переводу. Первая система осно-
вана на оценке предложений, генерируемых другой системой машинного перевода, а во 
второй используется автономная рекуррентная сеть для генерации переводов. Авто-
ры назвали эту архитектуру (рис. 10.12) кодировщик-декодер (encoder-decoder) или 
последовательность в последовательность (sequence-to-sequence). Идея очень проста: 

---

Архитектуры кодировщик-декодер или последовательность в последовательность 
