Я. Гудфеллоу, И. Бенджио, А. Курвилль

Рис. 12.5 

Архитектура кодировщик-декодер, реализующая отобра-
жение между поверхностным представлением (например, последова-
тельностью слов или изображением) и семантическим представлением. 
Кодировщик преобразует данные, представленные в одной модальности 
(например, предложение на французском языке в скрытое представление, 
улавливающее смысл предложения), и его выход подается на вход деко-
дера, ориентированного на другую модальность (например, преобразую-
щего скрытое семантическое представление в предложение на английском 
языке). Применяя кодировщик и декодер, мы можем обучить систему для 
перевода из одной модальности в другую. Эта идея с успехом применялась 
не только к машинному переводу, но и для генерации подписей к изобра-
жениям
Чтобы сгенерировать все предложение, обусловленное предложением на исход-
ном языке, модель должна как-то представить целое исходное предложение. Ранние 
модели умели представлять только отдельные слова или фразы. Было бы полезно 
обучить такое представление, что предложения с одинаковым смыслом имеют схо-
жие представления и на исходном, и на целевом языке. Сначала была предпринята 
попытка реализовать такую стратегию с использованием комбинации свертки с РНС 
(Kalchbrenner and Blunsom, 2013). Позже РНС стала применяться для оценки пред-
ложенных переводов (Cho et al., 2014a) и порождения переведенных предложений 
(Sutskever et al., 2014). В работе Jean et al. (2014) эти модели масштабированы на 
словари большего размера.
12.4.5.1. Использование механизма внимания 
и совмещение частей данных
Уловить все семантические детали очень длинного предложения, скажем из 60 слов, 
в представлении фиксированного размера крайне трудно. Этого можно добиться, 
обучая достаточно большую РНС в течение достаточно длительного времени, как 
показано в работах Cho et al. (2014a) и Sutskever et al. (2014). Но есть и более эф-
фективный подход: прочитать все предложение или абзац (чтобы получить контекст 
и в общих чертах понять, о чем речь), а затем порождать переводы слов по одному, 
всякий раз фокусируясь на новой части входного предложения, чтобы собрать семан-
тические детали, необходимые для порождения следующего слова. Эта идея впервые 
была реализована в работе Bahdanau et al. (2015). Механизм внимания, использо-

---