Я. Гудфеллоу, И. Бенджио, А. Курвилль

400 

 
Приложения
ванный для фокусирования на отдельных частях входного предложения на каждом 
временном шаге, иллюстрируется на рис. 12.6.
Рис. 12.6 

Современный механизм внимания, введенный в работе
Bahdanau et al. (2015), по существу, представляет собой взвешенное 
среднее. Вектор контекста 
c
образуется путем вычисления взвешенного 
среднего векторов признаков 
h
(
t
)
с весами 
α
(
t
)
. В некоторых приложениях 
векторы признаков 
h
– скрытые блоки нейронной сети, но это могут быть 
и исходные данные модели. Веса 
α
(
t
)
порождает сама модель. Обычно это 
значения из отрезка [0, 1], которые концентрируются вокруг единственного 
значения 
h
(
t
)
, чтобы взвешенное среднее аппроксимировало чтение имен-
но на этом временном шаге. Как правило, веса 
α
(
t
)
являются результатом 
применения функции softmax к оценкам релевантности, вычисленным дру-
гой частью модели. Вычислительно механизм внимания дороже прямого 
индексирования желаемого 
h
(
t
)
, но прямому индексированию невозможно 
обучиться методом градиентного спуска. Механизм внимания, основанный 
на взвешенных средних, – гладкая дифференцируемая аппроксимация, до-
пускающая обучение существующими алгоритмами оптимизации
Можно считать, что система с механизмом внимания состоит из трех компонентов:
1) процесс, который 
читает
исходные данные (например, слова исходного пред-
ложения) и преобразует их в распределенное представление, ассоциируя один 
вектор признаков с каждой позицией слова;
2) список векторов признаков, построенный читателем. Его можно трактовать как 
память
, содержащую последовательность фактов, которые можно впоследствии 
извлекать, необязательно в том же порядке и необязательно перебирая все;
3) процесс, который последовательно выполняет некоторую задачу, 
обращаясь
к содержимому памяти. На каждом временном шаге у него есть возможность ак-
центировать внимание на содержимом одного элемента памяти (или несколь-
ких, с разными весами).
Третий компонент порождает переведенное предложение.
Когда слова предложения, написанного на одном языке, совмещаются с соответ-
ственными словами переведенного предложения, становится возможным сопоста-
вить соответствующие погружения слов. В более ранней работе показано, как обучить 
своего рода матрицу перевода, сопоставляющую погружения слов на разных языках 

---

Обработка естественных языков 

401
(Kocisky

et al., 2014), получив при этом меньшую частоту ошибок совмещения, чем 
в традиционных решениях, основных на подсчете частот в таблице фраз. Существует 
и еще более ранняя работа по обучению межъязыковых векторов слов (Klementiev 
et al., 2012). Этот подход можно развить в разных направлениях. Например, более 
эффективное межъязыковое совмещение (Gouws et al., 2014) позволяет проводить 
обучение на бo

льших наборах данных.