Я. Гудфеллоу, И. Бенджио, А. Курвилль

векторными представлениями
, или 
погружениями слов
(word embedding). При такой интерпретации мы рассматриваем 
исходные символы как точки в пространстве с числом измерений, равным размеру 
словаря. А векторное представление погружает эти точки в пространство призна-
ков меньшей размерности. В исходном пространстве каждое слово представляется 
унитарным вектором, т. е. евклидово расстояние между любой парой слов равно 
√
_
2. 
В пространстве признаков близки слова, часто встречающиеся в похожих контекстах 
(или любая пара слов с общими «признаками», которым обучилась модель). Часто это 
приводит к тому, что слова с похожим смыслом оказываются соседями. На рис. 12.3 

---

Обработка естественных языков 

391
приведены некоторые области пространства обученных признаков слов, чтобы пока-
зать, как семантически похожие слова отображаются в близкие представления.
Нейронные сети в других предметных областях также определяют погружения. 
Например, скрытый слой сверточной сети определяет «погружение изображения». 
Но для специалистов по ОЕЯ идея погружения представляет особый интерес, по-
тому что изначально естественный язык не лежит в вещественном векторном прост-
ранстве. Скрытый слой дает качественно иное представление данных, существенно 
отличающееся от исходного.
–6
–7
–8
–9
–10
–11
–12
–13
–14
22
21
20
19
18
17
–34 –32 –30 –28 –26
35.0 35.5 36.0 36.5 37.0 37.5 38.0
Рис. 12.3 

Двумерная визуализация погружения слов, полученных от 
нейронной модели машинного перевода (Bahdanau et al., 2015). Выделе-
ны области, где векторы, соответствующие семантически родственным 
словам, близки друг к другу. Слева показаны страны, справа – числа. Не 
забывайте, что двумерное векторное представление показано только для 
наглядности. В реальных приложениях размерность векторного представ-
ления обычно выше, поскольку одновременно улавливаются различные 
аспекты сходства между словами
Идея использования распределенных представлений для улучшения моделей 
обработки естественных языков не ограничивается нейронными сетями. Ее можно 
распространить и на графические модели, имеющие распределенные представления 
в форме нескольких скрытых переменных (Mnih and Hinton, 2007).