JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 9. Глубокое обучение для последовательностей и текста
359
строку в матрице вложений, которая и будет вектором вложений для данного слова. 
Учтите, что поисковая таблица соответствий слов индексам не является частью слоя 
вложений — ее необходимо поддерживать в виде отдельной от модели сущности 
(см. пример в листинге 9.9).
Рис. 9.7.
Схематическая иллюстрация функционирования матрицы вложений. Каждой строке 
матрицы вложений соответствует слово в словаре, а столбцу — одно из измерений вложений. 
Значения элементов матрицы вложений, отраженные на схеме различными оттенками серого, 
выбраны случайным образом
Для последовательности слов, например, показанного на рис. 9.7 предложения не­
обходимо повторить процесс поиска для всех слов в правильном последовательном 
порядке и сформировать из полученных в результате векторов вложений двумерный 
тензор формы 
[sequenceLength,
embeddingDims]
, где 
sequenceLength
— число слов 
в предложении
1
. А что, если предложение включает повторяющиеся слова, не име­
ющие никакого значения, наподобие слова 
the
в примере на рис. 9.7? Просто не­
сколько раз включите в итоговый двумерный тензор один и тот же вектор вложений.
Вот несколько преимуществ вложений слов.
z
z
Они позволяют решить проблему размера унитарных представлений. 
embed-
dingDims
обычно намного меньше, чем 
vocabularySize
. Например, в одномерной 
сверточной сети, которую мы собираемся применить к набору данных IMDb, 
vocabularySize
составляет 10 000, а 
embeddingDims
— всего 128. Так что пред­
ставление содержащего 500 слов обзора фильма из набора данных IMDb потре­
бует всего 500 
×
128 = 64 тысяч чисел с плавающей точкой, вместо 500 
×
10 000 = 
= 5 000 000 чисел в случае унитарных представлений — намного более экономич­
ная векторизация.
1 
Для эффективного поиска вложений многих слов можно воспользоваться методом 
tf.gather(), с помощью которого скрыто реализован слой вложений в TensorFlow.js.

---

360