JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
z
z
Вложения слов способны усваивать семантические связи между словами, по­
скольку не требуют жесткого упорядочения слов в словаре и дают возможность 
усвоения матрицы вложений с помощью обратного распространения ошибки, 
подобно всем прочим весовым коэффициентам нейронной сети. Векторы вложе­
ний слов с близкими значениями должны быть близки в пространстве вложений. 
Например, векторы слов со схожим смыслом 
very
и 
truly
должны быть ближе, чем 
у более далеких по смыслу слов 
very
и 
barely
. Почему? Интуитивно это можно 
понять так: если заменить несколько слов в обзоре фильма словами со схожим 
смыслом, хорошо обученная нейронная сеть должна выдать тот же результат 
классификации. Но это возможно лишь тогда, когда векторы вложений для всех 
соответствующих пар слов, представляющих собой входные данные для соот­
ветствующей части модели, близки друг к другу.
z
z
Кроме того, благодаря многомерности (например, 128­мерности) простран­
ства вложений векторы вложений могут захватывать различные аспекты слов. 
Например, одно измерение может отражать часть речи, и в нем прилагательное 
fast
ближе к прочим прилагательным (таким как 
warm
), чем к существительным 
(например, 
house
). А другое измерение может кодировать род слова, и в нем сло­
во 
actress
будет ближе к другому слову женского рода (такому как 
queen
), чем 
к любому слову мужского рода (например, 
actor
). В следующем разделе (см. ин­
фобокс 9.2) мы покажем, как визуализировать вложения слов и исследовать 
интересные структуры, возникающие после обучения основанной на вложениях 
слов нейронной сети на наборе данных IMDb.
В табл. 9.1 приведена краткая сводка различий между унитарным/федеративным 
представлением и вложениями слов — двумя чаще всего используемыми парадиг­
мами векторизации слов.