JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 9. Глубокое обучение для последовательностей и текста
357
Данные разделены на обучающий и проверочный наборы данных, которые авто­
матически скачиваются с сайта и записываются в каталог 
tmp
при выполнении 
команды обучения модели:
git clone https://github.com/tensorflow/tfjs-examples.git
cd tfjs-examples/sentiment
yarn
yarn train multihot
Если внимательно взглянуть на файл 
sentiment/data.js
, вы увидите, что ска­
чанные файлы данных не содержат собственно слов в виде строк символов. Слова 
в них представлены в виде 32­битных целых чисел. И хотя мы не будем подробно 
описывать код загрузки данных из этого файла, не помешает продемонстрировать 
в листинге 9.5 код федеративной векторизации предложений.
Листинг 9.5.
Федеративная векторизация предложений из функции loadFeatures()
Федеративно кодированные признаки представлены в виде двумерного тензора 
формы 
[numExamples,
numWords]
, где 
numWords
— размер словаря (в нашем слу­
чае 10 000). Эта форма не зависит от длины отдельных предложений, что сильно 
упрощает парадигму векторизации. Форма тензора загружаемых из файлов целевых 
признаков — 
[numExamples,
1]
, он включает негативные и позитивные метки в виде 
нулей и единиц соответственно.
К этим федеративным данным применим модель MLP. На самом деле мы никак 
не смогли бы применить к этим данным RNN, даже если бы хотели, поскольку при 
федеративном кодировании информация о порядке была утрачена. Мы поговорим 
о подходах на основе RNN в следующем разделе. Код создания MLP­модели, взятый 
из функции 
buildModel()
в файле 
sentiment/train.js
, выглядит (с некоторыми 
упрощениями) так, как показано в листинге 9.6.
Выполнив команду 
yarn
train
multihot
--maxLen
500
, вы увидите, что модель до­
стигает наилучшей степени безошибочности на проверочном наборе примерно 0,89. 
Это вполне приемлемая степень безошибочности, она существенно выше, чем при 
случайном гадании (0,5). А значит, для достижения приемлемой степени безоши­
бочности вполне достаточно учитывать лишь то, какие слова встречаются в обзоре. 
Например, слова наподобие 
enjoyable
(доставляющий удовольствие) и 
sublime
(потрясающий) ассоциируются с позитивными обзорами, а слова наподобие 
sucks

---

358