JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
(конкретный пример подобной матрицы внимания приведен на рис. 9.10). Как и все 
весовые параметры нейронной сети, модель внимания 
обучается
уделять внимание 
нужным вещам, вместо того чтобы жестко «зашивать» стратегию работы в коде. 
В результате модель оказывается гибкой и обладает большими возможностями: она 
может обучиться уделять внимание различным частям входной последовательности 
в зависимости от самой входной последовательности и сгенерированной на этот 
момент части выходной последовательности.
Дальнейшее обсуждение механизма «кодировщик — декодировщик» бессмыс­
ленно без анализа кода или открытия черных ящиков кодировщика и декодиров­
щика, а также механизма внимания. Если подобное обсуждение в общих чертах 
для вас недостаточно конкретно, прочитайте следующий раздел, в котором мы 
углубимся в детали модели. Если вы хотите лучше разобраться в основанной на 
механизме внимания архитектуре «кодировщик — декодировщик», затраченные 
на это усилия себя оправдают. Чтобы побудить вас его прочитать, скажем лишь, 
что эта же архитектура лежит, в частности, в основе самых современных моделей 
машинного перевода (например, Google Neural Machine Translation, GNMT), 
хотя число слоев LSTM в этих промышленных моделях намного больше и они 
обучаются на намного больших массивах данных, чем наша простая модель пре­
образования дат.
9.3.3. Заглянем глубже в модель 
«кодировщик — декодировщик», 
основанную на механизме внимания
На рис. 9.11 показаны подробности внутреннего устройства прямоугольников 
с рис. 9.10. Для наглядности лучше смотреть на него вместе с кодом создания моде­
ли — функцией 
createModel()
из файла 
date-conversion-attention/model.js
. Далее 
рассмотрим наиболее важные аспекты этого кода.
Во­первых, определяем несколько констант для слоев вложений и LSTM в ко­
дировщике и декодировщике:
const embeddingDims = 64;
const lstmUnits = 64;
Формируемая модель принимает два входных сигнала, так что нам придется 
воспользоваться функциональным API вместо последовательного API. Начнем 
с символических входных сигналов модели для входного сигнала кодировщика 
и декодировщика соответственно:
const encoderInput = tf.input({shape: [inputLength]});
const decoderInput = tf.input({shape: [outputLength]});
Как кодировщик, так и декодировщик применяют к своим входным последо­
вательностям слой вложений. Соответствующий код для кодировщика выглядит 
следующим образом:

---