JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 9. Глубокое обучение для последовательностей и текста
379
ние — это скалярное произведение (поэлементное) выходного сигнала LSTM­слоя 
кодировщика и выходного сигнала LSTM­слоя декодировщика с последующей 
многомерной логистической функцией активации:
let attention = tf.layers.dot({axes: [2, 2]}).apply([decoder, encoder]);
attention = tf.layers.activation({
activation: 'softmax',
name: 'attention'
}).apply(attention);
Форма выходного сигнала LSTM­слоя кодировщика — 
[null,
12,
64]
, где 
12
— 
длина входной последовательности, а 
64
— размер LSTM­слоя. Форма выходного 
сигнала LSTM­слоя декодировщика — 
[null,
10,
64]
, где 
10
— длина выходной по­
следовательности, а 
64
— размер LSTM­слоя. Скалярное произведение между ними 
определяется по последнему измерению (измерению LSTM­признаков), и получается 
форма 
[null,
10,
12]
(то есть 
[null,
inputLength,
outputLength]
). В результате приме­
нения к скалярному произведению многомерной логистической функции активации 
значения превращаются в оценки вероятности, которые заведомо неотрицательны 
и в сумме по каждому столбцу матрицы равны 1. Эта матрица внимания играет глав­
ную роль в нашей модели. Именно ее значение было визуализировано на рис. 9.9.
Далее матрица внимания применяется к выходной последовательности LSTM­
слоя кодировщика, посредством чего процесс преобразования обучается уделять 
внимание различным элементам входной последовательности (в закодированной 
форме) на каждом из шагов. Результат применения механизма внимания к входному 
сигналу кодировщика называется 
контекстом
(context):
const context = tf.layers.dot({
axes: [2, 1],
name: 'context'
}).apply([attention, encoder]);
Форма контекста — 
[null,
10,
64]
(то есть 
[null,
outputLength,
lstmUnits]
). 
Он склеивается с выходным сигналом декодировщика, также формы 
[null,
10,
64]
. 
Таким образом, форма результата конкатенации будет 
[null,
10,
128]
:
const decoderCombinedContext =
tf.layers.concatenate().apply([context, decoder]);
decoderCombinedContext
содержит векторы признаков, попадающие в последний 
этап модели, на котором генерируются выходные символы.
Эти выходные символы генерируются с помощью MLP, включающего один 
скрытый слой и выходной слой с многомерной логистической функцией:
let output = tf.layers.timeDistributed({
layer: tf.layers.dense({
units: lstmUnits,
activation: 'tanh'
})
}).apply(decoderCombinedContext);
output = tf.layers.timeDistributed({

---

380