JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
layer: tf.layers.dense({
units: outputVocabSize,
activation: 'softmax'
})
}).apply(output);
Благодаря слою 
timeDistributed
на всех шагах используется один и тот же MLP. 
Слой 
timeDistributed
принимает на входе слой и многократно вызывает его для 
всех шагов по измерению времени (то есть второму измерению) своего входного 
сигнала. В результате форма входных признаков 
[null,
10,
128]
преобразуется 
в 
[null,
10,
13]
, где 
13
соответствует 11 возможным символам формата ISO­8601, 
а также двум специальным символам — дополняющему символу и символу начала 
последовательности.
Далее мы собираем все эти составные части воедино в объект 
tf.Model
с двумя 
входными сигналами и одним выходным:
const model = tf.model({
inputs: [encoderInput, decoderInput],
outputs: output
});
Для подготовки к обучению вызываем метод 
compile()
, указывая категориаль­
ную перекрестную энтропию в качестве функции потерь. Мы выбрали именно эту 
функцию потерь, поскольку наша задача преобразования, по сути, является задачей 
классификации — на каждом временном шаге выбирается один символ из множества 
всех возможных символов:
model.compile({
loss: 'categoricalCrossentropy',
optimizer: 'adam'
});
При выводе для получения выходного символа­«победителя» к выходному 
тензору модели применяется функция 
argMax()
. На каждом шаге преобразования 
выходной символ­«победитель» присоединяется к концу выходной последователь­
ности декодировщика для использования на следующем шаге преобразования (см. 
крайнюю справа стрелку на рис. 9.11). Как мы уже упоминали, в результате этого 
процесса преобразования постепенно формируется вся выходная последователь­
ность.
Материалы для дальнейшего изучения
z
z
Olah C.
Understanding LSTM Networks // blog, 27 Aug. 2015: 
http://mng.bz/m4Wa
.
z
z
Olah C., Carter S.
Attention and Augmented Recurrent Neural Networks // Distill, 8 
Sept. 2016: 
https://distill.pub/2016/augmented-rnns/
.
z
z
Karpathy A.
The Unreasonable Effectiveness of Recurrent Neural Networks // blog, 
21 May 2015: 
http://mng.bz/6wK6
.

---