JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 9. Глубокое обучение для последовательностей и текста
373
9.3.2. Архитектура «кодировщик — декодировщик» 
и механизм внимания
Это раздел поможет вам прочувствовать, как решаются задачи seq2seq с помощью 
архитектуры «кодировщик — декодировщик» и какую роль играет в ней механизм 
внимания. В следующем разделе эти механизмы обсуждаются во всех подробностях 
и приводится соответствующий код.
До сих пор выходной сигнал всех приведенных в этой книге нейронных сетей 
представлял собой одиночный элемент. Для сети регрессии выходной сигнал пред­
ставлял собой одно число, для сети классификации — одно распределение вероятно­
сти по нескольким возможным категориям. Задача же преобразования дат, которую 
мы решаем, от них отличается: нам нужно предсказать не один элемент, а несколько. 
А именно, требуется предсказать ровно десять символов формата даты ISO­8601. 
Как сделать это с помощью нейронной сети?
Решение таково: создать сеть, на выходе которой — последовательность элемен­
тов. В частности, поскольку выходная последовательность состоит из дискретных 
символов «алфавита», включающего ровно 11 элементов (цифры с 0 до 9, а также 
дефис), форма выходного тензора сети может быть трехмерной: 
[numExamples,
OUTPUT_LENGTH,
OUTPUT_VOCAB_SIZE]
. Первое измерение (
numExamples
) — обычное 
измерение примеров данных, позволяющее обрабатывать данные по батчам, как и во 
всех прочих сетях в этой книге. 
OUTPUT_LENGTH
равно 
10
, это фиксированная длина 
выходного строкового значения для даты в формате ISO­8601. 
OUTPUT_VOCAB_SIZE
— 
длина выходного словаря (точнее, выходного «алфавита»), включающего цифры от 
0 до 9 и символ дефиса (
-
), помимо нескольких специальных символов, которые мы 
обсудим далее.
Вот и все о выходном сигнале модели. А как насчет входных данных? Оказыва­
ется, модель принимает на входе 
два
сигнала вместо одного. Нашу модель можно