JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 9. Глубокое обучение для последовательностей и текста
383
Резюме
z
z
Благодаря возможности выделять и усваивать заключенную в порядке элементов 
информацию RNN способны на большее, чем модели прямого распространения 
(например, MLP), при решении задач, связанных с обработкой последовательных 
входных данных. Мы показали это на примере применения simpleRNN и GRU 
к задаче предсказания температуры.
z
z
В TensorFlow.js доступны три типа слоев RNN: simpleRNN, GRU и LSTM. По­
следние два типа сложнее simpleRNN и используют более сложную внутреннюю 
структуру, чтобы обеспечить передачу информации о состоянии на большое 
число временн
ы
х шагов с целью устранения проблемы исчезающего градиента. 
GRU требуют меньшего объема вычислений, чем LSTM. На практике в большин­
стве задач, вероятно, имеет смысл применять GRU и LSTM.
z
z
При создании нейронных сетей для обработки текста необходимо сначала пред­
ставить текстовые входные данные в виде числовых векторов. Этот процесс 
называется векторизацией текста. Наиболее широко распространенные методы 
векторизации текста — унитарное и федеративное кодирование, а также облада­
ющий б
ó
льшими возможностями метод вложений слов.
z
z
В методе вложений слов каждое слово представляется в виде неразреженного 
вектора, значения элементов которого усваиваются сетью в ходе обратного рас­
пространения ошибки точно так же, как и все прочие весовые параметры ней­
ронной сети. Для выполнения вложений слов в TensorFlow.js служит функция 
tf.layers.embedding()
.
z
z
Задачи преобразования последовательностей в последовательности (seq2seq) 
отличаются от задач регрессии и классификации на основе последовательностей 
тем, что в качестве выходного сигнала генерируется новая последовательность. 
При создании предназначенной для решения задач seq2seq архитектуры «коди­
ровщик — декодировщик» могут использоваться RNN (наряду с прочими типами 
слоев).
z
z
В задачах seq2seq благодаря механизму внимания различные элементы выход­
ной последовательности могут выборочно зависеть от определенных элементов 
входной последовательности. Мы показали, как обучить сеть типа «кодиров­
щик — декодировщик» на основе механизма внимания для решения простой 
задачи преобразования дат и визуализировать матрицу внимания во время вы­
полнения вывода.

---