JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 10. Генеративное глубокое обучение
395
LSTM на достаточно большом наборе музыкальных произведений, можно ис­
пользовать ее для сочинения музыки, и она будет последовательно предсказывать 
очередную ноту по предыдущим
1
.
Рис. 10.3.
Оценки вероятностей после масштабирования на различные значения температуры (T). 
Более низкое значение T ведет к более «сосредоточенному» (менее стохастическому) 
распределению; более высокое значение T выравнивает распределение по классам (более 
стохастическое распределение). Значение T, равное 1, соответствует исходным вероятностям 
(никаких изменений). Учтите, что относительная расстановка вариантов по местам всегда 
сохраняется, вне зависимости от значения T
10.2. Вариационные автокодировщики: 
поиск экономичного структурированного 
векторного представления изображений
В предыдущем разделе мы вкратце обсудили применение глубокого обучения для 
генерации таких последовательных данных, как текст. Теперь займемся создани­
ем нейронных сетей для генерации изображений. Мы изучим два типа моделей: 
вариационный автокодировщик (variational autoencoder, VAE) и генеративную 
1 
Huang A., Wu R.
Deep Learning for Music // submitted 15 June 2016. https://arxiv.org/
abs/1606.04930.

---

396
Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
состязательную сеть (generative adversarial network, GAN). По сравнению с GAN, 
VAE структурно проще и насчитывает более длинную историю, а потому может 
послужить хорошим трамплином для прыжка в динамичный мир генерации изо­
бражений с помощью глубокого обучения.
10.2.1. Классический автокодировщик и VAE: 
основные понятия
На рис. 10.4 схематически показана общая архитектура автокодировщика. На пер­
вый взгляд автокодировщик кажется странной моделью, ведь размеры его вход­
ного и выходного изображений одинаковы. В простейшем случае функция потерь 
автокодировщика представляет собой MSE между входным и выходным сигналом. 
Это значит, что при обучении должным образом автокодировщик получает на входе 
изображение и возвращает, по существу, идентичное ему изображение. Для чего же 
может пригодиться такая модель?
Рис. 10.4.
Архитектура классического автокодировщика
На самом деле автокодировщики — важная разновидность генеративных моде­
лей, и они отнюдь не бесполезны. Ответ на вышеупомянутый вопрос связан с их 
архитектурой, напоминающей по форме песочные часы (см. рис. 10.4). Самая узкая, 
средняя часть автокодировщика представляет собой вектор с намного меньшим, по 
сравнению с входным и выходным изображениями, числом элементов. А потому про­
изводимое автокодировщиком преобразование изображения в изображение нетриви­
ально: сначала он преобразует входное изображение в очень сжатое представление, 
а затем восстанавливает изображение по этому представлению, без какой­либо до­

---