Глава 10. Генеративное глубокое обучение
395
LSTM на достаточно большом наборе музыкальных произведений, можно ис
пользовать ее для сочинения музыки, и она будет последовательно предсказывать
очередную ноту по предыдущим
1
.
Рис. 10.3.
Оценки вероятностей после масштабирования на различные значения температуры (T).
Более низкое значение T ведет к более «сосредоточенному» (менее стохастическому)
распределению; более высокое значение T выравнивает распределение по классам (более
стохастическое распределение). Значение T, равное 1, соответствует исходным вероятностям
(никаких изменений). Учтите, что относительная расстановка вариантов по местам всегда
сохраняется, вне зависимости от значения T
10.2. Вариационные автокодировщики:
поиск экономичного структурированного
векторного представления изображений
В предыдущем разделе мы вкратце обсудили применение глубокого обучения для
генерации таких последовательных данных, как текст. Теперь займемся создани
ем нейронных сетей для генерации изображений. Мы изучим два типа моделей:
вариационный автокодировщик (variational autoencoder, VAE) и генеративную
1
Huang A., Wu R.
Deep Learning for Music // submitted 15 June 2016. https://arxiv.org/
abs/1606.04930.
396
Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
состязательную сеть (generative adversarial network, GAN). По сравнению с GAN,
VAE структурно проще и насчитывает более длинную историю, а потому может
послужить хорошим трамплином для прыжка в динамичный мир генерации изо
бражений с помощью глубокого обучения.
10.2.1. Классический автокодировщик и VAE:
основные понятия
На рис. 10.4 схематически показана общая архитектура автокодировщика. На пер
вый взгляд автокодировщик кажется странной моделью, ведь размеры его вход
ного и выходного изображений одинаковы. В простейшем случае функция потерь
автокодировщика представляет собой MSE между входным и выходным сигналом.
Это значит, что при обучении должным образом автокодировщик получает на входе
изображение и возвращает, по существу, идентичное ему изображение. Для чего же
может пригодиться такая модель?
Рис. 10.4.
Архитектура классического автокодировщика
На самом деле автокодировщики — важная разновидность генеративных моде
лей, и они отнюдь не бесполезны. Ответ на вышеупомянутый вопрос связан с их
архитектурой, напоминающей по форме песочные часы (см. рис. 10.4). Самая узкая,
средняя часть автокодировщика представляет собой вектор с намного меньшим, по
сравнению с входным и выходным изображениями, числом элементов. А потому про
изводимое автокодировщиком преобразование изображения в изображение нетриви
ально: сначала он преобразует входное изображение в очень сжатое представление,
а затем восстанавливает изображение по этому представлению, без какойлибо до
Do'stlaringiz bilan baham: |