JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 10. Генеративное глубокое обучение
401
выходных сигналов слоев. А логарифм дисперсии можно легко преобразовать 
в соответствующую дисперсию с помощью простой операции экспоненты.
2. Алгоритм VAE производит случайную выборку латентного вектора из латентного 
нормального распределения с помощью вектора 
epsilon
— случайного вектора 
той же длины, что 
zMean
и 
zLogVar
. Этот шаг, в литературе называемый 
репа-
раметризацией
(reparametrization), можно описать простым математическим 
уравнением:
z = zMean + exp(zLogVar * 0.5) * epsilon
В результате умножения на 0,5 дисперсия превращается в среднеквадратичное 
отклонение, поскольку оно равно корню квадратному из дисперсии. Эквивалентный 
код на JavaScript:
z = zMean.add(zLogVar.mul(0.5).exp().mul(epsilon));
(листинг 10.3). Далее 
z
подается на вход декодировщика VAE для генерации вы­
ходного изображения.
Листинг 10.3.
Выборка из латентного пространства (z-пространства) с помощью 
пользовательского слоя

---

402
Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
В нашей реализации VAE шаг дискретизации латентного вектора выполняется 
пользовательским слоем 
ZLayer
(см. листинг 10.3). Мы уже встречали пользователь­
ские слои TensorFlow.js в главе 9 (слой 
GetLastTimestepLayer
, использовавшийся 
в алгоритме преобразования дат на основе механизма внимания). Пользовательский 
слой нашего VAE несколько сложнее и заслуживает небольших пояснений.
Класс 
ZLayer
содержит два ключевых метода: 
computeOutputShape()
и 
call()
. 
computeOutputShape()
используется TensorFlow.js для определения выходной формы 
экземпляра 
Layer
по форме (­ам) входного сигнала. А сама математическая логика 
заключена в методе 
call()
. Он содержит вышеприведенную строку с уравнением. 
Следующий код взят из файла 
fashion-mnist-vae/model.js
.
Как демонстрирует листинг 10.4, сначала создается экземпляр 
ZLayer
для ис­
пользования в качестве части кодировщика. Кодировщик написан в виде функцио­
нальной модели, а не более простой последовательной модели, из­за нелинейной 
внутренней структуры и трех выходных сигналов: 
zMean
, 
zLogVar
и 
z
(рис. 10.7). 
Кодировщик выдает на выходе 
z
для дальнейшего использования декодировщиком, 
но зачем выходной сигнал кодировщика включает 
zMean
и 
zLogVar
? Дело в том, что 
они в дальнейшем применяются для вычисления функции потерь VAE, как вы скоро 
увидите.
Листинг 10.4.
Кодировщик нашего VAE (выдержка из файла fashion-mnist-vae/model.js)
Помимо 
ZLayer
, кодировщик включает два многослойных перцептрона, по одному 
скрытому слою каждый, используемых для преобразования схлопнутых входных изо­
бражений Fashion­MNIST в векторы 
zMean
и 
zLogVar
соответственно. Скрытый слой 
у этих MLP один, но выходные слои — отдельные. Подобная ветвящаяся топология 
модели возможна благодаря тому, что кодировщик — функциональная модель.

---