JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 10. Генеративное глубокое обучение
405
При обсуждении модели simple­object­detection в главе 5 мы рассказывали, как 
в TensorFlow.js можно описать пользовательскую функцию потерь. Здесь для обуче­
ния VAE нам как раз нужна пользовательская функция потерь, поскольку она будет 
суммой двух составляющих: одна выражает количественно расхождение входного 
и выходного сигналов, а вторая — статистические свойства латентного пространства. 
Это напоминает пользовательскую функцию потерь модели simple­object­detection, 
которая была суммой составляющей, отвечающей за классификацию объекта, и вто­
рой, отвечающей за определение его местоположения.
Как вы видите из кода в листинге 10.7 (из файла 
fashion-mnist-vae/model.js
), 
описание члена расхождения входного и выходного сигналов не доставляет сложно­
стей: мы просто вычисляем MSE между исходным входным и выходным сигналами 
декодировщика. Однако статистическая составляющая — так называемое 
расстояние 
Кульбака — Лейблера
(Kullbach­Leibler divergence) — сложнее с математической 
точки зрения. Мы избавим вас от математических подробностей
1
, но на интуитивном 
уровне компонент расстояния Кульбака — Лейблера (
klLoss
в приведенном коде) 
обеспечивает более равномерное распределение различных входных изображений 
вокруг центра латентного пространства, что упрощает для декодировщика задачу их 
интерполяции. Таким образом, компонент 
klLoss
можно считать своего рода членом 
уравнения, отвечающим за регуляризацию, дополнительно к основному члену, от­
вечающему в VAE за расхождение входного и выходного сигналов.
Листинг 10.7.
Функция потерь для VAE
Еще одна недостающая составляющая, необходимая для обучения нашего VAE, — 
оптимизатор и использующий его шаг обучения. Мы воспользуемся популярным 
оптимизатором ADAM (
tf.train.adam()
). Шаг обучения VAE отличается от об­
учения всех прочих моделей в этой книге тем, что не использует методов 
fit()
или 
fitDataset()
объекта модели, а вызывает метод 
minimize()
оптимизатора 
1 
Более детальное описание расстояния Кульбаха — Лейблера вы можете найти в следу­
ющем сообщении из блога Ирхума Шавката: http://mng.bz/vlvr.

---

406