Я. Гудфеллоу, И. Бенджио, А. Курвилль

z
∼
q
log 
p
model
(
z
, 
x
) в замкнутой форме. Основная идея вариационного автокодировщи-
ка – обучить параметрический кодировщик (который иногда называют сетью вывода 
или моделью распознавания), порождающий параметры 
q
. Если 
z
– непрерывная пе-
ременная, то мы тогда сможем выполнить обратное распространение через примеры 
z
, выбранные из 
q
(
z
| 
x
) = 
q
(
z
; 
f
(
x
; 
θ
)), для получения градиента по 
θ
. В таком случае 
обучение состоит просто из максимизации 
ℒ
относительно параметров кодировщика 
и декодера. Все математические ожидания в 
ℒ
можно аппроксимировать с помощью 
выборки методом Монте-Карло.
Подход на основе вариационного автокодировщика элегантный, теоретически 
удовлетворительный и простой в реализации. Ко всему прочему, он дает отличные 
результаты и входит в число передовых подходов к порождающему моделированию. 
Главный недостаток заключается в том, что выборки из вариационных автокодиров-
щиков, обученных на изображениях, получаются несколько размытыми. Причина 
этого феномена до сих пор неясна. Возможно, что размытость – свойство, внутренне 
присущее критерию максимального правдоподобия, по которому минимизируется 
D
KL
(
p
data
||
p
model
). Как показано, на рис. 3.6. это означает, что модель назначает высокую 
вероятность точкам, которые встречаются в обучающем наборе, и, возможно, каким-
то другим точкам. Вот эти другие точки и могут включать размытые изображения. 
Отчасти причина того, что модель предпочитает назначать большую массу вероят-
ности размытым изображениям, а не каким-то другим частям пространства, состоит 
в том, что вариационные автокодировщики, применяемые на практике, обычно име-
ют нормальное распределение 
p
model
(