Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
.
20.10.3. Вариационные автокодировщики
Вариационный автокодировщик, или VAE (Kingma, 2013; Rezende et al., 2014), – это 
ориентированная модель, в которой применяется обученный приближенный вывод 
и которую можно обучить с помощью одних лишь градиентных методов.
Для порождения выборки из модели VAE сначала выбирает пример 
z
из кодово-
го распределения 
p
model
(
z
). Затем этот пример прогоняется через дифференцируе-
мую генераторную сеть 
g
(
z
). Наконец, производится выборка 
x
из распределения 
p
model
(
x
, 
g
(
z
)) = 
p
model
(
x
| 
z
). Но на этапе обучения для получения 
z
используется сеть 
приближенного вывода (или кодировщик) 
q
(
z
| 
x
), и тогда 
p
model
(
x
| 
z
) рассматривается 
как декодирующая сеть.
Главная идея вариационных автокодировщиков заключается в том, что их можно 
обучить с помощью максимизации вариационной нижней границы 
ℒ
(
q
), ассоцииро-
ванной с точкой 
x
:
ℒ
(
q
) = 
𝔼
z
∼
q
(
z
|
x
)
log 
p
model
(
z
, 
x
) + 
ℋ
(
q
(
z
| 
x
)) 
(20.76)
= 
𝔼