Я. Гудфеллоу, И. Бенджио, А. Курвилль

z
∼
q
(
z
|
x
)
log 
p
model
(
x
| 
z
) – 
D
KL
(
q
(
z
| 
x
)||
p
model
(
z
)) 
(20.77)
≤
log 
p
model
(
x
). 
(20.78)
В равенстве (20.76) первый член – не что иное, как совместное логарифмическое 
правдоподобие видимых и латентных переменных относительно приближенного 
апостериорного распределения латентных переменных (как и в EM-алгоритме, с тем 
исключением, что здесь используется приближенное, а не точное апостериорное 
распределение). Если в качестве 
q
выбрано нормальное распределение с шумом, до-
бавленным к предсказанному среднему значению, то максимизация этого энтропий-
ного члена поощряет увеличение стандартного отклонения шума. В общем случае 
энтропийный член поощряет вариационное апостериорное распределение отдавать 
больше массы вероятности многим значениям 
z
, которые могли бы породить 
x
, а не 
сосредоточивать ее в одной точечной оценке наиболее вероятного значения. В равен-
стве (20.77) в первом члене легко распознать логарифмическое правдоподобие ре-
конструкции, встречающееся и в других автокодировщиках. Второй член пытается 

---

584 

 
Глубокие порождающие модели 
сблизить приближенное апостериорное распределение 
q
(
z
| 
x
) и априорное модель-
ное распределение 
p
model
(
z
).
В традиционных подходах к вариационному выводу и обучению 
q
выводится 
с помощью алгоритма оптимизации, обычно итеративного решения уравнений не-
подвижной точки (раздел 19.4). Это медленно и зачастую требует умения вычислять 
𝔼