Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
| 
v
)||
p
(
h
| 
v
)) 
нужно вычислять математические ожидания относительно 
q
, поэтому, проектируя 
простое 
q
, мы можем упростить вычисление математических ожиданий. При про-
тивоположном направлении расхождения КЛ понадобилось бы вычислять матема-
тические ожидания относительно истинного апостериорного распределения. По-
скольку форма этого распределения определяется выбором модели, мы не можем 
точно спроектировать способ вычисления 
D
KL
(
p
(
h
| 
v
)||
q
(
h
| 
v
)), характеризующийся 
низкой стоимостью.
19.4.1. Дискретные латентные переменные
Вариационный вывод с дискретными латентными переменными относительно прост. 
Мы определяем распределение 
q
, обычно такое, в котором каждый фактор описы-
вается справочной таблицей дискретных состояний. В простейшем случае вектор 
h
бинарный, и мы можем принять предположение среднего поля, согласно которому 

---

Вариационный вывод и обучение 

537
q
является произведением отдельных 
h
i
. В таком случае можно параметризовать 
q
вектором 
h
ˆ, элементами которого являются вероятности. Тогда 
q
(
h
i
= 1 | 
v
) = 
h
ˆ
i
.
Решив, как представлять 
q
, мы затем просто оптимизируем параметры. Если ла-
тентные переменные дискретны, то это стандартная задача оптимизации. В принци-
пе, для выбора 
q
можно было бы применить любой алгоритм оптимизации, например 
градиентный спуск.
Поскольку эта оптимизация производится во внутреннем цикле алгоритма обуче-
ния, она должна быть очень быстрой. Для достижения нужной скорости обычно при-
меняются специальные алгоритмы для решения сравнительно небольших и простых 
задач за малое число итераций. Распространенный выбор – итерационный поиск не-
подвижной точки, т. е. решение уравнений вида
(19.18)
относительно 
h
ˆ
i
. Мы повторно обновляем различные элементы