Я. Гудфеллоу, И. Бенджио, А. Курвилль

538 

 
Приближенный вывод
(19.23)
(19.24)
(19.25)
(19.26)
(19.27)
Здесь требуется вычислять математические ожидания относительно 
p
(
h
| 
v
). К со-
жалению, 
p
(
h
| 
v
) – сложное распределение. На рис. 19.2 показана структура графов 
p
(
h
, 
v
) и 
p
(
h
| 
v
). Апостериорному распределению соответствует полный граф скры-
тых блоков, поэтому алгоритмы исключения переменных не помогут вычислить нуж-
ных математических ожиданий быстрее, чем полным перебором.
Рис. 19.2 

Структура графа модели бинарного разреженного кодирова-
ния с четырьмя скрытыми блоками. (
Слева
) Структура графа 
p
(
h
, 
v
)
. Отме-
тим, что ребра ориентированные и что два любых скрытых блока являют-
ся родителями каждого видимого блока. (
Справа
) Структура графа 
p
(
h
| 
v
)
. 
Чтобы учесть активные пути между сородителями, в апостериорном рас-
пределении должно быть проведено ребро между любыми двумя скрытыми 
блоками
Эту трудность можно разрешить, воспользовавшись вариационным выводом и ва-
риационным обучением.
Применим аппроксимацию среднего поля:
(19.28)
Латентные переменные в модели бинарного разреженного кодирования являются 
бинарными, поэтому для представления факторного распределения 
q
нам нужно прос-
то смоделировать 
m
распределений Бернулли 
q
(
h
i
| 
v
). Средние распределений Бер-

---

Вариационный вывод и обучение 
