Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
| 
v
) или математического 
ожидания выполняются просто. К сожалению, в большинстве графических моделей 
с несколькими скрытыми слоями апостериорные распределения не поддаются вы-
числению. В таких моделях любая операция точного вывода требует экспоненциаль-
ного времени. И эта проблема существует даже в некоторых однослойных моделях, 
например в модели разреженного кодирования.
В этой главе мы познакомимся с некоторыми приемами преодоления проблемы 
неразрешимого вывода. А в главе 20 опишем, как они применяются к обучению веро-
ятностных моделей, которые иначе оказались бы неразрешимыми, в т. ч. к глубоким 
сетям доверия и к глубоким машинам Больцмана.
Неразрешимые проблемы вывода в глубоком обучении обычно возникают из-за 
взаимодействий между латентными переменными в структурной графической моде-
ли. На рис. 19.1 показано несколько примеров. Это могут быть прямые взаимодей-
ствия в неориентированных моделях или «оправдывающие» взаимодействия между 
предками одного и того же видимого блока в ориентированных моделях.
19.1. Вывод как оптимизация
Во многих подходах к решению проблемы трудного вывода используется тот факт, 
что точный вывод можно описать как задачу оптимизации. Поэтому можно постро-
ить приближенный алгоритм вывода, аппроксимируя соответствующую задачу оп-
тимизации.
Для построения задачи оптимизации предположим, что имеется вероятностная 
модель, содержащая наблюдаемые переменные 
v
и латентные переменные 
h
. Мы хо-
тели бы вычислить логарифмическое распределение вероятности наблюдаемых дан-
ных log 
p
(
v
; 
θ
). Иногда вычислить log 
p
(
v
; 
θ
) слишком трудно, если исключение