Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
обходится дорого. Вместо этого мы можем вычислить нижнюю границу 
ℒ
(
v
, 
θ
, 
q
) ве-
личины log 
p
(
v
; 
θ
). Эта граница называется 
нижней границей свидетельств
(evidence 

---

Вывод как оптимизация 

531
lower bound – ELBO), а также отрицательной 
вариационной свободной энергией
. 
Точнее говоря, нижняя граница свидетельств определена как
ℒ
(
v
, 
θ
, 
q
) = log 
p
(
v
; 
θ
) – 
D
KL
(
q
(
h
| 
v
)||
p
(
h
| 
v
; 
θ
)), 
(19.1)
где 
q
– произвольное распределение вероятности 
h
.
Рис. 19.1 

Неразрешимые проблемы вывода в глубоком обучении обыч-
но являются результатом взаимодействий между латентными переменны-
ми в структурной графической модели. Эти взаимодействия могут быть 
вызваны ребрами, непосредственно соединяющими две латентные пере-
менные, или более длинными путями, которые 
активируются
, когда пото-
мок V-структуры – наблюдаемая переменная. (Слева) 
Полуограниченная 
машина Больцмана
(Osindero and Hinton, 2008) со связями между скры-
тыми блоками. Из-за этих прямых связей между латентными переменными 
апостериорное распределение неразрешимо, поскольку имеются большие 
клики латентных переменных. (
В центре
) Для глубокой машины Больцмана, 
состоящей из слоев переменных без внутрислойных связей, апостериор-
ное распределение все равно неразрешимо из-за связей между слоями. 
(
Справа
) В этой ориентированной модели взаимодействия между латент-
ными переменными присутствуют, когда видимые переменные наблюдае-
мые, поскольку каждые две латентные переменные являются родителями 
одной видимой. В некоторых вероятностных моделях вывод латентных 
переменных все-таки возможен, несмотря на изображенные на рисунке 
графические структуры. Так бывает, когда условные распределения вероят-
ности выбраны так, что вносят дополнительные отношения независимости 
помимо представленных в графе. Например, в вероятностном методе глав-
ных компонент структура графа такая, как на правом рисунке, но вывод тем 
не менее простой благодаря специальным свойствам конкретных услов ных 
распределений (линейная комбинация нормальных распределений с вза-
имно ортогональными базисными векторами)
Поскольку разность между log 
p
(