Я. Гудфеллоу, И. Бенджио, А. Курвилль

552 

 
Глубокие порождающие модели 
Вывести условные распределения из совместного просто:
 
(20.7)
 
(20.8)
 
(20.9)
 
(20.10)
 
(20.11)
Поскольку в условии находятся видимые блоки 
v
, мы можем рассматривать их 
как постоянные относительно распределения 
P
(
h
| 
v
). Факторная природа условного 
распределения 
P
(
h
| 
v
) сразу же следует из возможности записать совместное рас-
пределение вектора 
h
в виде произведения (ненормированных) распределений от-
дельных элементов 
h
j
. Осталось только нормировать распределения индивидуальных 
бинарных 
h
j
.
 
(20.12)
 
(20.13)
 
(20.14)
Теперь можно выразить полное условное распределение скрытого слоя в виде фак-
торного распределения:
 
(20.15)
Точно так же можно показать, что и другое условное распределение, 
P
(
v
| 
h
), явля-
ется факторным:
 
(20.16)
20.2.2. Обучение ограниченных машин Больцмана
Поскольку ОМБ допускает эффективное вычисление и дифференцирование 
P~
(
v
), 
а также эффективную MCMC-выборку в виде блочной выборки по Гиббсу, то ее легко 
обучить любым из описанных в главе 18 методов обучения моделей с неразрешимы-
ми статистическими суммами: CD, SML (PCD), сопоставление отношений и т. д. По 
сравнению с другими неориентированными моделями, используемыми в глубоком 
обучении, ОМБ обучается относительно просто, поскольку мы можем точно вычис-
лить 
P
(