Я. Гудфеллоу, И. Бенджио, А. Курвилль

W
(1)
, …, 
W
(
l
)
, а также 
l
+ 1 век-
торов смещений 
b
(0)
, …, 
b
(
l
)
, где 
b
(0)
– смещения для видимого слоя. Распределение 
вероятности, представляемое ГСД, имеет вид:
P
(
h
(
l
)
, 
h
(
l
–1)
) 
∝ 
exp(
b
(
l
)
⏉
h
(
l
)
+ 
b
(
l
–1)
⏉
h
(
l
–1)
+ 
h
(
l
–1)
⏉
W
(
l
)
h
(
l
)
),
 
(20.17)
P
(
h
i
(
k
)
= 1 | 
h
(
k
+1)
) = 
σ
(
b
i
(
k
)
+ 
W
:;
i
(
k
+1)
⏉
h
(
k
+1)
)
∀
i
, 
∀
k
∈
1, …, 
l
– 2,
 
(20.18)
P
(
v
i
= 1 | 
h
(1)
) = 
σ
(
b
i
(0)
+ 
W
:;
i
(1)
⏉
h
(1)
)
∀
i
.
 
(20.19)
В случае вещественных видимых блоков подставляем
v
∼
𝒩
(
v
; 
b
(0)
+ 
W
(1)
⏉
h
(1)
, 
β
–1
),
 
(20.20)
где 
β
– диагональная матрица, иначе вычисления становятся слишком сложными. 
Обобщение на другие экспоненциальные семейства видимых блоков не вызывают 
трудностей, по крайней мере в теории. ГСД с единственным скрытым слоем – это 
просто ОМБ.
Чтобы произвести выборку из ГСД, мы сначала выполняем несколько шагов вы-
борки по Гиббсу для двух верхних скрытых слоев. На этом этапе, по существу, про-
изводится выборка из ОМБ, определенной этими двумя слоями. Затем можно при-
менить один проход предковой выборки к остальной части модели, чтобы произвести 
выборку из видимых блоков.
Глубокие сети доверия подвержены многим проблемам, присущим как ориентиро-
ванным, так и неориентированным моделям.
Вывод в глубокой сети доверия вычислительно неразрешим из-за эффекта оправ-
дания внутри каждого ориентированного слоя и взаимодействия между двумя скры-

---

554 

 
Глубокие порождающие модели 
тыми слоями с неориентированными связями. Вычисление или максимизация стан-
дартной нижней границы свидетельств для логарифмического правдоподобия также 
неразрешимы, поскольку в этой нижней границе участвует математическое ожида-
ние клик, размер которых равен ширине сети.
При вычислении или максимизации логарифмического правдоподобия прихо-
дится сталкиваться не только с проблемой неразрешимого вывода для исключения 
латентных переменных, но и с проблемой неразрешимой статистической суммы в не-
ориентированной модели двух верхних слоев.
Обучение глубокой сети доверия начинается с того, что мы обучаем ОМБ макси-
мизировать 
𝔼