Я. Гудфеллоу, И. Бенджио, А. Курвилль

v
∼
p
data
log 
p
(
v
) с помощью алгоритма сопоставительного расхождения или 
стохастической максимизации правдоподобия. Полученные параметры ОМБ опре-
деляют параметры первого слоя ГСД. Далее мы обучаем вторую ЛМБ приближенно 
максимизировать выражение
𝔼
v
∼
p
data
𝔼
h
(1)
∼
p
(1)
(
h
(1)
|
v
)
log 
p
(2)
(
h
(1)
), 
(20.21)
где 
p
(1)
– распределение вероятности, представленное первой ОМБ, а 
p
(2)
– распреде-
ление, представленное второй ОМБ. Иными словами, вторая ОМБ обучается моде-
лировать распределение, определенное выборкой из скрытых блоков первой ОМБ, 
тогда как первая ОМБ управляется данными. Эту процедуру можно повторять бес-
конечно, добавляя в ГСД столько слоев, сколько необходимо, при этом каждая новая 
ОМБ будет моделировать выборку из предыдущей. Каждая ОМБ определяет оче-
редной слой ГСД. Эту процедуру можно обосновать как увеличение вариационной 
нижней границы логарифмического правдоподобия данных в модели ГСД (Hinton 
et al., 2006).
В большинстве приложений не предпринимается никаких усилий для совместного 
обучения ГСД после завершения жадной послойной процедуры. Однако можно про-
вести окончательную настройку с помощью алгоритма бодрствования-сна.
Обученную ГСД можно использовать непосредственно в качестве порождающей 
модели, но интерес к ГСД связан в основном с их способностью улучшать модели 
классификации. Мы можем воспользоваться весами из ГСД для определения много-
слойного перцептрона:
h
(1)
= 
σ
(
b
(1)
+