Я. Гудфеллоу, И. Бенджио, А. Курвилль

Глава 
20
Глубокие
порождающие модели
В этой главе мы опишем несколько порождающих моделей специального вида, кото-
рые можно построить и обучить, применяя методы из глав 16–19. Все эти модели так 
или иначе представляют распределения вероятности нескольких случайных вели-
чин. В одних функцию распределения вероятности можно вычислить явно, в других 
это невозможно, но зато поддерживаются операции, неявно использующие знания 
о распределении, например выборка. Одни представляют собой структурные вероят-
ностные модели, описываемые в терминах графов и факторов на языке графических 
моделей, с которым мы познакомились в главе 16. Другие нельзя описать в терминах 
факторов, но распределения вероятности они тем не менее представляют.
20.1. Машины Больцмана
Машины Больцмана первоначально были предложены как общий «коннекционист-
ский» подход к обучению произвольных распределений вероятности бинарных век-
торов (Fahlman et al., 1983; Ackley et al., 1985; Hinton et al., 1984; Hinton and Sejnowski, 
1986). Но варианты машин Больцмана со случайными величинами других видов по 
популярности давно превзошли оригинал. В этом разделе мы кратко рассмотрим 
бинарную машину Больцмана и обсудим, какие проблемы возникают при попытке 
обучить модель и выполнить с ее помощью вывод.
Мы определим машину Больцмана над 
d
-мерным бинарным случайным вектором 
x
∈
{0, 1}
d
. Машина Больцмана – это энергетическая модель (см. раздел 16.2.4), т. е. 
совместное распределение вероятности определяется с помощью функции энергии:
(20.1)
где 
E
(
x
) – функция энергии, а 
Z
– статистическая сумма, гарантирующая, что 
Σ
x
P
(
x
) = 1. Функция энергии машины Больцмана имеет вид
E
(