Я. Гудфеллоу, И. Бенджио, А. Курвилль

20.5. Машины Больцмана 
для вещественных данных
Первоначально машины Больцмана разрабатывались для бинарных данных, но во 
многих приложениях, в т. ч. при моделировании изображений и звука, необходи-
мо представлять распределения вероятности вещественных значений. В некоторых 
случаях вещественные данные на отрезке [0, 1] можно рассматривать как представ-
ление математического ожидания бинарной случайной величины. Например, в ра-
боте Hinton (2000) полутоновые изображения в обучающем наборе рассматривают-
ся как определение вероятностей из диапазона [0,1]. Каждый пиксель определяет 
вероятность того, что бинарная величина принимает значение 1, и все бинарные пик-
сели выбираются независимо друг от друга. Это распространенная процедура вы-
числения бинарных моделей для наборов полутоновых изображений. Тем не менее 
с теоретической точки зрения этот подход не слишком хорош, а независимо выбран-
ные таким способом бинарные изображения напоминают шум. В этом разделе мы 
опишем машины Больцмана, определяющие плотность вероятности вещественных 
данных.

---

Машины Больцмана для вещественных данных 

567
20.5.1. ОМБ Гаусса–Бернулли
Ограниченные машины Больцмана можно разработать для многих экспоненциаль-
ных семейств условных распределений (Welling et al., 2005). Наиболее распростране-
ны ОМБ с бинарными скрытыми и вещественными видимыми блоками и нормаль-
ным условным распределением видимых блоков, среднее значение которого является 
функцией скрытых блоков.
Существует много способов параметризации ОМБ Гаусса–Бернулли. В частно-
сти, можно выбрать, использовать для нормального распределения ковариационную 
мат рицу или матрицу точности. Ниже будет описана формулировка с матрицей точ-
ности. Переформулирование с ковариационной матрицей не составляет труда. Мы 
хотим иметь условное распределение
p
(