Я. Гудфеллоу, И. Бенджио, А. Курвилль

16.7.1. Пример: ограниченная машина Больцмана
Ограниченная машина Больцмана
(ОМБ) (Smolensky, 1986), или 
гармониум
, – ти-
пичный пример применения графических моделей в глубоком обучении. Сама по 
себе ОМБ не является глубокой моделью. У нее есть один слой латентных перемен-

---

Подход глубокого обучения к структурным вероятностным моделям 

493
ных, который можно использовать для представления входа. В главе 20 мы увидим, 
как можно использовать ОМБ для построения различных более глубоких моделей. 
А сейчас покажем, как ОМБ на практике воплощает многие идеи, применяемые в раз-
нообразных глубоких графических моделях: ее блоки организованы в большие груп-
пы, называемые слоями, связи между слоями описываются матрицей, связность от-
носительно плотная, при проектировании модели учтена возможность выборки по 
Гиббсу, и акцент сделан на том, чтобы предоставить алгоритму обучения свободу вы-
являть латентные переменные, семантика которых не была задана проектировщиком. 
В разделе 20.2 мы еще вернемся к ОМБ.
Каноническая ОМБ – это энергетическая модель с бинарными видимыми и скры-
тыми блоками. Ее функция энергии имеет вид
E
(
v
, 
h
) = –
b
⏉
v
– 
c
⏉
h
– 
v
⏉
Wh
,
 
(16.10)
где 
b
, 
c
и 
W
– вещественные подлежащие обучению параметры, на которые не накла-
дываются ограничения. Видно, что модель разбита на две группы блоков: 
v
и 
h
– и что 
взаимодействие между ними описывается матрицей 
W
. Графически модель показана 
на рис. 16.14. Как ясно по рисунку, важным аспектом модели является отсутствие 
прямых взаимодействий между любыми двумя видимыми или любыми двумя скры-
тыми блоками (отсюда и слово «ограниченная»; в произвольной машине Больцмана 
допустимы любые связи).