Я. Гудфеллоу, И. Бенджио, А. Курвилль

Рис. 16.14 

ОМБ в виде марковской сети
Из ограничений на структуру ОМБ вытекают полезные свойства:
p
(
h
| 
v
) = 
∏
i
p
(h
i
| 
v
) 
(16.11)
и
p
(
v
| 
h
) = 
∏
i
p
(v
i
| 
h
). 
(16.12)
Отдельные условные вероятности также легко вычислить. Для бинарной ОМБ по-
лучаем:
P
(h
i
= 1 | 
v
) = 
σ
(
v
⏉
W
:, 
i
+ 
b
i
), 
(16.13)
P
(h
i
= 0 | 
v
) = 1 – 
σ
(
v
⏉
W
:, 
i
+ 
b
i
). 
(16.14)
В совокупности эти свойства позволяют эффективно производить 
блочную вы-
борку по Гиббсу
, когда выборка сразу всего 
h
чередуется с выборкой сразу всего 
v
. 
Примеры, полученные в результате выборки по Гиббсу из модели ОМБ, показаны на 
рис. 16.15.

---

494 

 
Структурные вероятностные модели в глубоком обучении 
Рис. 16.15 

Выборка из обученной ОМБ вместе с весами. (
Слева
) При-
меры из модели, обученной на наборе данных MNISТ, полученные с по-
мощью выборки по Гиббсу. Каждый столбец – результат независимого про-
цесса выборки. В каждой строке представлены результаты еще 1000 шагов 
выборки по Гиббсу. Соседние примеры сильно коррелированы между со-
бой. (
Справа
) Соответствующие векторы весов. Сравните с примерами 
и весами для линейной факторной модели на рис. 13.2. Здесь примеры го-
раздо лучше, потому априорное распределение 
p
(
h
)
не обязано быть фак-
торным. В процессе выборки ОМБ может обучиться тому, какие признаки 
должны присутствовать вместе. С другой стороны, апостериорное распре-
деление ОМБ 
p
(