Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
, 
h
), мы часто производим выборку из 
x
, чередуя выборку 
из 
p
model
(
x
| 
h
) с выборкой из 
p
model
(
h
| 
x
). С точки зрения скорости перемешивания, 
мы хотели бы, чтобы у 
p
model
(
h
| 
x
) была высокая энтропия. А с точки зрения обуче-
ния полезного представления 
h
, нам нужно, чтобы в 
h
было закодировано достаточ-
но информации о 
x
для ее успешной реконструкции. Это означает, что взаимная 
информация 
h
и 
x
должна быть велика. Эти две цели противоречат друг другу. Мы 
часто обуча ем порождающие модели, которые очень точно кодируют 
x
в 
h
, но плохо 
перемешиваются. Такая ситуация часто возникает в случае машин Больцмана – чем 
острее распределение, обучаемое машиной Больцмана, тем сложнее обеспечить хоро-
шее перемешивание выборки из распределения модели с помощью марковской цепи. 
Эта проблема иллюстрируется на рис. 17.2.
Все это могло бы снизить полезность MCMC-методов, когда интересующее нас 
распределение имеет структуру нескольких многообразий, по одному для каждого 
класса: распределение концентрируется вокруг нескольких мод, разделенных обшир-
ными областями высокой энергии. Именно такого типа распределения мы ожидаем 
во многих задачах классификации, но тогда MCMC-методы сходились бы очень мед-
ленно из-за плохого перемешивания мод.
Рис. 17.2 

Иллюстрация проблемы медленного перемешивания в глубо-
ких вероятностных моделях. Каждую таблицу следует читать слева направо 
сверху вниз. (
Слева
) Соседние примеры из выборки по Гиббсу, применен-
ной к глубокой машине Больцмана, обученной на наборе данных MNISТ. Со-
седние примеры похожи друг на друга. Поскольку выборка по Гиббсу про-
изводится в глубокой графической модели, это сходство основано скорее 
на семантике, чем на визуальных признаках, но все равно марковской цепи 
трудно перейти из одной моды распределения в другую, например путем 
изменения цифры. (
Справа
) Соседние примеры для предковой выборки из 
порождающей состязательной сети. Поскольку предковая выборка порож-
дает примеры независимо, то проблемы перемешивания нет

---