Я. Гудфеллоу, И. Бенджио, А. Курвилль

504 

 
Методы Монте-Карло
седнюю за данное количество шагов. Эта вероятность определяется формой «энерге-
тического барьера» между модами. Переходы между модами, разделенными высоким 
барьером (областью низкой вероятности), экспоненциально менее вероятны (в тер-
минах высоты барьера). Это показано на рис. 17.1. Проблема возникает, когда есть 
несколько мод с высокой вероятностью, разделенных областями низкой вероятности, 
особенно если каждый шаг выборки по Гиббсу должен обновить только небольшое 
подмножество переменных, значения которых в основном определяются другими 
переменными.
Рис. 17.1 

Пути следования выборки по Гиббсу для трех распределе-
ний, во всех случаях марковская цепь инициализирована внутри моды. 
(
Слева
) Многомерное нормальное распределение двух независимых ве-
личин. Выборка по Гиббсу хорошо перемешивается, поскольку величины 
независимы. (
В центре
) Многомерное нормальное распределение сильно 
коррелированных величин. Из-за корреляции перемешивание марковской 
цепи затруднено. Поскольку обновление каждой величины должно быть 
обусловлено другой величиной, наличие корреляции замедляет скорость 
ухода марковской цепи от начальной точки. (
Справа
) Смесь нормальных 
распределений с широко разделенными модами, не находящимися на од-
ной оси. Выборка по Гиббсу перемешивается очень медленно, потому что 
трудно сменить моду, изменяя в каждый момент времени только одну ве-
личину
В качестве простого примера рассмотрим энергетическую модель двух бинарных 
случайных величин a и b, принимающих значения –1 и 1. Если 
E
(a, b) = –
w
ab для 
большого положительного числа 
w
, то модель выражает сильную веру в то, что зна-
ки a и b одинаковы. Рассмотрим обновление b посредством шага выборки по Гиббсу 
с a = 1. Условное распределение b описывается формулой 
P
(b = 1 | a = 1) = 
σ
(
w
). Если 
w
велико, то сигмоида насыщается, и вероятность, что b тоже будет присвоено значение 
1, близка к 1. Аналогично, если a = –1, то вероятность, что и b будет равно –1, близка 
к 1. Согласно распределению 
P
model
(a, b), знаки обеих величин равновероятны. Со-
гласно же 
P
model
(a | b), обе величины должны иметь одинаковый знак. Следовательно, 
выборка по Гиббсу очень редко изменяет знаки этих величин.
На практике проблема даже более серьезна, потому что нас интересуют не только 
переходы между двумя модами, но и вообще между всеми многочисленными модами, 
присутствующими в реальной модели. Если несколько таких переходов затруднено 
из-за сложности перемешивания мод, то получить надежный набор примеров, охва-
тывающий большинство мод, будет чрезвычайно дорого, а сходимость цепи к стацио-
нарному распределению окажется очень медленной.

---

Проблема перемешивания разделенных мод 

505
Иногда проблему можно решить путем нахождения групп сильно зависимых бло-
ков и их одновременного обновления. К сожалению, когда зависимости сложны, вы-
борка из группы становится вычислительно неразрешимой задачей. В конце концов, 
проблема, которую марковские цепи и призваны были решить, – это проблема вы-
борки из большой группы случайных величин.
В контексте моделей с латентными переменными, которые определяют совмест-
ное распределение 
p
model
(