Я. Гудфеллоу, И. Бенджио, А. Курвилль

17.3. Методы Монте-Карло по схеме 
марковской цепи
Во многих случаях мы хотели бы воспользоваться методом Монте-Карло, но не-
возможно произвести точную выборку из распределения 
p
model
(
x
) или из хорошего 
(с низкой дисперсией) выборочного распределения по значимости 
q
(
x
). В контекс-
те глубокого обучения так чаще всего происходит, когда 
p
model
(
x
) представлено не-
ориентированной моделью. В таких случаях применяется математический аппарат 
марковских цепей
для приближенной выборки из 
p
model
(
x
). Семейство алгоритмов, 
в которых для получения оценки методом Монте-Карло используются марковские 
цепи, называется 
методами Монте-Карло по схеме марковской цепи
(Markov chain 
Monte Carlo – MCMC). Применение MCMC-методов в машинном обучении под-
робно описано в книге Koller and Friedman (2009). Стандартные общие гарантии для 
MCMC-методов применимы, только когда модель не назначает ни одному состоя-
нию нулевую вероятность. Поэтому их удобно представлять как выборку из энер-
гетической модели 
p
(
x
) 
∝
exp (–
E
(
x
)), описанной в разделе 16.2.4, поскольку в этом 
случае гарантируется, что вероятности всех состояний ненулевые. На самом деле 
сфера применения MCMC-методов шире, их можно использовать и для многих рас-
пределений вероятности, включающих состояния с нулевой вероятностью. Однако 
теоретические гарантии относительно их поведения следует доказывать для каждого 
такого семейства распределений отдельно. В глубоком обучении принято полагаться 
на общие теоретические результаты, естественно распространяющиеся на все энерге-
тические модели.
Чтобы понять, почему выборка из энергетической модели – трудное дело, рассмот-
рим энергетическую модель с двумя переменными, определяющую распределение 
p
(a, b). Для выбора a мы должны произвести выборку из 
p
(a | b), а для выбора b – из 
p
(b | a). Получается неразрешимая проблема «яйцо или курица». В ориентированных 
моделях такой проблемы не возникает, потому что граф ориентированный и ацикли-

---