Я. Гудфеллоу, И. Бенджио, А. Курвилль

q
′
(
x
′
) = 
𝔼
x
∼
q
T
(
x
′
| 
x
), 
(17.24)
которое в дискретном случае сводится к уравнению (17.23). Если 
x
– дискретная ве-
личина, то математическое ожидание записывается в виде суммы, а если непрерыв-
ная, то в виде интеграла.
Независимо от того, является состояние непрерывной или дискретной случайной 
величиной, все методы на основе марковских цепей заключаются в повторном при-
менении стохастического обновления до тех пор, пока состояние не начнет давать вы-
борку из равновесного распределения. Выполнение марковской цепи до достижения 
равновесного распределения называется 
приработкой
марковской цепи. Затем из 
равновесного распределения можно выбирать бесконечно много примеров. Все они 
имеют одинаковое распределение, но любые два соседних примера сильно коррелиро-
ваны между собой. Поэтому конечная последовательность примеров может оказаться 
недостаточно репрезентативной выборкой из равновесного распределения. Один из 
путей смягчения этой проблемы – возвращать каждый 
n
-ый пример, чтобы оценка ста-

---

502 

 
Методы Монте-Карло
тистики равновесного распределения была в меньшей степени смещена из-за корре-
ляции между каждым примером и несколькими следующими за ним. Использованию 
марковских цепей присущи высокие накладные расходы из-за времени приработки 
к равновесному распределению и времени перехода от одного примера к следующему, 
слабо коррелированному с ним, уже после достижения равновесия. Если необходимы 
действительно независимые примеры, то можно параллельно выполнять несколько 
марковских цепей. При таком подходе применяется распараллеливание вычислений, 
чтобы избежать задержки. Стратегия использования единственной марковской цепи 
для порождения всех примеров и стратегия использования отдельной цепи для каж-
дого примера – две крайности; на практике в глубоком обучении количество цепей 
берут примерно равным числу примеров в мини-пакете, а затем выбирают столько 
примеров, сколько нужно, из этого фиксированного набора марковских цепей. Число 
цепей часто равно 100.
Еще одна трудность связана с тем, что мы заранее не знаем, сколько нужно вы-
полнить шагов, прежде чем марковская цепь достигнет равновесного распределения. 
Этот промежуток времени иногда называют