Я. Гудфеллоу, И. Бенджио, А. Курвилль

506 

 
Методы Монте-Карло
17.5.1. Применение темперирования для перемешивания мод
Если в распределении имеются острые пики высокой вероятности, окруженные об-
ластями низкой вероятности, то перемешивание разных мод затруднено. Несколько 
приемов повышения скорости перемешивания основано на построении альтернатив-
ных вариантов целевого распределения, в котором пики не такие высокие, а окру-
жающие их долины не такие низкие. В энергетических моделях сделать это особенно 
просто. До сих пор мы описывали энергетическую модель как определяющую рас-
пределение вероятности вида
p
(
x
) 
∝
exp (–
E
(
x
)). 
(17.25)
Энергетические модели можно дополнить параметром 
β
, контролирующим остро-
ту пика:
p
β
(
x
) 
∝
exp (–
β
E
(
x
)). 
(17.26)
Параметр 
β
часто называют обратной 
температурой
, что отражает истоки энерге-
тических моделей – статистическую физику. Когда температура стремится к нулю, 
а 
β
устремляется к бесконечности, энергетическая модель становится детерминиро-
ванной. Если же температура стремится к бесконечности, а 
β
– к нулю, то распреде-
ление (для дискретных 
x
) становится равномерным.
Обычно модель обучают при 
β
= 1. Однако можно использовать и другие темпера-
туры, в частности 
β
< 1. 
Темперирование
(tempering)
1
– это общая стратегия быстро-
го перемешивания мод 
p
1
путем выборки примеров с 
β
< 1.
Марковские цепи, основанные на