Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
1
) 
(18.54)
= 
p
~
1
(
x
1
)
T
~
η
n
–1
(
x
η
n
–1
| 
x
1
)
T
~
η
n
–2
(
x
η
n
–2
| 
x
η
n
–1
) … 
T
~
η
1
(
x
η
1
| 
x
η
2
), 
(18.55)
где 
T
~
a
– обращение оператора перехода 
T
a
(путем применения правила Байеса):
. 
(18.56)
Подставляя это в выражение для совместного распределения в расширенном 
прост ранстве состояний (18.55), имеем:
p
~(
x
η
1
, …, 
x
η
n
–1
, 
x
1
) 
(18.57)
(18.58)
(18.59)
Теперь мы получили способ произвести выборку из совместного вспомогательного 
распределения 
q
в расширенном пространстве, которое определяется формулой:
q
(
x
η
1
, …, 
x
η
n
–1
, 
x
1
) = 
p
0
(
x
η
1
)
T
η
1
(
x
η
2
| 
x
η
1
) … 
T
η
n
–1
(
x
1
| 
x
η
n
–1
). 
(18.60)
Мы имеем совместное распределение в расширенном пространстве, описываемое 
формулой (18.59). Если взять 
q
(
x
η
1
, …, 
x
η
n
–1
, 
x
1
) в качестве вспомогательного распреде-
ления в расширенном пространстве, из которого мы можем произвести выборку, то 
останется определить веса значимости:

---

528 

 
Преодоление трудностей, связанных со статической суммой
(18.61)
Это те же веса, что предложенные в алгоритме AIS. Следовательно, AIS можно 
интерпретировать как простую выборку по значимости в применении к расширенно-
му состоянию, и его корректность немедленно вытекает из корректности выборки по 
значимости.
Выборка по значимости с отжигом впервые была предложена в работе Jarzynski 
(1997), а затем независимо в работе Neal (2001). В настоящее время это самый рас-
пространенный способ оценивания статистической суммы для неориентированных 
вероятностных моделей. Возможно, это больше связано с авторитетом авторов пуб-
ликации Salakhutdinov and Murray (2008), в которой описывается его применение 
к оцениванию статистической суммы ограниченных машин Больцмана и глубоких 
сетей доверия, чем с внутренне присущими методу достоинствами.
Обсуждение свойств оценки AIS (в частности, дисперсии и эффективности) име-
ется в работе Neal (2001).
18.7.2. Мостиковая выборка
Мостиковая выборка (bridge sampling) (Bennett, 1976) – еще один метод, который, 
как и AIS, направлен на преодоление недостатков выборки по значимости. Но вместо 
цепочки промежуточных распределений в методе мостиковой выборки используется 
единственное распределение 
p
*
, называемое мостиком, для интерполяции между рас-
пределением с известной статистической суммой 
p
0
и распределением 
p
1
, для которо-
го мы пытаемся оценить статистическую сумму 
Z
1
.
В методе мостиковой выборки отношение 
Z
1
/
Z
0
оценивается как отношение ожи-
даемых весов значимости между 
p
~
0
и 
p
~
*
и между 
p
~
1
и 
p
~
*
:
(18.62)
Если мостиковое распределение 
p
*
тщательно выбрано таким образом, что оно 
сильно перекрывается и с 
p
0
, и с 
p
1
, то мостиковая выборка допускает гораздо большее 
расстояние между двумя распределениями (точнее, 
D
KL
(
p
0
||
p
1
)), чем при стандартной 
выборке по значимости.
Можно показать, что оптимальное мостиковое распределение описывается форму-
лой 
p
*
(
opt
)
(