Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
(
k
)
)/
p
~
0
(
x
(
k
)
).
Теперь обратимся к двум родственным стратегиям, предназначенным для решения 
трудной задачи оценивания статистической суммы сложных распределений в много-
мерных пространствах: выборке по значимости с отжигом и мостиковой выборке. Обе 
начинаются с простой выборки по значимости, описанной выше, и стремятся решить 
проблему непохожести вспомогательного распределения 
p
0
на 
p
1
, вводя промежуточ-
ные распределения, наводящие мост между 
p
0
и 
p
1
.
18.7.1. Выборка по значимости с отжигом 
В ситуациях, когда расстояние Кульбака–Лейблера 
D
KL
(
p
0
||
p
1
) велико (т. е. пере-
крытие между 
p
0
и 
p
1
мало), стратегия 
выборки по значимости с отжигом
(annealed 
importance sampling – AIS) пытается перебросить мост между двумя распределения-

---

526 

 
Преодоление трудностей, связанных со статической суммой
ми, вводя промежуточные распределения (Jarzynski, 1997; Neal, 2001). Рассмотрим 
последовательность распределений 
p
η
0
, …, 
p
η
n
, где 0 = 
η
0
< 
η
1
< … < 
η
n
–1
< 
η
n
= 1, такую, 
что первое распределение в последовательности совпадает с 
p
0
, а последнее – с 
p
1
.
Это позволяет оценить статистическую сумму многомодального распределения 
в многомерном пространстве (например, распределения, соответствующего обучен-
ной ОМБ). Мы начинаем с более простой модели с известной статистической суммой 
(например, ОМБ с нулевыми весами) и оцениваем отношение между статистически-
ми суммами двух моделей. Оценка этого отношения основана на оценке отношений 
последовательности многих похожих распределений, например последовательности 
ОМБ с весами, образующими интерполяцию между нулевыми и обученными весами.
Отношение 
Z
1
/
Z
0
можно записать в виде:
(18.47)
(18.48)
(18.49)
При условии что распределения 
p
η
j
и 
p
η
j
+1
достаточно близки для всех 0 
≤
j
≤
n
– 1, 
мы можем надежно оценить каждый сомножитель 
Z
η
j
+1
/
Z
η
j
с помощью простой выбор-
ки по значимости, а затем воспользоваться этими оценками для получения оценки 
Z
1
/
Z
0
.
Откуда берутся эти промежуточные распределения? Так же как и вспомогательное 
распределение 
p
, они задаются проектировщиком, т. е. специально строятся под конк-
ретную задачу. Часто в качестве промежуточных распределений берут взвешенное 
среднее геометрическое целевого распределения 
p
1
и начального вспомогательного 
распределения 
p
0
, для которого статистическая сумма известна:
p
η
j
∝
p
1
η
j
p
0
1–
η
j
. 
(18.50)
Для выборки из этих промежуточных распределений мы определяем последова-
тельность переходных функций марковской цепи 
T
η
j
(