Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) = (1/
Z
0
)
p
~
0
(
x
), для которого возможно произвести выборку и вы-
числить как статистическую сумму 
Z
0
, так и ненормированное распределение 
p
~
0
(
x
).

---

Оценивание статистической суммы 

525
(18.41)
(18.42)
(18.43)
, где 
x
(
k
)
∼
p
0
. 
(18.44)
В последней строчке записана оценка Монте-Карло 
Z
ˆ
1
интеграла, полученная по-
средством выборки из 
p
0
(
x
) с последующим умножением каждого примера на вес, 
равный отношению ненормированного распределения 
p
~
1
к вспомогательному 
p
0
.
Этот подход позволяет также оценить отношение статистических сумм в виде:
, где 
x
(
k
)
∼
p
0
. 
(18.45)
Затем это значение можно использовать непосредственно для сравнения двух мо-
делей, как описано в формуле (18.39).
Если распределение 
p
0
близко к 
p
1
, то выражение (18.44) может дать эффектив-
ный способ оценивания статистической суммы (Minka, 2005). К сожалению, в боль-
шинстве случаев 
p
1
не только сложное (обычно многомодальное), но и определено 
в прост ранстве высокой размерности. Трудно найти распределение 
p
0
, которое было 
бы, с одной стороны, достаточно простым для вычисления, а с другой – достаточно 
близким к 
p
1
, чтобы дать высококачественную аппроксимацию. Если 
p
0
и 
p
1
не близки, 
то у большинства примеров из 
p
0
будет низкая вероятность относительно 
p
1
, поэтому 
они вносят (сравнительно) пренебрежимо малый вклад в сумму в выражении (18.44).
Присутствие в этой сумме небольшого числа примеров со значительными весами 
приводит к оценке низкого качества из-за высокой дисперсии. Количественно это 
можно понять, оценив дисперсию нашей оценки 
Z
ˆ
1
: 
(18.46)
Эта величина будет наибольшей, когда имеется значительное расхождение между 
значениями весов 
p
~
1
(