Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
A
) > 
∏
i
p
B
(x
(
i
)
; 
θ
B
) или, что 
то же самое,
, 
(18.38)
то мы говорим, что 
ℳ
A
лучше 
ℳ
B
 
(или, по крайней мере, что 
ℳ
A
лучше моделирует 
данный тестовый набор) в том смысле, что логарифмическое правдоподобие на тесто-
вом наборе выше. К сожалению, для проверки этого условия нужно знать статистиче-
скую сумму. Для вычисления выражения (18.38) требуется знать логарифм вероят-
ности, которую модель назначает каждой точке, а для этого, в свою очередь, нужно 
вычислить статистическую сумму. Ситуацию можно немного упростить, переписав 
(18.38) в виде, где нужно знать только 
отношение
статистических сумм двух моделей:
(18.39)
Таким образом, мы можем установить, что модель 
ℳ
A
лучше 
ℳ
B
, не зная статисти-
ческую сумму каждой модели, а зная только их отношение. Как мы вскоре увидим, 
это отношение можно оценить с помощью выборки по значимости, при условии что 
обе модели похожи. 
Однако если бы мы захотели вычислить фактическую вероятность тестовых дан-
ных в модели 
ℳ
A
или 
ℳ
B
, то пришлось бы вычислять значения самых статистических 
сумм. Но если бы мы знали отношение статистических сумм 
r
= 
Z
(
θ
B
)/
Z
(
θ
A
) и факти-
ческое значение хотя бы одной из них, скажем 
Z
(
θ
A
), то могли бы вычислить значение 
другой:
(18.40)
Для оценки статистической суммы можно воспользоваться методом Монте-Карло, 
например простой выборкой по значимости. Мы опишем этот подход для непрерыв-
ных случайных величин, но он легко переносится и на дискретные величины – нужно 
только заменить интегрирование суммированием. Воспользуемся вспомогательным 
распределением 
p
0
(