Я. Гудфеллоу, И. Бенджио, А. Курвилль

497
Все это опирается на возможность произвести выборку из базового распределения 
p
(
x
), что, однако, не всегда возможно. Если выборка из 
p
не осуществима, то мож-
но вместо нее воспользоваться выборкой по значимости, описанной в разделе 17.2. 
Более общий подход – построить последовательность оценок, сходящуюся к интере-
сующему нас распределению; он называется методом Монте-Карло по схеме марков-
ских цепей (раздел 17.3).
17.2. Выборка по значимости
Важным шагом в декомпозиции подынтегрального выражения (или слагаемого) 
в выражении (17.2) является решение о том, какая его часть будет выступать в роли 
вероятности 
p
(
x
), а какая – в роли случайной величины 
f
(
x
), математическое ожида-
ние которой (относительно данного распределения) мы хотим оценить. Не сущест-
вует однозначно определенной декомпозиции, потому что 
p
(
x
)
f
(
x
) всегда можно 
переписать в виде
(17.8)
так что выборка теперь производится из 
q
, а оцениваемой величиной является 
pf
/
q
. 
Во многих случаях мы хотим вычислить математическое ожидание для заданных 
p
и 
f
, и поскольку задача с самого начала поставлена как нахождение математического 
ожидания, то декомпозиция на 
p
и 
f
выглядит естественно. Однако исходная поста-
новка задачи может быть неоптимальна с точки зрения количества примеров, необхо-
димых для достижения заданной точности. По счастью, легко вывести, как выглядит 
оптимальный выбор 
q
*
. Оптимальное 
q
*
соответствует так называемой оптимальной 
выборке по значимости.
В силу тождества (17.8) любую оценку Монте-Карло
(17.9)
можно преобразовать в оценку выборки по значимости
(17.10)
Легко видеть, что математическое ожидание оценки не зависит от 
q
:
𝔼
q
[
s
ˆ
q
] = 
𝔼
q
[
s
ˆ
p
] = 
s
. 
(17.11)
Однако дисперсия оценки выборки по значимости может быть весьма чувстви-
тельна к выбору 
q
. Дисперсия вычисляется по формуле
(17.12)
Минимум дисперсии достигается, когда 
q
равно
(17.13)

---