Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
)|
f
(
x
)|)/
q
(
x
) принимает большие значения, то дисперсия оценки 
будет очень велика. Так может случиться, если 
q
(
x
) близка к нулю, а 
p
(
x
) и 
f
(
x
) не-
достаточно малы, чтобы компенсировать это. Распределение 
q
обычно выбирается 
простым, чтобы из него было легко произвести выборку. Когда размерность 
x
велика, 
простое распределение 
q
плохо аппроксимирует 
p
или 
p
|
f
|. Если 
q
(
x
(
i
)
) 
≫
p
(
x
(
i
)
)|
f
(
x
(
i
)
)|, 
то выборка по значимости содержит бесполезные примеры (суммируются очень ма-
лые или нулевые значения). С другой стороны, если 
q
(
x
(
i
)
) 
≪
p
(
x
(
i
)
)|
f
(
x
(
i
)
)|, что случа-
ется реже, то отношение будет очень велико. Поскольку такие события встречаются 
редко, в типичной выборке они могут отсутствовать, поэтому, как правило, мы по-
лучаем заниженную оценку 
s
, которая изредка компенсируется сильно завышенной 

---

Методы Монте-Карло по схеме марковской цепи 

499
оценкой. Такие очень большие или очень малые числа типичны при высокой размер-
ности 
x
, поскольку в этом случае динамический диапазон совместных вероятностей 
может быть очень широк.
Несмотря на эту опасность, выборка по значимости и ее варианты оказались очень 
полезными во многих алгоритмах машинного обучения, в т. ч. глубокого. Например, 
она применяется для ускорения обучения в нейронных языковых моделях с большим 
словарем (раздел 12.4.3.3) и в других нейронных сетях с большим количеством вы-
ходов. См. также описание использования выборки по значимости для оценивания 
статистической суммы (нормировочной постоянной распределения вероятности) 
в разделе 18.7 и для оценивания логарифмического правдоподобия в таких глубоких 
моделях, как вариационный автокодировщик, – в разделе 20.10.3. Выборка по зна-
чимости полезна также для улучшения оценки градиента функции стоимости при 
обуче нии параметров модели методом стохастического градиентного спуска, особен-
но в моделях типа классификаторов, где основная часть величины функции стоимо-
сти приходится на небольшое число неправильно классифицированных примеров. 
В таких случаях более частая выборка более трудных примеров может уменьшить 
дисперсию градиента (Hinton, 2006).