Я. Гудфеллоу, И. Бенджио, А. Курвилль

распределение шумов
p
noise
(
x
). Оно должно быть 
легко вычислимо и выборка из него не должна вызывать затруднений. Теперь мы мо-
жем построить модель, включающую 
x
и новую бинарную переменную класса 
y
. Для 
новой совместной модели мы постулируем:
p
joint
(
y
= 1) = 
1
/
2
, 
(18.29)
p
joint
(
x
| 
y
= 1) = 
p
model
(
x
), 
(18.30)
и
p
joint
(
x
| 
y
= 0) = 
p
noise
(
x
). 
(18.31)
Иными словами, переменная 
y
– переключатель, определяющий, из какого распре-
деления выбирать 
x
: из модели или из шума.
Можно построить аналогичную совместную модель обучающих данных. В этом 
случае переключатель определяет, выбирается 
x
из распределения 
данных
или из 
шума. Формально 
p
train
(
y
= 1) = 
1
/
2
, 
p
train
(
x
| 
y
= 1) = 
p
data
(
x
), 
p
train
(
x
| 
y
= 0) = 
p
noise
(
x
).
Теперь можно применить стандартное обучение методом максимального правдо-
подобия к задаче обучения с учителем, заключающейся в подгонке 
p
joint
к 
p
train
.
(18.32)
Распределение 
p
joint
– это, по существу, модель логистической регрессии, приме-
ненная к разности логарифмов распределения вероятности модели и шума.
(18.33)
(18.34)
(18.35)
(18.36)
= 
σ
(log 
p
model
(
x
) – log 
p
noise
(
x
)). 
(18.37)

---

Шумосопоставительное оценивание 

523
Таким образом, метод NCE применить просто при условии, что log 
p
~
model
легко под-
дается обратному распространению, и, как было сказано выше, 
p
noise
легко вычисляет-
ся (для вычисления 
p
joint
) и допускает простую выборку (для генерации обучающих 
данных).
Особенный успех методу NCE сопутствует в задачах с небольшим числом случай-
ных величин, но он неплохо работает и тогда, когда эти величины принимают много 
разных значений. Например, он успешно применялся к моделированию условного 
распределения слова при известном контексте (Mnih and Kavukcuoglu, 2013). Слово 
в данном случае всего одно, хотя и может выбираться из большого словаря.
Применение NCE к задачам с большим числом случайных величин менее эффек-
тивно. Классификатор на основе логистической регрессии может отклонить зашум-
ленный пример, выявив всего одну переменную с маловероятным значением. Это 
означает, что обучение сильно замедляется, после того как 
p
model
обучилось базовой 
маргинальной статистике. Представьте себе обучение модели изображений лиц, в ко-
торой в качестве 
p
noise
используется неструктурированный гауссов шум. Если 
p
model
обучилась распознавать глаза, то она может отклонять почти все зашумленные при-
меры, так ничего и не узнав о других признаках лица, например ртах.
Ограничение на простоту вычисления и выборки из 
p
noise
может оказаться чрез-
мерно строгим. Если распределение 
p
noise
простое, то большинство примеров, скорее 
всего, будет слишком очевидно отличаться от данных, так что заметного улучшения 
p
model
достичь не удастся.
Подобно сопоставлению рейтингов и псевдоправдоподобию, NCE не работает, 
если известна только нижняя граница 
p
~. Нижнюю границу можно было бы использо-
вать для получения нижней границы 
p
joint
(
y
= 1 |