Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
), но она позволяет получить лишь 
верхнюю границу распределения 
p
joint
(
y
= 0 | 
x
), которое встречается в половине чле-
нов целевой функции NCE. Точно так же бесполезна нижняя граница 
p
noise
, потому что 
она дает только верхнюю границу 
p
joint
(
y
= 1 | 
x
).
Когда модельное распределение копируется для определения нового распределе-
ния шумов перед каждым шагом градиентного спуска, NCE определяет процедуру 
самосопоставительного оценивания
(self-contrastive estimation), для которой ожи-
даемый градиент эквивалентен ожидаемому градиенту максимального правдоподо-
бия (Goodfellow, 2014). Частный случай NCE, когда зашумленные примеры порожда-
ются моделью, наводит на мысль, что оценку максимального правдоподобия можно 
интерпретировать как процедуру, которая заставляет модель постоянно обучаться 
отличать реальность от собственных эволюционирующих представлений, тогда как 
шумосопоставительная оценка достигает некоторого снижения вычислительной 
стои мости, заставляя модель отличать реальность только от фиксированного этало-
на (модели шума).
Применение задачи обучения учителем, заключающейся в различении обучающих 
и порожденных примеров (когда в определении классификатора участвует функция 
энергии модели), для предоставления градиента модели ранее уже встречалось в раз-
ных формах (Welling et al., 2003b; Bengio, 2009).
В основе шумосопоставительного оценивания лежит идея о том, что хорошая по-
рождающая модель должна быть способна отличить данные от шума. С этим тесно 
связана другая идея: хорошая порождающая модель должна уметь порождать при-
меры, которые ни один классификатор не сможет отличить от данных. Эта идея ведет 
к порождающим состязательным сетям (раздел 20.10.4).

---