Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) = log 
p
~
model
(
x
; 
θ
) + 
c
,
 
(18.28)
где 
c
вводится как аппроксимация –log 
Z
(
θ
). Вместо того чтобы оценивать только 
θ
, 
процедура шумосопоставительного оценивания рассматривает 
c
как еще один пара-
метр и оценивает 
θ
и 
c
одновременно, применяя один и тот же алгоритм. Результи-
рующее log 
p
model
(
x
) может не соответствовать точно корректному распределению ве-
роятности, но приближается к нему по мере улучшения оценки 
c
1
.
1
Метод NCE применим также к задачам с вычислимой статистической суммой, когда нет 
нужды вводить дополнительный параметр 
c
. Но наибольший интерес он вызывает как сред-
ство оценивания моделей с трудно вычислимыми статистическими суммами.

---

522 

 
Преодоление трудностей, связанных со статической суммой
Такой подход был бы невозможен, если бы в качестве критерия оценки исполь-
зовалось максимальное правдоподобие. Критерий максимального правдоподобия 
стремился бы присвоить 
c
как можно большее значение, а не достичь корректного 
распределения вероятности.
В основу работы NCE положено сведение зад,ачи обучения без учителя, заклю-
чающейся в оценивании 
p
(
x
), к обучению вероятностного бинарного классифика-
тора, в котором одна из категорий соответствует данным, порожденным моделью. 
Эта задача обучения с учителем конструируется так, что оценка максимального 
правдоподобия определяет асимптотически состоятельную оценку для исходной 
задачи.
Точнее говоря, мы вводим второе