Я. Гудфеллоу, И. Бенджио, А. Курвилль

18.5. Шумоподавляющее сопоставление рейтингов
Иногда бывает полезно регуляризировать сопоставление рейтингов, аппроксимируя 
распределение
 
(18.27)
а не истинное распределение 
p
data
. Распределение 
q
(
x
| 
y
) описывает искажающий про-
цесс, обычно он формирует 
x
, прибавляя небольшой шум к 
y
.
Шумоподавляющее сопоставление рейтингов особенно полезно, потому что на 
практике мы обычно не имеем доступа к истинному 
p
data
, а только к эмпирическому 
распределению, определенному выборкой из 
p
data
. При достаточной емкости любая 
состоятельная оценка превратит 
p
model
во множество распределений Дирака с центра-
ми в обучающих точках. Сглаживание с помощью 
q
помогает устранить эту проблему 
ценой утраты свойства асимптотической состоятельности, описанного в разделе 5.4.5. 
В работе Kingma and LeCun (2010) описана процедура выполнения регуляризирован-
ного сопоставления рейтингов, когда сглаживающее распределение 
q
– нормально 
распределенный шум.
Напомним (см. раздел 14.5.1), что некоторые алгоритмы обучения автокодиров-
щиков эквивалентны сопоставлению рейтингов или шумоподавляющему сопостав-
лению рейтингов. Следовательно, эти алгоритмы также решают проблему статисти-
ческой суммы.
18.6. Шумосопоставительное оценивание
Большинство методов оценивания моделей с вычислительно неразрешимыми ста-
тистическими суммами не дает оценки этой суммы. Алгоритмы СМП и CD оцени-
вают только градиент логарифма статистической суммы, а не ее саму. Методы сопо-
ставления рейтингов и псевдоправдоподобия вообще избегают вычисления величин, 
связанных со статистической суммой.
Шумосопоставительное оценивание (noise-contrastive estimation – NCE) (Gutmann 
and Hyvarinen, 2010) предлагает другую стратегию. В этом методе распределение ве-
роятности, оцениваемое моделью, представляется явно в виде
log 
p
model
(