Я. Гудфеллоу, И. Бенджио, А. Курвилль

18.4. Сопоставление рейтингов и сопоставление 
отношений
Сопоставление рейтингов (score matching) (Hyv
ä
rinen, 2005) – еще один способ 
обучить модель, не оценивая ни статистическую сумму 
Z
, ни ее производные. Про-
исхождение названия связано с терминологией, согласно которой производные лога-
рифма плотности по ее аргументу, 
∇
x
log 
p
(
x
), называются 
рейтингом
(score). В методе 
сопоставления рейтингов стратегия заключается в минимизации ожидаемого квадра-
та разности между градиентом логарифма модельной плотности по входу и градиен-
том логарифма плотности данных по входу:
(18.22)
(18.23)
(18.24)
При такой целевой функции мы избегаем трудностей дифференцирования статис-
тической суммы 
Z
, поскольку 
Z
не зависит от 
x
и, следовательно, 
∇
x
 
Z
= 0. Поначалу 
кажется, что у сопоставления рейтингов другая сложность: чтобы вычислить рейтинг 
распределения данных, необходимо знать истинное порождающее распределение 
обучаю щих данных, 
p
data
. По счастью, минимизация ожидаемого значения 
L
(
x
; 
θ
) эк-
вивалентна минимизации ожидаемого значения выражения
(18.25)
где 
n
– размерность 
x
.
Поскольку в методе сопоставления рейтингов требуется вычислять производные 
по 
x
, он не применим к моделям с дискретными данными, но латентные переменные 
модели могут быть дискретными.
Как и псевдоправдоподобие, метод сопоставления рейтингов работает только тог-
да, когда мы можем непосредственно вычислить функцию log 
p
~(