Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) и ее производные. 
Он не совместим с методами, которые дают только нижнюю границу log 
p
~(
x
), по-
тому что для сопоставления рейтингов нужны производные и вторые производные 
log 
p
~(
x
), а нижняя граница не несет никакой информации о производных. Это означа-
ет, что метод сопоставления рейтингов неприменим к оцениванию моделей со слож-
ными взаимодействиями между скрытыми блоками, например моделям разреженно-
го кодирования или глубоким машинам Больцмана. И хотя сопоставление рейтингов 
можно применять для предобучения первого скрытого слоя большой модели, этот 
метод никогда не применялся в качестве стратегии предобучения более глубоких сло-
ев. Возможно, дело в том, что скрытые слои таких моделей обычно содержат какие-то 
дискретные переменные.

---

520 

 
Преодоление трудностей, связанных со статической суммой
В методе сопоставления рейтингов нет явной отрицательной фазы, но его можно 
рассматривать как вариант состязательного расхождения, если использовать марков-
скую цепь специального вида (Hyv
ä
rinen, 2007a). В данном случае марковская цепь 
определяется не выборкой по Гиббсу, а совсем другим способом, в котором локальные 
перемещения направляются градиентом. Сопоставление рейтингов эквивалентно ал-
горитму CD с марковской цепью такого вида, когда величина локальных перемеще-
ний стремится к нулю.
В работе Lyu (2009) метод сопоставления рейтингов обобщен на дискретный слу-
чай (но в доказательстве была допущена ошибка, исправленная в работе Marlin et al. 
[2010]). В работе Marlin et al. (2010) обнаружено, что 
обобщенное сопоставление 
рейтингов
(generalized score matching – GSM) не работает в многомерных дискрет-
ных пространствах, где наблюдаемая вероятность многих событий равна 0.
Более плодотворный подход к обобщению основных идей сопоставления рейтин-
гов на дискретные данные –