Я. Гудфеллоу, И. Бенджио, А. Курвилль

сопоставление отношений
(ratio matching) (Hyv
ä
rinen, 
2007b). Этот метод применим только к бинарным данным и заключается в миними-
зации усреднения по всем примерам следующей целевой функции:
(18.26)
где 
f
(
x
, 
j
) возвращает вектор 
x
, в котором бит в позиции 
j
изменен на противополож-
ный. Чтобы избежать вычисления статистической суммы, в методе сопоставления от-
ношений применен тот же прием, что и в оценке псевдоправдоподобия: в отношении 
двух вероятностей статистическая сумма сокращается. В работе Marlin et al. (2010) 
показано, что метод сопоставления отношений превосходит СМП, псевдоправдопо-
добие и GSM с точки зрения способности обученной модели очищать изображения 
из тестового набора от шума.
Как и в оценке псевдоправдоподобия, в методе сопоставления отношений требу-
ется 
n
раз вычислить 
p
~ на каждый пример, поэтому его вычислительная стоимость 
в расчете на одно обновление примерно в 
n
раз выше, чем стоимость СМП.
Как и оценку псевдоправдоподобия, сопоставление отношений можно интерпре-
тировать как толкание вниз для всех воображаемых состояний, в которых только 
одна переменная отличается от обучающего примера. Поскольку метод сопоставле-
ния отношений применяется исключительно к бинарным данным, это означает, что 
он воздействует на все воображаемые состояния, находящиеся от обучающих данных 
на расстоянии Хэмминга 1.
Сопоставление отношений может быть полезно в качестве основы для работы с раз-
реженными данными большой размерности, например векторами счетчиков слов. Для 
MCMC-методов такие данные составляют проблему, потому что представить данные 
в плотном формате обходится очень дорого, а компонент выборки MCMC не выдает 
разреженных данных, пока модель не обучится представлять разреженность в рас-
пределении данных. В работе Dauphin and Bengio (2013) эта трудность преодолена 
путем проектирования несмещенной стохастической аппроксимации сопоставления 
отношений. Аппроксимация вычисляет только случайно выбранное подмножество 
членов целевой функции и не требует, чтобы модель порождала полные воображае-
мые выборки.

---

Шумосопоставительное оценивание 

521
Теоретический анализ асимптотической эффективности сопоставления отноше-
ний см. в работе Marlin and de Freitas (2011).