Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
на 
a
, 
b
и 
c
, где 
a
содержит величины, чье условное рас-
пределение мы хотим найти, 
b
– обусловливающие величины, а 
c
– величины, не 
являющиеся частью запроса:
(18.18)
Отсюда требуется исключить 
a
, эта операция может быть выполнена очень эффек-
тивно, при условии что 
a
и 
c
содержат немного величин. В предельном случае 
a
состо-
ит всего из одной величины, а 
c
пусто, так что требуется вычислить 
p
~ лишь столько 
раз, сколько значений может принимать одна случайная величина.
К сожалению, чтобы вычислить логарифмическое правдоподобие, нам нужно ис-
ключать большие множества величин. Если всего имеется 
n
величин, то требуется 
исключить множество размера 
n
– 1. Согласно цепному правилу вероятностей:
log 
p
(
x
) = log 
p
(
x
1
) + log 
p
(
x
2
| 
x
1
) + … + 
p
(
x
n
| 
x
1:
n
–1
). 
(18.19)
В данном случае мы взяли наименьшее возможное 
a
, но 
c
может составлять 
x
2:
n
. 
А что, если просто переместить 
c
в 
b
, чтобы уменьшить вычислительную стоимость? 
Тогда получится целевая функция 
псевдоправдоподобия
(Besag, 1975), основанная 
на предсказании значения признака 
x
i
при условии всех остальных признаков 
x
–i
:
(18.20)
Если каждая случайная величина может принимать 
k
значений, то для вычисления 
p
~ потребуется произвести только 
k
×
n
операций вместо 
k
n
операций, необходимых для 
вычисления статистической суммы.
На первый взгляд, это кажется беспринципным трюком, но можно доказать, что 
оценка, полученная максимизацией псевдоправдоподобия, асимптотически состоя-
тельная (Mase, 1995). Конечно, если набор данных нельзя назвать большой выбор-
кой, то поведение псевдоправдоподобия может отличаться от оценки максимального 
правдоподобия.
Мы можем предпочесть вычислительную сложность отклонению от оценки мак-
симального правдоподобия, воспользовавшись