Я. Гудфеллоу, И. Бенджио, А. Курвилль

v
; 
θ
) – 
D
KL
(
q
(
h
| 
v
)||
p
(
h
| 
v
; 
θ
)), то 
максимизацию 
ℒ
относительно 
q
можно интерпретировать как минимизацию
D
KL
(
q
(
h
| 
v
)||
p
(
h
| 
v
)). В этом смысле мы подгоняем 
q
к 
p
. Однако при этом направ-
ление расхождения Кульбака–Лейблера противоположно тому, к которому мы при-
выкли при подгонке аппроксимации. Если для подгонки модели к данным применя-
ется критерий максимального правдоподобия, то мы минимизируем 
D
KL
(
p
data
||
p
model
). 
Как показано на рис. 3.6, это означает, что максимальное правдоподобие поощряет 
модель иметь высокую вероятность всюду, где высока вероятность данных, тогда как 
наша основанная на оптимизации процедура вывода поощряет 
q
иметь низкую веро-
ятность там, где низка вероятность апостериорного распределения. У обоих направ-
лений расхождения Кульбака–Лейблера есть желательные и нежелательные свой-
ства. Какое из них использовать, зависит от того, какие свойства приоритетны для 
приложения. В задаче оптимизации вывода мы выбрали 
D
KL
(
q
(
h
| 
v
)||
p
(
h
| 
v
)) из сооб-
ражений удобства вычислений. Точнее говоря, для вычисления 
D
KL
(
q
(