Я. Гудфеллоу, И. Бенджио, А. Курвилль

перекрестная энтропия
H
(
P
, 
Q
) = 
H
(
P
) + 
+ 
D
KL
(
P
||
Q
), аналогичная расхождению КЛ, но без левого члена:
H
(
P
, 
Q
) = 
–
𝔼
x
∼
P
log 
Q
(
x
).
(3.51)
Минимизация перекрестной энтропии относительно 
Q
равносильна минимизации 
расхождения КЛ, потому что 
Q
не входит в опущенный член.
При вычислении подобных величин часто встречаются выражения вида 0 log 0. По 
принятому в теории информации соглашению, они трактуются как lim
x
⟶
0
x
log 
x
= 0.
3.14. Структурные вероятностные модели
В алгоритмах машинного обучения часто встречаются распределения вероятности 
очень большого числа случайных величин. Нередко в этих распределениях наличе-
ствуют прямые взаимодействия между сравнительно небольшим количеством пере-
менных. Использовать одну функцию для описания всего совместного распределе-
ния вероятности может оказаться очень неэффективно (и с вычислительной, и со 
статистической точки зрения).

---

Структурные вероятностные модели 

79
q
*
= arg min
q 
D
КЛ
(
p
||
q
)
q
*
= arg min
q 
D
КЛ
(
q
||
p
)
p
(
x
)
q
*
(
x
)
p
(
x
)
q
*
(
x
)
х
х
Плотность распределения 
вероятностей
Плотность распределения 
вероятностей