Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
~
p
�
data
[log 
p
�
data
(
x
) – log 
p
model
(
x
)].
 
(5.60)
Первый член разности в квадратных скобках зависит только от порождающего 
данные процесса, но не от модели. Следовательно, при обучении модели, минимизи-
рующей расхождение КЛ, мы должны минимизировать только величину
– 
𝔼
x
∼
p
�
data
[log 
p
model
(
x
)], 
(5.61)
а это, конечно, то же самое, что максимизация величины (5.59).
Минимизация расхождения КЛ в точности соответствует минимизации пере-
крестной энтропии между распределениями. Многие авторы употребляют термин 
«перекрестная энтропия» для обозначения исключительно отрицательного логариф-
мического правдоподобия распределения Бернулли или softmax, но это неправильно. 
Любая функция потерь, содержащая отрицательное логарифмическое правдоподо-
бие, является перекрестной энтропией между эмпирическим распределением, опре-
деляемым обучающим набором, и распределением, определяемым моделью. Напри-
мер, среднеквадратическая ошибка – перекрестная энтропия между эмпирическим 
распределением и гауссовой моделью.
Таким образом, мы видим, что максимальное правдоподобие – это попытка совмес-
тить модельное распределение с эмпирическим распределением 
p
�
data
. В идеале мы хо-
тели бы совпадения с истинным порождающим распределением 
p
data
, но непосред-
ственного доступа к нему у нас нет.
Хотя оптимальное значение 
θ
не зависит от того, максимизируем мы правдоподобие 
или минимизируем расхождение КЛ, значения целевых функций различны. При раз-
работке программ мы часто называем то и другое минимизацией функции стоимости. 
В таком случае поиск максимального правдоподобия становится задачей минимиза-
ции отрицательного логарифмического правдоподобия (ОЛП), или, что эквивалент-
но, минимизации перекрестной энтропии. Взгляд на максимальное правдоподобие 
как на минимальное расхождение КЛ в этом случае становится полезен, потому что 
известно, что минимум расхождения КЛ равен нулю. А отрицательное логарифмиче-
ское правдоподобие может принимать отрицательные значения при вещественных