Я. Гудфеллоу, И. Бенджио, А. Курвилль

5.5. Оценка максимального правдоподобия
Мы познакомились с определениями нескольких оценок и проанализировали их 
свойства. Но откуда взялись эти оценки? Хотелось бы не угадывать функцию, кото-
рая могла бы оказаться хорошей оценкой, и затем анализировать смещение и диспер-
сию, а располагать каким-то общим принципом, позволяющим выводить функции, 
являющиеся хорошими оценками для разных моделей.
Чаще всего для этой цели применяется принцип максимального правдоподобия.
Рассмотрим множество 
m
примеров 
𝕏 
= {
x
(1)
, …, 
x
(
m
)
}, независимо выбираемых из 
неизвестного порождающего распределения 
p
data
(
x
).
Обозначим 
p
model
(
x
; 
θ
) параметрическое семейство распределений вероятности над 
одним и тем же пространством, индексированное параметром 
θ
. Иными словами, 
p
model
(
x
; 
θ
) отображает произвольную конфигурацию 
x
на вещественное число, даю-
щее оценку истинной вероятности 
p
data
(
x
).
Тогда оценка максимального правдоподобия для 
θ
определяется формулой:
 
(5.56)
 
(5.57)
Такое произведение большого числа вероятностей по ряду причин может быть не-
удобно. Например, оно подвержено потере значимости. Для получения эквивалент-
ной, но более удобной задачи оптимизации заметим, что взятие логарифма правдопо-
добия не изменяет arg max, но преобразует произведение в сумму:
 
(5.58)

---

Оценка максимального правдоподобия 

123
Поскольку arg max не изменяется при умножении функции стоимости на констан-
ту, мы можем разделить правую часть на 
m
и получить выражение в виде математи-
ческого ожидания относительно эмпирического распределения 
p
�
data
, определяемого 
обучающими данными:
data
 
(5.59)
Один из способов интерпретации оценки максимального правдоподобия состоит 
в том, чтобы рассматривать ее как минимизацию расхождения Кульбака–Лейблера 
между эмпирическим распределением 
p
�
data
, определяемым обучающим набором, и мо-
дельным распределением. Расхождение Кульбака–Лейблера определяется формулой
D
KL
(
p
�
data
||
p
model
) = 
𝔼