Я. Гудфеллоу, И. Бенджио, А. Курвилль

5.6. Байесовская статистика
До сих пор мы обсуждали 
частотные статистики
и подходы, основанные на оценива-
нии единственного значения 
θ
, которое затем использовалось для всех предсказаний. 
Другой подход состоит в том, чтобы делать предсказание, рассматривая все возмож-
ные значения 
θ
. Это область 
байесовской статистики
.
Как было сказано в разделе 5.4.1, частотный подход предполагает, что истинное зна-
чение 
θ
фиксировано, хотя и неизвестно, а точечная оценка 
θ
ˆ – случайная величина 
ввиду того, что она является функцией набора данных (который считается случайным).

---

126 

 
Основы машинного обучения 
Байесовский подход к статистике совершенно иной. Вероятность в этом случае 
отражает степень уверенности в наших знаниях. Набор данных доступен прямому 
наблюдению и, следовательно, не является случайным. С другой стороны, истинный 
параметр 
θ
неизвестен или недостоверен и потому представляется случайной пере-
менной.
Еще до наблюдения данных мы представляем свои знания про 
θ
в виде априорного 
распределения вероятности 
p
(
θ
). В машинном обучении априорное распределение 
обычно берется достаточно широким (имеющим большую энтропию), что отражает 
высокую степень неопределенности значения 
θ
до наблюдения. Например, априори 
можно предположить, что 
θ
равномерно распределен в некоторой конечной области. 
Во многих априорных распределениях предпочтение, наоборот, отдается «более про-
стым» решениям (например, коэффициентам с меньшими абсолютными величинами 
или функции, близкой к постоянной).
Рассмотрим теперь набор примеров {
x
(1)
, …, 
x
(
m
)
}. Можно реконструировать влияние 
данных на наши гипотезы про 
θ
, объединив правдоподобие данных 
p
(
x
(1)
, …, 
x
(
m
)
| 
θ
) 
с априорным распределением посредством правила Байеса:
(5.67)
В тех ситуациях, где обычно применяется байесовское оценивание, в качестве 
априорного представления берется относительно равномерное или нормальное 
распределение с большой энтропией, а наблюдение данных, как правило, приводит 
к апостериорному распределению с меньшей энтропией, сосредоточенному в окрест-
ности вероятных значений параметров.
По сравнению с оценкой максимального правдоподобия, у байесовской оценки есть 
два важных отличия. Во-первых, в подходе на основе максимального правдоподобия 
предсказания делаются с использованием точечной оценки