Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
, а в байесовском – с ис-
пользованием полного распределения 
θ
. Например, после наблюдения 
m
примеров 
предсказанное распределение следующего примера 
x
(
m
+
1)
описывается формулой
(5.68)
Здесь каждое значение 
θ
с положительной плотностью вероятности вносит вклад 
в предсказание следующего примера с весом, равным самой апостериорной плотно-
сти. Если после наблюдения примеров {
x
(1)
, …, 
x
(
m
)
} мы все еще не уверены в значении 
θ
, то эта неопределенность включается прямо в предсказания.
В разделе 5.4 мы обсуждали, как в частотном подходе решается вопрос о неопре-
деленности данной точечной оценки 
θ
путем вычисления ее дисперсии. Дисперсия 
оценки – это суждение о том, как могла бы измениться оценка в случае другой вы-
борки наблюдаемых данных. Байесовский подход дает другой ответ на вопрос о не-
определенности оценки – просто проинтегрировать по ней, и это хорошо защищает 
от переобучения. Этот интеграл – не что иное, как применение законов вероятности, 
поэтому байесовский подход легко обосновать, тогда как частотный механизм по-
строения оценки основан на довольно-таки произвольном решении свести все зна-
ния, содержащиеся в наборе данных, к одной точечной оценке.
Второе важное различие между байесовским подходом к оцениванию и подходом 
на основе максимального правдоподобия обусловлено вкладом байесовского апри-

---

Байесовская статистика 

127
орного распределения. Влияние этого распределения состоит в сдвиге плотности ве-
роятности в сторону тех областей пространства параметров, которые априори пред-
почтительны. На практике априорное распределение часто выражает предпочтение 
более простым или более гладким моделям. Критики байесовского подхода называют 
априорное распределение источника субъективных суждений влияющим на предска-
зания.
Обычно байесовские методы обобщаются гораздо лучше при ограниченном объеме 
обучающих данных, но становятся вычислительно более накладными, когда количе-
ство обучающих примеров велико.