Я. Гудфеллоу, И. Бенджио, А. Курвилль

116 

 
Основы машинного обучения 
5.4.1. Точечное оценивание
Точечное оценивание – это попытка найти единственное «наилучшее» предсказание 
интересующей величины. В общем случае интересующей величиной может быть 
один или несколько параметров некоторой параметрической модели, например веса 
в примере линейной регрессии из раздела 5.1.4, а также целая функция.
Чтобы отличить оценку параметра от истинного значения, мы будем обозначать 
оценку параметра 
θ
символом 
θ
ˆ.
Пусть {
x
(1)
, …, 
x
(
m
)
} – множество 
m
независимых и одинаково распределенных точек. 
Точечной оценкой
, или 
статистикой
, называется любая функция этих данных:
θ
ˆ
m
= 
g
(
x
(1)
, …, 
x
(
m
)
) . 
(5.19)
В этом определении не требуется, чтобы 
g
возвращала значение, близкое к истин-
ному значению 
θ
, ни даже чтобы область значений 
g
совпадала со множеством до-
пустимых значений 
θ
. Определение точечной оценки весьма общее и предоставляет 
проектировщику большую свободу. Хотя в соответствии с ним оценкой можно на-
звать почти любую функцию, хорошей оценкой будет та, значение которой близко 
к истинному распределению 
θ
, из которого выбирались обучающие данные.
Алгоритм 5.1.
Алгоритм 
k
-групповой перекрестной проверки. Применяется для 
оценивания ошибки обобщения алгоритма обучения 
A
, когда имеющийся набор 
данных 
𝔻
слишком мал для того, чтобы простое разделение на обучающий и тес-
товый или обучающий и контрольный наборы могло дать точную оценку ошибки 
обобщения, поскольку среднее значение потери 
L
на малом тестовом наборе может 
иметь высокую дисперсию. Элементами набора данных 
𝔻
являются абстрактные 
примеры