Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
, либо как оценку функции 
f
ˆ, отобра-
жающей 
x
в 
y
.
Теперь рассмотрим те свойства оценок, которые чаще всего изучаются, и обсудим, 
какую информацию об оценках они несут.
5.4.2. Смещение
Смещение оценки определяется следующим образом:
bias(
θ
ˆ
m
) = 
𝔼
(
θ
ˆ
m
) – 
θ
,
 
(5.20)
где математическое ожидание вычисляется по данным (рассматриваемым как вы-
борка из случайной величины), а 
θ
– истинное значение параметра, которое опре-
деляет порождающее распределение. Оценка 
θ
ˆ
m
называется 
несмещенной
, если 
bias(
θ
ˆ
m
) = 
0
, т. е. 
𝔼
(
θ
ˆ
m
) = 
θ
. Оценка 
θ
ˆ
m
называется 
асимптотически
несмещенной
, если
lim
m
⟶∞
bias(
θ
ˆ
m
) = 
0
, т. е. lim
m
⟶∞
𝔼
(
θ
ˆ
m
) = 
θ
.
Пример: распределение Бернулли.
Рассмотрим множество независимых приме-
ров {
x
(1)
, …, 
x
(
m
)
}, имеющих одно и то же распределение Бернулли со средним 
θ
:
P
(
x
(
i
)
, 
θ
) = 
θ
x
(
i
)
(1 – 
θ
)
(1–
x
(
i
)
)
.
(5.21)
Стандартной оценкой параметра 
θ
этого распределения является среднее значение 
обучающих примеров:
(5.22)
Чтобы узнать, является ли эта оценка смещенной, подставим (5.22) в (5.20):
(5.23)
(5.24)
(5.25)

---

118 

 
Основы машинного обучения 
(5.26)
(5.27)
= 
θ
– 
θ
= 0
(5.28)
Поскольку bias(
θ
ˆ) = 0, оценка 
θ
ˆ является несмещенной.
Пример: оценка среднего нормального распределения.
Теперь рассмотрим мно-
жество независимых примеров {
x
(1)
, …, 
x
(
m
)
}, имеющих одно и то же нормальное рас-
пределение 
p
(
x
(
i
)
) = 
𝒩
(
x
(
i
)
, 
μ
; 
σ
2
), где 
i
∈
{1, …, 
m
}. Напомним, что функция плотности 
вероятности нормального распределения имеет вид:
(5.29)
Стандартная оценка среднего нормального распределения называется 
выбороч-
ным средним
:
(5.30)
Чтобы найти смещение выборочного среднего, нужно вычислить его математиче-
ское ожидание:
(5.31)
(5.32)
(5.33)
(5.34)
= 
μ
– 
μ
= 0
(5.35)
Таким образом, выборочное среднее – несмещенная оценка среднего значения нор-
мального распределения.
Пример: оценки дисперсии нормального распределения.
В этом примере мы 
сравним две оценки параметра 
σ
2
, определяющего дисперсию нормального распреде-
ления. Нас будет интересовать, являются ли они смещенными.
Первая оценка 
σ
2
называется 
выборочной дисперсией
:
(5.36)
где 
μ
�
m
–
выборочное среднее. Нас интересует величина
bias[
σ
�
m
2
] = 
𝔼
[
σ
�
m
2
] – 
σ
2
.
(5.37)

---

Оценки, смещение и дисперсия 

119
Сначала вычислим член 
𝔼
[
σ
�
m
2
]:
(5.38)
(5.39)
Возвращаясь к формуле (5.37), заключаем, что смещение 
σ
�
m
2
равно –
σ
2
/
m
. Следова-
тельно, эта оценка смещенная.
Несмещенная оценка дисперсии
выглядит так:
(5.40)
Покажем, что 
𝔼
[
σ
�
2
m
] = 
σ
2
.
(5.41)
(5.42)
(5.43)
= 
σ
2 
(5.44)
Итак, у нас есть две оценки: смещенная и несмещенная. Хотя несмещенные оцен-
ки, очевидно, желательны, не всегда они являются «наилучшими». Мы часто будем 
использовать смещенные оценки, которые обладают другими важными свойствами.
5.4.3. Дисперсия и стандартная ошибка
Еще одно интересное свойство оценки – насколько сильно она изменяется как функ-
ция примера. Для определения смещения мы вычисляли математическое ожидание 
оценки, но точно так же можем вычислить и ее дисперсию. Дисперсией оценки на-
зывается выражение:
Var(
θ
ˆ), 
(5.45)
где случайной величиной является обучающий набор.