Я. Гудфеллоу, И. Бенджио, А. Курвилль

Стандартной ошибкой
SE(
θ
ˆ) 
называется квадратный корень из дисперсии.
Дисперсия, как и стандартная ошибка, оценки измеряет, как будет изменяться 
оценка, вычисленная по данным, при независимой повторной выборке из набора дан-
ных, генерируемого порождающим процессом. Желательные оценки – обладающие 
не только малым смещением, но и относительно малой дисперсией.
При вычислении любой статистики по выборке конечного размера оценка истин-
ного значения параметра всегда недостоверна в том смысле, что, взяв другую выборку 
из того же распределения, мы получили бы другую статистику. Ожидаемая степень 
вариативности оценки – источник ошибки, который мы хотим выразить количест-
венно.

---

120 

 
Основы машинного обучения 
Стандартная ошибка среднего равна
(5.46)
где 
σ
2
– истинная дисперсия выборки 
x
i
. Стандартную ошибку часто оценивают с по-
мощью оценки 
σ
. К сожалению, ни квадратный корень из выборочной дисперсии, 
ни квадратный корень из несмещенной оценки дисперсии не является несмещенной 
оценкой стандартного отклонения. В обоих случаях оценка истинного стандартно-
го отклонения оказывается заниженной, тем не менее та и другая используются на 
практике. Квадратный корень из несмещенной оценки дисперсии – менее занижен-
ная оценка. Для больших 
m
аппроксимация вполне приемлема.
Стандартная ошибка среднего очень полезна в экспериментах по машинному 
обуче нию. Мы часто оцениваем ошибку обобщения, вычисляя выборочное среднее 
ошибки на тестовом наборе. Количество примеров в тестовом наборе определяет точ-
ность оценки. Воспользовавшись центральной предельной теоремой, согласно кото-
рой среднее имеет приблизительно нормальное распределение, мы можем применить 
стандартную ошибку для вычисления вероятности того, что истинное математиче-
ское ожидание находится в выбранном интервале. Например, 95-процентный дове-
рительный интервал вокруг среднего 
μ
�
m
определяется формулой
(
μ
�
m
– 1.96SE(
μ
�
m
), 
μ
�
m
+ 1.96SE(
μ
�
m
)) 
(5.47)
при нормальном распределении со средним 
μ
�
m
и дисперсией SE(
μ
�
m
)
2
. В эксперимен-
тах по машинному обучению принято говорить, что алгоритм 
A
лучше алгоритма 
B
, 
если верхняя граница 95-процентного доверительного интервала для ошибки алго-
ритма 
A
меньше нижней границы 95-процентного доверительного интервала для 
ошибки алгоритма 
B
.