Я. Гудфеллоу, И. Бенджио, А. Курвилль

среднеквадратическую ошибку
(MSE) обеих оценок:
MSE = 
𝔼
[(
θ
ˆ
m
– 
θ
)
2
] 
(5.53)
= Bias(
θ
ˆ
m
)
2
+ Var(
θ
ˆ
m
). 
(5.54)
MSE измеряет ожидаемое расхождение (в смысле квадрата ошибки) между оцен-
кой и истинным значением параметра 
θ
. Из формулы (5.54) видно, что в вычислении 
MSE участвует как смещение, так и дисперсия. Желательной является оценка с ма-
лой MSE, именно такие оценки держат под контролем и смещение, и дисперсию.
Соотношение между смещением и дисперсией тесно связано с возникающими в ма-
шинном обучении понятиями емкости модели, недообучения и переобучения. Если 
ошибка обобщения измеряется посредством MSE (и тогда смещение и дисперсия ста-
новятся важными компонентами ошибки обобщения), то увеличение емкости влечет 
за собой повышение дисперсии и снижение смещения. Это показано на рис. 5.6, где 
мы снова видим U-образную кривую зависимости ошибки обобщения от емкости.
Емкость
Оптимальная емкость
Ошибка
обобщения
Смещение
Дисперсия
Зона недообучения
Зона переобучения
Рис. 5.6 

С ростом емкости (ось x) смещение (пунктирная линия) умень-
шается, а дисперсия (штриховая линия) увеличивается, в результате чего 
получается еще одна U-образная кривая для ошибки обобщения (жирная 
линия). В какой-то точке на оси x емкость оптимальна, слева от этой точки 
имеет место недообучение, справа – переобучение. Это соотношение ана-
логично соотношению между емкостью, недообучением и переобучением, 
которое рассматривалось в разделе 5.2 и на рис. 5.3

---

122 

 
Основы машинного обучения