Я. Гудфеллоу, И. Бенджио, А. Курвилль

5.4.5. Состоятельность
До сих пор мы обсуждали свойства различных оценок для обучающего набора фик-
сированного размера. Обычно нас интересует также поведение оценки по мере роста 
этого размера. В частности, мы хотим, чтобы при увеличении числа примеров точеч-
ные оценки сходились к истинным значениям соответствующих параметров. Фор-
мально это записывается в виде:
plim
m
⟶∞
θ
ˆ
m
= 
θ
.
 
(5.55)
Символом plim обозначается сходимость в смысле вероятности, т. е. для любого 
ε
> 0 
P
(|
θ
ˆ
m
– 
θ
| > 
ε
) 
⟶
0 при 
m
⟶
∞
. Условие (5.55) называется 
состоятельностью
. 
Иногда его называют слабой состоятельностью, понимая под сильной состоятель-
ностью 
сходимость почти наверное
θ
ˆ к 
θ
. Говорят, что последовательность случай-
ных величин 
x
(1)
, 
x
(2)
, … сходится к 
x
почти наверное, если p(lim
m
⟶∞
x
(
m
)
= 
x
) = 1.
Состоятельность гарантирует, что смещение оценки уменьшается с ростом числа 
примеров. Однако обратное неверно – из асимптотической несмещенности не вы-
текает состоятельность. Рассмотрим, к примеру, оценивание среднего 
μ
нормального 
распределения 
𝒩
(
x
; 
μ
, 
σ
2
) по набору данных, содержащему 
m
примеров: {
x
(1)
, …, 
x
(
m
)
}. 
Можно было бы взять в качестве оценки первый пример: 
θ
ˆ = 
x
(1)
. В таком случае 
𝔼
(
θ
ˆ
m
) = 
θ
, поэтому оценка является несмещенной вне зависимости от того, сколько 
примеров мы видели. Отсюда, конечно, следует, что оценка асимптотически несме-
щенная. Но она не является состоятельной, т. к. 
неверно
, что 
θ
ˆ
m
⟶ 
θ
при 
m
⟶ ∞
.