Я. Гудфеллоу, И. Бенджио, А. Курвилль

for
i
от 1 до k 
do
f
i
= 
A
(
𝔻
\
𝔻
i
)
for
z
(
j
)
из 
𝔻
i
do
e
j
= 
L
(
f
i
, 
z
(
j
)
)
end for
end for
Return 
e

---

Оценки, смещение и дисперсия 

117
Пока что примем частотный подход к статистике, т. е. будем предполагать, что 
истинное значение параметра 
θ
фиксировано, но неизвестно, а точечная оценка 
θ
ˆ 
является функцией от этих данных. Поскольку данные порождаются случайным 
процессом, любая функция от них также случайная. Таким образом, 
θ
ˆ – случайная 
величина.
Точечную оценку можно также рассматривать как оценку связи между входной 
и выходной величинами. Такие типы точечных оценок мы будем называть оценками 
функций.
Оценивание функций.
Иногда нас интересует оценивание (или аппроксимация) 
функции. В этом случае мы пытаемся предсказать величину 
y
, зная входной вектор 
x
. Предполагается, что существует функция 
f
(
x
), приближенно описывающая связь 
между 
y
и 
x
. Например, можно предположить, что 
y
= 
f
(
x
) + 
ε
, где 
ε
обозначает часть 
y
, 
которую невозможно предсказать, зная 
x
. Оценивание функции сводится к аппрок-
симации 
f
моделью или оценкой 
f
ˆ. Оценивание функции – по существу, то же самое, 
что оценивание параметра 
θ
; 
f
ˆ – это просто точечная оценка в пространстве функций. 
Примеры линейной (раздел 5.1.4) и полиномиальной (раздел 5.2) регрессий можно 
интерпретировать либо как оценку параметра