Теория вероятности и математическая статистика

M(Y/x1,x2,…,xk)=β0+β1x1+β2x2+…+βjxj+…+βkxk

(5)

Следовательно, функциональная составляющая исходной регрессионной модели представляет собой функцию регрессии.
Конкретизируя на основании имеющихся статистических данных n выборок: (y_i, x_i1, x_i2,…, x_ij,…, x_ik) вид уравнения регрессии (5) для каждого произведенного наблюдения, приходим к системе n равенств:

,

(6)

где символом обозначено M(Y/x_i1,x_i2,…,x_ik) - условное математическое ожидание переменной Y в i-ом наблюдении.
В матричной форме система уравнений (6) приобретает вид

,

(7)

здесь - вектор-столбец размерности n с элементами .
Итак,

.

(8)

Из соотношения (8) вытекает представление вектора остатков:

.

(9)

Оценка параметров модели множественной линейной регрессии по методу наименьших квадратов

Согласно этому методу в качестве оценки неизвестного вектора принимают тот вектор , который минимизирует квадрат длины вектора - остаточную сумму квадратов отклонений фактических значений критериальной переменной Y от соответствующих расчетных значений, найденных на основе уравнения регрессии Y на (X₁, X₂,…, X_k):
,
т.е. искомый вектор должен удовлетворять требованию
.
Необходимые и достаточные условия минимума квадратичной формы Q_ост, рассматриваемой как функция аргументов β₀, β₁, β₂,…, β_j,…, β_k, известны из математического анализа:
.
Осуществляя дифференцирование функции

отдельно по каждому из параметров β₀, β₁, β₂,…, β_j,…, β_k, и приравнивая производные нулю, получаем k+1 соотношение для b₀, b₁, b₂,…, b_j,…, b_k - МНК-оценок искомых параметров модели:

.

(10)

Данная система в матричной форме записываются так:

.

(11)

где Х^Т – матрица, транспонированная к матрице X.
Если - невырожденная матрица, то умножая слева обе части уравнения (11) на обратную матрицу , находим матричное выражение, определяющее МНК-оценку параметров модели множественной линейной регрессии как вектор-функцию выборочных данных:

.

(12)

Анализ качества модели множественной линейной регрессии

Необходимо определить, соответствует ли построенная математическая модель, выражающая зависимость между переменными, эмпирическим данным, достаточно ли включенных в уравнение объясняющих переменных (предикторов) для описания зависимой (критериальной) переменной.

Проверка значимости уравнения регрессии

Основная гипотеза:
H₀: β₁=β₂=…=β_k=0.
Статистика применяемого критерия Фишера:
,
где , .
Статистика представима также в виде
,
здесь .
Условие отвержения основной гипотезы: F>F_кр, где F_кр - критическое значение, удовлетворяющее при заданном уровне значимости α применяемого критерия следующему условию:
P{F>F_кр(k+1,n-k-1)}=α.
При отвержении основной гипотезы заключают (с вероятностью ошибки вывода, равной α), что уравнение регрессии значимо (существенно), т.е. хотя бы один из коэффициентов при переменных отличен от нуля. В ином случае делают вывод, что имеющиеся статистические данные не подтверждаю его значимость.

Несмещенная точечная оценка остаточной дисперсии

Остаточной дисперсией называется та часть вариации зависимой переменной Y, которую нельзя объяснить воздействием предикторов X₁, X₂,…, X_k.
Расчетное выражение:
.

Пример. Двумерная аддитивная модель регрессии

Требуется построить линейную модель регрессии некоторой случайной величины Y на определенную случайную переменную X:
.
Для этого необходимо по выборке с помощью метода наименьших квадратов определить коэффициенты - оценки параметров уравнения регрессии , а также дать оценку остаточной дисперсии .
Приравнивая нулю частные производные первого порядка квадратичной формы по и решая полученную нормальную систему уравнений:
или ,
по правилу Крамера, находим искомые расчетные формулы:
; .
Выборочная остаточная дисперсия:
.
Несмещенная оценка остаточной дисперсии:
.