Множественная линейная регрессия

Множественная линейная регрессия
Модель множественной линейной регрессии - это практичная статистическая модель для оценки связей между непрерывной зависимой переменной и переменными-предикторами.
Предикторы могут быть непрерывными, категориальными или производными полями, так что поддерживаются также нелинейные взаимосвязи. Сама модель является линейной, так как она состоит из аддитивных членов, каждый из которых представляет собой предиктор, умноженный на оценку коэффициента. Как правило, в модель добавляется также константа (свободный член).
Линейная регрессия используется для поиска закономерностей в диаграммах, содержащих по крайней мере два непрерывных поля, одно из которых определено как переменная назначения, а другое - как переменная-предиктор. Кроме того, на такой диаграмме можно задать категориальный предиктор и два вспомогательных непрерывных поля для генерирования подходящей регрессионной модели. Для каждой модели-кандидата IBM®Cognos Analytics выполняет оценку пригодности при помощи F-критерия.
Подгонка модели и оценивание
Ниже приведены шаги по подбору линейной модели:

1. 
   Постройте матрицу плана, которая содержит по одной строке для каждой строки данных и по одному столбцу для каждого параметра в регрессионной модели. Столбцы соответствуют предикторам или категориям предикторов.
   
2. 
   Вычислите коэффициенты регрессии.
   
   1. 
      Умножьте транспонированную матрицу плана на саму себя.
      
   2. 
      Умножьте транспонированную матрицу плана на вектор целевых значений (значений зависимой переменной).
      
   3. 
      Умножьте матрицу, обратную полученной на шаге а) на матрицу, полученную на шаге б).
      

Используя полученные коэффициенты регрессии, вычислите предсказанные целевые значения для каждой строки данных. Разности между предсказанными и наблюдаемыми целевыми значениями называются остатками. После этого оценивается значимость модели с помощью F-критерия, как показано ниже.

1. 
   Вычислите средний квадрат отклонения для источника ошибки (необъясненная дисперсия).
   
   1. 
      Вычислите сумму квадратов для остатков.
      
      1. 
         Возведите в квадрат каждый из этих остатков и сложите их вместе.
         
   2. 
      Разделите сумму квадратов для источника ошибок на соответствующее число степеней свободы.
      
2. 
   Вычислите средний квадрат отклонения для регрессионной модели (объясненная дисперсия).
   
   1. 
      Вычислите сумму квадратов для модели.
      
      1. 
         Для каждой строки вычтите общее среднее значение из предсказанного целевого значения.
         
      2. 
         Возведите в квадрат каждый из этих результатов и сложите их вместе.
         
   2. 
      Разделите сумму квадратов для регрессионной модели на соответствующее число степеней свободы.
      
3. 
   Разделите средний квадрат для регрессионной модели на средний квадрат для источника ошибки. Другими словами, нужно вычислить отношение объясненной дисперсии к необъясненной дисперсии. Это отношение является значением F.
   

Значение F сравнивается с теоретическим F-распределением для оценки вероятности случайного получения такого значения.

• 
  Эта вероятность является показателем значимости.
  
• 
  Если показатель значимости меньше заданного уровня значимости, то средние значения существенно различаются.
  

Скорректированный R2 используется для оценки прогностической силы регрессионной модели. Для уровня значимости задано значение 5%, а прогностическая сила модели должна превышать 10%, чтобы обеспечить надежную прогностическую взаимосвязь между полем ввода и полем назначения.
Выбор модели
Процедура выбора модели зависит от наличия категориального предиктора. Если задан только непрерывный предиктор, рассматриваются следующие три модели.

1. 
   Модель с константой, которая всегда предсказывает только общее среднее.
   
2. 
   Линейная модель с одним предиктором, добавленным к константе.
   
3. 
   Квадратичная модель, в которой в линейную модель добавляется квадрат предиктора.
   

Квадратичная модель выбирается, если она является значимой и обеспечивает улучшение прогностической силы, как минимум, на 10% относительно линейной модели. Если выбрана эта опция, то наряду прогностической силой модели выводится квадратичная линия подгонки.
В противном случае выбирается линейная модель, если она удовлетворяет тем же условиям в сравнении с константной моделью. Если выбрана эта опция, то наряду прогностической силой модели выводится прямая линия подгонки.
Если не выбрана ни одна из перечисленных моделей. Выводится общее среднее без прогностической взаимосвязи между назначением и вводом.
При наличии категориального предиктора процесс выбора более сложен, так как в данном случае рассматривается до восьми различных моделей. Этапы выбора подобны рассмотренным выше, то есть выбирается наиболее сложная модель, если она значима и обеспечивает достаточное относительное улучшение по сравнению с первой вложенной моделью.
Для выбранной модели выводится ее прогностическая сила вместе с соответствующими линиями подгонки, в зависимости от модели и числа категорий в категориальном предикторе, если он выбран. Число категорий в категориальном предикторе ограничено тремя, чтобы уменьшить число выводимых линий подгонки.