Множественная регрессия и корреляция

Пусть требуется построить линейную модель зависимости некоторого выходного экономического показателя , называемого объясняемой переменной от набора входных показателей , называемых объясняющими переменными. Основным методом построения таких моделей является метод наименьших квадратов, смысл которого состоит в том, чтобы подобрать параметры модели, минимизирующие суммы квадратов отклонений модельных значений объясняемой переменной от истинных значений. Метод наименьших квадратов реализован во всех статистических пакетах программ, а также в средствах статистического пакета Анализа данных Microsoft Excel.

Пусть  -  наблюдений объясняемой переменной, а   -  наблюдений  объясняющих переменных.  Задача состоит в построении по данной выборке линейной модели зависимости объясняемой переменной от вектора объясняющих переменных.

.

Здесь  – коэффициенты модели, которые надо определить, а  - ошибка измерения модели.

Для адекватной работы метода наименьших квадратов требуется выполнение следующих гипотез:

1.  . (спецификация модели).

2.   -детерминированные величины, причем в матрице

столбцы линейно независимые, т.е. ранг этой матрицы равен .

3.   - случайная величина, удовлетворяющая условиям

3а. , математическое ожидание ошибки равно нулю;

3b. , дисперсия ошибки не зависит от номера наблюдения;

3с. , т.е. ошибки разных наблюдений не зависят друг от друга.

Справедлива теорема Гаусса-Маркова, что при этих условиях метод наименьших квадратов дает наилучшую в некотором смысле модель. Если некоторые из условий не выполняются, то приходится использовать более сложные методы.

В результате применения метода наименьших квадратов находятся оценки коэффициентов модели . По этим оценкам и по значениям объясняющих переменных  строятся модельные значения объясняемой переменной . Обозначим через  отклонение истинного значения объясняемой переменной от модельного для -го наблюдения (). Качество модели оценивается через сумму квадратов отклонений модели

.

 ( error sum of squares)  называется суммой квадратов ошибок.

Метод наименьших квадратов состоит в том, что среди всех возможных наборов коэффициентов модели находится набор, минимизирующий .

Если все коэффициенты модели, кроме константы , равны нулю, то  - среднему значению объясняемой переменной. Тогда сумма квадратов отклонений равна

.

 ( total sum of squares)  называется общей суммой квадратов.

За счет того, что не все коэффициенты модели равны нулю, сумма квадратов отклонений уменьшается. В соответствии с этим величина

означает объясненную сумму квадратов (regression sum of squares).

После получения оценок  необходимо определить, все ли из них значимо отличаются от нуля, так как, если коэффициент равен нулю, это означает, что соответствующая объясняющая переменная не участвует в модели. Коэффициент значим, если гипотезу его равенства нулю надо отвергнуть. Соответственно значимостью коэффициента называется вероятность того, что его знак совпадает со знаком его оценки.

Для полученной модели необходимо уметь определять, можно ли отбросить несколько входящих в нее объясняющих переменных или добавить переменные, не входящие в модель. ............