Модели ANСOVA при наличии у качественных переменных более двух альтернатив

 

Пусть рассматривается модель с двумя объясняющими переменными, одна из которых количественная, а другая – качественная. Причем качественная переменная имеет три альтернативы.

Например, расходы на содержание ребенка –(у) могут быть связаны с доходами семьи (х)и возрастом ребенка (D): дошкольный, младший школьный и старший школьный.

Так как качественная переменная связана с тремя альтернативами, то по общему правилу моделирования необходимо использовать две фиктивные переменные. Таким образом, модель может быть представлена в виде:

 

 

 

 

Образуются следующие зависимости:

Средний расход на дошкольника:

 

 

Средний расход на младшего школьника:

 

 

Средний расход на старшего школьника:

 

 

Здесь с₁ и с₂ – дифференциальные свободные члены. Базовым значением качественной переменной является значение «дошкольник».Таким образом, получаются три регрессионные прямые, параллельные друг другу и отличающиеся свободным членом.

ЛЕКЦИЯ 11

При оценке параметров уравнения регрессии применяется МНК. При этом делаются определенны е предпосылки относительно случайной составляющей ε.

При изменении спецификации модели, добавлении в нее новых наблюдений остатки ε могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений ε, ть. Е. остаточных величин.

Для того, чтобы результаты регрессионного анализа с использованием МНК имели практическое значение, оценки параметров регрессии должны отвечать определенным критериям.

Они должны быть несмещенными, состоятельными и эффективными.

Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Следовательно, при большом числе оцениваний остатки не будут накапливаться и найденный параметр регрессии b_i можно рассматривать как среднее значение из возможного большого количества оценок. Если оценки свойством обладают несмещенности, то их можно сравнивать по разным исследованиям.

Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. Поэтому несмещенность оценки должна дополняться минимальной дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

Состоятельность оценок характеризует увеличение их точности с увеличением объема наблюдений.

Условия, необходимые для получения несмещенных, состоятельных и эффективных оценок, представляют собой предпосылки МНК, которых пять:

1. случайный характер остатков;

2. нулевая средняя величина остатков, не зависящая от х_i;

3. гомоскедастичность – дисперсия каждого отклонения ε_i одинакова для всех значений х;

4. отсутствие автокорреляции остатков. Значения ε_i распределены независимо друг от друга;

5. остатки подчиняются нормальному распределению

 

Если все 5 предпосылок выполняются, то оценки, полученные по МНК совпадают в любых исследованиях между собой.

Если хотя бы одна из предпосылок отсутствует, следует корректировать модель.

 

Проверка первой предпосылки МНК – случайный характер остатков ε_i

 

С этой целью строится график остатков ε_i от теоретических значений результативного признака.

 

 

 

 

 

Если на графике получена горизонтальная полоса, то остатки ε_i представляют собой случайные величины и МНК оправдан, теоретические значения хорошо аппроксимируют фактические значения у.

Возможны следующие случаи: если ε_i зависит от , то

а) остатки ε_i не случайны; б) остатки ε_i не имеют постоянной дисперсии; в) остатки ε_i носят систематический характер.

В этих случаях необходимо либо вводить новую информацию и заново строить уравнение регрессии, либо применять другую функцию.

Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных, для моделей, нелинейных по оцениваемым параметрам и приводимых к линейному виду путем логарифмирования, например для степенной функции для проверки второй предпосылки строится график зависимости остатков ε_i от факторов, включенных в регрессию x_i.

 

Если остатки на графике расположены в виде горизонтальной полосы, то они независимы от значений x_i. Если же график показывает наличие зависимости ε_i от x_i, модель неадекватна. Причины этого могут быть разные. Возможно, что нарушена третья предпосылка МНК и дисперсия остатков непостоянна для каждого значения фактора x_i. Может быть неправильна спецификация модели.

Третья предпосылка требует, чтобы дисперсия остатков была гомоскедастичной. Это означает, что дисперсия остатков ε_i одинакова для каждого значения фактора x_i. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность. Наличие гетероскедастичностиможно наглядно видеть из поля корреляции.

а) б) в)

 

а) дисперсия остатков растет по мере увеличения х; б) дисперсия остатков достигает максимальной величины при средних значениях переменной х и уменьшается при максимальных и минимальных значениях х;

в) максимальная дисперсия остатков при малых значениях х и дисперсия остатков однородна по мере увеличения значений х.

Гомоскедастичность остатков означает, что дисперсия остатков одинакова для каждого значения х.

Используя трехмерное изображение, получают графики, иллюстрирующие гомо- и гетероскедастичность.

 

 

Рис.1. Гомоскедастичность остатков

 

Для каждого значения х распределения остатков ε_i одинаковы.

		x

 

 

Рис. 2. Гетероскедастичность остатков

 

Диапазон варьирования остатков меняется с переходом от одного значения х _i к другому. То есть имеет место неодинаковая дисперсия ε _i при разных значениях х _i .

Для множественной регрессии наиболее приемлемым визуальным способом изучения гомо- или гетероскедастичности является график зависимости остатков ε _i от теоретических значений результативного признака у _х.

При нарушении гомоскедастичности мы имеем неравенства:

 

, j = i

 

и можно записать

.

 

При этом величина k _i может меняться при переходе от одного фактора х _j к другому. Это означает, что сумма квадратов отклонений для зависимости при наличии гетероскедастичности должна иметь вид:

 

SS гетеро =.

 

Четвертая предпосылка МНК – отсутствие автокорреляции остатков, т. е. значения ε_ί распределены независимо друг от друга.

Автокорреляция остатков означает наличие корреляции между ε_ί и ε_j ; где ε_ί – остатки текущих наблюдений; ε_j - остатки предыдущих наблюдений, например, j=i-1.

Коэффициент корреляции может быть определен как

 

т. е. по обычной формуле линейного парного коэффициента корреляции.

При несоблюдении основных предпосылок МНК приходится корректировать модель, добавлять или исключать факторы, прообразовывать исходные данные.

При этом рекомендуется традиционный метод наименьших квадратов (МНК) заменять обобщенным методом.

Обобщенный метод наименьших квадратов применяется к преобразованным данным и позволяет получать оценки, которые обладают не только свойством несмещенности, но и имеют меньшие дисперсии. Специфика обобщенного МНК применительно к корректировке данных при автокорреляции остатков предполагает, что среднее значение остаточных величин равно нулю. А вот дисперсия их не остается неизменной для разных значений фактора, а пропорциональна величине К_j, т.е.

 

σ² _{ε j} = σ² *K _j,

 

где – σ ² _{ε j} – дисперсия ошибки при конкретном j- ом значении фактора;

σ ² – постоянная дисперсия при соблюдении предпосылки о

гомоскедастичности остатков;

К_j – коэффициент пропорциональности, меняющийся с изменением величины фактора, что обуславливает неоднородность дисперсии.

При этом предполагается, что σ² неизвестна, а в отношении величины К выдвигаются определенные гипотезы, характеризующие структуру гетероскедастичности.

В общем виде для уравнения

 

Y _j = a + b * x _j + ε _j при σ² _{e j} = σ ² *K _j,

 

Модель примет вид: y _j = α + β _j * x _j + * ε _j.

 

В ней остаточные величины гетероскедастичны. Предполагая в них отсутствие автокорреляции, можно перейти к уравнению с гомоскедастичными остатками, поделив все переменные, зафиксированные в ходе j – го наблюдения на . Тогда дисперсия остатков будет величиной постоянной, т. е. σ ² _εj = σ ².

Иными словами от регерессии у по х мы перейдем к регрессии на новых переменных: у / и х / .

Уравнение регрессии примет вид:

 

По отношению к обычной регрессии уравнение с новыми преобразованными переменными представляет собой взвешенную регрессию, в которой переменные у и х взяты с весами .

Оценка параметров нового уравнения с преобразованными переменными приводит к взвешенному методу наименьших квадратов, для которого необходимо минимизировать сумму квадратов отклонений вида

 

S = *(y _j – a – b * x _j) ².

Если преобразованные переменные х и у взять в отклонениях от средних уровней, то коэффициент регрессии b можно определить как

.

 

При обычном применении МНК к уравнению линейной регрессии для переменных в отклонениях от средних уровней коэффициент регрессии определяется по формуле

.

Как видим, при использовании обобщенного МНК с целью корректировки гетероскедастичности коэффициент регрессии b представляет собой взвешенную величину по отношению к обычному МНК с весами 1/К.

Аналогичный подход возможен не только для уравнения парной, но для множественной регрессии.

Предположим, что рассматривается модель вида

 

У=a+b₁*x₁ +b₂*x₂+ε,

 

для которой дисперсия остаточных величин оказалась пропорциональна К²_j.

K _j- представляет собой коэффициент пропорциональности , принимающий различные значения для соответствующих j значений факторов х₁ и х₂. Ввиду того, что

 

σ ² _εj = σ² * K ² _j,

 

 

рассматриваемая модель примет вид

 

y _j = a +b₁*x₁ + b₂*x₂ + k _j *ε _j,

 

где ошибки гетероскедастичны.

Для того, чтобы получить уравнение, где остатки гомоскедастичны, перейдем к новым преобразованным переменным, разделив все члены исходного уравнения на коэффициент пропорциональности К.

Уравнение с преобразованными переменными составит

 

.

 

Это уравнение не содержит свободного члена. Вместе с тем, найдя переменные в новом преобразованном виде и применяя обычный МНК к ним, получим иную спецификацию модели:

=A + b₁ *

 

Параметры такой модели зависят от концепции, принятой для коэффициента пропорциональности К_j . В эконометрических исследованиях довольно часто выдвигается гипотеза, что остатки e j пропорциональны значениям фактора, Так, если в уравнении

 

У = a + b₁*x₁ + b₂ * x₂ +…+b _p *x _p + E

 

предположить, что E = ε*x₁, т. е. К = х₁ и σ ² _{ε j} = σ ²*x₁ ² , то обобщенный МНК предполагает оценку параметров следующего трансформированного уравнения:

 

 

Если предположить, что ошибки пропорциональны x _p, то модель примет вид:

 

 

Применение в этом случае обобщенного МНК приводит к тому, что наблюдения с меньшими значениями преобразованных переменных х / К имеют при определении параметров регрессии относительно больший вес, чем с первоначальными переменными. Вместе с тем следует иметь в виду, что новые преобразованные переменные получают новое экономическое содержание и их регрессия имеет иной смысл, чем регрессия по исходным данным.

 

ЛЕКЦИЯ 12