Парная линейная регрессия

Лабораторная работа №1

Парная линейная регрессия

Предварительные расчеты: ; ; ; ; ; ; .

.

Для проверки нулевой гипотезы о несущественности найденного параметра регрессии применяют t-критерий Стъюдента при числе степеней свободы и уровне значимости 0,05.

Расчетные значения t-статистики вычисляются по формулам:

, , .

Критическое значение берется из специальной таблицы критических точек распределения Стъюдента в приложениях к учебникам по теории вероятностей и эконометрике. При компьютерном анализе критическое значение можно найти с помощью функции Стъюдраспобр.

Если расчетное значение по абсолютной величине превышает табличное, гипотезу о несущественности параметра регрессии можно отклонить, параметр признается значимым.

Связь между F-критерием Фишера и t-критерием Стъюдента выражается равенством

.

Расчет доверительных интервалов для параметров регрессии:

Доверительный интервал для параметра a определяется как ;

доверительный интервал для коэффициента регрессии определяется как .

При компьютерном анализе использовать в Excel путь Сервис/Анализ данных/Регрессия.

Интервальный прогноз на основе линейного уравнения регрессии:

Пусть – прогнозное значение факторного признака; – точечный прогноз результативного признака. Тогда

а) средняя ошибка прогноза :

;

б) доверительный интервал прогноза

.

Практические рекомендации по выполнению расчетов

с помощью табличного редактора MS Excel

Активизация надстройки Пакет анализа

1. Выбрать команду Сервис/Надстройки. 2. В появившемся диалоговом окне установить флажок Пакет анализа.

Пример

Имеются данные о годовой цене программы «Мастер делового администрирования» и числе слушателей в образовательном учреждении.

Цена программы, тыс. долл., y			4,9		3,8	3,5	3,8	3,7	3,6	3,5	3,4
Число слушателей, чел., x

I. Вводим исходные данные в документ Excel.

II. Значения фактора x должны быть отсортированы по возрастанию с сохранением соответствующего значения y. Это может быть сделано так Данные/Сортировка/Выделить столбец, в котором необходимо сделать сортировку. Например,

III. Вызываем надстройку Анализ данных в меню Сервис.

IV. Выбираем инструмент Регрессия.

V. Заполняем соответствующие позиции окна Регрессия.

VI. После нажатия ОK получаем протокол решения задачи.

VII. Анализируем полученный протокол.

1) Параметры уравнения линейной парной регрессии .

Коэффициент регрессии ;

Свободный член уравнения регрессии .

Примечание. При необходимости результаты округляются с нужной точностью. Требование по округлению можно провести изначально, задав количество знаков после запятой в меню Формат ячейки.

 

Уравнение парной линейной регрессии имеет вид: .

2) Оцениваем тесноту связи зависимой переменной (результативного фактора) с объясняющей переменной с помощью показателей корреляции и детерминации.

Коэффициент корреляции , что свидетельствует о тесной связи признаков y и x. Коэффициент детерминации . Полученное уравнение регрессии объясняет 53% вариации признака y, остальные 47% изменчивости этого признака обусловлены влиянием неучтенных в модели факторов.

3) Оцениваем с помощью F-критерия Фишера статистическую надежность моделирования.

Расчетное значение критерия Фишера указано в протоколе, .

Критическое значение этого критерия можно найти с помощь статистической функции FРАСПОБРтабличного редактора Еxcel.

Входными параметрами этой функции являются:

– уровень значимости (вероятность), имеется в виду вероятность ошибки отвергнуть верную гипотезу о статистической незначимости построенного уравнения регрессии. Как правило, выбирают уровень значимости, равный 0,05 или 0,01;

– число степеней свободы 1 – совпадает с количеством параметров при переменной x в уравнении регрессии, для парной линейной регрессии это число равно единице;

– число степеней свободы 2 равно для парной линейной регрессии , где n – объем исходных статистических данных.

Выполняем действия Вставка/Функция, выбираем нужное.

Вывод: поскольку расчетное значение F-критерия больше критического, равного 4,84, нулевая гипотеза об отсутствии значимой связи признаков x и y отклоняется и делается вывод о существенности этой связи.

4) Оценить статистическую значимость параметров регрессии.

Оценим статистическую значимость параметров a и b в уравнении регрессии с помощью t- критерия Стъюдента.

Расчетные значения статистики Стъюдента берем из протокола (графа t-статистика): , . Соответствующее критическое значение можно определить через статистическую функцию СТЪЮДРАСПОБР, число степеней свободы равно .

Вывод: поскольку фактические значения по абсолютной величине превышают табличное, равное 2,2, гипотезу о несущественности параметров регрессии можно отклонить.

5) Определяем среднюю ошибку аппроксимации.

Вычисляем среднюю ошибку аппроксимации, . Понадобится выполнение вспомогательных расчетов, оформленных в виде таблицы.

	y	x
			5,440500341	31,99374573
			5,143440944	2,868818882
	4,9		5,024617185	2,543207862
			4,846381547	21,15953867
	3,8		4,54932215	19,71900394
	3,5		4,430498391	26,58566831
	3,8		4,252262752	11,90165138
	3,7		3,955203355	6,897387976
	3,6		3,658143958	1,615109941
	3,5		3,598732078	2,820916526
	3,4		3,361084561	1,144571747
			2,766965766	7,767807796
			2,172846972	27,57176761
Среднее	4,092307692	27,69230769		12,66070741

Вывод: средняя ошибка аппроксимации по данному уравнению регрессии составляет 12,66%, модель парной линейной регрессии можно признать удовлетворительной и пригодной для прогнозирования.

6) Используя коэффициент эластичности, выполним количественную оценку влияния объясняющего фактора на результат.

Для парной линейной регрессии эластичность можно найти по формуле . Имеем

.

Следовательно, при увеличении количества слушателей на 1% годовая цена уменьшится на 0,4%.

7) Выполним расчет прогноза y при увеличении фактора x на 25% от своего среднего значения.

Среднее значение (чел).

Прогнозное значение .

Точечный прогноз признака y вычисляем по построенному уравнению линейной регрессии: , .

Средняя ошибка прогноза вычисляем по формуле ,

где – остаточная дисперсия, –дисперсия фактора x.

Численное значение суммы в протоколе обозначено как остаточное SS.

Тогда , .

Самый быстрый способ получения вспомогательных характеристик – среднего значения фактора x и - дисперсии, воспользоваться инструментом Описательная статистика в пакете Анализ данных.

Протокол вывода результатов имеет вид

Имеем .

Тогда .

Доверительный интервал прогноза: , где –критическое значение критерия Стъюдента (найдено ранее по функции СТЪЮДРАСПОБР, при уровне значимости ).

Следовательно,

;

,

т.е. можно быть уверенным на 95%, что цена годового курса при 35 слушателях будет варьироваться в указанных пределах (при точечном прогнозе цены в 3,65825 тыс. долл.).

8) Для построения диаграммы выполним следующие действия:

Шаг 1 Вставка/ Диаграмма/График

Шаг 2Далее/Диапазон/Выделить столбец исходных значений фактора y

Шаг 3Ряд/Добавить/Значения/Выделить столбец регрессионных значений фактора – .

Шаг 4Подписи оси X / Выделить столбец значений x.

Шаг 4Каждому из рядов присвоить имя, подписать оси координат и название диаграммы.

 

Задания для самостоятельной работы

Вариант 1

x– энерговооруженность на 10-ти предприятиях, кВт;

y– производительность труда, тыс. руб.

x	2,8	2,2		3,5	3,2	3,7		4,8		5,4
y	6,7	6,9	7,2	7,3	8,4	8,8	9,1	9,8	10,6	10,7

Вариант 2

x– энерговооруженность на 10-ти предприятиях, кВт;

y– производительность труда, тыс. руб.

 

x	3,2	3,7		4,8		5,4	5,2	5,4
y	8,4	8,8	9,1	9,8	10,6	10,7	11,1	11,8	12,1	12,4

Вариант 3

x– качество земли, баллы;

y– урожайность, ц/га.

x
y	19,5		20,5		20,8	21,4		23,3		24,5

Вариант 4

x– качество земли, баллы;

y– урожайность, ц/га.

x
y	24,2			26,8	27,2			30,2

Вариант 5

x– товарооборот;

y–издержки обращения по отношению к товарообороту.

x
y			7,5		6,3	5,8	5,4

Вариант 6

x– электровооруженность на одного рабочего;

y– выпуск готовой продукции на одного рабочего.

x
y

Вариант 7

x–уровень доходов семьи;

y– расходы на продукты питания ( в расчете на 100 руб. доходов).

x	1,4	3,3	5,5	7,6	9,8		14,7	18,9
y	1,1	1,4		2,4	2,8	3,1	3,5

Вариант 8

x– качество земли, баллы;

y– урожайность, ц/га.

x
y		23,3		24,5	24,2

Вариант 9

x– производительность труда;

y– рентабельность производства.

x	0,1	0,2	0,3	0,4	0,5	0,6	0,7	0,8
y	2,6	2,4	3,3	2,9	3,7	4,2	5,5	6,4

Вариант 10

x– производительность труда;

y– рентабельность производства.

x	0,9	1,5		2,5	2,8		1,2	1,4
y	3,1	5,1	5,9	6,1	7,2	8,1	3,8	5,3

Лабораторная работа №2

Нелинейные модели парной регрессии

Параметры a, b и c находят, решая методом определителей систему уравнений: Гипербола:.

Проверка статистической значимости в целом уравнения нелинейной регрессии по F-критерию Фишера

,

где n – число наблюдений, m – число параметров при переменной x.

Средняя ошибка аппроксимации

.

 

Обоснования возможности замены нелинейной регрессии линейной функцией

2) если , то вычисляют ошибку разности между и и t-критерий Стъюдента

Лабораторная работа №3

Множественная регрессия

Линейная множественная регрессия:

Степенная функция:

Экспонента:

Гипербола:

Оценка параметров линейной множественной регрессии

(6.3) Ее решение может быть найдено, например, методом определителей. Вычисление параметров линейной множественной регрессии можно провести с помощью инструмента Сервис/Анализ…

Оценка тесноты связи и статистической значимости во множественной регрессии

; 2) индекс множественной корреляции R; 3)линейный коэффициент множественной корреляции (для )

Значимость уравнения множественной регрессии в целом

оценивается с помощью F-критерия Фишера:

, (6.19)

где n – число наблюдений, m – число параметров при переменной x. Если расчетное значение критерия с и степенями свободы больше табличного при заданном уровне значимости, то модель считается значимой.

Прогнозирование по уравнению линейной множественной регрессии

где – ошибка прогнозного значения, вычисляемая по формуле

 

 

 

для двухфакторной модели.

Мерой для оценки включения фактора в модель

. (6.20) Если фактическое значение критерия с и степенями свободы больше табличного при…  

Решение.

Результаты анализа имеют вид: ВЫВОД ИТОГОВ   … 2. Оцениваем статистическую значимость в целом. Изучив результаты, отмечаем, что в целом полученное уравнение линейной…

; .

Тогда .

в) Доверительный интервал для данного прогнозного значения y можно найти, зная предельную ошибку прогноза , где – соответствующее табличное значение критерия Стъюдента, а – ошибка прогнозного значения. В нашем случае .

Ошибку прогнозного значения функции регрессии получим по формуле

.

1. Параметр S – стандартная ошибка регрессии приведен в последней регрессионной статистике .

2. Матрица состоит из чисел: . То есть ,

.

3. Матрица X состоит из чисел .

Составляем вспомогательную таблицу:

	…..	…..	….	…..	…..
Сумма

 

В данном случае, .

 

4. Транспонируем матрицу X. Поскольку она симметрическая, то

.

5. Найдем произведение матриц . В Exсel это можно сделать с помощью функции МУМНОЖ.

	58537523,04
		1,10572E+12
	1,10572E+12	1,53641E+13

6. Найдем обратную матрицу к матрице произведения . В Exсel это можно сделать с помощью функции МОБР.

	0,281568563	-0,007773123	9,81695E-06
-0,007773123	0,000215175	-3,13231E-07
9,81695E-06	-3,13231E-07	3,38079E-09

7. Найдем произведение матриц (размерность матрицы произведения ).

0,083373216

-0,002314683

3,84533E-06

 

8. Найдем произведение матриц (размерность матрицы произведения , то есть только одно число).

.

9. .

10. .

11. Таким образом, прогнозное значение результата будет с вероятностью 95% находиться в интервале .

Задания.

Вариант 1

x1

x2

x3

y

Вариант 2

x1

x2

x3

y

Вариант 3

x1

x2

x3

y

Вариант 4

x1

x2

x3

y

Вариант 5

x1

x2

x3

y

Вариант 6

x1

x2

x3

y

 

Вариант 7

x1

x2

x3

y

 

Вариант 8

x1

x2

x3

y

 

Вариант 9

x1

x2

x3

y

Вариант 10

x1

x2

x3

y

 

 

Лабораторная работа №4

Проверка адекватности модели регрессии

По особенностям остаточных величин

Представлены данные о доходах по акциям x и балансовой прибыли y по 11 предприятиям одной отрасли, ден. ед. x …   Задание

На 5%-ном уровне значимости

1. Провести проверку адекватности линейной регрессии, построенной в ЛР №1 2. Провести проверку адекватности множественной регрессии, построенной в ЛР…  

Лабораторная работа №5

Анализ построенной модели регрессии

На гетерокедастичность остатков

Представлены данные о доходах по акциям x и балансовой прибыли y по 11 предприятиям одной отрасли, ден. ед. x …   Задание

Для верхней группы

Для нижней группы

.

Расчетное значение теста получается как отношение большей остаточной дисперсии к меньшей. . Критической значение теста получаем по функции FРАСПОБР, в которой число степеней свободы равно

n-2, в данном случае оно равно 6,59. Поскольку расчетное значение больше критического, остатки признаются гетерокедастичными.

 

3) Применим тест Уайта, чтобы количественно оценить зависимость дисперсии остатков от значений фактора x.

В эконометрических исследованиях достаточно часто выдвигается гипотеза о том, что

· остатки пропорциональны значениям фактора x: ;

· дисперсия остатков прямопропорциональна самим значениям x, т.е. ;

· зависимость между дисперсией остатков и значениями фактора x квадратичная .

Параметры этих регрессии можно найти МНК. Составим расчетную таблицу.

x	y		Остатки
		9,165277	2,834723	8,035654487
		12,39552	0,604484	0,365400906
		15,62576	4,374245	19,13401932
		22,08623	-3,086233	9,52483413
		25,31647	5,683528	32,30249053
		31,77695	-7,77695	60,4809513
		35,00719	5,992811	35,91378368
		38,23743	-10,237428	104,8049321
		47,92815	4,071855	16,58000314
		64,07934	-9,07934	82,43441484
		96,38173	6,61827	43,80149779

Для регрессии пользуемся Сервис/Анализ данных/Регрессия/…Поставить флажок «Константа-нуль».

Получаем протокол

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,304158793
R-квадрат	0,092512571
Нормированный R-квадрат	-0,01859854
Стандартная ошибка	6,104515756
Наблюдения
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия		34,19047	34,19047084	0,917493	0,366182
Остаток		335,386	37,26511262
Итого		369,5765
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение
Y-пересечение		#Н/Д	#Н/Д	#Н/Д
Переменная X	-0,172201879	0,179778	-0,957858421	0,363156

 

Результат неудовлетворительный. коэффициент детерминации всего 0,09.

 

Аналогично строим регрессию , взяв в качестве входного интервала Y столбец . Получаем протокол

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,864535947
R-квадрат	0,747422404
Нормированный R-квадрат	0,636311293
Стандартная ошибка	26,25750385
Наблюдения
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия		18362,0291	18362,0291	26,632614	0,000862939
Остаток		6205,108576	689,4565085
Итого		24567,13768
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение
Y-пересечение		#Н/Д	#Н/Д	#Н/Д
Переменная X 1	3,990668767	0,773283573	5,160679613	0,0005945

 

В данном уравнении достаточная степень детерминации – 0,74, кроме того значимость по критерию Фишера не превосходит допустимые 5% ошибки в расчетах. Принимаем гипотезу о том, что дисперсия остатков прямопропорциональна самим значениям x.

Для проверки гипотезы о квадратичной зависимости решают методом определителей систему уравнений (см. ЛР Нелинейная регрессия):

 

Определяют индекс корреляции . О наличии или отсутствии гетерокедастичности судят по величине F-критерия Фишера для функции , . При выполнении условия имеет место гетерокедастичность остатков и количественно она выражена значением . По данному расчету предположение о квадратичной зависимости дисперсии остатков от значений x не проверяем (поскольку принята гипотеза ).

5) Улучшим модель, смягчив гетерокедастичность, пользуясь обобщенным методом наименьших квадратов. Если , тогда сами остатки пропорциональны .

Чтобы избавиться от этого, разделим уравнение линейной регрессии на . Получим преобразованное уравнение регрессии, в котором можно сделать замену переменной:

. Пусть , , . Тогда .

Построим вспомогательную таблицу

x	y	X	z	Y
		1,732051	0,577350269	6,92820323
			0,5	6,5
		2,236068	0,447213595	8,94427191
		2,645751	0,377964473	7,181324987
		2,828427	0,353553391	10,96015511
		3,162278	0,316227766	7,589466384
		3,316625	0,301511345	12,36196513
		3,464102	0,288675135	8,082903769
		3,872983	0,25819889	13,42634227
		4,472136	0,223606798	12,29837388
		5,477226	0,182574186	18,80514114

 

Протокол регрессионного анализа имеет вид:

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,986894
R-квадрат	0,9739597
Нормированный R-квадрат	0,8599553
Стандартная ошибка	1,9415488
Наблюдения
Дисперсионный анализ
	df	SS	MS	F
Регрессия		1268,921	634,4607182	168,3092927
Остаток		33,92651	3,769611932
Итого		1302,848
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение
Y-пересечение		#Н/Д	#Н/Д	#Н/Д
X	3,02343	0,296117	10,21024561	3,00843E-06
z	1,8246585	2,72558	0,669456856	0,520006975

Получаем уравнение регрессии . Или .

Показатели статистической значимости уравнения регрессии улучшены. Увеличился коэффициент детерминации с 94% до 97%. Существенно уменьшилась остаточная дисперсия с 413 ед. до 33 ед.

 

Задание:

По своим данным ЛР1 выполнить анализ гетерокедастичности остатков. А именно:

1. Проверить гипотезу о наличии гетерокедастичности в линейной регрессии с помощью теста ранговой корреляции Спирмена при доверительной вероятности 0,95.

2. Проверить гипотезу о гетерокедастичности с помощью теста Гольфельда-Квандта.

3. Оцените количественно гетерокедастичность остатков.

4. При наличии гетерокедастичности, применить обобщенный МНК для ее сглаживания.

 

Лабораторная работа №6

Анализ динамики временных рядов

Ø абсолютные приросты уровней ряда; Ø относительные приросты уровней ряда, т.е. темпы роста; Ø темпы прироста.

Лабораторная работа №7

Моделирование временных рядов

С сезонными колебаниями

, , где T – регулярная (основная) компонента, характеризующая общую тенденцию ряда… S – сезонная компонента (внутригодичные колебания), в общем случае – циклическая составляющая,

Задания по вариантам

Вариант 1	Вариант 2	Вариант 3	Вариант 4

 

Вариант 5	Вариант 6	Вариант 7	Вариант 8

 

 

Вариант 9	Вариант 10
			13,43
			14,99

 

Лабораторная работа №8

Анализ взаимосвязи двух временных рядов

Необходимо: 1. Построить уравнение линейной регрессии расходов от дохода, оцените его… а) с помощью коэффициентов автокорреляции;

Справочный материал

с помощью критерия Дарбина-Уотсона Расчетное значение критерия определяется по формуле (5.6)

Уравнение линейной регрессии по уровням временных рядов

  Выводы: Ø Уравнение достоверно на 98%.

Уравнение регрессии по уровням временных рядов

С включенным фактором времени

  Выводы: Ø Уравнение достоверно на 99,67%.

Уравнение регрессии по первым разностям

Если ряды динамики характеризуются линейной тенденцией, то модель можно построить в виде . Для подтверждения линейной тенденции найдем по каждому… Эти коэффициенты близки к единице, поэтому целесообразно моделировать… Строим уравнение . ВЫВОД ИТОГОВ           …

Лабораторная работа №9

Моделирование временных рядов

С распределенным лагом

. Данная модель говорит о том, что если в некоторый момент времени t происходит… Коэффициент регрессии при перемеренной характеризует среднее абсолютное изменение при изменении на 1 единицу своего…