Метод найменших квадратів
Ідею методу найменших квадратів (МНК) вчені сформулювали ще на початку ХІХ ст., а саме англієць Гаус і француз Лежандр. Але МНК як метод оцінювання параметрів рівнянь регресії, був опрацьований пізніше російським математиком М. Чебишевим в монографії “Об интерполировании по методу наименьших квадратов”, що вийшла друком у 1859 р.
Метод найменших квадратів (МНК) заснований на вимозі, щоб
S (y - ŷ)2 → min, (3.1)
тобто щоб відхилення точок поля кореляйії від прямої регресії (залишки е) були найменшими. Відхилення y – ŷє помилкою оцінювання, бо залишки е не пояснюється рівнянням регресії (див. рис. 3.1.).
Ми можемо визначити величину цих помидок тільки для об’єктів спостережень (точок поля), але для інших можливих комбінацій y і х вони невідомі. Цілком природно за “найкращу” пряму лінію регресії вибрати таку, для якої б сума квадратів залишків приймала найменше Рис.3.1 − Залишки, що не значення, тобто
пояснюються регресією.
= 
(y – 
– 
x)2 =→ min.
Необхідною умовою мінімуму є рівність нулю частинних похідних цієї функції по і :
= –2
=0;
= –2 =0
Розкривши дужки, отримаємо систему нормальних рівнянь з невідомими і :
= a0 
+ a1 
; (3.2)
= a0 + a1 
.
Наведемо давно підмічені правила і приклади складання системи нормальних рівнянь для будь – яких форм рівняння регресії. Правило перше: перше рівняння системи отримуємо, сумуючи рівняння регресії за всіма спостереженнями змінних. Наприклад, для трифакторної лінійної регресії
y = αо + α1 x1 + α2 x2 + α3 x3
перше рівняння системи за цим правилом матиме вигляд
S y = αо S 1 + α1 S x1 + α2 S x2 + α3 S x3
Друге правило: друге, третє і всі інші рівняння систем отримують множенням першого рівняння на співмножники відповідно при а1,а2 и т.д. у рівнянні регресії. У даному випадку множенням першого рівняння відповідно на x1, x2 та x3 отримаємо друге, третє і четверте рівняння системи
S y x1 = αо S x1 + α1 S x12 + α2 S x2 x1 + α3 S x3 x1,
S y x2 = αо S x2 + α1 S x1 x2 + α2 S x2 2 + α3 S x3 x2,
S y x3 = αо S x3 + α1 S x1 x3 + α2 S x2 x3 + α3 S x3 2.
Ще приклад. Нехай рівняння регресії має степеневу форму
y = αо
.
Лінеаризуємо його
ℓg y = ℓg αо + α1 ℓgx.
Система нормальних рівнянь для визначення ℓg αо і α1, складена за наведеними щойно правилами, приймає такий вигляд:
S ℓg y = ℓg αо S1 + α1 S ℓgx,
S ℓg y ℓgx = ℓg αо S ℓgx + α1S (ℓgx)2.
У нашому наскрізному прикладі моделювання залежності рентабельності від двох факторів
Р = αо + α1 Е + α2 К
система нормальних рівнянь для оцінювання αо, α1, та α2 складена за наведеними вище правилами, така:
S Р = αо S 1 + α1 S Е + α2 S К,
S РЕ = αо S Е + α1 S Е2 + α2 S К Е,
S РК = αо S К + α1 S ЕК + α2 S К2.
За даними табл. 1.5. і 2.1 перепишемо цю систему рівнянь в числах:
282,6 = 29 αо + 136,6 αЕ+ 1740 αК,
1425,26 = 136,6 αо + 754,72 αЕ+ 8567,7 αК, (3.3)
17413,9 = 1740 αо + 8567,7 αЕ + 108164 αК.
Нижче розглядаються декілька можливих способів розв’язання системи нормальних рівнянь.