Оценка параметров парной регрессии выполняется исходя из следующих предпосылок [8]. Допустим, что в генеральной совокупности связь между x и y линейна. Наличие случайных отклонений, вызванных воздействием на переменную y множества других, неучтенных в уравнении факторов и ошибок измерения, приведет к тому, что связь наблюдаемых величин и приобретает вид:
(73)
Здесь - случайные ошибки (отклонения, возмущения). Если были бы известны точные значения отклонений , то можно было бы рассчитать значения параметров и . Так как они неизвестны, то по наблюдениям и можно получить только оценки параметров и , которые сами являются случайными величинами в связи с тем, что соответствуют случайной выборке. Пусть - оценка параметра , - оценка параметра . Тогда оцененное уравнение регрессии будет иметь вид:
(74)
Для того чтобы оценки и обладали адекватностью ряд остатков должен удовлетворять следующим требованиям:
1. математическое ожидание равно нулю (критерий нулевого среднего);
2. величина является случайной переменной (критерий серий);
3. значения независимы между собой (критерий Дарбина-Уотсона);
4. дисперсия постоянна: для всех i, j (тест Гольдфельда-Квандта);
5. Остатки распределены по нормальному закону (свойство используется для проверки статистической значимости и построения доверительных интервалов при прогнозировании)
Известно, что если данные условия выполняются, то оценки, сделанные с помощью метода наименьших квадратов, обладают следующими свойствами:
1. оценки являются несмещенными, т.е. математическое ожидание оценки каждого параметра равно его истинному значению:
Это вытекает из того, что и свидетельствует об отсутствии систематической ошибки в определении положения линии регрессии;
2. оценки состоятельны, т.к. дисперсии оценок параметров при возрастании числа наблюдений стремятся к нулю: ; , т.е. надежность оценки при увеличении выборки растет;
3. оценки эффективны, т.е. они имеют наименьшую дисперсию по сравнению с любыми другими оценками данного параметра.
Если предположения 3 и 4 нарушены, т.е. дисперсия возмущений непостоянна или значения связаны друг с другом, то свойства несмещенности и состоятельности сохраняется, но свойства эффективности – нет.
Отметим, что аппроксимировать уравнением парной регрессии у на х, имеет смысл только в том случае, если существует достаточно тесная статистическая зависимость между случайными величинами и линейный коэффициент корреляции является значимым, что и имеет место в рассматриваемом примере.