Методы предварительного центрирования независимых переменных и регуляризации

Плохая обусловленность информационной матрицы особенно характерна для полиномиальной регрессии. В этом случае весьма полезным является предварительное центрирование независимых переменных. Суть метода – в предварительном центрировании факторов х_i и только после этого выполняется вычисление базисных функций f_j (х_i).

Предварительное центрирование осуществляется вычитанием средних арифметических из их наблюдаемых значений:

.

Эта процедура резко уменьшает коэффициенты корреляции между независимыми переменными х_i и их степенями х_i², x_i³..., а также между х и взаимодействиями, включающими х_iх_j, х_i²х_j ... . Однако предварительное центрирование не может помочь, если есть сильная корреляция между линейными эффектами х_iи х_j, i≠j. В этом случае может помочь метод регуляризации.

Идея метода такова. При плохой обусловленности информационной матрицы МНК-оценки b = (F^TF)^-1F^Tyнеустойчивы и обычно очень велики (относительно истинных значений коэффициентов). Для их стабилизации предложено при решении системы нормальных уравнений вместо матрицы F^TFиспользовать матрицу (F^TF+rI),в которой r - некоторое положительное малое число, I – единичная матрица размером

(N×N). Тогда оценки коэффициентов регрессии: