Метод наименьших квадратов. Приближение функций по методу наименьших квадратов.

Сущность метода состоит в том, что опытные данные аппроксимированной кривой F(x), которая необязательно должна проходить через все узлы, а должна сгладить все случайные помехи табличной функции.

При этом аппроксимированную кривую стремятся провести так, чтобы все её отклонения от табличной функции были минимальными.

Для избавления от знака отклонения возведем выражение в квадрат

E_i² = (F(x_i) – y_i)²

Для табличных данных получим в результате эксперимента, требуется отыскать аналитическую зависимость кривой F(x), сумма квадратов уклонения которой по всем узлам была бы минимальной.

S = → min.

В том состоит суть метода наименьших квадратов.

Пусть интерполяционный многочлен задали следующим образом P_n(x) = a₀xⁿ + a₁x^n-1 + a₂x^n-2 +… + a_n-1x + a_n

Аппроксимированный многочлен не проходит через все узлы, при этом если n = 1, тогда будем иметь случай линейной регрессии, если m = 2, тогда будет квадратичная аппроксимация, при m = 3 – кубическую аппроксимацию.

Перепишем существование наименьш. квадратов след. образом:

S = = → min.

Метод наименьших квадратов (МНК, OLS, Ordinary Least Squares) — один из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным. Метод основан на минимизации суммы квадратов остатков регрессии.

Необходимо отметить, что собственно методом наименьших квадратов можно назвать метод решения задачи в любой области, если решение заключается или удовлетворяет некоторому критерию минимизации суммы квадратов некоторых функций от искомых переменных. Поэтому метод наименьших квадратов может применяться также для приближённого представления (аппроксимации) заданной функции другими (более простыми) функциями, при нахождении совокупности величин, удовлетворяющих уравнениям или ограничениям, количество которых превышает количество этих величин и т. д.

На практике часто возникает необходимость найти функциональную зависимость между величинами x и y, которые получены в результате эксперимента. Часто вид эмпирической зависимости известен, но числовые параметры неизвестны.

Ниже рассматривается решение задачи приближения многочленами таблично заданной функции по методу наименьших квадратов и по методу интерполяции.

Постановка задачи приближения функции по методу наименьших квадратов.Пусть функция y=f(x) задана таблицей своих значений: , i=0,1,-n. Требуется найти многочлен фиксированной степени m, для которого среднеквадратичное отклонение (СКО) минимально.

Так как многочлен определяется своими коэффициентами, то фактически нужно подобрать набор кофициентов , минимизирующий функцию .

Используя необходимое условие экстремума, , k=0,1,-m получаем так называемую нормальную систему метода наименьших квадратов: , k=0,1,-m.

Полученная система есть система алгебраических уравнений относительно неизвестных . Можно показать, что определитель этой системы отличен от нуля, то есть решение существует и единственно. Однако при высоких степенях m система является плохо обусловленной. Поэтому метод наименьших квадратов применяют для нахождения многочленов, степень которых не выше 5. Решение нормальной системы можно найти, например, методом Гаусса.

Запишем нормальную систему наименьших квадратов для двух простых случаев:m=0 и m=2. При m=0 многочлен примет вид: . Для нахождения неизвестного коэффициента имеем уравнение: . Получаем, что коэффициент есть среднее арифметическое значений функции в заданных точках.

Если же используется многочлен второй степени , то нормальная система уравнений примет вид:

ПРИМЕР 1. Приближение функции по методу наименьших квадратов.

Предположим, что функцию f можно с высокой точностью аппроксимировать многочленом некоторой степени m. Если эта степень заранее неизвестна, то возникает проблема выбора оптимальной степени аппроксимирующего многочлена в условиях, когда исходные данные содержат случайные ошибки. Для решения этой задачи можно принять следующий алгоритм: для каждого m=0,1,2,.. вычисляется величина

. За оптимальное значение степени многочлена следует принять то значение m, начиная с которого величина стабилизируется или начинает возрастать.