Метод группового учёта аргументов

Метод группового учета аргументов, МГУА (Group Method of Data Handling, GMDH) — метод порождения и выбора регрессионных моделей оптимальной сложности. Под сложностью модели в МГУА понимается число параметров. Для порождения используется [базовая модель], подмножество элементов которой должно входить в искомую модель. Для выбора моделей используются внешние критерии, специальные функционалы качества моделей, вычисленные на тестовой выборке.

МГУА рекомендуется к использованию в том случае, когда выборка содержит несколько элементов. Тогда при построении регрессионных моделей использовать статистические гипотезы о плотности распределения, плотности распределения например, гипотезу о Гауссовском распределении, невозможно. Поэтому используется индуктивный подход, согласно которому последовательно порождаются модели возрастающей сложности до тех пор, пока не будет найден минимум некоторого критерия качества модели. Этот критерий качества называется внешний критерий, так как при настройке моделей и при оценке качества моделей используются разные данные. Достижение глобального минимума внешнего критерия при порождении моделей означает, что модель, доставляющая такой минимум, является искомой.

Один из авторов этого метода А.Г. Ивахненко пишет: «Осуществляется целенаправленный перебор многих моделей-претендентов различной сложности по ряду критериев. В результате находится модель оптимальной структуры в виде одного уравнения или системы уравнений. Минимум критерия селекции определяет модель оптимальной структуры».

Содержание [убрать] 1 Описание алгоритма МГУА 2 Внешние критерии МГУА 2.1 Критерий регулярности 2.2 Критерий минимального смещения 2.3 Критерий absolute noise-immune 2.4 Критерий предсказательной способности 2.5 Комбинированный критерий 2.6 Парето-оптимальный фронт в пространстве критериев 3 Алгоритм порождения моделей МГУА 3.1 Комбинаторный алгоритм 3.2 Многорядный алгоритм 4 Смотри также 5 Литература 6 Внешние ссылки

 

Описание алгоритма МГУА

Индуктивный алгоритм отыскания модели оптимальной структуры в состоит из следующих основных шагов.

1. Пусть задана выборка , . Выборка разбивается на обучающую и тестовую. Обозначим — множества индексов из . Эти множества удовлетворяют условиям разбиения . Матрица состоит из тех векторов-строк , для которых индекс . Вектор состоит из тех элементов , для которых индекс . Разбиение выборки представляется в виде

2. Назначается базовая модель. Эта модель описывает отношение между зависимой переменной и свободными переменными . Например, используется функциональный ряд Вольтерра, называемый также полиномом Колмогорова-Габора:

В этой модели — множество свободных переменных и — вектор параметров — весовых коэффициентов

В некоторых случаях имеет смысл увеличить число элементов вектора свободной переменной за счет добавления нелинейных преобразований отдельных переменных. Например, задано конечное множество нелинейных функций . Дополнительная свободная переменная получается путем применения некоторого преобразования из к одной или к нескольким переменным из множества . Базовая модель линейна относительно параметров и нелинейна относительно свободных переменных .

3. Исходя из поставленных задач выбирается целевая функция — внешний критерий, описывающий качество модели. Ниже описаны несколько часто используемых внешних критериев.

4. Индуктивно порождаются модели-претенденты. При этом вводится ограничение на длину полинома базовой модели. Например, степень полинома базовой модели на не должно превышать заданное число . Тогда базовая модель представима в виде линейной комбинации заданного числа произведений свободных переменных:

здесь — линейная комбинация. Аргументы этой функции переобозначаются следующим образом:

то есть,

Для линейно входящих коэффициентов задается одноиндексная нумерация . Тогда модель может быть представлена в виде линейной комбинации

— скалярное произведение.

Каждая порождаемая модель задается линейной комбинацией элементов , в которой множество индексов является подмножеством .

5. Настраиваются параметры моделей. Для настройки используется внутренний критерий — критерий, вычисляемый с использованием обучающей выборки. Каждому элементу вектора — элемента выборки ставится в соответствие вектор , алгоритм построения соответствия указан выше. Строится матрица — набор векторов-столбцов . Матрица разбивается на подматрицы и . Наименьшую невязку , где доставляет значение вектора параметров , который вычисляется методом наименьших квадратов:

где

При этом в качестве внутреннего критерия выступает среднеквадратичная ошибка

В соответствии с критерием происходит настройка параметров и вычисление ошибки на тестовой подвыборке, обозначенной , здесь . При усложнении модели внутренний критерий не дает минимума для моделей оптимальной сложности, поэтому для выбора модели он не пригоден.

6. Для выбора моделей вычисляется качество порожденных моделей. При этом используется контрольная выборка и назначенный внешний критерий. Ошибка на подвыборке обозначается

где , . Это означает что ошибка вычисляется на подвыборке при параметрах модели, полученных на подвыборке .

7. Модель, доставляющая минимум внешнему критерию, считается оптимальной.

Если значение внешнего критерия не достигает своего минимума при увеличении сложности модели или значение функции качества неудовлетворительно, то выбирается лучшая модель из моделей заданной сложности. Под сложностью модели подразумевается число настраиваемых параметров модели. Существуют следующие причины, по которым глобальный минимум может не существовать:

данные слишком зашумлены,

среди данных нет необходимых для отыскания модели переменных,

неверно задан критерий выбора,

при анализе временных рядов существует значительная временная задержка отыскиваемой причинно-следственной связи.

Внешние критерии МГУА

Авторами метода рассмотрены весьма большое число различных критериев выбора моделей. Значительная часть этих критериев опубликована на сайте http://www.gmdh.net.

Критерий выбора модели может быть назван внешним, если он получен с помощью дополнительной информации, не содержащейся в данных которые использовались при вычислении параметров моделей. Например, такая информация содержится в дополнительной, тестовой выборке.

Алгоритм МГУА использует и внутренний критерий и внешний. Внутренний критерий используется для настройки параметров модели, внешний критерий используется для выбора модели оптимальной структуры. Возможен выбор моделей по нескольким внешним критериям.