Многошаговая регрессия (ШРА) — последовательность шагов РА, выполняемая в направлении увеличения или уменьшения количества учитываемых коэффициентов линейной модели регрессии.
Последовательный регрессионный анализ (ПРА) - раздел МС, характерной чертой которого является то, что число производимых наблюдений (момент остановки наблюдений) не фиксируется заранее, а выбирается по ходу наблюдений в зависимости от значений поступающих данных. При этом строки матрицы эксперимента могут не только пополняться, но и заменяться.
Текущий регрессионный анализ (ТРА) (стохастическая аппроксимация) - метод решения класса задач статистического оценивания, в котором новое значение оценки представляет собой основанную на текущем наблюдении поправку к уже имеющейся оценке; аторегрессия - регрессионная зависимость значений некоторой случайной последовательности от совокупности предшествующих значений.
Байесовский регрессионный анализ (БРА) - в случае случайного характера коэффициентов регрессии с известным распределением вероятности в качестве оценок неизвестных коэффициентов можно брать их условные математические ожидания при известных откликах (апостериорные данные), полученные по апостериорному распределению вероятностей коэффициентов с помощью обобщенной формулы Байеса.
Непараметрический РА (1-ГРА). Непараметрические методы МС не предполагают знания функционального вида генеральной совокупности (генерального распределения). Название “непараметрические методы” подчеркивает их отличие от классических - параметрических - методов, в которых предполагается, что генеральное распределение известно с точностью до конечного числа параметров, и которые позволяют по результатам наблюдения оценивать значения этих параметров и проверять гипотезы относительно этих значений.
Робастный РА (РРА). Методы оценки, нечувствительные к сорным наблюдениям (Дж. Бокс, 1950г.). Выяснилось, например, что повышенной устойчивостью обладают оценки, полученные по методу минимизации суммы модулей ошибок и максимального модуля ошибки ( чебышевский метод оценивания). Это промежуточный подход между параметрикой и непараметрикой.
Гребневая регрессия (ГР, ридж-регрессия) используется при наличии линейной зависимости между факторами или базисными функциями, следствием чего является плохая обусловленность матрицьи ХтХ системы нормальных уравнений РА и неустойчивость оценок коэффициентов регрессии. Оценки, например, могут иметь неправильный знак или значения, которые намного превосходят те, которые приемлемы из физических или практических соображений.
Отказ от условий несмещенности оценок и привел к целому направлению в регрессии.
Конфлюэнтный анализ - совокупность методов МС, относящихся к анализу априори постулируемых (заданных) функциональных связей между количественными (случайными или неслучайными) переменными в условиях, когда наблюдаются не сами переменные, а случайные величины, образуемые добавкой случайной ошибки измерений. Если анализируется зависимость одной переменной от остальных, то - это задача РА.
В стадии развития находятся направления РА, связанные с многооткликовой регрессией и нелинейный РА. Процедуры РА здесь сложны, трудоемки и имеют характер некорректно поставленных задач.