В общественных науках большинство функциональных зависимостей носит статистический характер. Одним из эффективных математических методов для определения зависимости по множеству измеренных данных является регрессионный анализ.
Общее назначение множественной регрессии (термин введен Пирсоном, 1908) состоит в анализе связи между несколькими независимыми переменными (называемыми также регрессорами или предикторами) и зависимой переменной. Исследователь в области образования может узнать, какие факторы являются наиболее «весомыми» для показателей успеваемости в средней школе. Упрощенно, формулировка задачи линейной регрессии состоит в подгонке прямой линии к некоторому набору точек.
Прямая линия на плоскости (в двумерном пространстве) задается уравнением Y=bx+a; более подробно: переменная Y может быть выражена через константу (a) и угловой коэффициент ( b), умноженный на переменную X. Константу иногда называют также свободным членом, а угловой коэффициент - регрессионным или B-коэффициентом.
Целью процедур линейной регрессии является вычислении прямой линии по точкам, соблюдая условие: минимизировать квадраты отклонений этой линии от наблюдаемых точек. Поэтому эту процедуру иногда называют как оценивание по методу наименьших квадратов.