Этот тип валидности соответствует проверке статистической значимости зависимости между двумя переменными. Такие выводы всегда являются вероятностными.
При этом можно совершить два типа ошибок: решить, что зависимость является значимой, в то время, когда это не так, или решить, что значимая зависимость между переменными отсутствует, когда, напротив, она имеется.
Существуют некоторые факторы, которые могут снижать валидность статистических выводов:
- слабая чувствительность исследований, которая проявляется при недостаточной по численности выборке или при большой изменчивости в сравниваемых группах, то есть испытуемые являются слишком разными и сильно отличаются друг от друга относительно некоторых переменных;
- низкая надежность методик измерения или процедур манипулирования переменными, которые используются в исследовании;
- факторы помех, присутствующие в условиях эксперимента;
- нарушение принятых правил проведения и обработки, которые установлены для различных статистических методов.
Стратегия повышения валидности статистических выводов состоит в уменьшении вариативности ошибки путем применения, например, схемы исследования с повторными пробами или использования однородных групп. Статистическая состоятельность исследования может быть оценена как на стадии проектирования исследования (например, проверка расчета величины выборки), так и после исследования.