Рассматривая статистический критерий, необходимо начать с замечания, что масштабность эффекта имеет очень мало общего со статистической значимостью. Эффект почти любого масштаба может быть представлен как статистически значимый (т.е. проявляющийся неслучайным образом) просто путем сбора информации о достаточно большом количестве наблюдений. Один из авторов этой книги, обучаясь в аспирантуре, имел особенно убедительный повод осознать это, когда, развернув компьютерную распечатку статистического анализа данных, собранных со всей страны, и отыскав строку с зависимостью, которая его особенно интересовала, обнаружил статистически значимую корреляцию на считавшемся достаточным уровне 0,05, что заставило его запрыгать от радости. Глядя на это, один из его коллег вынужден был заметить, что корреляция, вызвавшая у него столь бурный восторг, составляла около 0,04 — уровень зависимости, весьма близкий к нулю. Подобная заурядная корреляция оказалась значимой лишь потому, что опросом было охвачено более тысячи респондентов. Таким образом, автор оказался прав в своем прогнозе: зависимость действительно имела место, но была настолько слабой, что не могла иметь никакого теоретического или практического значения.
Гораздо более разумное для определения масштабности экспериментальных эффектов соображение высказал Коэн (Cohen, 1965, 1977), предложивший судить о них в зависимости от изменчивости рассматриваемых переменных. Согласно критерию Коэна, разница между двумя средними величинами, соответствующая четверти стандартного отклонения в распределении соответствующего показателя, должна рассматриваться как малая; разница, соответствующая половине стандартного отклонения — как умеренная; и, наконец, разница, соответствующая целому стандартному отклонению, должна расцениваться как большая. Это и подобные ему статистические определения оценивают масштаб эффекта в зависимости от всех неучтенных, так называемых “случайных”, детерминант изменчивости или, иными словами, в зависимости от “уровня помех”. Данное определение ловко устраняет, а по сути игнорирует все соображения о природе рассматриваемой переменной и используемых единиц измерения. В этом (как станет ясно из обсуждения двух оставшихся критериев) заключается как его основное достоинство, так и его главнейший недостаток. (63:)