В рамках традиционной психометрии тест называется надежным, если он является внутренне согласованным. Внутренняя согласованность – это степень однородности состава заданий с точки зрения измеряемого психологического свойства.
Расчет внутренней согласованности основан на сравнении выполнения различных заданий одного и того же теста, например, различных пунктов одной шкалы личностного опросника, на одной и той же выборке.
В действительности, по мнению Р.Б.Кеттела, высокая внутренняя согласованность выступает противоположностью валидности. Это заключение делается на том основании, что в оптимальном варианте каждый вопрос – в сравнении с критерием, или конструктом, повергающимся измерению, - должен затрагивать меньшую область или иметь более узкое значение. Но если все вопросы теста в высокой степени согласованы, т.е. они значимо коррелируют, такой тест (получающий тем самым статус надежного) будет измерять лишь сравнительно узкую переменную. Кроме того, если две переменные весьма значимо коррелируют, то одна из них не будет предоставлять никакой новой информации.
При изучении любой реальной области (со многими психологическими переменными) наиболее высокое значение корреляции между заданиями теста и критерием (или между каждым заданием теста и общим результатом) может быть получено, когда переменные между собой не коррелируют.
Наконец, какая-то психологическая характеристика может быть непосредственно не наблюдаема. Вместе с тем, о ее существовании можно сделать вывод по фиксации ее действий на ряд других уже наблюдаемых переменных, которые, тем не менее, могут быть очень слабо друг с другом связанными [Клайн П., 1994].