Информативность теста не всегда может быть установлена с помощью эксперимента и статистической обработки его результатов. Например, требуется подготовить билеты для экзамена или темы дипломных работ и т.д. При этом надо отобрать наиболее информативные вопросы, по которым можно точнее всего оценить знания учащихся и подготовленность к практической работе. В этом случае опираются на содержательный (логический) анализ.
Иногда бывает так, что информативность теста ясна без всяких экспериментов, это имеет место тогда, когда тест является частью тех действий, которые спортсмен выполняет на соревнованиях. Едва ли нужны эксперименты, чтобы оценить информативность таких тестов, как бег на 60 м и 100 м, для определения скоростных качеств, время поворотов в плавании, скорость на последних шагах разбега в прыжках в длину, процент попадания штрафных бросков в баскетболе и т.д. Однако, если таких тестов несколько, и из них надо отобрать самые информативные, без математических методов теории тестов не обойтись.
Содержательный анализ информативности тестов и экспериментально-математическое ее обоснование должны дополнять друг друга. Ни один из этих подходов, отдельно взятый, не является достаточным. В частности, если в результате эксперимента определен высокий коэффициент информативности теста, нужно обязательно проверить, не следствие ли это так называемой ложной корреляции. Она возможна, когда на результаты обоих коррелирующих признаков влияет некоторый третий показатель, который сам по себе не представляет интереса.