Критериальная валидность определяется с единственной, крайне важной для практики, целью: оценить индивидуальную прогностичность теста. Для этого результаты выполнения теста сопоставляются с непосредственными и независимыми оценками (критериальными ключевыми признаками) того, что должен предсказывать тест.
Процедура обеспечения критериальной валидности заключается в том, что задания для шкал отбираются только тогда, когда они могут отделить релевантные, т.е. собственно критериальные, группы от контрольных. Для тестов такого типа основную роль играет их дискриминативность: важен сам факт, что тест или отдельное его задание является дискриминативным, а не причина, по которой это происходит.
Правда, в случае, когда группы отличаются друг от друга только по одной переменной, причина такой дифференциации более видна. Но, как правило, критериальная валидность используется в случае множества содержательно мало учитываемых признаков.
Часто задания, отобранные на основании того, что они могут разделять группы, вполне могут измерять и целый набор разных других переменных. Любая шкала, построенная таким образом, не будет однородной, т.е. показатели внутренней согласованности могут быть низкими.