Як вже зазначалося вище, тест, якій використовується як засіб одержання науково спроможної інформації, повинен відповідати критерію надійності. Цей критерій містить багато складових, але до ключових належать стійкість, внутрішня узгодженість пунктів тесту, валідність.
1. Стійкість – здатність результатів тестування за допомогою конкретної методики відтворюватися під час наступних випробувань; тобто повторне застосування методики через певний проміжок часу повинно дати практично ідентичні результати. Говорячи про цю складову надійності тестового завдання, треба відзначити, що останнім часом спрямованість тестових процедур дещо змінюється: акцент переноситься з вимірювання стабільних якостей особи на діагностику психічних станів особистості (стривоженості, самопочуття, настрою та ін.). У даній ситуації тест повинен демонструвати чутливість до змін у вимірюваних характеристик об’єкту.
2. Внутрішня узгодженість пунктів тесту, тобто зіставимість результатів, отриманих на частині тесту, із загальними даними.
3. Валідність – здатність теста вимірювати саме ту властивість чи якість, яку й планувалося вимірювати. Наприклад, якщо за мету ставиться діагностування стійкості уваги людини, не можна застосовувати інструмент для вимірювання особливостей її пам’яті.
Розрізняють теоретичну та емпіричну валідність. Теоретична валідність залежить від правильності підбору чи конструювання методики, операціоналізації поняття. Якщо сутність ключових понять визначена невірно, сконструйований на основні подібних визначень опитувальник буде орієнтувати на виявлення не тих якостей та особливостей, які дослідник прагнув виявити. Наприклад, якщо планується діагностування рівня тривожності особистості, процедура тестування не може спрямовуватися на вимірювання рівня агресивності, чи якось іншого психічного стану.
Емпірична валідність констатується у випадку відповідності інформації, що була отримана за допомогою даної методики, інформації, отриманої на основі більш обґрунтованої методики. Остання виступає критерієм (еталоном) валідності. Процес встановлення валідності методики та інформації, що отримана з її допомогою, називається валідизацією. Сукупність ситуацій, у яких застосування даної методики є обґрунтованим, характеризується як область валідності методики. Наприклад, тест-опитувальник може складатися з врахуванням специфіки представників певної вікової категорії (припустимо, дітей раннього шкільного віку) і не буде спроможним об’єктивно охарактеризувати особливості осіб, що належать до іншої вікової когорти.
Еталонні критерії можна розділити на дві групи:
1. Об’єктивні індикатори певних характеристик досліджуваного об’єкту - дані спостереження, інформація документального характеру, результати апаратурних вимірювань;
2. Суб’єктивні оцінки стану об’єкта - експертні оцінки та безпосередньо самооцінки осіб, які підлягають тестуванню.
Будь-який стандартизований тест-опитувальник, крім набору завдань, які він містить, передбачає наявність таких складових:
1. інструкції з виконання завдань;
2. ключа шкалювання – містить вказівки відносно того, якій пункт завдань до якої вимірюваної характеристики відноситься;
3. кодувального ключа – дозволяє підрахувати, скільки балів вносить до шкали той чи іншій варіант відповіді;
4. ключа інтерпретації одержаного індексу, якій дозволяє порівняти його з нормативним значенням.