КРИТЕРИИ КАЧЕСТВА ТЕСТОВ. Научно обоснованный тест это метод, соответствующий установленным стандартам надежности и валидности. Традиционно выделяются два основных критерия качества тестов.
Первый из них связан с понятием точности измерений и известен, главным, образом, в виде понятия надежности теста. Качество педагогического контроля в вузе зависит не только от надежности используемых методов, но и от их валидности.
Валидность теста его пригодность для достижения поставленной цели пригодность по содержанию, пригодность к применению в конкретных обстоятельствах, пригодность по какому-либо критерию или, что то же самое, характеристика его способности изучать то, что он должен изучать по замыслу авторов.1 1.3.1. Надежность тестов. Существует несколько практических способов определения надежности теста. Самый безупречный со статистической точки зрения метод определения надежности это коррелирование двух параллельных тестов, созданных для измерения одного и того же свойства.
Суть корреляции состоит в том, что из полученной каждым студентом суммы баллов вычитается ровно то число, которое может быть угадано в соответствии с теорией вероятностей. Корреляция осуществляется с помощью соотношения, где - скорректированный на догадку тестовый балл испытуемого - число правильных ответов, полученных испытуемым в тесте - число неправильных ответов - число готовых ответов в заданиях теста.
Эта формула применяется к заданиям с одинаковым числом готовых ответов. Интуитивно наиболее понятный и простой способ определения надежности теста это двукратное, по меньшей мере, использование одного и того же теста в той же самой группе студентов. Результаты обоих опросов анализируются с целью поиска корреляции между ними. Данный метод имеет свои достоинства и недостатки. Достоинства заключаются в сравнительной простоте его использования, ясности основных посылок, лежащих в определении надежности, простоте расчетов.
К недостаткам можно отнести неопределенность в выборе временного интервала между первым и вторым опросами. Этот интервал может колебаться от нескольких минут до нескольких дней, месяцев и даже лет. Надежность тестов достаточно просто оценить в гомогенных тестах. Однако, оценка надежности заметно осложняется в гетерогенных тестах. Осложнение вызвано главным образом некоррелируемостью или слабой коррелируемостью гомогенных тестов между собой.
Соответственно ответы студентов на задания одного гомогенного теста, как правило, редко коррелируют с ответами на задания другого. Отсутствие же корреляции мешает всякой надежде на мало-мальски заметную надежность теста в целом. Все методы оценки надежности теста основаны на разных теоретических положениях, но все они призваны ответить на один и тот же вопрос насколько точны проведенные измерения Само понятие точность в каждом случае оценки приобретает несколько отличающийся смысл.
Имеются, по меньшей мере, два источника погрешностей, мешающие говорить об абсолютной надежности теста. Первый источник связан с выборкой испытуемых. Вряд ли можно найти две такие выборки, в которых тестовый опрос был бы одинаково надежным. Скорее всего, значения варьировали бы от выборки к выборке в некоторых пределах в соответствии с законом нормального распределения. Уже одно это призывает к осторожности в интерпретации коэффициента надежности. Вместо выражения надежность теста мы вынуждены использовать другое, более точное полученная в данной выборке оценка надежности теста.
Второй источник погрешностей в формулировании и отборе заданий. Если мы примем небезосновательное предположение о детерминации в статистическом смысле или, иначе, о зависимости конкретных результатов измерения от истинных, присущих данным испытуемым в идеальных условиях, то коэффициент надежности удобно интерпретировать как коэффициент детерминации.1 1.3.2.