РЕПРЕЗЕНТАТИВНОСТЬ ТЕСТОВЫХ НОРМ

 

Основные статистические принципы построения тестов достаточ­но полно освещены в появившейся в начале 80-х годов на русском языке литературе по дифференциальной психометрике (Аванесов В. С., 1982; Анастази А., 1982; Гайда В. К., Захаров В. П., 1982). Тем не менее в указанных руководствах центральная проблема пси­хометрики тестов - вопрос о тестовых нормах - еще не получила пос­ледовательного освещения. Прежде всего это относится к руковод­ству известной представительницы американской тестологии А. Ана­стази.

В руководстве Анастази не получают достаточного критического обсуждения две основополагающие предпосылки традиционной за­падной тестологии: вопрос о применении статистических норм (кван­тилей распределения баллов) в качестве диагностических норм и воп­рос о сведении всех эмпирических распределений к нормальной мо­дели. Ниже эти предпосылки будут проанализированы в контексте краткой реконструкции системы основных понятий дифференциаль­ной психометрики.

Статистическая природа тестовых шкал. Типичный измери­тельный тест в психодиагностике - это последовательность кратких заданий, или пунктов, дающая в результате ее выполнения испытуе­мым последовательность исходов, которая затем подвергается одно­значной количественной интерпретации. Примеры интерпретации в интеллектуальных тестах, состоящих из отдельных задач: «правиль­ное решение», «ошибочное решение», «отсутствие ответа» (пропуск задачи из-за нехватки времени). Примеры интерпретации в случае лич­ностных опросников, состоящих из высказываний, предлагаемых для подтверждения испытуемым: «подтверждение» (ответ «верно»), «от­вержение» (ответы «не согласен», «неверно»).

Суммарный балл по тесту подсчитывается с помощью ключа: ключ устанавливает числовое значение исхода по каждому пункту. Напри­мер, за правильное решение задания дается «+1», за неправильное решение или пропуск - «О». Тогда балл буквально выражает количе­ство правильных ответов.

Исход по отдельному заданию подвержен воздействию не только со стороны измеряемого фактора - способности или черты личности испытуемого, но и побочных шумовых факторов, которые являются иррелевантными по отношению к задаче измерения. Примеры слу­чайных факторов: колебания внимания, вызванные неожиданными от­влекающими событиями (шум на улице, стук в дверь и т. п.), трудно­сти в понимании смысла задания (вопроса), вызванные особенностя­ми опыта данного конкретного испытуемого, и т. п. Последователь­ность исходов оказывается последовательностью событий, содержа­щей постоянный и случайный компоненты. Как известно, основным приемом, позволяющим устранить искажающее влияние случайных факторов на результат (суммарный балл), Является балансировка это­го влияния с помощью повторения. При этом фактически предпола­гается, что повторение обеспечивает рандомизацию (случайное варь­ирование) неконтролируемого фактора, в результате чего при сумми­ровании исходов Положительные и негативные эффекты случайных факторов взаимопоглощаются (о механизме рандомизации см.: Готтсданкер Р., 1982).

В оптимальном тесте набор и последовательность заданий орга­низуются таким образом, чтобы повысить долю постоянного компо­нента и сократить долю случайного в величине суммарного балла. Тем не менее, несмотря на различные статистические ухищрения, суммарный балл в психологических измерениях содержит несравнен­но большую долю случайного компонента, чем в обычных физичес­ких измерениях. В силу этого суммарный балл оказывается опреде­ленным лишь в известных пределах, заданных ошибкой измерения.

Для того чтобы оценить эффективность, дифференциальную цен­ность всей процедуры измерения, необходимо соотнести размеры ошибки измерения с размерами разброса суммарных баллов, вызван­ных индивидуальными различиями в измеряемой характеристике между испытуемыми. В терминах Статистики речь идет о сравнении так называемой истинной дисперсии распределения суммарных баллов с дисперсией ошибки. Именно этим обусловлен необходимый интерес психометристов к распределению суммарных баллов. Поэто­му анализ распределения необходим не только при использовании статистических норм, но и в случае абсолютных и критериальных норм.

Как известно, частотное распределение суммарных баллов имеет удобную графическую интерпретацию в виде кривых распределений: гистограммы и кумуляты (см., в частности, удачное популярное вве­дение в описание распределений в книге: Кимбл Г., 1982, с. 55-70). В случае гистограммы по оси абсцисс откладываются «сырые очки» -первичные показатели суммарных баллов, возможных для данного теста, по оси ординат - относительные частоты (или проценты) встре­чаемости баллов в выборке стандартизации (Анастази А., 1982, с. 66). Как известно, для «колоколообразной» кривой нормального распре­деления дисперсия визуализируется как параметр, ответственный за «распластанность» графика плотности вероятности (теоретического аналога эмпирической кумуляты) вдоль оси X. Чтобы визуализиро­вать дисперсию ошибки измерения, нужно было бы многократно про­вести тест с одним испытуемым и построить графическое распреде­ление частот его индивидуальных баллов (рис. 1).

Очевидно, что дифференцирующая способность теста сводится к нулю, если кривые, иллюстрирующие «истинную» и «ошибочную» дисперсии» совпадают. Как видим, анализ распределения тестовых баллов необходим уже для анализа надежности теста (см. раздел 3.2).

Проблема меры в психометри­ке и свойства пунктов теста. В физических измерениях калибров­ка шкалы производится на основе контроля за равномерным варьиро­ванием измеряемого свойства в эта­лонных объектах. Носителем меры является эталон- физический объект, стабильно сохраняющий заданную величину измеряемого свойства. В дифференциальной психометрике такие физические эталоны отсутствуют: мы не располагаем индивидами, которые были бы постоянными носителями за­данной величины измеряемого свойства.