Валидность

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: “Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает” [10, т. 1 с. 126].

Валидность по своей сути — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

♦ при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

♦ при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что нечто, измеряемое методикой, имеет связь с определенными областями практики.

Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее. Не вдаваясь пока в конкретные детали, остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т. п.), и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности диагностической методики.

Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Поэтому на ранних стадиях развития тестологии, когда концепция валидности только складывалась, бытовало интуитивное представление о том, что тест измеряет:

1) методика называлась валидной, так как то, что она измеряет, просто очевидно;

2) доказательство валидности основывалось на уверенности исследователя в том, что его метод позволяет понять испытуемого;

3) методика рассматривалась как валидная (т. е. принималось утверждение, что такой-то тест измеряет такое-то качество) только потому, что теория, на основании которой строилась методика, очень хорошая.

Принятие на веру голословных утверждений о валидности методики не могло продолжаться длительное время. Первые проявления действительно научной критики развенчали такой подход: начались поиски научно обоснованных доказательств.

Таким образом, провести теоретическую валидизацию методики — это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.

Так, например, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т. п.). Таким образом, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Это показывает, насколько замысел автора и результаты методики совпадают.

Не столь сложно провести теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и аналогичной уже проверенной методикой указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиагносты получают возможность использовать новый инструмент вместо старого.

Но теоретическая валидность доказывается не только путем сопоставления с родственными показателями, а также и с теми, где, исходя из гипотезы, значимых связей не должно быть. Таким образом, для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность) и отсутствие этой связи с методиками, имеющими другое теоретическое основание (дискриминантная валидность).

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с такой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации о изучаемом свойстве, анализ теоретических предпосылок и экспериментальных данных, значительный опыт работы с методикой позволяет раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то интерпретация полученных показателей становится более ясной и однозначной, а название методики соответствует сфере ее применения. Что касается прагматической валидизации,то она подразумевает проверку методики с точки зрения еепрактической эффективности, значимости, полезности, поскольку диагностической методикой имеет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в определенных видах деятельности. Ей придают большое значение особенно там, где встает вопрос отбора.

Если опять обратиться к истории развития тестологии [1; 10; 31; 62; 88 и др.], то можно выделить такой период (20-30-е гг. XX в.), когда научное содержание тестов и их теоретический багаж интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомендациям. Нельзя было точно назвать те особенности, качества, которые тесты выявляли. По существу они являлись слепыми пробами.

 

Билет 16 анализ продуктов деятельности

 

АНАЛИЗ ПРОДУКТОВ ДЕЯТЕЛЬНОСТИ метод психологического исследования, в котором исследователь анализирует дневниковые записи, архивные материалы, производственные документы, продукты трудовой или учебной деятельности и т. п. Актуальное поведение испытуемого при этом не наблюдается и не измеряется. В отечественной психологической литературе приняты термины А. п. д., или праксиметрический метод, в американской научной литературе вместо них используется термин «архивный метод» (В.Н. Дружинин). По целям и конкретным приемам реализации различают следующие реализации данного метода. Биографический метод, с помощью которого изучаются особенности жизненного пути одной личности или группы людей. Близким к нему является метод психологического анамнеза. К разновидностям метода А. п. д. относится также контент-анализ, который представляет собой один из наиболее разработанных и строгих методов анализа документов. В инженерно-психологических исследованиях контент-анализ предполагает изучение разного рода документов, регламентирующих и определяющих деятельность оператора. Эти документы можно разбить на три группы. Первая группа характеризует содержание и организацию трудовой деятельности, устройство и принцип работы системы, особенности рабочей среды. Сюда относится прежде всего эксплуатационная документация и нормативные документы, регламентирующие деятельность оператора. Вторая группа отражает результаты деятельности. Она включает журналы и ведомости учета выпущенной продукции, отработки технологических задач, производственно-экономические отчетные документы и т. п. Третья группа включает документы, характеризующие индивидуальные особенности операторов. Сюда относятся служебные и медицинские характеристики, представления для назначения на должность, отчеты о деятельности специалиста и т. п. чение всех этих документов позволяет составить общее представление о задачах оператора, степени их сложности, условиях деятельности, режимах работы, некоторых индивидуальных особенностях конкретных специалистов. Все это затем может быть положено в основу для более детального психологического анализа как данного вида деятельности в целом, так и деятельности конкретных лиц. Близкими к методу А. п. д. являются проективные методики исследования личности, которые занимают промежуточное положение между психологическим измерением (тестированием) и А. п. д. С первым их роднит то, что процедура применения проективной методики такая же, как и любого другого психологического теста: испытуемому дается инструкция выполнить определенное задание. Однако, в отличие от традиционных тестов, акцент переносится на процедуру анализа и интерпретации продуктов деятельности испытуемых. Применение проективных методик направлено не столько на измерение той или иной психической функции, сколько на измерение модуса личности в ее отношениях с социальной средой

 

Билет 17 способы интерпретации психологического измерения

Важную роль играют методы интерпретации, которые позволяют придать содержательно-психологический смысл полученным данным.[9]. Другими словами это методы позволяют перевести полученные в ходе диагностики и обработки данные (числа, закономерностях) с языка математики на язык психологии, т. е. осуществить переход от чисел и закономерностей к психологическим понятиям и суждениям.

Комментируя полученные обследования, диагност не всегда четко учитывает специфику использованного метода, не глубоко вникает в смысл полученных данных, не имеет четкого плана их интерпретации. По существу, он накладывает на такие данные свое видение процессов и явлений, которые исследовались или измерялись. Хотя не существует факторов вне некоторых теоретических посылок (концепций), тем не менее, результаты интерпретаций почти всегда являются объектом острой критики и дискуссии.

Обычно интерпретация понимается как совокупность значений (смыслов), придаваемых определенным способом различным данным (в более общем смысле: теориям, символам, формулам, выражениям и т.п.). Другими славами, интерпретировать что-то – значит приписать (присвоить) этому содержанию смысл.

Б.Г.Ананьев выделял два метода интерпретации данных, полученных в исследовании: генетический, предлагающий выделение фаз, стадий, критических моментов развития, и структурный, определяющий структурные связи между характеристиками личности.

Анализ взаимосвязи между большим количеством переменных осуществляется путем использования многомерных методов статистической обработки вручную или с применением компьютера. Цель применения подобных методов – сделать наглядными скрытые закономерности, выделить наиболее существенные взаимосвязи между переменными. Перечислим многомерные статистические методы:

Многомерное шкалирование обеспечивает наглядную оценку сходства и различия между некоторыми объектами, описываемые большим количеством разнообразных переменных. Эти различия представляются в виде расстояния между оцениваемыми объектами в многомерном пространстве.

Факторный анализ заключается в выявлении и интерпретации факторов.

Фактор – обобщенная переменная, которая позволяет свернуть часть информации, то есть, представить ее в удобообозримом виде. Например, факторная теория личности выделяет ряд обобщенных характеристик поведения, которые в данном случае называются чертами личности.

Кластерный анализ позволяет выделить ведущий признак и иерархию взаимосвязей признаков.

Латентно-структурный анализ представляет совокупность аналитико-статистических процедур выявления скрытых переменных (признаков), а так же внутренней структуры связей между этими признаками. Он дает возможность исследования проявления сложных взаимосвязей непосредственно наблюдаемых характеристик психосоциальных явлений. Латентный анализ может являться основой для моделирования указанных взаимосвязей.

Радикальной разницы между перечисленными методами многомерного анализа данных, в первом приближении, нет. Преимущество заключается лишь в удобстве представления тех или иных данных или в личностных предпочтениях исследователей.

Психологическое исследование ставит вопрос об измеряемости изучаемых явлений. Использование понятийбольше или меньше, интенсивнее, лучше, сложнее ставит проблему поиска некоторой точки отчета для сравнения двух или нескольких явлений.

Измерить мы можем, только сравнив полученный результат в виде числа с другим результатом, измеренным этим же способом, поэтому выявление внутренних закономерностей воспитательного процесса происходит путем сравнения результатов измерения.

Проводя анализ полученных данных, недостаточно иметь эталон для сравнения. Помимо этого необходимо знать, в каком порядке располагаются изучаемые явления, как они соотносятся друг с другом, насколько или во сколько раз одно явление отличается от другого, что помогает выявлять причинно-следственную зависимость в структуре воспитательного процесса.

Решение этой проблемы приводит исследователя к необходимости свои знания об изучаемом процессе переводить с уровня качественных понятий на уровень количественных – в виде чисел, граф, схем, формул. Использование таких знаковых заменителей определяет возможности оперировать понятиями, сравнивать между собой такие, которые в данной психологической ситуации взаимодействуют, и на этом уровне строить модель изучаемого процесса

 

Билет 18 эксперимент как метод организации исследования