Контент-анализа1

Методом экспертных оценок называется совокупность эмпирических процедур, направленных на оценку объекта в определенной шкале путем его экспозиции экспертам (эксперту) с последующей регистрацией их (его) оценочных суждений (Шошин В.П., 1987, с.17).

В.П. Шошин выделяет четыре смысловых инварианта, определяющих метод экспертных оценок: наличие готового объекта, подлежащего оценке; получение оценки объекта путем обращения к высказываниям специально отобранных людей (экспертов); наличие более или менее строгих процедурных правил работы экспертов; наличие заранее обусловленного ассортимента суждений (количественных или качественных), с помощью которых эксперту предписывается выражать свое мнение об объекте, – балльная шкала, классификация и т.д.

Благодаря методу экспертной оценки можно решать разные классы задач. Использование экспертной оценки в процедуре контент-анализа позволяет принять решение типа категоризации (категоризация объекта предусматривает его отнесение к определенному классу в рамках данной классификации); оценить объекты, для которых еще не разработаны или в принципе не могут существовать объективные методы оценки. Например, в психологических исследованиях при анализе текстов свободных самоотчетов к экспертам чаще всего обращаются, когда необходимо оценить результаты выполненных исследовательских шагов:

-правомерность выделения основных смысловых единиц контент-анализа;

-соответствие основных названий категорий контент-анализа их содержанию;

-четкость и однозначность в формулировании формальных признаков категорий контент-анализа;

-обоснованность содержания смысловых единиц.

Кроме этого, экспертов просят произвести идентификацию основных категорий и подкатегорий контент-анализа.

В работе каждого отдельного эксперта можно условно выделить следующие этапы.

I этап. Исследование объекта и наблюдение за ним. Задача этапа – сформировать определенное впечатление об объекте исследования. Этот этап должен быть достаточно длительным.

II этап. Формирование имплицитной оценки. Задача этапа – сформировать впечатление об объекте на уровне имплицитного сознания, не представленного средствами внутренней речи или, тем более, в произносимых словах и иных коммуникативных средствах. Например: эксперту может понравиться или не понравиться название той или иной категории контент-анализа. Или прочитав высказывание «обычно я «водопад», а сейчас скорее озеро спокойное», эксперт, еще не относя его к какой-то конкретной категории, отдает себе отчет в том, что работает с многогранным феноменом, в котором представлены индивидуальные характеристики, эмоциональные переживания субъекта, а также происходит обращение к метафорическому образу.

III этап. Экспликация оценки. Задача эксперта на этом этапе состоит в том, чтобы подыскать для имплицитной оценки наилучшее соответствие в заданной ему системе шкальных значений. На этом этапе происходит перевод с внутреннего, имплицитного «языка» на доступный восприятию язык специальных словесных формулировок. Этот процесс нередко сопряжен с искажением исходной, имплицитной оценки. В. П. Шошин называет три основных источника таких искажений: 1) недостаточная четкость впечатления, которая приводит к более или менее случайному называнию одной из возможных позиций эксплицитной шкалы; 2) неуверенное владение эксплицитной шкалой, недостаточное понимание ее устройства, смысла каждой из ее позиций; 3) сознательное смещение оценки при экспликации. Такое смещение может быть не только данью сложившейся традиции, молчаливого соглашения, но и результатом прямой недобросовестности или, наоборот, стремления застраховать себя от вероятных обвинений в предвзятости (Шошин В.П., 1987).

IV этап. Информационный обмен между экспертами. Задача этапа – оглашение, комментирование своих оценок, обмен мнениями между экспертами.

Эффективность экспертного оценивания зависит от подхода к подбору экспертов и от организации их деятельности.

Рассмотрим основные подходы к формированию экспертной группы.

Экспертные группы могут быть:

-Элитарными. Такая группа формируется из специалистов высшей квалификации, профессиональной элиты в данной области; отличается высоким уровнем профессиональных знаний, способна в короткий срок приходить к определенному мнению по предмету экспертизы. Результаты такой экспертной оценки видимо будут являться наиболее валидными, но сложность практического формирования подобной группы часто заставляет исследователя отказаться от того, чтобы это делать;

-Институциональными. Условием формирования такой группы является заинтересованность в получении данных от специалистов одной и той же организации, научной школы. Группа экспертов может включать в себя или всех сотрудников данной организации или репрезентативную выборку таких работников. Институциональная экспертная группа позволяет получить экспертную оценку специалистов, уже имеющих опыт работы с подобными объектами;

-Псевдоинституциональными. К их числу относят группы, образованные из лиц, откликнувшихся на призыв об участии в экспертизе, специалистов, менее других загруженных работой, добрых знакомых организаторов экспертизы. По мнению Д. Кэмпбелла (1980), такие добровольцы не могут служить источником валидных экспертных данных.

Необходимо отметить, что группа экспертов может состоять из лиц более или менее одного профессионального профиля – и тогда мы имеем дело с профессионально однородной группой. И может включать в себя специалистов, работающих в разных областях, - такую группу экспертов называют составной. При формировании составной группы во внимание принимается лишь перечень аспектов рассматриваемой проблемы. В эту же группу могут быть привлечены специалисты одной и той же профессии, но нескольких противостоящих друг другу школ. Составная группа обычно формируется при работе с элитарными экспертами.

Вместе с тем необходимо отметить, что при отборе экспертов (если нет специальной задачи) предпочтение отдается специалистам, работающим по проблематике, близкой к данному исследованию (Богомолова Н.Н., Стефаненко Н.Г., 1992; Ушакова Т.Н., Латынов В.В., Павлова А.А., Павлова Н.Д., 1995).

Каким должен быть количественный состав экспертной группы? Однозначного ответа не существует. Чаще всего количество экспертов варьируется от 3-5 до 7 человек.

На этапе отбора экспертов важно оценить компетентность каждого. Под компетентностью эксперта понимается его способность эффективно участвовать в экспертной процедуре и служить источником доброкачественной информации об объекте экспертизы (Шошин В.П., 1987). Как правило, компетентность складывается из следующих трех компонентов: профессиональная компетентность (уровень осведомленности в данной профессиональной области, умение формировать удовлетворительное по четкости имплицитное представление об объекте экспертизы); компетентность в эспликации оценок (умение адекватным образом переводить имплицитные оценки в доступную для окружающих специалистов коммуникативную форму, умение следовать навязанным извне жестким правилам экспликации оценок); социально-психологическая компетентность (умение аргументировать свои оценки в устной дискуссии, умение выслушивать и адекватно оценивать суждения коллег – экспертов и т.д.) (Шошин В.П., 1987, с. 49-51). Отдельно отмечается требование к добросовестности эксперта. За этим обычно стоит искренний отказ от каких – либо «нечестных» оценок со стороны эксперта.

Организуя процедуру экспертной оценки, необходимо помнить, что основная задача на этом этапе – обеспечить максимально высокую валидность (степень приближения к истине – реальной или гипотетической) результатов экспертизы. Для этого необходимо четко сформулировать экспертную задачу, сформировать экспертную группу, проинструктировать членов экспертной группы относительно задач экспертизы, порядка работы экспертов, включая процедуру ознакомления с объектом и способы экспликации суждений. Следовательно, с каждым экспертом необходимо обстоятельно провести инструктаж об основных правилах намечаемой процедуры. Особое внимание при этом следует уделить выполнению правил экспликации оценок.

Сама подготовка экспертов может производиться на материале, сходным с тем, который предполагается предъявлять для экспертной оценки. Если этим пренебречь, то в итоге эксперт будет ориентироваться главным образом на свои собственные представления. Например, в исследовании особенностей познания внутреннего мира психологом были выделены следующие категории контент-анализа: физиологические проявления, эмоциональные явления, психические процессы, индивидуальные характеристики, мотивационная сфера, волевая сфера, действия, внешние явления, метафорический образ (Шиленкова Н.А., 2003). При этом один из экспертов отнес высказывание «На улице холодно, падает снег» к категории «эмоциональные явления» (вместо категории «внешние явления»). Представляется, что серьезный инструктаж и тренировка в распределении высказываний по категориям позволили избежать столь досадных разногласий с экспертом.

Обдумывая организацию процедуры экспертного оценивания, важно учитывать источники риска для валидности экспертных оценок (табл. 3).

Таблица 3.

Источники риска для валидности

экспертных оценок и способы их преодоления

 

№	Источники риска	Способы преодоления обозначенных рисков
	Низкий уровень профессионализма экспертов, трудность решаемой ими задачи	Адекватный отбор экспертов, хорошая организация экспертизы
	Недостатки кодировочной инструкции	Четкость и однозначность формулировок при описании формальных признаков категорий контент- анализа. Проведение процедуры экспертной оценки в несколько этапов
	Идентификация суждений с его источником (как компонент восприятия человека человеком)	Тщательный подбор состава экспертной группы (отказ от включения в нее лиц, состоящих дружеских (враждебных) отношениях, лиц со значительно разным уровнем научных достижений). Организация заочного и независимого (использование индивидуальных бланков) экспертного оценивания
	Смещение экспертом собственной оценки в «безопасную» сторону соглашения с исследователем или большинством экспертов. Данный риск часто связывают с оценкой экспертом собственной компетенции.	Отбор экспертов с высоким уровнем профессионализма, индивидуальные бланки для каждого эксперта, четкий инструктаж экспертов
	Смещение экспертом оценки в сторону собственного нестандартного мнения, при полном игнорировании формальных признаков. Данное поведение эксперта также может быть связано с уровнем профессиональной самооценки.
	Стремление к доминированию. Повышенная склонность к доминированию приводит к нежеланию модифицировать свои оценки, даже если в какой-то момент эксперт сам убеждается в их несостоятельности.	Исключение экспертов, у которых тяга к лидерству выражена в повышенной степени, каков бы ни был их профессиональный уровень
	Эффект уровня адаптации. Это явление, известное из психофизики, состоит в изменении «масштаба» имплицитных, а вслед за ними и эксплицидных оценок в зависимости от диапазона разнообразия объектов, которые эксперт успел оценить с момента начала экспертизы. Это приводит к нестабильности шкальных значений и, следовательно, к несопоставимости данных, полученных в разные периоды экспертизы.	Нельзя группировать объекты по априорным данным о выраженности оцениваемого экспертами качества, предъявляя их в порядке его возрастания. Необходимо так подготовить документы для экспертов, чтобы последние имели возможность сразу познакомиться со всеми категориями контент-анализа (а не предъявлять их постепенно). Желательно также рекомендовать экспертам сначала произвести идентификацию категорий контент-анализа и только потом – подкатегорий. Это связано с тем, что соседство объектов, значительно отличающихся друг от друга, способствует поддержанию постоянного уровня адаптации и, следовательно, снижает источники риска для валидизации.

 

Организовывая экспертную оценку в процедуре контент-анализа, перед экспертами можно ставить следующие задачи:

-самостоятельно выделить основные категории контент-анализа в анализируемом тексте. В этом случае экспертная оценка потребует большего времени для ее реализации, специальной организации обсуждения между экспертами, а также высокого профессионализма экспертов;

-ознакомиться с объектом исследования, кодировочной инструкцией (включающей в себя формальные признаки категорий и основные эмпирические индикаторы этих категорий контент-анализа) и самостоятельно распределить основные единицы контент-анализа по соответствующим категориям.

-ознакомиться с кодировочной инструкцией, предложенным списком уже распределенных по категориям и подкатегориям смысловых единиц контент-анализа и выразить свое согласие / несогласие с правомерностью отнесения последних к тем или иным категориям (подкатегориям). Данная процедура потребует меньших временных затрат, она более проста в реализации, но, по нашему мнению, включает в себя и больше источников риска для валидизации.

Еще одним важным вопросом для проведения экспертного оценивания является вопрос, касающийся уровня согласованности экспертов. Так, Н. Н. Богомолова и Н. Г. Стефаненко считают, что расхождение у экспертов не выше 5% позволяет говорить о надежных результатах. Вместе с тем авторы отмечают, что высокая надежность обычно свойственна простым формам контент-анализа: «Усложнение, более тонкая дифференциация категорий связаны с понижением надежности, однако это дает большую информацию об объекте исследования» (Богомолова Н.Н., Стефаненко Н.Г., 1992, с. 27). Т. Н. Ушакова, В. В. Латынов, А. А. Павлова, Н. Д. Павлова, осуществляя экспертную оценку адекватности трактовки интенций, приводят проценты совпадений оценок экспертов от 100% до 25% и 37,5% (по разным категориям) и считают, что применяемый метод анализа текста позволяет со значительной степенью объективности характеризовать его интенциональное содержание (Ушакова Т.Н., Латынов В.В., Павлова А.А., Павлова Н.Д., 1995, с. 40-41). Справедливости ради необходимо сказать, что полученные результаты экспертной оценки авторы пытаются проанализировать и сделать выводы о столь разных совпадениях у экспертов.

Описание результатов экспертной оценки должно включать в себя:

1.Теоретические основания проведения экспертной оценки.

2.Кодировочную инструкцию.

3.Описание задач, которые ставились перед экспертами; инструкций, предложенных экспертам.

4.Описание экспертной группы.

5.Обозначение критериев для отбора объектов экспертного оценивания.

6.Результаты экспертизы по каждой из поставленных задач.

7.Анализ результатов и выводы.

 

Пример описания процедуры и результатов

экспертной оценки

В диссертационном исследовании Н. А. Шиленковой «Метод интроспекции в познании внутреннего мира психолога» изучались особенности интроспективного познания внутреннего мира профессиональным психологом (в отличие от не психолога). В качестве одного из эмпирических методов применялся метод интроспективного самоотчета; при обработке полученных от испытуемых интроспективных самоотчетов использовался метод контент-анализа.

Правомерность использования выделенных категорий для анализа проверялась посредством осуществления процедуры экспертного оценивания (Ушакова Т.Н., Латынов В.В., Павлова А.А., Павлова Н.Д., 1995; Богомолова Н.Н., Стефаненко Н.Г., 1992). Экспертам были представлены таблица, содержащая описание категорий контент-анализа интроспективных самоотчетов (Таблица 4), таблица эмпирических индикаторов категорий контент-анализа (Таблица 5).

Таблица 4.

Описание категорий контент-анализа

текстов интроспективных самоотчетов

 

Категории контент-анализа	Формальные признаки категорий
Физиологические Проявления	Высказывания, сообщающие о наблюдении субъекта за физиологическими проявлениями своего состояния, описания происходящих явлений в теле субъекта
Эмоциональные Явления	Высказывания, сообщающие о наблюдении субъектом за эмоциональными явлениями: чувственным тоном, чувствами, эмоциями, состояниями
Познавательные психические процессы	Высказывания о наблюдении за процессами памяти, внимания, мышления
Индивидуальные Характеристики	Высказывания испытуемого о своих психических свойствах, устойчивых характеристиках, представлениях о себе и своих социальных ролях
Мотивационная сфера	Высказывания, отражающие желания, ожидания испытуемых, наблюдаемые в процессе эксперимента
Волевая сфера	Высказывания, характеризующие наблюдение субъекта за саморегуляцией своей деятельности
Действия	Высказывания, отражающие наблюдение субъекта за собственными действиями непосредственно в процессе самоотчета
Внешние явления.	Высказывания, описывающие явления внешнего мира
Метафорический образ	Описание наглядного выражения внутренних переживаний человека

 

 

Таблица 5.

Эмпирические индикаторы категорий контент-анализа текстов интроспективных самоотчетов

 

Категории контент-анализа	Эмпирические индикаторы категорий
Физиологические проявления	«Горят щеки»; «дышу более глубоко»; «чувствую неприятный привкус во рту»; «слегка дрожат руки»; «чувствую тяжесть в ногах»; «у меня слегка онемела левая рука»; «легкое покалывание в области сердца»; «тяжесть в желудке»; «глаза какие-то сухие»; «зачесалась нога»; «чуть вспотел»; «периодически урчит в животе»
Эмоциональные явления	«Раздражение на себя»; «успокаиваюсь»; «стало весело»; «возбужден»; «спокойствие»; «злость легкая»; «неловко»; «сейчас со мной происходит что-то неприятное»; «эмоциональное состояние снова изменилось»; «состояние расслабленности, покоя, уверенности»; «досада; испытываю напряжение»; «раздражение исчезло»; «чувствию облом (фрустрацию), что еще 5 минут надо писать»; «ура!»
Познавательные психические процессы	«Необходимо изменение обстановки»; «Ты с утра ничего не ел!»; «но сейчас думаю о кое-каких событиях»; «сейчас обострился слух»; «вопрос: « При чем тут время выполнения задания?»; «как быть, когда теряешь близкого человека»; «задумалась; много различных мыслей»; «нечеткость мыслей»; «мысли какие-то неясные»; «мысли о том, что делаю какие-то знакомые тесты»; «иногда отвлекаюсь на другие мысли»; «легкая рассеянность внимания»; «воспоминания о том, как раньше на других консультациях просили прислушаться к ощущениям внутри себя»; «а вдруг надо что-нибудь нарисовать»
Индивидуальные Характеристики	«Если бы я не была такой законопослушной (ответственной)»; «я солидный, красивый»; «а я на самом деле красивая, умная»; «никогда не считала себя особо тревожной»; «эта излишняя самоуверенность бросается в глаза»; «самооценка высокая»; «склонна к независимости»; «мне кажется, я патологически добра»; «не совсем уверена в себе»; «хорошая мама и жена»
Мотивационная сфера	«Хочется просто посидеть, помечтать»; «чувствую желание двигаться дальше сегодня по намеченному маршруту»; «я не хочу негативных переживаний»; «делать ничего не хочется»; «уже не хочется рефлексировать»; «желание позвонить домой»; «вообще хочется все сразу, но ничего конкретного»; «желание вырасти профессионально и невозможность его осуществления»; «вроде бы хочется спать»; «жду реакции экспериментатора»; «еще с радостью ожидаю конца рабочего дня»; «предчувствие приятного события»; «мечтания о карьерном росте в «Мери Кей»; «жду звонка»; «ожидание чего-то нового и интересного»; «ожидание»
Волевая сфера	«Небольшое напряжение ввиду того, что приходится перерабатывать свое нежелание уходить в себя»; «внешне стараюсь не проявлять это»; «надо сконцентрироваться и сказать: «Я сильная, я смогу»; «надо, не хочу, борюсь, делаю»; «иными словами, и сейчас, заставляю себя с надеждой на перемены»; «пытаюсь сосредоточиться на задании»; «не могу сидеть спокойно; «воля»
Действия	«Я сижу за столом»; «начинаю писать»; «сейчас спросил: «Как долго это будет продолжаться?»; «левая нога иногда постукивает»; «сейчас откусила пирожное»; «упорно пишу»; «почесала в затылке»; «смотрю на экспериментатора»; «начала покусывать губы; сжала губы»
Внешние явления	«Тихо шумит компьютер»; «увидел, что исследователь рисует цветочки»; «после просьбы написать о себе большее внимание притягивает окружение, звуки, цвета, интерьер»; «реагирую на звуки в коридоре»; «весна»; «на улице хорошая погода»
Метафорический образ	«Мысли, как полет птиц, пронзили, улетели»; «такое же, как безветренный день без солнца»; «обычно я «водопад», а сейчас скорее озеро спокойное»; «сижу как на иголках»; «я похожа на маленького зверька, забитого в угол, зыркающего на других оттуда с испуганным взглядом»; «чувствую себя «кроликом»; «воплощение» старшего научного сотрудника, научного соискателя, находящегося перед «глыбой» годового отчета или скучным разделом диссертации».

 

Перед экспертами ставились 3 задачи: 1. Выделить в текстах свободных самоотчетов законченные по смыслу высказывания, суждения испытуемых; 2.Произвести идентификацию категорий контент-анализа; 3. Произвести идентификацию подкатегорий контент-анализа.

Группа экспертов состояла из 4 человек, имеющих психологическое образование (преподаватели кафедры психологии Пермского государственного университета, практические психологи). Для анализа экспертам была предложена выборка текстов, случайно отобранных из общего массива, с инструкцией выделить в них законченные по смыслу высказывания и распределить их по соответствующим категориям. Для выполнения третьей задачи экспертам предлагались таблицы уже выделенных в текстах самоотчетов категорий контент-анализа с инструкцией распределить их по соответствующим подкатегориям.

Ниже приводятся результаты проведенной экспертизы:

§ Оценка адекватности выделения в текстах свободных самоотчетов законченных по смыслу высказываний, суждений испытуемых представлены в таблице 6.

Таблица 6.

Степень согласованности экспертов с выделением единиц контент-анализа

 

Процент совпадений	I Эксперт	II эксперт	III эксперт	IV эксперт
94,4	90,9		91,3

 

Общий процент совпадений у 4-х экспертов составил 92,7%, т.е. за незначительным исключением эксперты были согласны с выделением единиц контент-анализа.

Анализ полученных результатов показал, что выделение экспертами законченных по смыслу высказываний, содержащихся в одном предложении или предъявленных через запятую, не вызывал трудностей при работе с эмоциональными явлениями (даже близкими по своему содержанию); и наоборот, вызывал трудности при работе с физиологическими проявлениями и мотивационной сферой. Например: высказывание «Самочувствие хорошее; в теле приятные ощущения в области плеч» было идентифицировано как одно законченное по смыслу высказывание; высказывания «Писать не хочу, хочу петь»; «Желание сходить куда-нибудь, пообщаться с хорошими людьми» также были идентифицированы некоторыми экспертами как одно законченное высказывание. Это свидетельствует о необходимости в дальнейшем предъявлять экспертам наряду с инструкцией конкретные примеры выделения единиц контент-анализа.

§ Оценка адекватности идентификации категорий контент-анализа.

А) степень согласованности экспертов по идентификации категорий контент-анализа: общий процент совпадений – 87,8%; распределение совпадений по экспертам: I – 93,3%; II – 83,3; III – 93,3; IV- 81,3%.

Б) степень согласованности экспертов по каждой из категорий контент-анализа:

Физиологические проявления. Общий процент совпадений – 90,6%; распределение совпадений по экспертам: I –100%; II – 87,5%; III – 93,6%; IV – 81,25%.

Эмоциональные явления. Общий процент совпадений – 88,5%; распределение совпадений по экспертам: I – 99,2%; II – 79,8%; III – 96,8%; IV – 78,2%.

Познавательные психические процессы. Общий процент совпадений – 77,5%; распределение совпадений по экспертам: I – 62%; II – 86,2%; III – 86,2%; IV – 75,9%.

Индивидуальные характеристики. Общий процент совпадений – 95%; распределение совпадений по экспертам: I – 100%; II – 100%; III – 80%; IV – 100%.

Мотивационная сфера. Общий процент совпадений – 91,3%; распределение совпадений по экспертам: I – 90,4%; II – 92,3%; III – 92,3%; IV – 90,4%.

Волевая сфера. Общий процент совпадений – 80%; распределение совпадений по экспертам: I – 90%; II – 70%, III – 80%; IV – 80%.

Действия. Общий процент совпадений – 70,7%; распределение совпадений по экспертам: I – 66,7%; II – 66,7%; III – 100%; IV – 66,7%.

Внешние явления. Общий процент совпадений – 75%; распределение совпадений по экспертам: I – 77,8%; II – 66,7%; III – 88,9%; IV – 77,8%.

Метафорический образ. Общий процент совпадений – 75%; распределение по экспертам: I – 60%; II – 80%; III – 80%; IV – 80%.

Таким образом, общий процент согласованности экспертов по идентификации категорий контент-анализа позволяет говорить о возможности со значительной степенью объективности осуществлять распределение высказываний по предложенным категориям. Наибольшее согласие достигается при идентификации индивидуальных характеристик, мотивационной сферы, физиологических проявлений, эмоциональных явлений. Относительно невысокий процент согласованности по категориям «действия», «волевая сфера», «внешние явления», «метафорический образ» может быть объяснен недостаточной представленностью в предложенных для экспертизы текстах индикаторов перечисленных категорий (3, 10, 9, 5 – соответственно).

Несогласие экспертов с идентификацией той или иной категории контент-анализа в ряде случаев объяснялось тем, что описание категории предъявлялось в наиболее обобщенной форме, что давало экспертам некоторую свободу при интерпретации и было интересным на данном этапе исследования. Например, высказывание: «На улице холодно, падает снег» одним из экспертов было отнесено к эмоциональным явлениям, а не к категории, отражающей наблюдения за внешними явлениями. Или высказывание «Интерес к происходящему» отнесено к мотивационной сфере, а не к эмоциональным явлениям. Таким образом, анализ полученных экспертных оценок показал необходимость предоставления более детального описания каждой категории контент-анализа с приведением конкретных примеров, представляющих эмпирические индикаторы.