Квазиэкспериментальные планы

Поскольку реализовать планы «истинных экспериментов», используя схемы контроля внешних переменных, удается не часто, в качестве попытки учета реалий жизни при проведении эмпирических исследований создаются специальные схемы с отступлением от схемы «истинного эксперимента» – квазиэкспериментальные планы. Используя эти планы – компромиссы между реальностью и строгостью методологических предписаний – исследователь осознает источники артефактов – те внешние переменные, которые он не может контролировать.

Термин квазиэкспериментальные планы используется тогда, когда стремятся подчеркнуть специфику форм организации исследования: оно, как и экспериментальное, направлено на проверку причинно-следственной гипотезы, но не является экспериментальным в силу а) недостаточного контроля за экспериментальным воздействием (независимой переменной) и б) побочными факторами. Недостаточность экспериментального контроля переводит такие исследования в ранг квазиэкспериментальных. Для установления причинно-следственной зависимости между переменными они требуют выявления всех тех угроз достоверному, или валидному, выводу, которые возникают в результате снижения экспериментального контроля.

Цели и ограничения выводов при квазиэкспериментировании тесно связаны между собой и обусловлены следующими моментами:

1) сложные каузальные законы зачастую невоспроизводимы в лабораторных условиях, в «полевых» же условиях случайности и альтернативные причины многочисленны и более трудны для контроля, чем в лаборатории;

2) одной из угроз валидности вывода является знание испытуемого о самом факте экспериментирования. Для снятия такой угрозы проводится «скрытый» эксперимент, где испытуемые не знают о различии экспериментальных условий, которые вводятся как естественные события (например, школьники экспериментального класса не знают об отличии школьной программы контрольного класса от их собственной). Так исследователь избегает «подстраивания» действий испытуемых под ожидания экспериментатора (эффект Хотторна), однако при этом трудно контролировать действие случайностей и альтернативных причин;

3) Использование «естественных» групп и «маскировка» различий в уровнях НП необходимы, когда ожидаются угрозы валидному выводу из-за разной «желательности» различных уровней переменных. Например, «естественно» актуализирующаяся в лабораторном эксперименте мотивация экспертизы может вызвать желание испытуемых получить трудное задание для того, чтобы показать высокий уровень выполнения, и нежелание выполнять легкое задание, где невозможно «проявить свои способности»;

4) специальная лабораторная ситуация, создающая условия для «чистоты» НП и контроля смешений, сама является фактором, снижающим внутреннюю валидность. Особенности восприятия человеком экспериментальной ситуации (и экспериментатора) и формирующееся на этой основе отношение испытуемого к эксперименту искажают его обычное течение мыслей, чувств и форм поведения. В условиях психологического эксперимента человек невольно принимает правила особой интеллектуальной игры: действовать тем способом, какой, как он думает, ждет от него экспериментатор, или каким в его представлении действует нормальный человек, или так, как действует человек, когда за ним наблюдают. Однако, человек как личность проявляется не столько в реактивных, сколько в проактивных действиях. Его мышление скорее саморегулируемо, чем «управляемо». И чем ближе исследователь оказывается к той психологической реальности, которая имеет место в обычных формах жизнедеятельности, тем больше у него шансов выявить действительные каузальные зависимости, то есть не осуществить подмены переменных или искажения их связи (в силу неизбежных их трансформаций в движении ко все более «чистым» условиям).

Эти четыре причины обусловили нежелание экспериментировать в хорошо контролируемой ситуации и привели к развитию методологии и практики исследования каузальных гипотез в «полевых» условиях. При этом «полевыми исследованиями» становятся не только эксперименты с практическими целями, но и направленные на проверку теоретических гипотез. В таких квазиэкспериментальных исследованиях обсуждение вопросов конструктной и операциональной валидности обычно разделено на этапы: оценки конкретизации экспериментальной гипотезы как следствия из гипотезы теоретической, и конкретизации методических средств, позволяющих операционализировать переменные.

Возвращаясь к четырем перечисленным ограничениям, отметим, что в первых трех случаях обычно применяются различные квазиэкспериментальные планы с недостатком «контроля до» осуществления экспериментальной деятельности. Кроме того используют контроль с помощью дополнительного варьирования и статистический контроль. Эти планы в целом остаются в рамках логики сравнения, принятой в истинных экспериментах.

Для четвертого случая применяется качественно иной способ контроля, а именно: контроль путем выбора, «когда и на ком производить измерения». Способ контроля меняет логику межгрупповых сравнений: отличающимся по определенному параметру группам дается одинаковое экспериментальное воздействие (то есть организуется один и тот же уровень независимой переменной), а различие в результатах испытуемых (в межгрупповом сравнении значений зависимой переменной) приписывается той базисной переменной, по которой группы различаются между собой.

Итак, квазиэксперимент требует, во-первых, экспликации всех вероятных угроз валидному выводу, во-вторых, выбора с учетом этих угроз квазиэкспериментального плана, в-третьих, исключения плохо контролируемых этим планом угроз с помощью статистического контроля после осуществления экспериментального воздействия.

 

Фактически квазиэкспериментом является любое исследование, направленное на установление причинной зависимости между двумя переменными («если А, то В»), в котором либо отсутствует предварительная процедура уравнивания групп, либо «параллельный контроль» с участием контрольной группы заменен сравнением результатов неоднократного тестирования группы (или групп) до и после воздействия. Соответственно существуют два типа квазиэкспериментальных планов (КЭП): 1) планы для неэквивалентных групп; 2) планы временных серий.

В качестве примера плана первого типа рассмотрим КЭП с неэквивалентной контрольной группой, с предварительным и итоговым тестированием. Этот план, широко распространенный в социальных науках и полевых исследованиях, аналогичен плану истинного эксперимента для двух групп с тестированием до и после воздействия (до истинного эксперимента не хватает рандомизации):

ЭГ: О₁ Х О₂

КГ: О₃ О₄

Выбираются две естественные группы, например два параллельных школьных класса. Обе группы тестируются. Затем одна группа подвергается воздействию (ставится в особые условия деятельности), а другая – нет. Через определенное время обе группы проходят тестирование повторно. Результаты первого и второго тести­рования обеих групп сопоставляются (например по t-критерию Стьюдента или с помощью дисперсионного анализа).

Контроль за источниками артефактов проводится следующим образом. Сравнивается О₁ и О₃, и если они приблизительно равны, это считается косвенным свидетельством эквивалентности групп. Приблизительное равенство О₃ и О₄ говорит о минимальном влиянии со стороны фона и развития. Минимизация эффекта тестирования достигается тем, что в группах проводят один и тот же тест.

Для выявления эффекта действия НП сравнивать лучше не О₂ и О₄ а величины сдвигов показателей во времени, то есть О₁ и О₂. Значимость различия приростов показателей будет свиде­тельствовать о влиянии НП на ЗП.

Примером такого исследования является психолого-педагогический эксперимент, на первом этапе которого мы тестируем уровень знаний учащихся, например, по иностран­ному языку (словарный запас). Экспериментальную группу обучаем мнемотехническим приемам при заучивании слов, а контрольная занимается с учителем, как и прежде. Затем проводится второе тестирование, и если прирост словарного запаса будет выше в экспериментальном классе, чем в контрольном, то мнемотехника по­лезна для запоминания иностранных слов.

Главными источниками артефактов являются различия в составе групп. В первую очередь на результаты эксперимента может повлиять «эффект смешения» (т. е. взаимодействия состава группы с факторами тестирования, фоновых событий, естественного развития и др.) Например, если для участия в эксперименте отобраны параллельные классы А и В, то в В могут оказаться дети с меньшим IQ, чем в А, поэтому различия в результатах (увеличение запаса слов от первого тестирования ко второму) могут быть обусловлены большей обучаемостью первой группы по сравнению со второй. Чем больше сходство экспериментальной и контрольной групп, тем более валидны результаты, получаемые с помощью этого плана.

Фактор состава группы может оказать решающее влияние на различие в результатах в случае, когда экспериментальная группа формируется из добровольцев, а контрольную группу приходится комплектовать другим способом (принуждением, обещанием оплаты и т. д.).

Существует и другие варианты КЭП для неэквивалентных групп, например план с предварительным и итоговым тестированием различных рандомизированных выборок. Этот план отличается от истинного эксперимента тем, что предварительное тестирование проходит одна группа, а итоговое (после воздействия) – эквивалентная (после рандомизации) группа, которая подверглась воздействию:

R O₁ (X)

R (X) O₂

 

Главный его недостаток – невозможность контролировать влияние фактора «истории» – фоновых событий, происходящих наряду с воздействием в период между первым и вторым тестированием.

 

Второй основной класс квазиэкспериментов – так называемые формирующие эксперименты, имеющие общее название «временные серии». Рассмотрим два типа планов этих квазиэкспериментов.

КЭП, построенные по схеме временных серий на одной группе (по структуре эти планы сходны с экспериментальными планами для одного испытуемого). Суть плана: определяется исходный уровень ЗП на группе испытуемых с помощью серии последовательных замеров. Затем исследователь воздействует на испытуемых экспериментальной группы, варьируя независимую переменную, и проводит серию аналогичных измерений. Сравниваются уровни (тренды) ЗП до и после воздействия. Схема плана выглядит так: О₁ О₂ О₃ Х О₄ О₅ О₆.

Из результатов, полученных в КЭП этого типа, легче всего интерпретировать скачкообразный переход линии графика на новый уровень. Так если введение новой системы оплаты труда дает немедленный рост производительности труда на 10%, и новый уровень держится все время исследования, то логично думать, что изменение вызвано новой системой оплаты.

Главный недостаток плана временных серий в том, что он не дает возможности отделить результат влияния НП от влияния фоновых событий, которые происходят в течение исследования. Чтобы ликвидировать этот эффект истории, рекомендуют использовать экспериментальную изоляцию испытуемых или использовать контрольную группу. Во втором случае мы получаем еще одну разновидность КЭП типа «временные серии» – 2) план для двух неэквивалентных групп.

Схема КЭП временных серий для двух неэквивалентных групп, одна из которых не получает воздействия (а если думает, что получает, то это группа плацебо), выглядит так:

ЭГ: О₁ О₂ О₃ Х О₄ О₅ О₆

КГ: О₇ О₈ О₉ Х О₁₀ О₁₁ О₁₂

Этот КЭП обычно рекомендуется исследователям, проводящим эксперименты с участием естественных групп в детских садах, школах, клиниках или на производстве. Его можно назвать планом формирующего эксперимента с контрольной выборкой. Реализовать этот план трудно, но если удается провести рандомизацию групп, он превращается в план «истинного формирующего эксперимента».

 

Приведем пример квазиэкспериментального плана в исследованиях, проводимых в условиях высшей школы

Существует множество психологических экспериментов, для которых очевидны допустимые зоны обобщения, а потому оправдана готовность исследователей переносить полученные результаты на другие ситуации, виды деятельности, группы людей. Это позволяют осуществлять эксперименты, обладающие высокой внешней валидностью.

Но иногда приближение к естественным условиям как раз ограничивает возможные обобщения. Это те случаи, когда исследователю важно приложение результатов именно в исследуемой области. Таковыми являются «полевые» эксперименты, которые проводятся в условиях реально функционирующих учебных групп. Целями таких психолого-педагогических исследований могут быть как проверка общепсихологических гипотез (для которых соответствующие «полевые» условия не более чем «фон») так и проверка специальных гипотез, предполагающих учет специфики учебной деятельности и общения в вузе. Тогда переменные «структура учебной ситуации», «личностные качества», «стиль общения» предполагают анализ их применительно именно к выбранной предметной области.

В педагогических исследованиях наибольшее распространение получил план с неэквивалентной контрольной группой (или план 10 по Кэмпбеллу). Если в эксперименте используются реально существующие учебные группы, то экспериментальное и контрольное условия нельзя считать уравненными, так как между группами возможны различия, которые могут «наложиться» на изучаемую закономерность и обусловить неверные интерпретации. Дж. Кэмпбелл приводит следующий пример.

В университете Аннаполиса (США) изучалось влияние преподавания психологии на личностное развитие студентов. Экспериментальная группа состояла из второкурсников, которым читался курс психологии. Контрольная группа состояла из третьекурсников. Но для последних жизненная ситуация является более стабильной – ведь наиболее сложные процессы адаптации происходят в первые два года обучения в вузе. Поэтому отношение к предполагавшимся более высоким показателям, ожидаемым после чтения курса в экспериментальной группе, могло быть разным. Во-первых, их можно было бы интерпретировать как эффект личностного роста студентов-второкурсников в результате обучения психологии. Но, во-вторых, замечает Кемпбелл, «это могло найти объяснение отчасти за счёт тех сложных процессов, которые происходят быстрее в течение первых двух лет обучения... что было бы проявлением различия во взаимодействиях между факторами состава групп и естественного развития» [Кэмпбелл, 1980, с.133].

Следует отметить, что рассматриваемая квазиэкспериментальная схема включила измерение зависимых переменных в обеих группах не только после, но и до периодов экспериментального воздействия. Сравнить можно было данные конечных показателей между группами и изменения в тестируемых показателях в пределах каждой группы. Оказалось, что при первоначальном тестировании превосходство третьекурсников над второкурсниками и направление изменений показателей в контрольной и экспериментальной группах были иного порядка, чем те, что предсказывала конкурирующая гипотеза. Включение, пусть и неэквивалентной, контрольной группы позволило отвергнуть гипотезу о роли взаимодействия факторов состава групп и естественного развития. Валидность вывода о роли чтения курса психологии была при этом существенно выше, чем если бы контрольная группа отсутствовала.

Чаще всего недостижимый в практике исследований в высшей школе истинный эксперимент, где экспериментальная и контрольная группы должны быть полностью эквивалентны, вполне аппроксимируется планом с неэквивалентной группой, если нет оснований заподозрить, что изначально отбор в каждую из имеющихся «естественных» групп осуществлялся каким-то специальным образом. Например, если одна из групп формировалась по принципу «добровольцев», то в неё попали люди, желающие подвергнуться испытаниям (например, опробовать новый метод обучения иностранному языку); здесь выводу о роли экспериментального воздействия будет угрожать фактор «мотивационного неравенства» групп.