Часто исследователи при выполнении экспериментальных задач сталкиваются с ситуацией необходимости изучения психологических переменных в условиях невозможности проведения предварительного обследования испытуемых, так как исследование проводится после воздействия независимых переменных, то есть, когда событие уже произошло и необходимо выявить его последствия. Здесь оптимальной схемой эксперимента является план с контрольной группой и тестированием только после воздействия.
Его автор – известный биолог и статистик Р.А. Фишер (1935). Структура плана следующая:
ЭГ: R X O1I
КГ: R O2I
Равенство экспериментальной и контрольной групп является необходимым условием применения этого плана и достигается рандомизацией. Если рандомизация проведена качественно, то этот план является наилучшим, позволяет контролировать большинство источников артефактов.
После проведения рандомизации как процедуры уравнивания групп осуществляется экспериментальное воздействие (Х). В простейшем варианте используется лишь две градации независимой переменной: есть воздействие, нет воздействия.
Применение плана для двух рандомизированных групп с тестированием после воздействия позволяет контролировать основные источники внутренней не валидности, выделенные Р. Кэмпбеллом. Поскольку предварительное тестирование отсутствует, исключен эффект тестирования. План позволяет контролировать влияние состава групп, стихийного выбывания, влияние фона и естественного развития.
Если необходимо использовать не один уровень воздействия, то применяются планы с несколькими экспериментальными группами (по числу уровней воздействия) и одной контрольной.
При проведении большинства психологических экспериментов необходимо жестко контролировать исходный уровень зависимой переменной, будь то интеллект, тревожность, знания или статус личности в группе. Рандомизация это лучшая процедура, но она не дает абсолютной гарантии правильности выбора. Когда существуют сомнения в результатах рандомизации, применяют план с предварительным тестированием.
План 2. План для двух рандомизированных групп с предварительным и итоговым тестированием.Схема плана выглядит следующим образом:
ЭГ: R O1I X O2II
КГ: R O3I O4II
Показатели эффективности эксперимента: O1 = O3; O1 < O2; O3 = O4; и O2 > O4.
Гипотезу о значимости влияния независимой переменной на зависимую можно принять в том случае, если выполняются два условия: 1) различия между O1 и O2 значимы, а между O3 и O4 незначимы; 2) различия между O2 и O4 значимы.
Сравнение данных первичного измерения экспериментальной и контрольной выборок – O1 и O3 производится с целью определения эквивалентности экспериментальной и контрольной выборок. Идентичность данных показателей свидетельствует об однородности групп. Она определяется, к примеру, путем вычисления уровня статистической значимости различий средних в доверительном интервале р < 0,05 при помощи t-критерия Стьюдента.
Сравнение данных первичного и повторного измерения экспериментальной выборки – O1 и O2 производится с целью определения степени изменения зависимой переменной после воздействия независимой переменной.
Экспериментальный эффект определяется путем сравнения данных повторного измерения экспериментальной и контрольной выборок – O2 и O4. Он производится с целью выявления степени значимости изменения зависимой переменной после воздействия независимой переменной X на экспериментальную выборку. Психологический смысл данного исследования заключается в оценке влияния X на испытуемых.
План с предварительным тестированием пользуется популярностью у психологов. Биологи больше доверяют процедуре рандомизации. Психолог прекрасно знает, что каждый человек своеобразен и отличен от других, и подсознательно стремится уловить эти различия с помощью тестов, не доверяя механической процедуре рандомизации. Однако гипотеза большинства психологических исследований, особенно в области психологии развития (формирующий эксперимент), содержит прогноз определенного изменения свойства индивида под влиянием внешнего фактора. Поэтому план тест – воздействие – ретест с применением рандомизации и контрольной группой очень распространен.
При отсутствии процедуры уравнивания групп этот план преобразуется в квазиэкспериментальный (он будет рассмотрен нами далее).
Главный источник артефактов, нарушающий внешнюю валидность процедуры, это взаимодействие тестирования с экспериментальным воздействием. Например, тестирование уровня знаний по определенному предмету перед проведением эксперимента по заучиванию материала может привести к актуализации исходных знаний и к общему повышению продуктивности запоминания. Достигается это за счет актуализации мнемонических способностей и создания установки на запоминание.
Однако с помощью этого плана можно контролировать другие внешние переменные. Контролируется фактор «истории» (фона), так как в промежутке между первым и вторым тестированием обе группы подвергаются одинаковым (фоновым) воздействиям.
Естественное развитие и эффект тестирования контролируются за счет того, что они одинаково проявляются в экспериментальной и контрольной группе, а эффекты состава групп и регрессии контролируются при помощи процедуры рандомизации.
Применение плана «тест-воздействие-ретест» позволяет контролировать влияние «побочных» переменных, нарушающих внутреннюю валидность эксперимента.
Внешняя валидность связана с возможностью переноса данных на реальную ситуацию. Главным же моментом, отличающим экспериментальную ситуацию от реальной, является введение предварительного тестирования. Как мы уже отметили, план «тест-воздействие-ретест» не позволяет контролировать эффект взаимодействия тестирования и экспериментального воздействия: предварительно тестируемый испытуемый «сенсибилизируется» – становится более чувствительным к воздействию, так как мы измеряем в эксперименте именно ту зависимую переменную, на которую собираемся воздействовать с помощью варьирования независимой переменной.
Для контроля внешней валидности используется план Р.Л. Соломона, который был предложен им в 1949 г.
План 3. План Соломона.Используется при проведении эксперимента на четырех группах – двух экспериментальных и двух контрольных.
ЭГ1: R O1I X O2II
КГ1: R O3I O4II
ЭГ2: R X O5II
КГ2: R O6II
План Соломона представляет собой объединение двух ранее рассмотренных планов: первого, когда не производится предварительное тестирование, и второго – «тест-воздействие-ретест». С помощью первой части плана можно контролировать эффект взаимодействия первого тестирования и экспериментального воздействия.
План Соломона является попыткой компенсировать факторы, угрожающие внешней валидности эксперимента.
Сравнение данных по дополнительным группам нейтрализует воздействие тестирования и влияние самой обстановки эксперимента, а также дает возможность более качественного обобщения результатов.
Выявление эффекта экспериментального воздействия воспроизводится путем доказательства следующих неравенств: О2 > О1; О2 > О4; О5 > О6; О5 > О3.
Если все четыре соотношения выполняются, то правомерность экспериментального вывода значительно возрастает.
Сравнение О6 с О1 и О3 позволяет выявить совместное влияние эффектов естественного развития и «истории» (фоновых воздействий) на зависимую переменную.
Сравнение средних О2 и О5; О4 и О6 позволяют оценить главный эффект предварительного тестирования.
Сравнение средних О2 и О4; О5 и О6 позволяют оценить главный эффект экспериментального воздействия.
Если главный эффект предварительного тестирования и эффект взаимодействия малы и ими можно пренебречь, то желательно про провести ковариационный анализ О4 и О2, используя результаты предварительного тестирования в качестве сопутствующей переменной.
Наконец, в некоторых случаях необходимо проверить сохранение во времени эффекта воздействия независимой переменной на зависимую: например, выяснить, приводит ли новый метод обучения к долгосрочному запоминанию материала. Для этих целей применяют лонгитюдный план:
ЭГ1: R O1I X O2II
КГ1: R O3I O4II
ЭГ2: R O5I X O6III
КГ2: R O7I O8III