Проектирование экспериментов

Проектирование экспериментов. В соответствии с количеством зависимых и независимых переменных, входящих в эксперимент, можно говорить об одновариантных и много вариантных планах эксперимента.

При этом классификация распространяется как на независимые, так и на зависимые переменные. Путем комбинации обоих признаков можно выделить четыре основных типа проектирования эксперимента 1. планы эксперимента с одной независимой переменной например, цена и одной зависимой переменной например, объем продаж 2. планы эксперимента с одной независимой переменной например, пол покупателя и многими зависимыми переменными объем покупок, качество и престижность товара, характер рекламы и т.п 3. планы эксперимента со многими независимыми переменными например, пол, возраст, социальное положение, уровень дохода и одной зависимой переменной объем покупок 4. планы эксперимента со многими независимыми переменными например, пол, возраст, социальное положение, уровень дохода и многими зависимыми переменными объем покупок, качество и престижность товара, характер рекламы и т.п Ограничимся рассмотрением проектирования эксперимента только для первой комбинации признаков.

В этом случае необходимо создать такие условия, которые гарантировали бы влияние на зависимую переменную только одной изучаемой зависимой переменной, исключив при этом влияние побочных факторов. Например, нашей целью является изучение влияния местоположения на прилавке магазина бананов на величину их продажи.

Вы случайным образом разбиваете все овощные магазины на две группы контрольную и экспериментальную. Обе группы по возможности должны быть эквивалентными во всех аспектах, т.е. иметь одинаковое количество больших и малых магазинов, расположенных и в центре, и в пригороде, и т.п. Определяете объем продажи бананов за какой-то период времени в магазинах обеих групп. Затем только в магазинах экспериментальной группы определенным, одинаковым, образом меняете местоположение бананов и спустя определенное время вновь определяете измеряете объем продажи бананов в магазинах обеих групп.

По результатам данного эксперимента определяете влияние местоположения бананов на прилавке на объем их продаж.

Однако выявленное изменение объема продаж в экспериментальных магазинах обусловлено не только изменением положения бананов на прилавке, но также и рядом других побочных факторов возможной рекламой производителей, погодой и т.п. Однако эти влияния характеризует изменение объема продаж в магазинах контрольной группы. Таким образом, разница в изменениях объема продаж в контрольной и экспериментальной группах характеризует влияние на изменение объема продаж бананов зависимая переменная их местоположения на прилавке магазина независимая переменная.

Теперь необходимо оценить степень достоверности полученных результатов. Используется внутренняя и внешняя достоверности. Проводя эксперименты, мы преследуем две цели Сделать надежные выводы об эффектах, выявленных на тех объектах, которые мы изучаем. Распространить эти выводы на интересующую нас исследуемую совокупность. Возможность достижения первой цели означает наличие внутренней валидности достоверности экспериментов, возможность достижения второй цели наличие внешней валидности.

Внутренняя валидность означает, таким образом, что выявленные изменения зависимых переменных являются именно результатом запланированных нами различий независимых переменных, а не влияния каких-либо других факторов.11 Следовательно, для обеспечения внутренней валидности все потенциально важные внешние факторы должны контролироваться. Внутренняя валидность необходима, если ее нет, то вообще не о чем говорить, в экспериментах ничего не обнаружено.

Например, если в предыдущем примере не обеспечилось полностью условие эквивалентности контрольной и экспериментальной групп, скажем, магазины этих групп посещают посетители, различные по возрасту и материальному положению. Эти различия тогда будут относиться к неконтролируемым побочным факторам, и данный эксперимент не будет удовлетворять требованиям внутренней достоверности. Результаты таких экспериментов обладают малой ценностью. При проектировании эксперимента экспериментатор должен обратить внимание на следующие факторы, определяющие внутренную достоверность наличие побочных явлений или факторов, влияющих на результаты эксперимента биологические, социальные, психологические изменения исследуемого объекта в процессе эксперимента однородность с точки зрения точности и чувствительности инструментов измерения в течение всего эксперимента идентичность характеристик обеих групп.

Внешняя валидность означает возможность обобщения выводов о наличии зависимости за пределы изученной в ходе экспериментов ситуации на другие объекты, периоды времени, ситуации. Поэтому внешняя валидность оказывается под угрозой, если для экспериментов были отобраны слишком лабораторные, далекие от реальной жизни ситуации.

А значит, угрозы для внешней валидности во многом являются платой за стремление, во что бы то ни стало обеспечить внутреннюю валидность экспериментов фиксируя внешние переменные, мы неизбежно снижаем общность выводов.5 Например, можно ли распространять на другие типы магазинов выявленную если она есть зависимость между объемом продаж и расположением бананов на прилавке магазина При определении внешней достоверности необходимо учитывать следующие факторы Ф обладает ли нужным уровнем репрезентативности выборка испытываемых единиц Ф характеризует ли с достаточной полнотой выборка популяцию в целом Ф соответствуют ли условия эксперимента реальным условиям Например, при тестировании рекламы оценивается реакция покупателей на разные виды рекламы, причем это тестирование осуществляется в специальной демонстрационной комнате.

Однако реальная реакция покупателей на различные методы продвижения товара, в том числе на рекламу, в демонстрационной комнате и реальном торговом зале может различаться.

Для того чтобы сделать заключение о наличии причинной связи в маркетинге, необходимо проверить выполнение трех условий 1. Наблюдается ли совместная вариация, совместное изменение параметров 2. Правильно ли события упорядочены во времени 3. Исключено ли возможное влияние других факторов Поясним сущность каждого из этих условий. 1. Наблюдается ли совместная вариация, совместное изменение параметров Свидетельства о наличии совместных изменений могут иметь как качественный, так и количественный характер.

Пример качественного свидетельства можно предположить, что чем лучше в магазине сервис, тем выше продажи. Это значит, что в магазинах с хорошим сервисом должны быть высокие продажи, а там, где сервис плохой, низкие.

Если это не так, значит гипотеза под вопросом. Пример количественного свидетельства совместной вариации. В одном из исследований использовалась случайная выборка из тысячи респондентов для изучения связи между образованием и покупкой модной одежды. Исследование показало, что среди респондентов с высоким образованием доля покупателей модной одежды выше. Похоже, что образование действительно способствует ее покупкам. Но можем ли мы заключить, что высокое образование ведет к увеличению покупок модной одежды Конечно, нет Мы можем пока лишь сказать, что наше наблюдение не противоречит этой гипотезе. 2. Правильно ли события упорядочены во времени Надо убедиться, что события X и Y произошли в правильной последовательности, то есть либо сначала X, потом Y, либо одновременно.

Но никак не сначала Y, а потом X. Заметим, что взаимосвязанные события X и Y могут быть оба результатом чего-то третьего. Например, человек может совершать много покупок в каком-либо магазине X и иметь платежную или дисконтную карточку этого магазина Y. Что здесь причина, а что следствие Ведь понятно, что если у человека есть карточка магазина, его тянет зайти в этот магазин.

И наоборот если ему этот магазин удобен, то велика вероятность, что именно он захочет пользоваться карточкой. Рассмотрим снова гипотезу, что сервис в магазине приводит к росту продаж. Надо убедиться, что сначала персонал был специально обучен или нанят новый персонал, а в последующие месяцы росли продажи.

Либо, допустим, одновременно идет обучение персонала и независимо от этого повышение продаж. Оба эти варианта не противоречат гипотезе о существовании причинной связи. Но ведь может оказаться и не так возможно магазин, заметив подъем продаж, направил часть дополнительной выручки на дополнительное обучение персонала. 3. Исключено ли возможное влияние других факторов Вернемся к примеру об анализе влияния образования на покупку модной одежды. Совместная вариация с образованием здесь, как мы видели, наблюдается. А как с влиянием других факторов Ведь модная одежда дороже, а образованные люди обычно зарабатывают больше Если разделить респондентов еще и по доходу, мы увидим, что эта корреляция ложная.

Иллюзия же создавалась из-за того, что среди лиц с высоким образованием относительно состоятельных триста из пятисот, а среди лиц с низким образованием только двести из пятисот. Существуют следующие внешние переменные 1. История, то есть в период проведения эксперимента может что-то произойти. 2. Созревание.

Эффект созревания состоит в том, что в ходе эксперимента меняются в лучшую сторону сами объекты тестирования. Может меняться, совершенствоваться, например, магазин улучшаться обслуживание, расширяться ассортимент и т. д. Таким образом, созревание частный случай истории. 3. Тест-эффекты. Под тест-эффектом понимается влияние самого факта замера на результаты эксперимента. 4. Инструментальная погрешность. Этот эффект возникает, когда по тем или иным причинам приходится менять инструменты измерения, например, отдельные шкалы в анкете. 5. Статистическая регрессия.

Эффекты статистической регрессии означают дрейф крайних, отличающихся от остальных, оценок в сторону средней величины. Известно, что люди, склонные выражать восторженные или, наоборот, крайне негативные позиции, более других подвержены изменениям. Разница в результатах претеста и посттеста может быть следствием именно этого временного дрейфа, а не показанной респондентам рекламы. 6. Смещение отбора.

Этот эффект результат изначально ошибочного назначения объектов тестирования они могут оказаться исходно различными по значениям зависимых переменных. 7. Смертность. Речь тут идет о неизбежном иногда выбывании объектов тестирования между замерами. Чаще всего причиной являются их отказы от участия. 5 Способы контроля внешних переменных. Есть четыре способа контроля внешних переменных или, по-другому, помех. Это рандомизация, выравнивание, статистический контроль и дизайн-контроль. 1. Рандомизация Randomization Рандомизация это разнесение объектов тестирования по группам с использованием случайных чисел.

Каждой из этих групп, например, показывается свой вариант рекламного ролика. В результате такого разнесения внешние факторы распределяются более или менее равномерно. Важно отметить, что рандомизация не спасает при малых выборках внешние переменные недостаточно усредняются. Чтобы убедиться в допустимости рандомизации, надо сравнивать средние значения внешних переменных в группах, образованных в результате ее проведения. 2. Выравнивание Matching Этот метод состоит в разбиении совокупности объектов тестирования на классы схожих по внешним характеристикам и отборе по одинаковому числу схожих объектов в каждую группу. У этого метода два недостатка.

Во-первых, по всем параметрам выровнять невозможно. Во-вторых, если выравнивание произвели не по тем параметрам, по которым надо, вся работа становится бесполезной. 3. Статистический контроль Statistical control Речь идет о применении метода дисперсионного анализа для оценки значимости влияния независимых переменных на зависимые.

При этом учитываются также и внешние переменные. 4. Дизайн-контроль Design control Дизайн-контроль означает применение планов экспериментов, специально разработанных для исключения влияния определенных внешних переменных. О том, какие именно дизайны тут применимы, мы узнаем из следующего подраздела. 5 4. ОГРАНИЧЕНИЯ, ПРИСУЩИЕ ЭКСПЕРИМЕНТАМ Хотя маркетинговые эксперименты в будущем будут, вероятно, использоваться еще чаще, особенно, когда задачей исследования является выбор из имеющегося ряда ограниченных маркетинговых альтернатив, экспериментирование не обойдется без проблем.

Один из главных недостатков методов тестирования рынков заключается в их высокой стоимости, превышающей порой несколько сотен тысяч долларов при проведении тестирования всего в нескольких городах при весьма ограниченной исследовательской программе. Затраты включают в себя не только обычные исследовательские издержки, ассоциируемые с разработкой и структурированием средств сбора данных и выборкизаработной платой полевого штата, который занимается сбором данных, но и ряд других косвенных расходов.

Например, тестируемый рынок должен отражать маркетинговую стратегию, которую предполагается использовать в национальном масштабе, если результаты окажутся полезными. Таким образом, этот тест сопряжен также с необходимостью включать маркетинговые затраты на рекламу, продажу лично потребителю, организацию витрин и т. д. При выводе на рынок новой продукции появляются также затраты, ассоциируемые с производством на продажу.

Производство продукции в малом объеме обычно неэффективно. Немедленное же переключение на крупномасштабное производство может оказаться невообразимо расточительным, если продукция потерпит неудачу на рынке. Обычно затраты на вывод новой продукции с использованием пробного маркетинга на 2 территории Соединенных Штатов составляют около 3,1 миллиона долларов.11 Кроме того, тестируемый продукт становится известным конкурентам.

Последние могут быстро изготовить подобный продукт и оказаться первыми на рынке. Следует отметить, что имеется временная задержка между проведением экспериментов и принятием маркетинговых решений, а фактор времени зачастую является решающим. Экспериментаторы сталкиваются с дилеммой. С одной стороны, получение достоверных результатов требует проведения достаточно длительных экспериментов.

Однако в этом случае возрастают затраты, увеличивается временной лаг между началом эксперимента и принятием маркетинговых решений, могут измениться условия проведения эксперимента.7 Рыночные эксперименты никогда так хорошо не контролируются, как лабораторные. Например, дистрибьюторы и розничные торговцы в экспериментальном регионе, в котором производитель проводит линию на низкие затраты на рекламу, могут сами начать проведение интенсивной рекламной кампании. Конкуренты могут сознательно исказить результаты эксперимента, изменив свою рекламную и ценовую политику, организовав кампанию по закупке в больших количествах экспериментального товара, чтобы исказить результаты эксперимента, и т.п. Пробный маркетинг называют самой опасной игрой из всего арсенала маркетинга, потому что эта игра открывает громадные возможности непозволительных осечек, характер которых можно видеть на примерах 1. Procter Gamble утверждает, что конкуренты украли запатентованный процесс производства печенья с шоколадной крошкой Duncan Hines, когда увидели, насколько успешной оказалась эта продукция на тестовом рынке. 2. Одна косметическая фирма разработала дезодорант, содержащий пищевую соду. Конкурент приметил товар на тестовом рынке, и вывел на национальный уровень собственный вариант дезодоранта еще до завершения тестирования первой фирмой, а позднее выиграл в суде дело об авторском праве на продукцию у фирмы-разработчика дезодоранта. 3. Несколько лет назад компания Snell создала нежидкостный способ временного окрашивания волос, при котором блок с сухим красителем вставляется в специальный гребень.

Разработка пошла на рынок, и дело тут же лопнуло вспоминает работник компании Шонхольц.

В жаркие дни, когда люди потели, чрезмерным слоем наложенная на волосы краска ручьями бежала по их шеям и лбам. Нам просто на пришло в голову посмотреть на это в условиях, когда люди потеют говорит он. 4. Компания Campbell Soup потратила 18 месяцев на разработку смешанного фруктового сока, названного Juiceworks.

К тому времени, когда товар добрался до рынка, три конкурирующие марки уже были на полках магазина.

Campbell отказалась от своего товара.11 Кто-то может возразить, что осечка, нашедшая отражение в третьем примере, являет собой одну из причин, определяющих желательность тестовых рынков. Похоже, действительно лучше выявлять подобную проблематичность продукции на тестовом рынке, а не после того, как она стала распространяться в национальном масштабе. Рассмотрим примеры проблем, которые бы непременно вели к потере престижа компании, не найди они своевременного решения на тестовых рынках.

Пища для собак обесцвечивалась, находясь на полках. В холодную погоду детское питание разделялось на светлую жидкость и осадок. В жаркую погоду сигареты в пачках пересыхали. Замена моющего средства его жидким аналогом, осуществленная в комбинации со снижением цены, была воспринята покупателями как его растворение в воде. Из-за недостатка клея более чем в половине упаковок они разваливались во время транспортировки.

Бумажные салфетки так слеживались в коробках, что во время покупки коробки выглядели на треть пустыми. Жидкость для мытья посуды Sunlight была спутана с лимонным соком Minute Maid, по крайней мере, 33 взрослыми и 45 детьми, которые заболели, выпив ее.11 Следует иметь в виду, что менеджер по маркетингу, присматривающийся к целесообразности рыночного теста, должен взвешивать затраты на такое тестирование по отношению к ожидаемым выгодам.

Тогда как тестовый рынок может выступить окончательным мерилом принятия продукции потребителем, в некоторых случаях этот эксперимент может оказаться менее эффективным или более дорогостоящим, чем тщательно контролируемый лабораторный или домашний тест. Наибольший положительный эффект получается, когда в рамках общей исследовательской концепции лабораторные и полевые эксперименты связаны друг с другом, концептуально и методически согласованы и дополняют друг друга. 5.