На уровне реакции оценка эффективности тренинга, согласно Хэмблину и Киркпатрику, связана с исследованием того, как студенты или ученики отреагировали на обучение, или, говоря иначе, насколько они довольны обучением.
Исследование реакции учеников предполагает выяснение их мнения по четырем основным вопросам:
Оценка эффективности тренинга
247
• содержание учебной программы, заявленное в целях тренинга;
• методы, или тактики, обучения и качество их применения тренерами;
• общие условия обучения и обстановка, в которой проводился тренинг;
• степень достижения целей тренинга в сфере установок.
Кроме того, ответы учеников могут дать некоторую информацию об их отношении к обучению вообще и желании или нежелании участвовать в последующих тренингах. Разумеется, характер ответов зависит от характера и формулировок вопросов.
Эта взаимосвязь отчетливо обнаруживается в так называемом «мажорном финале», когда в конце курса или занятия ученикам, которым не терпится вырваться на волю, раздается опросник. Задача ученика — просто поставить галочку рядом с цифрами или утверждениями, отражающими степень его удовлетворенности различными аспектами тренинга. В бланке ответов может быть предусмотрено место, куда можно записать свои предложения и общие наблюдения, однако, поскольку это вынуждает учеников задержаться в классе, возможность часто остается неиспользованной. Применение такого рода опросников только создает видимость «анализа», ибо, представляя разные курсы, тренер имеет дело с однотипными реакциями. Некоторые тренеры в ответ на вопрос, какие процедуры валидизации они использовали, почти оправдываясь, сказали, что «как-то не подумали об этом».
О реакции учеников на тренинг можно говорить с того момента, когда они узнают, что должны пройти обучение. В немалой степени их реакция определяется стилем проведения и содержанием брифинга. Сопроводительные инструкции и разъяснения относительно той работы, которую ученики должны проделать в качестве подготовки к тренингу, могут повлиять на их мотивацию и готовность к обучению, а также на отношение к предстоящему учебному событию. В определенной мере это отношение будет зависеть от того, насколько хорошо организован прием учеников, от внешнего вида помещения и других гигиенических факторов.
Последующая реакция начинается с момента, когда ученики приступают к обучению, и поэтому важно предусмотреть возможность получения данных на этот счет с самого начала тренинга, а не откладывать это на потом. Многие вопросы из «мажорного опросника»,
Глава 9
если их использовать более эффективно в рамках структурированного похода, действительно могут обеспечить тренера ценной информацией. Однако прежде чем подробно остановиться на этом подходе, стоит сказать о некоторых источниках неофициальной обратной связи, которыми может воспользоваться тренер.
За обедом, за чашкой кофе и в перерывах ученики часто отпускают замечания или задают вопросы, отражающие их впечатление от тренинга. Обрывки случайно подслушанных разговоров также несут в себе информацию о том, что нравится или не нравится ученикам или какие трудности они испытывают.
Чуть более формализованная возможность знакомства с реакцией учеников открывается в тех случаях, когда программа тренинга предусматривает специальные сессии и консультации для обмена впечатлениями между тренером и учениками или когда возникает необходимость индивидуальных консультаций. Тренер, которому удается установить раппорт с учениками, не испытывает недостатка в обратной связи; ученики делятся с ним своими впечатлениями и соображениями, и его задача — учесть их реакцию и внести соответствующие коррективы в свои действия, причем не в конце тренинга, когда время уже упущено и невозможно что-либо исправить, а в самом начале.
Структурированный подход к оценке реакции учеников предполагает использование учебного дневника, предназначенного прежде всего для того, чтобы в конце каждого учебного дня или занятия ученики фиксировали, чему они научились. Однако он допускает гибкое применение; ученики могут, например, заносить туда свои соображения о содержании тренинга и оценку работы тренера. На первой странице дневника следует предложить ученику написать, что он ожидает от предстоящего тренинга. Если тренинг проводится в форме курса, можно попросить учеников рассказать о своих ожиданиях.
Выяснив ожидания учеников, тренер получит ясное представление о том, насколько они готовы к обучению и насколько эффективно был проведен брифинг, который, безусловно, влияет на первоначальную реакцию учеников.
В дневнике должно быть предусмотрено место, куда ученик сможет записать свои впечатления от каждого учебного дня или занятия. Их можно обсудить с начале следующего дня или занятия, предложив одному-двум ученикам поделиться своими наблюдениями с группой.
Оценка эффективности тренинга
Заключительный раздел дневника заполняется в конце тренинга, когда ученикам должно быть предоставлено время на то, чтобы вспомнить свои исходные ожидания и оценить, насколько они оправдались. Взаимообмен мнениями может протекать в форме свободной дискуссии. Журналы остаются у учеников, и линейные начальники могут использовать их при проведении дебрифа.
В рамках процесса валидизации можно также предложить ученикам написать свои замечания по содержанию тренинга и качеству работы тренера. Характер поставленных вопросов будет зависеть от того, по каким критериям оценивается эффективность тренинга. Можно попросить учеников высказаться о том, насколько релевантны, по их мнению, заявленные цели тренинга работе, к которой их готовят, что дал им тренинг в личном плане, правильно ли распределено время на изучение различных тем, оценить степень новизны материала, эффективность наглядных пособий, презентационные навыки тренера и т. п.
Концепция дневника допускает достаточно широкое толкование; учебный дневник можно применить не только в рамках формализованного курса, но и для регистрации любого учебного опыта, независимо от его источников, будь то та или иная форма свободного обучения, рабочий опыт, чтение профессиональных журналов и книг, посещение конференций и выставок — одним словом, всего, что вносит вклад в обучение и развитие. Впоследствии этот дневник может быть использован в процессе аттестации работника или войти в портфолио кандидата на ту или иную должность. Образец такого дневника приведен в приложении 3.
До сих пор мы говорили о реакции учеников, но есть и другая сторона, реакции которой также заслуживают упоминания. Речь идет о тренерах и преподавателях — их впечатления и наблюдения тоже содержат полезную информацию о тренинге и учениках. Часто преподаватели, работающие одной командой, по завершении учебного дня или в конце курса, после того как разойдутся ученики, проводят собственные дебрифы. Круг вопросов, обсуждаемых на этих дебрифах, достаточно широк; преподаватели высказывают свои мнения о степени сбалансированности программы, вносят предложения по изменению отдельных мероприятий или перераспределении учебного времени, делятся соображениями о недавно включенных в программу или реструктурированных сессиях, обсуждают реакцию учеников и анализируют свою собственную работу. К сожалению, преподаватели