Как уже говорилось выше, в разделе, посвященном целям тренинга (глава 6), умения можно разделить на интеллектуальные, физические и социальные. Оценить степень овладения умением помогают практические тесты и упражнения. Выбор адекватного метода измерения имеет огромное значение для подтверждения того, что цели тренинга достигнуты. Так, например, если в цели заявлено, что к концу тренинга ученик сможет «разобрать, прочистить и собрать бытовой газовый водонагреватель», совершенно неуместно предлагать ему письменный тест, требующий описать последовательность операций. Ученика следует подвести к настоящему водонагревателю и предложить продемонстрировать свое умение. Точно так же оценка интеллектуальных и социальных умений должна производиться в соответствующих контекстах. Сказанное означает, что измерение умений предполагает эксплуатацию оборудования, использование различных инструментов, воссоздание условий, имитирующих реальные условия физической среды, ролевые игры и т. п. Иными словами, планируя практические тесты, тренер неизбежно сталкивается с рядом проблем:
Оценка эффективности тренинга
• Высокая стоимость оборудования, его громоздкость или высокая чувствительность и хрупкость.
• Необходимость выделения времени в рамках программы для проведения тестирования.
• Тестирование может потребовать привлечения дополнительного персонала.
• Иногда бывает трудно предотвратить ситуацию, когда одни ученики имеют возможность наблюдать за тем, как выполняют задание другие.
• При оценке умений существует опасность субъективизма со стороны тренера.
• Материалы некоторых «бумажных» тестов, например упражнения In-Basket, нуждаются в постоянной корректировке.
Эти потенциальные проблемы нужно распознать и попытаться решить уже на стадии проектирования тренинга. Опять же, руководствоваться при этом нужно целями тренинга. Главное, к чему должен стремиться тренер, — это повышение надежности и снижение субъективности оценок. В большинстве случаев проблема решается путем использования чек-листа. Формат чек-листа и количество включенных в него деталей зависят от того, какое умение подлежит оценке. Об успешном применении некоторых физических умений можно говорить только после того, как ученик выполнит упражнение, тогда как другие умения, подразумевающие определенную последовательность и порядок совершения действий, нужно оценивать в процессе упражнения.
К примеру, если мы оцениваем умение служащего стадиона, задача которого — вымерить и разметить футбольное поле, нам важен результат; мы будем оценивать точность измерений, а также прямизну И четкость линий, делая скидку на допустимые отклонения. Однако если оценивается умение заменить колесо у автомобиля, предполагающее вполне определенную последовательность операций, нам не обойтись без чек-листа, образец которого приведен на рис. 9.1.
В случае с социальными умениями дело обстоит гораздо сложнее, особенно в плане объективности. При оценке межличностных умений зачастую мало удостовериться в том, что какие-то вещи сделаны, — важно понять, насколько хорошо они сделаны. Например, наблюдая за проведением отборочного интервью, ассессор должен подтвердить не только факт задавания учеником зондирующих вопросов,
258
Глава 9
| Схема оценки Замена колеса у автомобиля | |||
| Последовательность | Подзадание | Да | Нет |
| Остановить автомобиль на твердом, ровном участке | |||
| Поставить на ручной тормоз | + | ||
| Выключить двигатель | + | ||
| Выставить предупреждающий знак примерно в 20 метрах сзади от автомобиля | + | ||
| Достать запасное колесо и инструменты | |||
| Установить домкрат как можно ближе к колесу, подлежащему замене | |||
| Снять колпак ступицы | |||
| Ослабить гайки | |||
| Поднять домкратом колесо примерно на 3 см от земли | |||
| Отвернуть гайки — верхнюю последней (и сложить их в колпак ступицы) | |||
| Снять колесо | |||
| Установить запасное колесо | |||
| Насадить гайки — верхнюю первой | + | ||
| Навернуть гайки, действуя в последовательности «крест-накрест» | + | ||
| Опустить домкрат, так чтобы колесо встало на землю | |||
| Затянуть гайки до упора | + | ||
| Надеть колпак на ступицу | |||
| Сложить инструменты, предупреждающий знак и снятое колесо в багажник | |||
| Прим. | Пункты, помеченные +, являются обязательными и должны быть выполнены без ошибок |
Рис. 9.1. Примерная схема оценки для практического теста
но и принять во внимание, как заданы эти вопросы. В этом случае чек-листы будут иметь более сложную структуру и включать индикаторы качества исполнения. К примеру, чек-лист может содержать ряд
Оценка эффективности тренинга
259
биполярных утверждений, ориентируясь на которые ассессор должен оценить исполнение ученика. Подобные шкалы имеют следующий формат.
| Активно слушал собеседника, побуждая его к разговору различными вербальными и невербальными знаками | Почти не слушал собеседника. Постоянно отвлекался. Не выказывал признаков заинтересованности | ||||||
| Задавал ясно сформулированные и релевантные зондирующие вопросы, благодаря которым сумел получить важную информацию | Задавал беспорядочные, бессвязные вопросы и не сумел получить от собеседника сколько-нибудь важной информации. ИЛИ: Не задавал вопросов |
Диапазон шкалы зависит от предмета измерения, необходимой точности оценки и уровня взаимопонимания между ассессорами. Чем шире шкала, тем больше вероятность расхождения оценок; к примеру, может возникнуть ситуация, когда два ассессора, наблюдая одно и то же исполнение и идентифицируя одни и те же элементы умения, выставляют разные оценки. Очевидно, что это может исказить общую оценку исполнения учеников, и устранению этой опасности помогает сужение шкалы или включение в нее большего количества индикаторов. Так, вышеприведенная шкала может быть уточнена следующими описаниями:
| При малейшей возможности задавал зондирующие вопросы | Задал несколько зондирующих вопросов | Задал один-два зондирующих вопроса | Не воспользовался возможностью задать зондирующий вопрос |
| Формулировки вопросов были ясными и недвусмысленными | В целом формулировал свои вопросы ясно и недвусмысленно, но отдельные вопросы требовали уточнения | Задавал вопросы, многие из которых требовали уточнения | Задавал беспорядочные, бессвязные вопросы, требовавшие уточнений и пояснений |
260
Глава 9
Очевидно, что такой чек-лист может оказаться весьма длинным и громоздким документом. Прежде чем приступить к разработке подобного инструмента, люди, участвующие в ассесменте, должны договориться о критериях оценки и формулировках индикаторов. После этого документ необходимо апробировать. Если речь идет об измерении навыков интервьюирования, на стадии апробации ассессоры могут использовать видеозаписи интервью, чтобы совместно оценить их и понять, насколько сходятся или разнятся их оценки.