ТЕСТЫ В ОБРАЗОВАНИИ

ТЕСТЫ

В

ОБРАЗОВАНИИ

Информационный

Научно-методический

Бюллетень с электронным приложением

Выпуск2-3

1999
Содержание

Выпуска 2-3

 

- Технология создания тестовых заданий. Зарубежный опыт (составитель обзора Дубинина А.А.)

- Технология разработки тестовых заданий. Отечественный опыт (составитель обзора Дубинина А.А.)

Содержание

Электронного приложения 2-3

 

- Тест-комплект для поступающих в вузы и ссузы по русскому языку (полный формат).

- Тест-комплект по логике (полный формат).

- Программное средство для сканирования результатов тестирования по русскому языку и логике.

 

Тесты в образовании

Выпуск 2

Технология создания тестовых заданий. Зарубежный опыт

Для большинтсва тестов при формулировании заданий есть одна двойственная проблема: проблема формы и содержания. Исскуство создания эффективных… По мнению ведущих тестологов [1, 2, 4, 5]в педагогических тестах учебных…

Содержание заданий

 

О способах, как обеспечить адекватность содержания теста, написано уже много [4, 5]. Для этого привлекается ряд экспертов, которые указывают, например, что именно должны знать тестируемые по разным предметам. Должны быть сформулированы цели любых учебных курсов, так чтобы можно было видеть релевантность заданий по отношению к этим целям. Вопрос о том, как такие цели могут быть наилучшим образом сформулированы с точки зрения разработки заданий, сам по себе является предметом значительных исследований.

Вместо этого будем предполагать, будто мы уже знаем, какие требования предъявляются к содержанию заданий. В нашем обсуждении сосредоточим внимание на том, как эти специальные сведения из конкретных предметов могут быть превращены в приемлемые тесты.

Задания с несколькими вариантами выбора

 

Это, пожалуй, наиболее часто используемый тип заданий в зарубежной практике тестирования, и он пригоден для огромного количества разнообразных дисциплин [1, 3, 4, 5].

Такое задание состоит из двух частей: (1) основной части, которая содержит утверждение или вопрос, и (2) вариантов выбора, или некоторого количества возможных ответов, из которых испытуемые должны избрать правильный ответ. Обычно таких вариантов четыре или пять. Следующие правила, сформулированные П.Клайном и др. авторами [4, 5], помогают составлять эффективные задания с несколькими вариантами выбора (многие из этих правил применимы ко всем типам заданий).

(1) Простота. Задание должно быть записано настолько просто, насколько это возможно для его точного понимания. Нежелательно, чтобы на результаты оказывали влияние уровень словарного запаса испытуемого или его общие способности.

(2) Все дистракторы (неверные варианты ответов) должны быть такими, чтобы каждый из них мог привлечь внимание испытуемых (то есть быть как бы "похожими" на правильный ответ). Таким образом, при оценивании заданий в идеале каждый дистрактор должен в равной мере использоваться всеми испытуемыми, не выполнившими данное задание правильно. Очевидно, что по мере того, как дистракторы в вариантах выбора будут становиться неэффективными, задание будет становиться все проще и проще. Таким образом, если все дистракторы не будут выполнять свою функцию, практически 100% испытуемых будет выполнять задание правильно. Метод получения эффективных дистракторов состоит в использовании неоконченного списка вариантов выбора и последующем использовании неправильных ответов, записанных самими испытуемыми. Следует заметить, что в этой работе требуется осторожность. Необходимо убедиться, что дистракторы, предложенные вами, не вводят в заблуждение лучших испытуемых.

(3) Только один вариант из предложенного набора должен соответствовать правильному ответу. Иногда различные взгляды на одну и ту же проблему могут привести к непредусмотренному ответу, который тоже будет правильным.

(4) Ответ на один вопрос не должен давать ключа к ответам на другие. То есть не следует использовать дистракторы из одного задания в перечне других.

(5) Избегайте тестировать тривиальное ввиду простоты его обнаружения. Некоторые педагоги утверждают, что каждое задание должно быть независимым. Однако, с точки зрения П.Клайна, это требование невозможно выполнить. Если задания извлекаются из генеральной совокупности заданий, то они не могут быть независимыми. В самом деле, если бы это было так, то каждое из них тестировало бы отдельную переменную. А поскольку большая часть знаний представляет собой некоторого рода структуры, то это правило лучше игнорировать.

Все эти правила, даже включая те, которые касаются подбора дистракторов, должны соблюдаться для заданий всех видов.

Сама проблема должна содержаться в основной части задания, а не выноситься в часть с вариантами выбора, которые должны быть настолько краткими, насколько возможно. Оба эти момента относятся к правилу 1 — требованию простоты, — а именно, требованию того, что в основную часть должно быть включено лишь то, что необходимо для ясной и четкой формулировки проблемы. Желательно как можно реже использовать отрицания в основной части по двум причинам: а) это приводит к противоречиям (при чтении задания) и б) за исключением редких случаев, отрицательные знания не настолько важны, как позитивные. Знание того, что летучая мышь — это не птица, не насекомое, не рыба и не рептилия, не является необходимым для знания того, что же это такое. Еще два других замечания этих авторов полезны при практической разработке тестов:

(1) Использование выражения «ни один из перечисленных» в качестве дистрактора допустимо только тогда, когда существует недвусмысленный правильный ответ,— как, скажем, в заданиях, связанных с алфавитом или математическими понятиями.

(2) Аналогично, использование в качестве дистрактора выражения "все перечисленные" приводит к допустимости скользких мест в формулировке заданий, в которых дистракторы не являются особенно дискриминативными, поскольку автор вопросов знает, что любой из ответов правильный.

Далее автор [1] иллюстрирует искусство формулирования заданий с несколькими вариантами выбора.

ПРИМЕР 1

У речной излучины на поляне появилась горилла-самка и внезапно издала громкий вопль. В этом предложении дополнением является:

(а) горилла,

(б) поляне,

(в) излучины,

(г) вопль,

(д) самка.

 

Это простое, понятное задание, в котором вся информация содержится в основной части. Возможен только один правильный ответ, и все дистракторы являются существительными, то есть тем видом слов, которые могут быть дополнениями, что не позволяет испытуемым, знающим, что дополнением не могут быть глаголы или наречия, сократить количество вариантов выбора. Следует заметить, что положение правильного ответа в списке вариантов выбора должно определяться случайным образом, чтобы предотвратить случаи угадывания.

ПРИМЕР 2

Внезапно громкий вопль был издан гориллой-самкой, которая появилась у речной излучины на поляне. В этом предложении подлежащим является:

(а) гориллой,

(б) вопль,

(в) излучины,

(г) поляне,

(д) самкой.

 

Этот пример аналогично прост, и вся информация содержится в основной части. Он умышленно связан с заданием 1, поскольку те испытуемые, знания которых о дополнении и подлежащем лишь приблизительны, и которые полагают, что подлежащее — это тот, кто "делает", не смогут выполнить данное задание. Аналогично, тот факт, что в предложении с почти тем же самым смыслом теперь подлежащее и дополнение поменялись местами, будет составлять трудность для тех, чьи познания в грамматике неполны. Заметим опять, что все варианты выбора могут быть подлежащим.

ПРИМЕР 3

Я переживаю, когда думаю о тебе, переходящим через дорогу самостоятельно в это время дня. В этом предложении есть ошибка. Неправильным словом является:

(а) я,

(б) переходящим,

(в) дня,

(г) тебе,

(д) самостоятельно

 

Это пример плохого задания. Понятно, что вся информация содержится в основной части задания и существует однозначно правильный ответ. Более того, содержание задания не является тривиальным. Однако в предложении есть только одна ошибка, так что испытуемые могут прийти к правильному ответу, исключая дистракторы, которые явно не являются неправильными.

Это задание должно быть каким-либо образом перефразировано; например: «Если в этом предложении есть грамматическая ошибка, то неправильным словом является: (а) я, (б) переходящим, (в) дня, (г) тебе, (д) ни одно из этих слов, если в предложении ошибки нет». Такая формулировка устранит проблему, но она несколько громоздка. Вероятно, наилучшим решением было бы использовать другую форму задания, такую как: " Какое из следующих предложений грамматически правильно: (а) Я переживаю, когда думаю о тебе, переходящим через дорогу самостоятельно в это время дня. (б) Я переживаю, когда думаю о тебе, переходящем через дорогу самостоятельно в это время дня." Этот пример хорошо иллюстрирует ограничения формы заданий со многими вариантами выбора. При определенных условиях, когда вопрос краток, необходимость вводить дистракторы делает задание слишком простым. Следовательно, более предпочтительно использование разных форм заданий. В этом случае трудно сформулировать общие правила. Здесь вся надежда на сообразительность разработчиков тестов. В данном примере показан ход рассуждений, который следует использовать разработчикам тестов при подборе заданий. А теперь рассмотрим вопрос: можем ли мы построить задание с вариантами выбора, чтобы протестировать знание одного правила грамматики — о причастных оборотах.

 

ПРИМЕР 4

Я переживаю, когда думаю о тебе, переходящем через дорогу самостоятельно в это время дня. В этом задании "переходящем" является:

(а) прилагательным,

(б) причастием,

(в) определением,

(г) наречием,

(д) сказуемым

 

В этом задании знание правил о причастных оборотах проверяется, конечно, более непосредственно, чем в исходном задании в примере 3. Однако в нем проверка осуществляется не таким образом, как в предыдущем примере. Дистракторы были подобраны так, чтобы выявить грамматическую безграмотность испытуемых, особенно (а) и (в).

ПРИМЕР 5

 

Раскройте скобки в выражении (а + b)² .Ответами являются:

(а) а² + b²

(б) аb²

(в) (2а + 2b)

(г) а² +2аb + b²,

(д) 2а + аb +2b .

 

Данное задание удовлетворяет всем критериям, обсуждавшимся ранее в разделе о формулировании заданий. Математические упражнения — особенно подходящий предмет для объективного тестирования, так как правильность ответа обычно не вызывает сомнения. Для учащихся, которые не уверены в том, как правильно открыть скобки, дистракторы являются, вероятно, весьма эффективными. Обратите внимание, что последний дистрактор (д) был использован для того, чтобы избежать возможной подсказки правильного ответа (тем, что он длиннее, чем остальные).

ПРИМЕР 6

Если яблоки стоят по 5 пенсов за фунт, и хозяйка покупает яблок на 75 пенсов (среднего размера, по четыре яблока на фунт), и если она отказалась от трех яблок как плохих, то на сколько же пенсов она выбрала яблок?

(а) 75,

(б) 72,

(в) 57,

(г) 17,

(д) 50

 

Это сложное задание, чтобы решить эту задачу, испытуемый должен удержать в голове четыре фрагмента информации. Задача не имеет целочисленного решения. Однако в этой сложности состоит существо данной задачи. Сделать выбор из дистракторов трудно, но сделать это нужно, используя числа, указанные в самом условии задачи.

 

ПРИМЕР 7

 

Какой из последующих коэффициентов надежности не связан с однородностью теста?

(а) коэффициент ретестовой надежности;

(б) дисперсионный коэффициент Хойта;

(в) коэффициент фи,

(г) коэффициент Кьюдера-Ричардсона;

(д) коэффициент надежности при разбиении теста на части.

 

В этом задании полностью используется его форма. В нем представлены наименования пяти коэффициентов, и если испытуемый не понимает, что они означают, у него нет никакого способа найти правильный ответ. Это задание нельзя перефразировать в более простом виде, и оно удовлетворяет всем критериям создания эффективных заданий. Если бы использовался альтернативный тип заданий, то пришлось бы формулировать пять отдельных заданий, чтобы получить ту же самую информацию. Следовательно, данное задание — это в известном смысле идеальное задание с несколькими вариантами выбора, исключающее возможность угадывания правильного ответа.

 

ПРИМЕР 8

 

В классической теории тестов истинный показатель определяется как:

(а) Оценка по каждому заданию, которая может быть определена с высокой надежностью;

(б) Показатель выборочной совокупности заданий, из которой извлекаются задания для данного теста;

(в) Показатель по тесту, скорректированный с учетом угадывания;

(г) Показатель по тесту, скорректированный с учетом погрешностей;

(д) Средний показатель испытуемого после нескольких тестирований.

 

В данном задании опять использована форма вариантов выбора, поскольку все дистракторы содержат в себе элемент правильного определения, что сбивает с толку тех испытуемых, чьи знания не очень крепки. В этом случае форма задания с произвольным ответом не подходит, так как может возникнуть сложность по поводу того, что же считать адекватным определением. Обратите внимание, что все варианты выбора грамматически соответствуют основной части задания. Хотя это и очевидно, следует внимательно за этим следить.

Этих восьми примеров вместе с комментариями к ним, вероятно, достаточно, чтобы показать, как должны строиться задания с несколькими вариантами выбора.

Преимущества заданий с несколькими вариантами выбора

 

Задания с несколькими вариантами выбора, пожалуй, являются наиболее широко используемым типом заданий в педагогических тестах поскольку, по сравнению с заданиями других типов, которые мы будем обсуждать ниже, имеют целый ряд преимуществ.

(1) Каждое задание может быть сделано высоко надежным. Поскольку возможен только один правильный ответ (в соответствующим образом сконструированном задании), отсутствуют факторы снижения надежности, связанные с субъективными оценками лиц, проводящих обследование. Это свойство, по определению, присуще и другим объективным заданиям, но не является из-за этого менее важным.

(2) Для таких заданий очень легко вычислять показатели. Это очень важно, особенно в больших по размерам тестах, а величина тестов влияет на их надежность. Они не только более надежны, но в тестах достижений и способностей позволяют охватить большие области, чем тесты с небольшим количеством заданий. Кроме того, благодаря простому алгоритму вычисления показателей при тестировании сокращается количество арифметических ошибок и описок.

Обычно для заданий с вариантами выбора разрабатывается отдельный бланк. Варианты выбора от (а) до (д) указываются для каждого задания, а испытуемый отмечает им выбранные. Затем каждый ответ сравнивается с ключевым для выявления правильных ответов, после чего подсчитываются все показатели. Возможна компьютерная обработка ответов. Соответственно, и весь тест может быть предъявлен и обработан компьютером.

(3) Основной трудностью в тестах является угадывание. В заданиях с вариантами выбора, в которых дистракторы примерно эквивалентны, влияние угадывания на величину показателя сводится к вероятности 1/5, по сравнению с 50% для альтернативных заданий. Аналогично, для заданий на восстановление соответствия, если испытуемый знает три из четырех ответов, влияние случайного угадывания будет другим по сравнению с вероятностью правильного выполнения задания, в котором он не знает ни одного варианта соответствия.

(4) Поскольку тесты с несколькими вариантами выбора оцениваются точными показателями, становится возможным получить точную оценку содержательности теста. Это важно при определении соответствия теста той группе испытуемых и той цели, для достижения которой он был создан.

Альтернативные задания (true-false item)

 

Это форма задания, которое обычно содержит некоторое утверждение, которое испытуемый должен оценить как истинное или ложное (дать ответ "да" или "нет"). Однако в заданиях такого типа существует ряд очевидных сложностей, из-за чего их использование в педагогических тестах, вероятно, должно быть очень ограниченным.

СЛОЖНОСТИ, ВОЗНИКАЮЩИЕ С АЛЬТЕРНАТИВНЫМИ ЗАДАНИЯМИ

(1) Вероятность случайного угадывания правильного ответа составляет 50%, что, конечно же, влияет на показатели по тесту, если этот тест не является предельно длинным.

(2) Довольно трудно формулировать утверждения, на которые можно дать недвусмысленный ответ "да" или "нет", а это особенно важно, так как вероятно, что наиболее сообразительные испытуемые увидят противоречия и могут не ответить на задание или дать неправильный ответ.

(3) В связи с необходимостью точной формулировки утверждения возникает сложность с использованием таких слов, как "все", "каждый", "всегда" и "никогда", в которых обычно может содержаться двусмысленность или противоречие. Подобно этому, определяющие слова, такие как "иногда", "часто", понимаются испытуемыми настолько субъективно, что они вряд ли имеют фиксированное значение и, следовательно, приводят к нежелательным вариациям в ответах.

(4) То, что несомненно истинно или ложно, может оказаться тривиальным. Таким образом, задания, адекватные с точки зрения психометрии, могут оказаться содержательно слабыми.

Несмотря на эти проблемы, задания альтернативного типа могут быть полезным и кратким приемом для выявления знаний испытуемых.

ПРИМЕР 1

 

Квадрат коэффициента корреляции указывает степень взаимной вариации между двумя множествами показателей. Верно ли это?

Если мы хотим узнать, знают ли испытуемые о том, что взаимная вариация указывается квадратом корреляции, то альтернативное задание дает ответ на этот вопрос. Математическая составляющая вопроса делает его подходящим (ввиду однозначности ответа) для формы альтернативных заданий. Трудно представить себе, как это же может быть кратко протестировано заданиями с несколькими вариантами выбора или заданиями на восстановление соответствия между двумя списками вопросов-ответов.

С другой стороны, испытуемый с поверхностными представлениями о корреляциях может смутно вспомнить увиденное когда-то определение и таким образом дать правильный ответ, не угадав, а лишь смутно вспомнив то, что изучал ранее. Сравните утверждение примера со следующим: "Корреляция 0.30 наблюдалась между интроверсией и успехами в английском языке по тесту CGE на уровне "О". Какова степень взаимной вариации между этими двумя переменными?" Это задание является значительно более трудным, поскольку оно не содержит ключа к тому, каким может быть ответ. Случайное угадывание правильного ответа также затруднительно.

В таком виде задание может быть представлено в форме задания с вариантами выбора. Все, что для этого нужно — это включить в него следующие варианты выбора: (а) 30%, (б) 6%, (в) 9%, (г) 3%, (д) 33%. Эти варианты отобраны потому, что все они получаются в результате простых и очевидных преобразований коэффициента корреляции. Следовательно, испытуемые, которые знают о существовании некоторой связи между коэффициентом корреляции и взаимной вариацией, но не уверены в том, какая именно это связь, не могут отбросить ни один из вариантов как "подсказку" для угадывания.

В данном примере показано, как альтернативное задание может быть при тщательном конструировании тестов заменено заданием с несколькими вариантами выбора, которое сокращает влияние случайного угадывания и значительно проще для вычисления показателей. Такое задание также дает меньше ключей для правильного ответа.

ПРИМЕР 2

 

Корреляция указывает степень согласованности между двумя множествами показателей. Верно ли это?

Это задание подходит больше, чем предыдущее, к альтернативной форме. Во-первых, в нем тестируется только один фрагмент информации, либо известный испытуемому, либо нет. Конечно, это утверждение не подходит для заданий типа завершения утверждения, поскольку здесь нет фиксированного ответа, и адекватность утверждения о том, что же измеряет корреляция, становится предметом субъективного суждения, что неизбежно ведет к неудовлетворительной надежности теста. Кроме того, такая форма заданий, в которых предполагаются произвольные ответы, требуют вербальных навыков, которые, вероятно, не являются значимыми в тесте на знания психометрической статистики. В данном случае, следовательно, альтернативное задание несомненно предпочтительнее, чем форма произвольного ответа.

Может ли это задание быть представлено столь же эффективно в форме с несколькими вариантами выбора, со всеми преимуществами уменьшенной вероятности случайного угадывания и простоты подсчетов баллов последней?

Корреляция указывает:

(а) степень согласованности между двумя множествами показателей;

(б) различия между арифметическими средними для множеств показателей;

(в) связи между категориями показателей;

(г) различия между распределениями показателей;

(д) форму распределения показателей.

При условии, что при оценивании заданий можно показать, если необходимо, что любой из дистракторов эффективен, очевидно, как и в предыдущем примере, это альтернативное задание может быть эквивалентно переформулировано в виде задания с несколькими вариантами выбора.

В приведенных двух примерах показано, что форма альтернативных заданий не является особо полезной. Обычно можно сформулировать эквивалентные по эффективности задания с вариантами выбора. Однако данное утверждение не подтверждается только лишь приведенными выше двумя примерами.

ПРИМЕР 3

Туберкулез — заразное заболевание. Верно ли это?

Это задание представляется подходящим для альтернативной формы, поскольку для его выполнения необходим только один фрагмент знаний. Как и в примере 2, форма с произвольным ответом связана с субъективностью суждений и поэтому ненадежна. Однако, даже это задание может быть представлено в виде задания с вариантами выбора. Например,

Туберкулез — это:

(а) заразное,

(б) инфекционное,

(в) заразное и инфекционное,

(г) незаразное,

(д) наследственное заболевание.

 

Нам кажется, что этим заданием проверяется наличие знаний так же хорошо, как и альтернативным заданием, но, помимо этого: (1) сокращается вероятность случайного угадывания правильного ответа, и, что более существенно; (2) точнее выявляются знания испытуемого о формах распространения туберкулеза.

Эти примеры ясно иллюстрируют, что в стандартном виде альтернативное задание всегда лучше заменить заданием с несколькими вариантами выбора. Однако, при определенных обстоятельствах альтернативные задания заменять нельзя.

Альтернативное задание представляется наиболее полезным, когда предъявляется информация, какие-либо данные или задается вопрос о них, чтобы протестировать то, как они поняты. Особенно это имеет значение при тестировании по научным предметам, когда необходима способность анализировать данные.

К одному утверждению может прилагаться серия альтернативных заданий.

ПРИМЕР 4

 

Следующая статистическая методика может быть определена как многопараметрическая:

(а) t-критерий (Да/Нет);

(б) факторный анализ (Да/Нет);

(в) хи-квадрат (Да/Нет);

(г) дисперсионный анализ (Да/Нет);

(д) ковариационный анализ (Да/Нет);

(е) тау Кенделла (Да/Нет).

 

Во-первых, это, очевидно, более эффективно, чем формулировать шесть отдельных альтернативных заданий. Более того, в данном случае, задание более информативно, чем задание с вариантами выбора, потому что в нем каждый вариант должен быть классифицирован. В задании с вариантами выбора, если испытуемый знает, что факторный анализ многопараметрический, то другие по определению такими не являются. Таким образом, используемая так серия альтернативных заданий может выявлять предельно подробную информацию по разным темам.

В общем, по мнению П. Клайна, альтернативные задания не представляются эффективными в педагогическом тестировании. Обычно более эффективные - задания типа выбора вариантов. Однако, альтернативные задания полезны при: (1) тестировании понимания некоторого материала; и (2) очень подробной проверке знаний, как в примерах 4 и 5. Однако, следует отметить и основной недостаток: важным фактором, влияющим на результаты тестирования по этим заданиям, очевидно может быть случайное угадывание правильных ответов. Благодаря простоте, с которой данная форма заданий может быть применена для опроса понимания учебного материала, они заслуживают применения в текущем контроле.

Задания на восстановление соответствия

 

Это третья категория заданий, обычно используемых в педагогических тестах, в которой испытуемому предлагается восстановить соответствие между элементами двух списков. Например, если мы хотим выявить знания испытуемого об авторах книг, один список должен содержать фамилии авторов, а другой — заглавия книг, и между ними должно быть установлено правильное соответствие. В области зоологии, например, может быть использован список млекопитающих и список их классов, например, беззубые, копытные и сумчатые.

В работе [] П.Клайн приводит примеры заданий вместе с комментариями, чтобы выявить сильные и слабые стороны этих заданий и проиллюстрировать простые указания по созданию эффективных заданий.

 

ПРИМЕР 1

 

У кажите буквой, какому автору принадлежат книги, указанные в следующем списке (оставьте незаполненной графу напротив книги, автор которой неуказан в левом списке):

АВТОРЫ А. Диккенс Б.Скотт В.Смоллетт Г. Теккерей

КНИГИ "Ярмарка тщеславия" "Узверли" "История двух городов" «Утерянный рай" "Гампфри Клинкер" "Памела" "Черный карлик" "Лунный камень"

БУКВА

Как ясно из этого примера, задания на восстановление соответствия лучшим образом подходят для выявления фактической информации. Можно было бы и просто спросить "Кто написал "Ярмарку тщеславия"? Однако, данное задание на восстановление соответствия — это простой метод задавать вопросы, который позволяет легко подсчитывать баллы. Можно было бы сконструировать и задание с несколькими вариантами выбора:

"Диккенс написал:

(а) "Ярмарку тщеславия",

(б) "Уэверли", и т.д."

Однако в нашем примере потребовалось бы отдельное задание на каждую книгу, не говоря уже о бланках, чтобы протестировать тот же самый объем знаний. Таким образом, для выявления подробной информации такого рода задания на восстановление соответствий являются более предпочтительными, чем задания с вариантами выбора; они гораздо более компактны.

Для данного примера также могут быть использованы альтернативные задания:

"Диккенс написал:

(а) "Ярмарку тщеславия", Да/Нет;

(б) "Уэверли", Да/Нет; и т.д."

Из этого видно, что для данного частного материала альтернативное задание не является настолько эффективным, как задание на восстановление соответствия. Во-первых, потребуется четыре задания, по одному на каждого писателя. Во-вторых, нельзя использовать одни и те же примеры в каждом задании, потому что, в противном случае, ответы на первое задание будут влиять на другие. Следовательно, для данного типа фактической информации лучшей формой заданий является задание на восстановление соответствия, за ним следует альтернативное задание, а задание с несколькими вариантами выбора является наименее эффективным.

Следует указать один момент: список, из которого выбираются ответы, должен быть длиннее, чем первый список, в противном случае случайное угадывание станет все более и более легким. Так, если испытуемый знает четыре из пяти ответов в одинаковых по длине списках, то пятый будет неизбежно правильным. Поэтому следует предъявлять списки неравной длины или указывать, что некоторым элементам нет никаких соответствий (или и то, и другое), как в примере. Эти меры с очевидностью уменьшают вероятность случайного угадывания правильного ответа.

Из нашего первого примера задания на восстановление соответствий было видно, что это более совершенное задание, чем альтернативное. Возникает очевидный вопрос: всегда ли это так? Давайте еще раз рассмотрим примеры 4 и 5, приведенные при описании альтернативных заданий.

ПРИМЕР 2

 

Заданию из предыдущего раздела, конечно же, можно придать форму задания на восстановление соответствия.

ТИП МЕТОДИКИ А. Однопараметрические Б. Непараметрические В. Многопараметрические

МЕТОДИКА t-критерий факторный анализ Хи-квадрат Дисперсионный анализ Ковариационный анализ Тау Кенделла

БУКВА

Укажите буквой, какой тип методики, если такой есть, описывает каждую статистическую методику из приведенного списка. Возможно, что ни одно или более чем одно описание соответствует некоторым элементам этого списка.

Такое задание на восстановление соответствия подходит к этому материалу настолько же хорошо, как и альтернативная форма, и можно также узнать дополнительную информацию относительно тех методик, которым соответствовал ответ "нет". Изучение данного задания выявляет, что это происходит обязательно, так как форма задания на восстановление соответствия требует, чтобы испытуемый для каждого варианта ответа решил, является ли методика многопараметрической, непараметрической, и т.д.

На примере 5 проиллюстрировано, что выбор формы задания зависит от материала и от тестируемых знаний. В данном случае проверки детальных знаний по статистике задание на восстановление соответствий, вероятно, лучше, чем альтернативные задания, и оба они предпочтительнее, чем задание с несколькими вариантами выбора. Это, конечно же, не обязательно всегда так.

 

ПРИМЕР 3

 

Заметим, что для тестов на проверку понимания данных нет простого очевидного способа сформулировать задание в виде восстановления соответствий. Это, на самом деле, дает нам ключ для учета относительных достоинств альтернативных заданий и заданий на восстановление соответствий. Последние, несомненно, предпочтительнее как тесты по материалу, представленному в данном вопросе. Обычно, как в примере 4 альтернативного задания, задание на восстановление соответствий не может быть сформулировано. Могут быть сконструированы задания с вариантами выбора, однако они будут слишком громоздкими, а выбор действенных дистракторов будет трудным. Помимо этого, такие задания неизбежно будут иметь тенденцию к взаимозависимости, что уменьшит их эффективность.

Для тестирования подробной информации методика восстановления соответствий может оказаться более предпочтительной, по сравнению с альтернативной, при условии что вопросы позволяют составить соответствующие списки.

Следует подчеркнуть один момент, касающийся альтернативных заданий и заданий на восстановление соответствий как тестов информации — опасность тривиального тестирования.

Хотя и важно осознать, что хи-квадрат является непараметрической, а t-критерий — однопараметрической методикой, способность выговорить утверждение: "t-критерий является однопараметрической методикой",— за которую испытуемый с неизбежностью получает соответствующие баллы, не предполагает понимания того, что же такое t-критерий и однопараметрическая статистическая методика. Такой информации можно обучить даже семилетнего ребенка. Подобно этому, знание того, что Скотт написал "Уэверли", представляется не очень важной по сравнению со способностью выполнить критический анализ этого романа.

При конструировании педагогических тестов следует ориентироваться на формулировку заданий преимущественно этих трех типов. Как же принять решение, какой тип использовать? При этом следует учитывать ряд моментов.

СПЕЦИФИЧЕСКИЕ ФАКТОРЫ

При принятии решения, какой тип задания использовать, следует помнить о влиянии специфических факторов. Если тест состоит из заданий одного типа, возникает опасность влияния некоторого специфического фактора, связанного с этой частной формой задания. В батарее тестов такая специфика может даже быть похожа на истинный групповой фактор, хотя это, конечно, не что иное, чем ложная (дутая) специфика — ловкий навык отвечать на задания определенного вида. Таким образом, разнообразие типов заданий весьма полезно.

УТОМЛЕНИЕ

Источником ошибок при тестировании часто является утомление, особенно в аттестационных тестах в работе с которыми необходимы усилия по концентрации, сосредоточению внимания. По мнению многих зарубежных ученых, разнообразие заданий, вероятно, сделает тест менее монотонным для испытуемых.

ЭФФЕКТИВНОСТЬ ЗАДАНИЙ

Конечно, мы хотим, чтобы наши задания были настолько эффективны, насколько это возможно. Как было показано в анализе различных типов заданий, каждое из них наиболее эффективно при определенных условиях. Вероятно, основной подход к конструированию заданий может быть сформулирован следующим образом:

(1) Стандартным заданием, которое подходит к большинству видов материала и вопросов, является тип задания с вариантами выбора.

(2) Для получения подробной фактической информации, связанной с содержанием заданий, эффективный и компактный тест обеспечивается типом заданий на восстановление соответствия и альтернативными заданиями.

(3) Для тестирования понимания материала, представленного в вопросе, особенно полезны альтернативные задания.

(4) По причинам, обсуждавшимся в пунктах 1 и 2, имеет смысл разрабатывать тест с заданиями всех типов, хотя и нет необходимости иметь одинаковое количество заданий каждого типа.

С точки зрения П. Клайна, лучше всего попытаться сконструировать задания каждого типа. Иногда это просто невозможно, что устраняет автоматически, по крайней мере, одну категорию заданий. Если будут сформулированы все три вида заданий, принятие решения обычно уже возможно. П. Клайн приводит примеры, приведенные ниже, когда на одной и той же области содержания сформулированы три типа заданий.

КРИТЕРИИ ДЛЯ ВЫБОРА ВИДА ЗАДАНИЯ

(1) Понятность. Выбирайте ту форму заданий, которая, вероятно, будет наиболее понятна испытуемым. В вышеприведенном примере формы заданий (1) и (2) одинаково понятны.

(2) Предотвращение случайного угадывания. Выбирайте ту форму заданий, которая сокращает вероятность случайного угадывания правильных ответов настолько, насколько это возможно.

(3) Компактность или точность. Выбирайте ту форму, в которой вопрос формулируется настолько кратко, насколько это возможно.

(4) Отношения между заданиями. Следите, чтобы форма задания (варианты выбора или списки для восстановления соответствий) не содержали в себе или не раскрывали ответы на другое задания.

(5) Если задания выглядят в равной степени эффективными, выберите тот тип задания, который у вас менее всего представлен.

Задания других типов

 

Существует много заданий других типов. Однако то, что было сделано — это детальное обсуждение конструирования заданий трех типов, при помощи которых практически любой материал может быть представлен в тестовой форме. Несмотря на это, некоторые моменты не охватываются этими типами заданий. П. Клайн предлагает некоторые другие виды заданий, с указанием особых преимуществ, которыми они обладают.

(1) Задания с ограничениями на ответы. В этих заданиях испытуемые должны давать свои ответы, однако возможности их написания соответствующим образом ограничены (limited-responce item, restricted-responce item). Это практически обеспечивает объективность оценивания показателей заданий, тщательное формулирование которых даст только один возможный ответ.

(2) Задания со свободными ответами (free-responce item). На ответы не накладываются никакие ограничения. Испытуемые могут писать что угодно. Однако тщательная формулировка заданий предполагает наличие только одного правильного ответа.

Рассмотрим примеры обоих типов заданий на одном и том же материале, так чтобы можно было взвесить сравнительные достоинства каждого из них. При конструировании заданий этих типов следует отчетливо помнить основные правила разработки заданий, особенно касающееся нежелательности тестирования тривиальной и бесполезной информации только лишь потому, что ее легко тестировать.

ПРИМЕР 1

 

В этом примере материалом для тестирования служат знания испытуемых о стандартном отклонении.

(1) Задание со свободным ответом: Что измеряется стандартным отклонением?

(2) Задание с ограниченным ответом: Стандартное отклонение измеряет...

Ни одно из этих заданий не является особенно хорошим, потому что, хотя желательным ответом является "разброс" или "изменение", вполне возможно, что испытуемые опишут его более длинным и пространным предложением. Здесь предпочтительнее было бы указать, что необходим ответ одним словом. Это однако, наложит ограничение на задание со свободным ответом. В данном примере задание с ограничением на ответ, конечно же, превосходит задание со свободным ответом, при условии того, что требуется ответ одним словом.

Задание со свободным ответом может быть улучшено; например, "Среднее арифметическое измеряет центральную тенденцию множества показателей; а что измеряет стандартное отклонение?" На это задание, хотя в нем и предусматривается произвольный ответ, мы должны получить такие ответы как "изменчивость", "дисперсия" или "разброс показателей". Несмотря на это, форма задания со свободным ответом не будет здесь столь эффективна, как форма задания с ограничениями на ответ. Интересно заметить, что данное задание может быть легко записано в виде других уже известных нам форм:

(1) Стандартное отклонение измеряет изменчивость показателей.

Да-Нет

(2) Восстановление соответствия:

А Арифметическое среднее Стандартное отклонение Медиана Корреляция

Б Изменчивость Центральная тенденция Согласованность Рассогласованность Разброс Связь Кластеризация

Укажите, какой элемент списка Б измеряется статистической методикой из списка А.

(3) Варианты выбора:

Стандартное отклонение измеряет:

(а) степень согласованности между двумя переменными;

(б) стандартный показатель по тесту;

(в) дисперсию показателей по тесту;

(г) средний показатель по тесту;

(д) экстремальное отклонение показателей по тесту.

По мнению П. Клайна, хотя могут быть сконструированы все типы заданий, наиболее эффективным в данном случае будет задание с вариантами выбора.

На этом первом примере ясно проиллюстрирована основная трудность при разработке заданий как со свободными, так и с ограниченными ответами — необходимость так формулировать задания, чтобы испытуемые, имеющие достаточный запас навыков или знаний, давали правильный ответ. Это означает, что необходимо создавать задания, на которые возможен только один правильный ответ, и такой ответ, конечно же, должен быть точным.

ПРИМЕР 2

Здесь в качестве материала для тестирования предлагаются знания об облических (зависимых) факторах в факторном анализе.

(1) Задание с произвольным ответом:

Что такое облические факторы?

Об облических факторах так много может быть написано и уже написано, что любой адекватный ответ будет неизбежно длинным. В результате возникнет безнадежная проблема попытки вычислить баллы по данному заданию. Очевидно, что это крайне неудачный пример, а поэтому следует быть более точным при формулировке заданий. Прежде надо было бы конкретно решить, что же мы хотим выяснить.

(2) Задание с ограниченным ответом: Облические факторы—- это... (одно слово).

Хотя в этой форме задания длина ответа ограничивается, ясно, что это более удачное задание. Так, в качестве ответов могли бы быть следующие слова: "коррелирующие", "подвергнутые ротации", "значимые" (поскольку только значимые факторы подвергаются ротации), "комплексные" (по терминологии Гилфорда), "простые" (по Кэттеллу), и так далее. Как же тогда данное задание может быть сделано еще более конкретным?

Если мы хотим протестировать знание того, что облические факторы являются коррелирующими, это, конечно же, проще всего сделать при помощи альтернативного задания:

Облические факторы являются коррелирующими. Да/Нет.

Если окажется, что возможность случайного угадывания правильного ответа оказывает слишком большое влияние на результат, то тогда должно быть сконструировано задание с несколькими вариантами выбора:

Облические факторы являются:

(а) некоррелируемыми;

(б) не подвергаемыми ротации;

(в) коррелируемыми;

(г) ортогональными;

(д) эвклидовыми.

В данном задании информация тестируется весьма точно, и все дистракторы были выбраны исходя из того, что каждый из них является термином описания факторов или других многомерных векторов, но подходит только один правильный ответ. Таким образом, если мы хотим протестировать знания о корреляции облических факторов, то яско, что обе формы заданий — альтернативного типа и с вариантами выбора — просты и их легко сформулировать. Чтобы создать эквивалентные задания со свободными или ограниченными ответами, необходимо заставить испытуемого, посредством специальной формулироваки задания, сосредоточиться на корреляционном аспекте зависимости факторов.

Задание со свободным ответом:

Каким образом облические факторы отличаются от ортогональных?

Ответ на задание будет засчитан как правильный, если испытуемые укажут, что облические факторы коррелируют. Однако, это задание все еще является "слабеньким", поскольку испытуемые могут дать правильный ответ, а именно -облические факторы размещены относительно друг друга не под прямыми углами. Следовательно, эта форма, хотя и лучшая, чем в исходной формулировке, все еще не является достаточно эффективной.

Другой вариант:

Какая информация о психологическом значении может быть получена из угла, образуемого облическими факторами?

Наконец-то этот вопрос отточен; теперь возможен только один правильный краткий ответ. Если испытуемые знают об облических факторах, они должны упомянуть о корреляциях; если они сделают это, то получат свои баллы.

Нет никакого сомнения в том, что создание заданий, подобных этому (которое наконец-то выглядит достойным анализа заданий, о чем будет говориться далее), — гораздо более трудная задача, чем конструирование подобных точно работающих заданий с несколькими вариантами выбора. Выигрыш, получаемый разработчиком тестов от применения заданий со свободными ответами, подобных приведенному выше, состоит в том, что для испытуемых они более интересны, менее очевидны как проба проверки знаний и предполагают некоторый элемент логических рассуждений, — вот почему задания со свободными ответами затрагивают больше сведений, чем задания с вариантами выбора. Так, наше задание с вариантами выбора могло было быть выполнено при условии, что испытуемые знали, о том, что облические факторы коррелируют. Однако, чтобы выполнить задание со свободным ответом, испытуемый должен знать: (1) что облические факторы коррелируют; (2) что корреляция связана с зависимостью; (3) что корреляция является психологически значимой. Следовательно, задание со свободным ответом является более богатым и более трудным. Чтобы протестировать фрагмент (2) из этого задания, пришлось бы построить еще одно задание с вариантами выбора. Именно относительная сложность делает задания со свободными ответами более привлекательными, чем задания с вариантами выбора, которые неизбежно будут закостеневшими и примитивными.

Задание с ограниченным ответом:

По углам между облическими факторами может быть получена их... (одно слово)

Такая форма задания с ограничением на ответ привлекательна тем, что, поскольку для его выполнения нужно указать только одно слово, обеспечивается превосходная надежность, а ответ считается правильным или нет, без привлечения каких-либо субъективных суждений. Это задание срабатывает более точно, чем задание со свободным ответом, принуждая испытуемого дать желаемый ответ (как и почти всегда при сравнении заданий с ограниченными и свободными ответами), но по этой причине оно может быть несколько проще.

Есть один интересный момент, касающийся формулировки этого задания с ограничением на ответ, а именно в словах "может быть получена". Они намеренно подобраны как в некоторой мере обобщенные. Если мы вместо этого напишем более точно "подсчитана" или "вычислена", что они будут содержать большую долю подсказки относительно того, что требуется некий статистический термин. При практическом испытании этого задания было бы интересно сравнить его на небольшой подгруппе из выборки испытуемых, с заданием со словом "вычислена", чтобы увидеть, до какой степени изменилась значимость данного задания как средства тестирования. И наоборот, если задание оказалось слишком трудным, при втором практическом испытании должна быть подставлена его новая форма. С точки зрения П. Клайна материал данного задания хорошо подходит к форме ограниченного ответа. Такое задание выглядит гораздо более точным, чем задание со свободным ответом, тогда как задание с вариантами выбора кажется слишком простым и тестирующим лишь механическое запоминание.

ПРИМЕР 4.

В данном примере материалом для тестирования являются знания о зависимости между квадратом гипотенузы и суммой квадратов катетов прямоугольного треугольника.

(1) Задание со свободным ответом:

Чему равна сумма квадратов катетов прямоугольного треугольника?

Благодаря этому точному определению существует только один ответ, и его возможные варианты будут легко распознаны проверяющими, что обеспечит высокую надежность.

(2) Задание со свободным ответом:

Какая связь между гипотенузой и катетами прямоугольного треугольника?

Как и в предыдущем случае, нет сомнений относительно правильности и точности ответа.

В случае, подобном этому, использование задания с ограниченным выбором ответов не приведет к улучшению; в самом деле, их гораздо труднее создавать, так как крайняя специфичность правильного ответа заставляет разработчика теста включать в текст задания его определенную часть. Например:

(1) "Сумма квадратов катетов равна ... ... прямоугольного треугольника.

Необходимые здесь слова не столь очевидны, так что несведущий не сможет их вписать, а также задание не обязательно подтолкнет память испытуемого с нетвердыми знаниями. Другое задание выгладит так:

(2) Если дана сумма квадратов катетов, то гипотенузу прямоугольного треугольника можно найти как ... ... ...

Задания с ограничениями на ответы и со свободными ответами полезны как дополнительные методы представления заданий в тестовой форме. Какое из них будет лучшим, зависят от специфики тестируемой информации. Если она очень специфична, то эффективным будет задание со свободными ответами; если она не столь четко определена, то лучше использовать задание с ограничениями на ответ.

Как и ранее, при выборе формы задания часто полезным бывает на одном и том же материале сформулировать задания всех видов, а затем выбрать наилучшее в соответствии с критериями, обсуждавшимися в данной главе. Следует помнить, что та часть теста, в которую входят задания со свободными и ограниченными ответами (при условии, что они не менее эффективны, чем другие формы заданий) больше нравятся испытуемым, чем чисто объективные задания. Однако, это исключает автоматизированный подсчет показателей.

П. Кдайн приводит правила составление заданий этих типов. Некоторые из этих правил настолько очевидны, что вряд ли заслуживают комментариев: слова должны подбираться тщательно и быть точными; требуемые от испытуемых ответы должны быть правильными; задачи должны быть специфичными.

 

Упорядочивание заданий для пробного теста

П. Клайн приводит несколько простых правил для упорядочения заданий при составлении теста, которые настолько очевидны, что заслуживают лишь кратких… (1) Располагайте задания каждого типа вместе. Это дает возможность испытуемым… (2) Располагайте задания в порядке трудности. Это предотвратит случаи, когда слишком старательный испытуемый тратит…

Литература

 

1. П. Клайн. Справочное руководство по конструированию тестов. Киев. - 1994.

2. Bloom B.S. at al. Taxonomy of Educational Objectives: The Classifiation of Educatinal Goals. Handbook 1: Cognitive Domaine. N-Y, David McKay Co. 1956

3. Keeves J.P. (Ed.) Educational Research, Metodology and Measurement: An International Handbook. Oxford, Pergamon Press, 1988.

4. Roid G.H. Haladina T.M. A technology for test-item writing. New York: Academic Press, 1982.

5. Thorndike R.L. (ed.) Educational measurement (2nd ed.) Washington, DC: American Council of Education, 1971.

 

Тесты в образовании

Выпуск 3

 

Технология разработки тестовых заданий.

Отечественный опыт.

К сожалению, традиции тестового контроля знаний учащихся в отечественной педагогике имеют драматическую историю. Фактически, ни классическая…    

Технология создания заданий с альтернативными ответами (с двумя вариантами выбора ответа по англ. True - False Item)

 

Такие задания (с двумя ответами) требуют однозначного ответа "Верно" или "Неверно" ("Да" или "Нет"). Они вызывают большую и справедливую критику, вследствие чего применяются довольно редко. Но у таких заданий есть сторонники, к числу которых относится В.С. Аванесов.

Автор [3] перечисляет основные элементы, используемые в композиции заданий с двумя ответами.

(1) Инструкция для учащихся. Тестирование начинается с короткой и четкой инструкции; инструкция является общей и стандартной для всех испытуемых. Инструкция пишется один раз, если все задания сформулированы в одной форме. Если в тесте имеются задания других форм, то инструкция меняется при каждом изменении формы.

Для заданий с двумя ответами автор рекомендует два варианта стандартной инструкции:

Обведите кружком номер правильного ответа- если тестовый контроль проводится с помощью бланков, или: "Отвечая на задания теста, нажимайте на клавишу с номером правильного ответа" - если контроль проводится с помощью компьютера.

(2) Содержательная основа задания. По мнению автора она пишется прописными буквами, что позволяет с первого взгляда отделить содержание задания от ответов на него; последние автор советует писать строчными буквами. Это требование является сомнительным, так как психологическое восприятие задания улучшается при простой смене шрифтов основы и вариантов ответа.

Автор выделяет принцип фасетности в разработке содержания заданий. Это важный принцип композиции, позволяющий сразу создавать несколько вариантов одного и того же задания. Число вариантов зависит от содержания задания; формой оно не ограничивается. Примеры заданий с одним фасетом:

ЗНАК {< , >} ОЗНАЧАЕТ, ЧТО СИЛА ЗВУКА

1) увеличивается

2) уменьшается

Фасетные задания могут иметь огромное количество вариантов, как например, в следующем задании:

ГЛАГОЛ {бежать} {думать}

1) переходный

2) непереходный

В заданиях с таким элементами есть возможность вариации содержания: вместо глагола "бежать" в можно ввести тысячу других глаголов, после чего задание становится фасетным, т.е. имеющим тысячу вариантов, выдаваемых испытуемым в случайном порядке.

Подобные задания не боятся рассекречивания на примере одного - двух глаголов, ибо для правильного ответа надо быть готовым ответить на любой их вариант. Эти варианты создаются посредством замены глаголов (лучше с помощью специальной программы), что позволяет сопоставимо проверить знание темы "Переходные и непереходные глаголы" у всех учащихся посредством одного задания с заменяющимися (сменными) глаголами.

Использование фасетных заданий основано на идее выделении учебной единицы.

Для достижения краткости по мнению автора [2] в каждом задании лучше спросить о чем-нибудь одном. Утяжеление заданий требованиями что-то найти, решить и затем еще и объяснить отрицательно сказывается на качестве задания, хотя с педагогической точки зрения легко понять причину такого подхода.

Для проверки знаний причинно - следственных отношений задание лучше представлять испытуемым в логической форме условной связи, или иначе, импликации.

ЕСЛИ НАПРЯЖЕННОСТЬ ПОЛЯ НАПРАВЛЕНА СЛЕВА НАПРАВО, ТО ПОТЕНЦИАЛ ПОЛЯ ВОЗРАСТАЕТ

1) слева направо

2) справа налево

Содержание задания и ответы формулируются как можно яснее и как можно короче; в них не должно быть ни одного лишнего слова и даже знака. Для того чтобы задание было коротким, в нем отражается одна идея. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания.

Полностью исключаются повторы слов, малопонятные, редко употребляемые, а также неизвестные студентам символы, иностранные слова, затрудняющие восприятие смысла. Примерное число слов в заданиях мнению автора [2] - пять-семь, но в общем чем меньше, тем лучше. Заметим, что сомнительное требование, поскольку часто его невозможно выполнить, а в ряде заданий (особенно в лингво-дидактиченских тестах) основа задания обязана содержать несколько предложений.

3) Ответы к заданиям. Ответы должны быть короткими и содержательными. Еще лучше, когда коротким является и задание, и ответ.

Например: СИЛА-ЭТО

1) вектор

2) скаляр

При формулировании заданий с двумя ответами особое внимание уделяется подбору правдоподобного, но неправильного ответа.

Так, в примере: АБСОЛЮТНУЮ ВЛАЖНОСТЬ ОПРЕДЕЛЯЮТ

1) гигрометром

2) психрометром

намек на правильный ответ для понятия "влажность" дает перевод на русский язык латинского слова "гигро" в первом ответе, в то время как правильным является второй ответ. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом distractor, от английского глагола to distract - отвлекать.

Интересно, что в самой Англии вместо слова distractor используется другое слово - foil. В общем случае, чем лучше подобраны дистракторы, тем лучше бывает задание. В заданиях с двумя ответами хороший дистрактор отвлекает на себя примерно половину испытуемых, не знающих правильного ответа на задание. Автор совершенно справедливо замечает, что талант разработчика проявляется, в первую очередь, в разработке содержательно корректных и эффективных дистракторов.

Каждый ответ должен как бы привлекать к себе испытуемых; при этом правильный привлекает знающих, неправильный - незнающих. Иначе говоря, не только правильные, но и неправильные ответы выбираются в зависимости от подготовки. Мера привлекательности определяется долей испытуемых, выбравших данный ответ.

Обычно считают - чем выше доля выбора неправильного ответа, тем он лучше сформулирован. Но это верно только до известного предела; в погоне за привлекательностью дистракторов нередко теряется чувство меры и ответы формулируются некорректно. Привлекательности каждого ответа проверяется эмпирически.

Автор приводит пример задания, в котором, по его мнению, сочетаются несколько достоинств:

ШЕРСТЬ

1) гидрофобна

2) гидрофильна

Оно состоит всего из одного слова, имеет такие же, короткие ответы, абсолютно понятно всем испытуемым с первого же чтения, ответы - однородные понятия с общим корнем ("гидро"). Студенты плохо запоминают такие слова без специальной тренировки, поэтому на экзаменах часто путают. Введение таких заданий в систему автоматизированного самоконтроля облегчает работу преподавателя и создает условия формирования прочных знаний.

Оценка. Автор , как и большинство практиков тестирования, предлагает за правильный ответ в каждом задании давать один балл, за неправильный ответ - ноль. Более продвинутые схемы оценивания используются на более высоких уровнях, например, в центрах тестирования, где каждое задание шкалируется в соответствии со своим вкладом в общую вариацию тестовых баллов испытуемых. Суммирование всех баллов, полученных испытуемым, дает число правильных ответов. Это число (от англ. Right) обозначается буквой R. Оно ассоциируется с уровнем его знаний и с понятием "тестовый балл испытуемого".

Среди недостатков заданий с двумя ответами - сравнительно высокая вероятность угадывания правильного ответа; она равна 1/2. Но полученные с помощью догадки баллы корректируется - ровно на столько, на сколько может увеличиться сумма вследствие этого.

Формула коррекции для заданий с двумя ответами имеет вид: Ха = Ri - Wi, где Ха - скорректированный на догадку тестовый балл любого испытуемого i (отсюда и смысл индекса о). Xi - тестовый балл i до коррекции; Wi - число ошибочных ответов.

При предположении, что испытуемый не знает правильный ответ ни на одно задание и пытается отвечать наугад, X; в заданиях с двумя ответами принимается равным Wj. Если испытуемый наберет восемнадцать баллов в тридцати заданиях, то его скорректированный тестовый балл равен:

Хс= 18- 12=6

Заметим, что было набрано восемнадцать баллов, а после коррекции остается шесть. Столь сильная коррекция произошла из-за того, что 18 баллов мало отличаются от той суммы, которую можно набрать, ничего не зная, отвечая просто наугад; в большинстве случаев она будет близка к 15. А вот в случае получения, скажем, 27 баллов коррекция менее заметна: Ха=27-3=24 откуда видно: чем выше знания, тем меньше коррекция.

Любопытен случай, когда Ri меньше половины возможных баллов. Тогда значение Xci отрицательно, что можно интерпретировать так: испытуемый i не только не знает, но и неудачлив в своих попытках угадать правильные ответы.

В работе [3] рассмотрены примеры данной формы задания, которые могут помочь авторам в их создании

Например:

1. ПЛАЗМИДЫ ИМЕЮТ ЛИНЕЙНУЮ ФОРМУ?

1) да

2) нет

Или, как вариант,

2. ПЛАЗМИДЫ ИМЕЮТ КОЛЬЦЕВУЮ ФОРМУ?

1) верно

2) неверно

Но оба этих варианта можно выразить по мнению автора в задании:

3. ПЛАЗМИДЫ ИМЕЮТ ФОРМУ

1) линейную

2) кольцевую

Последняя формулировка позволяет избежать общих ответов испытуемых (Да/Нет) и вопросительной формы в самом задании. Вместо двух вопросов оказалось достаточным одного задания в виде утверждения и cодержательных ответов. Преимущество такого задания заключаются в возможности его превращения, в зависимости от выбранного ответа, в истинное или ложное высказывание. При ответе на задания в тестовой форме испытуемые вначале читают инструкцию.

Автор [3] расматривает некоторые принципы композиции (составления) заданий такого типа. В числе первых - принцип противоречия, выражаемый, главным образом, посредством использования отрицательной частицы "не", отрицающих предлогов и слов. При использовании этого принципа подбираются такие два ответа, чтобы второй отрицал первый (типа А или не-А).

Например:

ПООЩРЕНИЯ В ТРУДОВУЮ КНИЖКУ

1) записываются

2) не записываются

ОРГАНИЧЕСКОЕ СТЕКЛО - ЭТО ПЛАСТМАССА, СОСТОЯЩАЯ ИЗ ТЕРМОПЛАСТИЧНОЙ СМОЛЫ

1) с наполнителями

2) без наполнителей

Как видно, в этих заданиях отрицается смысл не самого задания, а содержания первого ответа; испытуемый выбирает то, что считается правильным. Здесь проявляет себя логический закон исключенного третьего.

Близок по смыслу к первому, но немного отличается по логическим свойствам и языковым тонкостям принцип противоположности ответов. Подбираются такие ответы, которые, будучи антонимичными по смыслу, допускают, в принципе, возможность существования переходных понятий, состояний. Например, между понятиями "здоровый- больной можно расположить понятия "практически здоров" ' немного болен" и др.

Например:

ОТНОШЕНИЕ СТРОГОГО ПОРЯДКА

1) рефлексивно

2) антирефлексивно

БУКВЫ е, и, ю, я ДЕЛАЮТ СОГЛАСНЫЕ

1) мягкими

2) твердыми

ОТЛОЖЕНИЕ ЛИГНИНА В ОБОЛОЧКЕ РАСТИТЕЛЬНОЙ КЛЕТКИ ПРОИСХОДИТ

1) снаружи

2) внутри

УВЕЛИЧЕНИЕ РАЗМЕРОВ ПЛАЗМАЛЕМЫ ПРОИСХОДИТ ЗА СЧЕТ

1) экзоцитоза

2) эндоцитоза

Поскольку различия между первым, и вторым принципом не сразу запоминаются, введем простое и нестрогое функциональное отличие. При противоречии используются отрицания, при противоположности один содержательный ответ заменяется другим, антонимичным по смыслу. Поскольку в логике оба отмеченных принципа подпадают под класс антонимичных понятий, они могут быть объединены в один общий принцип антонимичности подбора ответов в заданиях с двумя ответами. Физикам, возможно, понравится другое название этого же принципа - полярности.

Третий принцип формулирования заданий в тестовой форме автор [2, 3] назвает принципом однородности. Подбираются такие два ответа, которые относятся к одному роду, виду, или отображают две основные стороны, грани явления:

 

Например:

ЯДРА ИЗОТОПОВ ИМЕЮТ РАЗНОЕ ЧИСЛО

1) протонов

2) нейтронов

АНГЛИЙСКИЙ ЯЗЫК ОТНОСИТСЯ К ЯЗЫКАМ

1) романским

2) германским

МОМЕНТ ПАРЫ СИЛ ЯВЛЯЕТСЯ ВЕКТОРОМ

1) свободным

2) скользящим

 

Четвертый принцип формулирования заданий с выбором одного ответа автор называет кумуляцией. Это означает, что содержание второго ответа вбирает в себя (кумулирует) содержание первого и содержит дополнительную информацию.

Например:

У СКРЕПЕРА С ПРИНУДИТЕЛЬНЫМ СПОСОБОМ РАЗГРУЗКИ ПЕРЕМЕЩАЕТСЯ

1) днище ковша

2) днище ковша и задняя стенка

КОЭФФИЦИЕНТ ДЕТЕРМИНАЦИИ МОЖЕТ ИМЕТЬ ЗНАК

1) положительный

2) положительный и отрицательный

КОМПОНЕНТЫ НАПРЯЖЕННОГО СОСТОЯНИЯ В ТОЧКЕ ТЕЛА - ЭТО НАПРЯЖЕНИЯ

1) нормальные

2) нормальные и касательные

ШОПЕН ПИСАЛ МУЗЫКУ

1) фортепианную

2) фортепианную и симфоническую

ГЕРУНДИЙ ОБЛАДАЕТ СВОЙСТВАМИ

1) глагола и существительного

2) глагола, существительного и наречия

Задания, построенные по принципу кумуляции, интересны тем, что учащиеся, приученные давать полные и правильные ответы, обычно выбирают последний ответ, ошибочно полагая, что он всегда самый правильный. Правильные ответы рекомендуется распределять примерно поровну на месте первого и второго ответа.

Пятый принцип формулирования задания с двумя ответами - это сочетание слов (знаков) по два или по три (реже четыре) в каждом ответе. Можно предложить два варианта заданий с использованием этого принципа. В первом варианте сочетаются более или менее однородные и правдоподобные пары ответов. Например:

РУДНЫЕ ТЕЛА МЕДНО-МОЛИБДЕНОВЫХ МЕСТОРОЖДЕНИЙ ПРЕДСТАВЛЕНЫ

1) штоками и линзами

2) штокверками и жилами

ОБРАТНЫЙ ПОРЯДОК СЛОВ УПОТРЕБЛЯЕТСЯ В ВОПРОСАХ

1) общих и специальных

2) альтернативных и расчлененных

Во втором варианте применяется правило цепочки

Ф. ШУБЕРТ ПИСАЛ МУЗЫКУ

1) органную и симфоническую

2) симфоническую и фортепианную

ПРИЧАСТИЕ УПОТРЕБЛЯЕТСЯ В ПРЕДЛОЖЕНИИ В ФУНКЦИЯХ

1) обстоятельства и определения

2) определения и дополнения

А.БОРОДИН БЫЛ

1) химиком и композитором

2) композитором и историком

В соответствии с этим правилом, последнее слово первого ответа становится первым словом второго ответа.

Заметим, что это правило можно использовать для разработки заданий с тремя, четырьмя и пятью ответами.

К достоинствам заданий с двумя ответами можно отнести краткость заданий, быстроту тестирования, высокую технологичность. Они тесно связаны с такими основными законами логики, как закон противоречия и закон исключенного третьего. Первый требует, что нельзя одно и то же одновременно утверждать и отрицать, а закон исключенного третьего - чтобы задание вместе с одним из ответов превращалось либо в истинное высказывание, либо в ложное. Третьего здесь не дано. Это вносит ясность в вопрос -изучен материал или нет.

К недостаткам относят возможность запоминания неправильного ответа. По этому поводу много было написано, но ничего не доказано. Есть два вида и две соответствующие задачи контроля знаний: текущий контроль активизирует обучение, итоговый используется для объективной оценки результатов обучения. Если такое запоминание имеет место, то скорее всего в пределах текущего контроля.

Для тестологов, которые работают в тестовых центрах, итоговый контроль призван решать задачи не текущего обучения, а объективной оценки учебных достижений после окончания учебного процесса. Этот вопрос лучше ставить не в привычном контексте "критики", а в виде гипотезы о влиянии, требующей проверки методами статистики. Интересно выяснить - что запоминается, в какой связи и с какой интенсивностью.

Еще одно возражение против заданий с двумя ответами - это их быстрое "рассекречивание". После тестирования испытуемые сообщают друг другу содержание запомнившихся заданий и правильные ответы на них. Сохранению тестового материала способствуют разработка фасетов, увеличение числа заданий, их классификация по темам и по уровню трудности.

Немного о применении заданий с двумя ответами. Их лучше использовать для экспресс-диагностики, при которой точность измерения менее важна по сравнению с быстротой. Такая диагностика особенно полезна до начала изучения дисциплины.

Другая сфера применения - самоконтроль, позволяющий быстро обнаружить пробелы в собственных знаниях и затем ликвидировать их. Третья сфера - автоматизированные контрольно - обучающие программы, в которых обучение начинается с тестирования и им же заканчивается. Хорошее обучение всегда дифференцированное или, того лучше, индивидуализированное (адаптивное), поэтому выявление исходного уровня знаний здесь особенно важно.

Задания с двумя ответами эффективны в текущем контроле и самоконтроле знаний, в профориентации и профессиональном отборе. Хотя они дают менее точные оценки, чем задания с большим числом ответов, они получаются быстрее и экономнее. В текущем контроле и на ранних стадиях отбора точность оценки играет меньшую роль, чем быстрота тестирования.

 

2. ЗАДАНИЯ С ТРЕМЯ вариантами выбора ответа

 

В практике тестирования задания в тестовой форме с тремя ответами распространены больше, чем задания с двумя ответами, но меньше, чем задания с четырьмя и пятью ответами.

Аванесов подробно рассматривает основные элементы композиции таких заданий. Он перечисляет основные элементы, используемые в композиции заданий с тремя ответами.

Первый - это стандартная инструкция для испытуемых, с которой начинается тестирование. Возможны случаи, когда все подобранные ответы бывают правильными, но частично или в разной степени. Тогда возникает потребность в таком варианте инструкции: "Обвести кружком номер наиболее правильного ответа".

Второй элемент - содержательная основа самого задания, которая разрабатывается преподавателями- предметниками; у каждого теста она, естественно, своя. Это одна из причин, почему в тестологии вопросами содержания интересуются меньше, чем вопросами формы. Форма инвариантна, в то время как содержание вариативно в зависимости от учебной дисциплины, уровня подготовки испытуемых, от цели и т. д.

Вариативность содержания профессионально сделанного теста позволяет полностью исключить списывание и другие искажения, известные из опыта проведения традиционного контроля знаний. Варьирование содержания задания достигается использованием фасета. Как уже отмечалось, фасет - это форма, позволяющая преподавателю записать несколько вариантов одного и того же задания.

Во время итогового тестирования испытуемый получает из фасета только один вариант содержания задания. Например, если нужно проверить знание фонетики русского языка в итоговом контроле, то испытуемому, скорее всего, достанется только одна буква из числа представленных в фасетном задании:

52. БУКВА { б, в, г, д, ж, к, л, м, н, п, р, с. т, ф, ц, ч, ш. щ) ОБОЗНАЧАЕТ ЗВУК

1) мягкий

2) твердый

3) мягкий и твердый

В отличие от итогового, в текущем контроле, испытуемые могут потренировать себя на всех буквах представленного фасета. Эта форма особенно хороша для организации самоконтроля - самой гуманной и самой педагогичной , по мнению В.С. Аванесова, формы проверки знаний.

53. {сила, ускорение}, КАК ВЕКТОР, ХАРАКТЕРИЗУЕТСЯ

1) величиной

2) величиной и направлением

3) величиной, направлением и точкой приложения.

54. ПРИ НАМОКАНИИ {хлопкового, вискозного} ВОЛОКНА ЕГО ПРОЧНОСТЬ

1) увеличивается

2) остается без изменений

3) уменьшается

Число фасетов тоже может варьировать в зависимости от богатства содержания.

Если распространенные на Западе общие ответы "верно / неверно" дополнить условным утверждением, то появится возможность сопоставить содержание условных утверждений с безусловными:

57. В ТРЕУГОЛЬНИКЕ ВЫСОТА ЯВЛЯЕТСЯ МЕДИАНОЙ И БИССЕКТРИСОЙ

1) верно

2) если треугольник равнобедренный

3) неверно

Первый и третий ответ образуют, вместе с содержанием задания, безусловные и неверные утверждения, в то время как второй ответ порождает верное и условное утверждение. В этом задании представлены два основания деления ответов: одно - противоречие (верно / неверно), а другое - условие (условно/ безусловно). Между тем, в логике есть правило деления понятий, которое гласит: деление должно производиться только по одному определенному основанию".

Третий элемент композиции - ответы к заданиям. Они обычно пишутся в конце задания.

He рекомендуется писать ответы в самом начале задания, потому что для уяснения смысла испытуемому придется читать его несколько раз, а это вызывает потерю времени.

Встречаются задания, которые после коррекции приобретают дополнительное содержание. Так, в задании:

59. ГОМОГЕНИЗИРУЮЩИЙ ОТЖИГ ПРИМЕНИМ К СТАЛЯМ

1) доэвтекоидным

2) эвтекоидным

3) заэвтекоидным

4) любым

последний ответ выходит из ряда однородных слов, имеющих общий корень, и потому он кажется неправдоподобным для студента, имеющего достаточный опыт тестирования. К тому же, этот ответ не связан с континуумом "эвтектоидности" и поэтому все задание обрекается на оценку только в номинальной шкале.

После исключения четвертого ответа число дистракторов, при одном правильном ответе, сокращается до двух; вместе с правильным все три ответа приобретают общую содержательную и логическую основу. Содержательная основа -это знание свойств трех упомянутых видов стали, а логическая - принадлежность всех видов к одному роду (эвтекоидности). Такому случаю соответствует использование порядковой шкалы, которая в теории измерений считается шкалой несколько выше уровня, чем номинальная шкала.

При использовании принципа кумуляции правильный ответ часто приходится на второй ответ и редко на первый. Знание этого помогает повысить вероятность угадывания правильного ответа. Поэтому надо стремиться к равномерному распределению правильных ответов.

При разработке задания нередко возникают типичные ошибки разработчиков , на которые обращает внимание автор. Первая свидетельствует о потере логической связи между содержанием задания и содержанием ответов.

ЗАВИСИМОСТЬ КОЛИЧЕСТВА ФОТОЭЛЕКТРОНОВ ОТ ЧАСТОТЫ СВЕТА

1) прямо пропорциональная

2) обратно пропорциональная

3) зависимости нет

Последний ответ ошибочен: он находится в логическом противоречии с содержанием задания, где утверждается существование зависимости. Нередко в ответы вводятся избыточная информация:

ДЛЯ АППРЕТИРОВАНИЯ БЕЛЬЕВЫХ ХЛОПЧАТОБУМАЖНЫХ ТКАНЕЙ ИСПОЛЬЗУЮТСЯ АППРЕТЫ

1) смываемые

2) малосмываемые, на основе термопластичных полимеров

3) несмываемые, на основе предконденсатов термореактивных смол

Педагогический смысл добавления в ответы информации об основе представляется понятным: преподаватель хотел, по-видимому, усилить в сознании студентов ассоциацию знаний о типах аппретов и их основах, и далее захотел еще проверить - знают ли они, какие аппреты используются. В результате появились утяжеленные ответы. Такие ответы возникают всегда, когда задание нацеливается на реализацию двух идей. Здесь напрашивается более эстетичный, вариант ответов:

1) смываемые

2) малосмываемые

3) несмываемые,

Читатель, вероятно, уже обратил внимание на общую ориентацию автора на короткие ответы. Короткие ответы особенно хорошо смотрятся вместе с короткими заданиями, часто встречающиеся, например, в химии.

Хотя с увеличением числа ответов вероятность угадывания действительно снижается, но вместе с тем растет и громоздкость самого задания, особенно в случаях, когда число ответов больше пяти. А это означает, что громоздким станет и весь тест, что противоречит его сущности, как компактной системы заданий, позволяющей за короткое время качественно и объективно оценить знания большого числа испытуемых. Вот почему при разработке теста общей тенденцией становится стремление к улучшению качества ответов и оптимизации их числа.

Если оценивать качество ответов статистически, то идеальным можно назвать такое задание, в котором все ответы -правильный и неправильные - выбираются в нормативной группе испытуемых с примерно равной частотой. Если такое случается, то вслед за этим делается предположение о выборе неправильных ответов незнающими испытуемыми, а правильных - знающими, что проверяется корреляционным анализом. Другие возможные гипотезы не менее привлекательны для исследования. В самом деле - почему одни выбирают один неправильный ответ, а другие - другой, связан ли выбор со структурой знаний или с психологическими свойствами личности и т. п. Вообще же причин незнания больше, чем причин знания.

Четвертый элемент композиции заданий с тремя ответами - оценка, выставляемая за правильное выполнение задания. Для правильного выставления оценки полезно ознакомится с элементами теории шкал. Эта теория позволяет связать используемые понятия с числами. Здесь нет необходимости вдаваться в теорию шкалирования, за исключением коротких пояснений, полезных для правильного подсчета тестового балла.

Если задание построено по принципам противоположности, однородности, кумуляции, то оно оценивается в номинальной шкале", в соответствии с которой число играет роль метки или названия (отсюда и понятие "номинальная шкала"; пример, номера на майках футболистов или номера комнат в гостиницах). Число в этой шкале лишь выражает наличие (или отсутствие) интересующего признака, номер места, принадлежность к роду, классу. Номера футболистов или номера комнат, например, нет заметного смысла подвергать арифметическим действиям. Но если испытуемый выбирает в задании правильный ответ, этот результат можно пометить одним баллом, а неправильный ответ - нулем. Чем больше будет в тесте баллов, тем увереннее можно судить о наличии интересующих знаний. Можно давать и взвешенные баллы. В результате создаются исходные предпосылки для получения тестовой шкалы, которая после соответствующих математических и статистических преобразований, обладала бы свойствами интервальной и даже пропорциональной шкалы.

Изредка создаются задания, в которых все ответы правильные, но правильные в разной степени. В этом случае рекомендуется третья инструкция для испытуемых: "Обведите кружком номер наиболее правильного ответа! Оценки при этом выставляются с использованием порядковой шкалы, в которой за менее правильный ответ можно дать один балл, за правильный - два балла, и за самый правильный ответ -три балла. Таким образом, для оценки испытуемых использована логика порядковой шкалы. Получаемая при этом сумма имеет педагогический смысл. Посмотрим теперь на задание:

66. ЕСЛИ ДЛИНУ И ПЛОЩАДЬ ПОПЕРЕЧНОГО СЕЧЕНИЯ УВЕЛИЧИТЬ В ДВА РАЗА, ТО СОПРОТИВЛЕНИЕ ПРОВОДА

1) увеличивается

2) останется без изменений

3) уменьшается

Если баллы за правильный, неправильный и совсем неправильный ответ давать, например, 1, 0, и -1, то у "некоторых возможно появление отрицательных сумм, что может свидетельствовать о возникновении у таких испытуемых вместо знаний своего рода "антизнаний". По мере возрастания суммы отрицательных баллов возникает необходимость педагогической интерпретации этого явления: кто эти студенты и почему их тестовые баллы оказались отрицательными? Если тест хороший, то это либо те, кто неправильные ответы приняли за правильные, либо это испытуемые, готовые на риск набрать баллы посредством угадывания. Вторая возможная интерпретация отрицательной суммы баллов походит на каламбур - испытуемый не только не знает, но и не знает, что не знает.

Теперь о коррекции на возможную догадку: последняя может равняться 1/3 в каждом неизвестном задании. Для предотвращения угадывания правильных ответов нередко испытуемые предупреждаются о вычитании одного балла из получаемой суммы в случае выбора неправильного ответа.

 

При этом рекомендуется лучше не выбирать никакой ответ, или выбирать ответ, специально вводимый для такого

МАКСИМАЛЬНАЯ СКОРОСТЬ ФОТОЭЛЕКТРОНОВ ОТ ИНТЕНСИВНОСТИ СВЕТА

1) зависит

2) затрудняюсь ответить

3) не зависит

Если неизвестны все задания теста, то выбор ответов "наобум" может дать, по вероятности, около трети возможных баллов. Вообще говоря, предположение такого рода не бывает верным до конца, хотя и очень распространено; случайный выбор - это последнее средство, к которому прибегает испытуемый, но не каждый, и не всегда. Во-первых, кое-что он все-таки обычно знает. Во-вторых, при отсутствии знаний он вначале опирается на представления, интуицию и на те "туманные образования" в сознании, о которых в свое время хорошо писал известный классик. В-третьих, число угадываемых баллов сильно зависит от числа правильных ответов: чем больше правильных ответов, тем меньше угаданных ответов. Соответственно, меньше баллов вычитается из суммы и при применении формулы коррекции баллов на догадку.

Как известно, общая формула коррекции баллов на вероятность догадки в заданиях с тремя и с большим числом ответов выглядит так:

X=R-W/k-1, где k - число ответов на задание теста. Если взять использованный ранее пример 20 правильных ответов и 10 неправильных в тесте, состоящем из 30 заданий, но теперь с тремя ответами, то после подстановки этих данных получим:

X=20- 10/2=15

Это скорректированный на догадку тестовый балл испытуемого, получившего в тесте 20 баллов.

C увеличением количества правильных ответов число вычитаемых на догадку баллов уменьшается. Эта логика вполне согласуется с педагогической логикой: коррекция нужна для тех, кто не знает. Баллам тех, кто знает, коррекция не повредит каким-либо заметным образом. Кроме того, значение коррекции на догадку убывает по мере увеличения числа ответов в заданиях теста. Вот почему в практике отмечается общее стремление применять задания со сравнительно большим, чем три, числом ответов.

Если в задании имеется k число ответов, то идеальным назовем тот дистрактор, доля выбора которого близка к значению 1/k. Дистрактор с нулевым выбором теряет право присутствия в задании, потому что в профессионально разработанном тесте нет места дистракторам, которые не выбираются. Дистрактор со значением доли выбора меньше 1/k назовем недостаточно работоспособным, а со значением выше 1/k -доминирующим дистрактором в задании. При работе с тестом хорошо иметь задания с идеальными дистракторами. Небольшой пример для преподавателей - гуманитариев. Если в задании имеется три ответа (k=3) и первый ответ выбирает 1/5 испытуемых, то это пример недостаточно работоспособного ответа, потому что 1/5 < 1/3. Другие примеры полезно подобрать самим.

В обычной тестовой практике большинство заданий с тремя ответами выглядят так, как будто эти ответы подобраны для них временно, дотех пор, пока не удастся найти другие эффективные дистракторы. Рассмотрим пример, иллюстрирующий этот вывод:

"КТО ЖИВЕТ БЕЗ ПЕЧАЛИ И ГНЕВА, ТОТ НЕ ЛЮБИТ ОТЧИЗНЫ СВОЕЙ" - ПИСАЛ

1) Пушкин

2) Некрасов

3) Лермонтов

Можно дать еще одну-две фамилии поэтов - патриотов XIX века, не писавших эти строки. В случае удачи (если их выберут неподготовленные испытуемые) оно превратится в задание с четырьмя или пятью ответами.

Неправильные ответы, которые испытуемые не выбирают при тестировании называются неработающими дистракторами. Появление таких дистракторов - следствие недостаточного опыта разработчика и недооценки знаний испытуемых. Вопреки ожиданиям, испытуемые разобрались, какой ответ правильный, а какой неправильный.

Отсюда легко вывести - если какой-то ответ в задании испытуемые не выбирают, то такой ответ лишает задание в тестовой форме шансов на превращение последнего в тестовое задание. После апробации все неудачные дистракторы ("завлекатели") удаляются из заданий - как элементы, несостоявшиеся в отведенной им роли. Оптимальным для задания может быть и два, и три, и большее число ответов; все зависит от меры их привлекательности.

При разработке заданий с тремя ответами автор использует те же принципы, как и в заданиях с двумя ответами, плюс один новый - принцип градуирования. Кроме того, дополнительно имеются возможности применения сразу двух принципов в одном задании.

В числе первых автор называет принцип противоположности. По своим логическим свойствам он предполагает возможность промежуточных состояний, что и используется здесь для увеличения числа ответов до трех. В заданиях с тремя ответами этот принцип проявляется, по меньшей мере, в трех вариантах.

Первый вариант представляет пример, когда имеется всего только три возможных состояния:

ПРИ ДВИЖЕНИИ ТЯГОВОГО ОРГАНА КОНВЕЙЕРА РЕЛЕ СКОРОСТИ

1) отключено

2) заблокировано

3) включено

Здесь третий ответ противоположен первому, а второй ответ - первому и третьему. Примерно такая же логика положена в основу и другого задания:

МАКСИМАЛЬНАЯ УСУШКА ДРЕВЕСИНЫ ПРОИСХОДИТ В НАПРАВЛЕНИИ

1) тангенциальном

2) радиальном

3) вдоль волокон

Во втором варианте противоположные понятия разделяются по правилам трехзначной логики, как это сделано в следующих примерах:

ФУНКЦИЯ, ИМЕЮЩАЯ В ИНТЕРВАЛЕ ПОЛОЖИТЕЛЬНУЮ ПРОИЗВОДНУЮ, В ЭТОМ ИНТЕРВАЛЕ

1) возрастает

2) сохраняет постоянное значение

3) убывает

НАПРАВЛЕНИЕ СИЛЫ ЛОРЕНЦА ОПРЕДЕЛЯЕТСЯ ПО ПРАВИЛУ

1) правой руки

2) буравчика

3) левой руки

В третьем варианте одним из ответов вводится еще одна противоположность, которая усиливает содержание задания:

УДЕЛЬНАЯ ЭЛЕКТРОПРОВОДНОСТЬ ЭЛЕКТРОЛИТА С УВЕЛИЧЕНИЕМ КОНЦЕНТРАЦИИ

1) увеличивается

2) уменьшается

3) сначала увеличивается, затем уменьшайся

 

Для композиции заданий с тремя ответами часто используется и другой принцип - однородности.

В ЕДИНИЧНОМ ПРОИЗВОДСТВЕ ПРИМЕНЯЕТСЯ ОБОРУДОВАНИЕ

1) специальное

2) универсальное

3) специализированное

ПРИ ВЫВЕДЕНИИ ОСНОВНОЙ ЧАСТИ ДАКТИЛОСКОПИЧЕСКОЙ ФОРМУЛЫ УЧИТЫВАЮТСЯ УЗОРЫ

1) дуговые

2) петлевые

3) завитковые

ВРЕМЕНА ГРУППЫ CONTINUOUS ОБОЗНАЧАЮТ

1) процесс

2) результат

3) завершенность

СЛОВА, БЛИЗКИЕ ПО ЛЕКСИЧЕСКОМУ ЗНАЧЕНИЮ

1) омонимы

2) антонимы

3) синонимы

Третий принцип разработки заданий в тестовой форме с тремя ответами - это сочетание элементов. При применении этого принципа можно выделить несколько вариантов. Первый вариант - когда слова или символы в ответах сочетаются произвольно по два, без соблюдения правила цепочки:

МОЩНОСТЬ, КАК РЕЗУЛЬТАТ СОВЕРШЕННОЙ МЕХАНИЧЕСКОЙ РАБОТОЙ, ОПРЕДЕЛЯЕТСЯ

1)силой и временем

2) силой и скоростью

3) работой и силой

МЕХАНИЧЕСКАЯ РАБОТА, СОВЕРШЕННАЯ ТЕЛОМ, ЗАВИСИТ ОТ

1) силы и времени

2) перемещения и силы

3) пройденного пути и силы Нередко используются сочетание по три:

СЛУЖЕБНЫМИ ЧАСТЯМИ РЕЧИ ЯВЛЯЮТСЯ

1) предлоги, местоимения, частицы

2) местоимения, частицы, союзы

3) предлоги, союзы, частицы

Казалось бы, можно еще увеличить число элементов в ответах. Однако здесь важно чувствовать меру и не допускать, чтобы это число превышало, скажем, четырех-пяти слов в одной строке. Хороший вариант, когда в ответах три слова сочетаются по два:

В ИЗОТЕРМИЧЕСКОМ ПРОЦЕССЕ С ИДЕАЛЬНЫМ ГАЗОМ ОСТАЮТСЯ ПОСТОЯННЫМИ

1) энтальпия и энтропия

2) внутренняя энергия и энтальпия

3) энтропия и внутренняя энергия

Во избежание намеков на правильный ответ сочетание элементов лучше производить по уже упоминавшемуся, во второй главе, правилу цепочки. Поэтому для последнего примера лучше принять такую последовательность ответов:

1) энтальпия и энтропия

2) энтропия и внутренняя энергия

3) внутренняя энергия и энтальпия

ИМЯ СУЩЕСТВИТЕЛЬНОЕ В ПРЕДЛОЖЕНИИ МОЖЕТ БЫТЬ

1) дополнением, определением

2) определением, обстоятельством

3) обстоятельством, дополнением

Рассмотрим теперь задания с тремя ответами, построенные по принципу кумуляции. Это задания с постепенно расширяющимся содержанием ответов, что ассоциируется с идеей кумуляции (накапливания, наращивания).

ВО ФРАНЦУЗСКОМ ЯЗЫКЕ ПРИЛАГАТЕЛЬНЫЕ СОГЛАСУЮТСЯ В

1) роде

2) роде, числе

3) роде, числе, падеже

ТОЛЕРАНТНЫМ НАЗЫВАЕТСЯ ОТНОШЕНИЕ

1) рефлексивное

2) рефлексивное и симметричное

3) рефлексивное, симметричное и транзитивное

ИНФОРМАЦИЯ - ЭТО

1) процесс отражения

2) результат процесса отражения

3) результат процесса отражения одного объекта другим

ГЕРУНДИЙ ОБЛАДАЕТ СВОЙСТВАМИ

1) глагола

2) глагола и существительного

3) глагола, существительного и наречия

Иногда слова в последующих ответах добавляются не к концу первого ответа, а к началу, как в следующем примере:

СТЕПЕНЬ ПЛОДОРОДИЯ ПОЧВ ОБУСЛОВЛИВАЕТ

1) совокупность элементов

2) структуру и совокупность элементов

3) микроорганизмы, структуру и совокупность элементов

Задания с тремя ответами дают возможность использовать новый принципградуирования. Это содержательный принцип, указывающий на устойчивое, в одну сторону, повышение или понижение некоторого качества или свойства:

ПРИ УВЕЛИЧЕНИИ ВЛАЖНОСТИ СВЫШЕ 30% ПРОЧНОСТЬ ДРЕВЕСИНЫ

1) возрастает

2) не изменяется

3) снижается

С УВЕЛИЧЕНИЕМ ДОЛИ СВЯЗАННОЙ ВОДЫ УСТОЙЧИВОСТЬ РАСТЕНИЙ К НЕБЛАГОПРИЯТНЫМ УСЛОВИЯМ

1) повышается

2) остается без изменения

3) понижается

РАСТВОРИМОСТЬ ГАЗОВ ПРИ ПОВЫШЕНИИ ТЕМПЕРАТУРЫ

1) увеличивается

2) остается без изменений

3) уменьшается

ПРИЛАГАТЕЛЬНОЕ В ПОЗИЦИИ МЕЖДУ ОПРЕДЕЛЕННЫМ АРТИКЛЕМ И СУЩЕСТВИТЕЛЬНЫМ В НЕМЕЦКОМ ЯЗЫКЕ СКЛОНЯЕТСЯ ПО ТИПУ

1) слабому

2) сильному

3) смешанному

Особенность подобных заданий состоит в том, что в них неправильные ответы часто оказываются неправильными в разной степени. Если в последнем задании второй ответ просто неправильный, то первый - совсем неправильный, потому что он противоположен правильному. Если баллы за правильный, неправильный и совсем неправильный ответы давать, соответственно, 1, О, и -1, то очень слабые испытуемые могут закончить тест с отрицательной суммой баллов, что скорее всего указывает на возникновение у таких студентов, вместо знаний как бы "антизнаний".

К положительным сторонам заданий с тремя ответами относится возможность измерения посредством использования порядковой шкалы в заданиях с ответами, построенными по принципу градуирования. В этом случае возрастает дисперсия баллов (стандартная, очень важная в тестологии мера вариации), а следовательно, и дифференцирующая способность теста, т.е. способность теста различать знающих испытуемых от незнающих.

Недостатком этих заданий является заметная вероятность угадать правильный ответ при незнании учебного материала. Это главная причина редкого использования заданий с тремя ответами и стремления делать задания с большим числом ответов.

Сфера применения заданий с тремя ответами - самоконтроль, входной и текущий педагогический контроль, реже - итоговый. Последнее объясняется повышенными требованиями к качеству итоговых оценок.

 

3. ЗАДАНИЯ С ЧЕТЫРЬМЯ вариантами ОТВЕТов

 

Из всех существующих заданий с выбором одного ответа из нескольких возможных в практике педагогического тестирования задания с четырьмя ответами распространены больше других.

Автор перечисляет следующие основные элементы, используемые в композиции заданий с четырьмя ответами.

Первый - это инструкция для испытуемых. Она та же, что и в рассмотренных ранее заданиях.

Второй - содержательная основа самого задания. Она во многом так же совпадает с заданиями других видов, за исключением дополнительных возможностей, вытекающие из принципа удвоенной противоположности. Кроме того, в задании не рекомендуется писать отрицательные частицы.

В РАЗБАВЛЕННОЙ H₂SO₄ HE РАСТВОРЯЕТСЯ

1) Ag

2) Сг

3) Fe

4) CuPe

Правильным ответом считается Ag, но в отмеченной кислоте не растворяется и еще кое-что. Можно возразить, что из перечисленного, но лучше этот частный случай не противопоставлять общему. Кроме того, отрицательно сформулированные задания, особенно с двумя отрицательными частицами, не сразу поддаются логическому анализу, тем более при дефиците времени, отводимого на тестирование. Не случайно в предложениях английского языка отрицание используется один раз. Это удобнее для понимания устной речи.

Третий элемент композиции - ответы к заданиям. Они пишутся в конце задания, но не всегда. Иногда и в середине:

47. ПРИ ПРОРАЩИВАНИИ СЕМЯН ПШЕНИЦЫ ЭНЕРГИЮ ПРОРАСТАНИЯ ОПРЕДЕЛЯЮТ ЧЕРЕЗ _______СУТОК

1) двое

2) трое

3) четверо

4) пять

Задания, сформулированные по принципу удвоенной противоположности, иногда требуют в ответах много слов, что видно из следующего примера, который здесь приводится не в качестве модели для разработки, а скорее как пример неудачного задания:

49. РЕКУПЕРАЦИЯ ВОЗМОЖНА, КОГДА

1) напряжение в тепловой сети выше напряжения на шинах подстанции

2) напряжение на токоприемнике рекуперирующего электровоза выше напряжения на шинах подстанции

3) напряжение в тяговой сети ниже напряжения на шинах подстанции

4) напряжение на токоприемнике рекуперирующего электровоза выше напряжения в тяговой сети

 

Нежелательное многословие ответов возникает вследствие "лобового" противопоставления одних элементов другим, с использованием одного и того же словесного состава. В таких случаях лучше искать более привлекательные варианты. При этом ответы могут быть словесными, цифровыми и формульными.

Некоторые задания с четырьмя ответами лучше формулировать с большим числом ответов. Например:

50. СИЛЫ, ДЕЙСТВУЮЩИЕ НА ПОДШИПНИКИ ВАЛА В {КОСОЗУБОЙ} ПЕРЕДАЧЕ

1) осевые

2) окружные

3) радиальные

4) радиальные и осевые

правильным является четвертый ответ. Интуиция подсказывает, что здесь лучше было бы использовать принцип сочетания, но тогда получится задание с тремя ответами. Если же есть основания думать, что испытуемые будут выбирать как сочетаемые, так и несочетаемые ответы, то тогда число ответов можно увеличить до шести, как сделано здесь:

1) осевые

2) окружные

3) радиальные

4) радиальные и осевые

5) радиальные и окружные

6) осевые и окружные

Таким образом, получена полная система всех возможных ответов, вытекающая из поочередного применения двух принципов формулирования ответов - однородности и сочетания.

Четвертый элемент задания – оценка. Обычно используется номинальная за каждый правильный ответ на задания теста испытуемый получает один балл, за неправильный - ноль.

Другой вопрос оценки - коррекция на возможную догадку. Ответы "наобум" могут дать около четверти от максимально возможного балла. Возможно применение формулы коррекции баллов на вероятность догадки в заданиях с четырьмя ответами.

Автор расматривает принципы композиции таких заданий. Самая привлекательная сторона заданий с четырьмя ответами - это возможность формулирования заданий по принципу удвоенной противоположности. Этот принцип применяется в различных вариантах заданий.

У МАТРИЧНОГО ПРИНТЕРА, ПО СРАВНЕНИЮ СО СТРУЙНЫМ

1) выше быстродействие и выше качество печати

2) выше быстродействие, но ниже качество печати

3) ниже быстродействие, но выше качество печати

4) ниже быстродействие и ниже качество печати

НАРАСТАНИЕ ТРЕВОЖНОСТИ НА РЕЗУЛЬТАТЫ ДЕЯТЕЛЬНОСТИ ВЛИЯЕТ

1) положительно

2) отрицательно

3) вначале положительно, затем отрицательно

4) вначале отрицательно, затем положительно

ДЛЯ НАБЛЮДАТЕЛЯ, НАХОДЯЩЕГОСЯ НА ЭКВАТОРЕ, ЗВЕЗДЫ СУЩЕСТВУЮТ

1) восходящие и заходящие

2) восходящие и незаходящие

3) невосходящие и заходящие

4) невосходящие и незаходящие

СКОРОСТЬ РЕАКЦИИ ЗАВИСИТ ОТ ТЕМПЕРАТУРЫ

1) прямо пропорционально, линейно

2) прямо пропорционально, экспоненциально

3) обратно пропорционально, линейно

4) обратно пропорционально, экспоненциально

Существенное отличие заданий, сформулированных по принципу удвоенной противоположности, от всех других, заключается в том, что ответы в них построены с использованием противопоставлений и сочетаний. Противопоставления предъявляют повышенные требования к уровню и к структуре знаний. На такие задания хорошо отвечают только те, кто знает. Например:

ОТНОШЕНИЕ СТРОГОГО ПОРЯДКА

1) рефлексивно, симметрично

2) антирефлексивно, симметрично

3) рефлексивно, антисимметрично

4) антирефлексивно, антисимметрично

Здесь требуется владение понятиями, знания их различий, опыта их дифференциации на основе известных свойств.

Другие примеры:

СОЦИАЛЬНАЯ ИНФОРМАЦИЯ

1) идеальна по форме и содержанию

2) материальна по форме и содержанию

3) идеальна по форме и материальна по содержанию

4) материальна по форме и идеальна по содержанию

В заданиях с четырьмя ответами чаще других используется принцип однородности. Ответы при этом можно располагать как в один, так и в два столбца:

НАИБОЛЕЕ ОПАСНЫМИ ДЛЯ НАРУШЕНИЯ ЭКОЛОГИЧЕСКОГО РАВНОВЕСИЯ ЯВЛЯЮТСЯ УДОБРЕНИЯ

1) органические

2) фосфорные

3) азотные

4) калийные

СКРЫТОЕ СРАВНЕНИЕ ОДНОГО ПРЕДМЕТА ИЛИ ЯВЛЕНИЯ С ДРУГИМ, ПО ПРИНЦИПУ СХОДСТВА, НАЗЫВАЕТСЯ

1) метафора

2) аллегория

3) метонимия

4) олицетворение

ОСНОВОПОЛОЖНИКОМ РУССКОГО КЛАССИЦИЗМА СЧИТАЕТСЯ

1) Ломоносов

2) Сумароков

3) Тредиаковский

4) Кантемир

ЯЗЫК ОПОСРЕДСТВУЕТ

1) мышление

2) деятельность

3) поведение

4) сознание

При создании заданий по принципу однородности существенным фактором усиления их эффективности может стать использование сходных по написанию или звучанию букв, цифр, знаков, слов и словосочетаний. Это позволяет делать ответы правдоподобными, логически безупречными. Например:

НАНОСЫ НА СКЛОНАХ, ВЫЗВАННЫЕ ДОЖДЕВЫМИ И ТАЛЫМИ ВОДАМИ, НАЗЫВАЮТСЯ

1) деллювий

2) аллювий

3) иллювий

4) эллювий

ТИП ПИТАНИЯ ТИОНОВЫХ БАКТЕРИЙ

1) фотоавтотрофный

2) хемоавтотрофный

3) фотогетеротрофный

4) хемогетеротрофный

Всегда интересны задания, в которых используются такие определения, как "самый", "наибольший", "наименьший", "наилучший" и т. п. Эти сильные слова лучше ставить в начало, что обеспечивает быстрое понимание смысла.

САМЫЙ ЧУВСТВИТЕЛЬНЫЙ ВИД АНАЛИЗА

1) нейторнно-активационный

2) атомно-абсороционный

3) рентгеноспектральный

4) эмиссионный спектральный

Хорошо, когда принцип однородности ответов сочетается с фасетным вариантом:

{Вода, Алмаз, Медь} ИМЕЕТ КРИСТАЛЛИЧЕСКУЮ РЕШЕТКУ

1) атомную

2) ионную

3) металлическую

4) молекулярную

Третий принцип - кумуляция.

ЧТОБЫ ЗАДАТЬ ДВИЖЕНИЕ ТОЧКИ ЕСТЕСТВЕННЫМ СПОСОБОМ, НАДО ЗНАТЬ

1) траекторию

2) траекторию и закон движения

3) траекторию, закон движения, начало отсчета

4) траекторию, закон движения, начало отсчета, скорость

ЭЛЕМЕНТАРНЫЕ КОНСТРУКЦИИ ЯЗЫКА {БЕЙСИК} СОСТОЯТ ИЗ

1) констант

2) констант и переменных

3) констант, переменных и функций

4) констант, переменных, функций и выражений

При разработке заданий в соответствии с этим принципом полезно иметь часть правильных «ответов на первом и последнем местах.

Четвертый принцип - это сочетание двух-четырех слов (или символов), среди которых правильным является только одно сочетание.

Большее число слов нежелательно по причине утяжеления ответов. Например:

НА МНОЖЕСТВЕ НАТУРАЛЬНЫХ ЧИСЕЛ ВСЕГДА ВОЗМОЖНЫ

1) вычитание и деление

2) сложение и вычитание

3) сложение и умножение

4) вычитание и умножение

ПРИ СЛОЖНОМ НЕПОСТУПАТЕЛЬНОМ ДВИЖЕНИИ ТОЧКИ ВОЗНИКАЕТ УСКОРЕНИЕ

1) кориолисово и нормальное

2) нормальное и тангенциальное

3) тангенциальное и кориолисово

4) нормальное, тангенциальное и кориолисово

В ПРЕДЛОЖЕНИИ ПРИЧАСТИЕ УПОТРЕБЛЯЕТСЯ В ФУНКЦИИ

1) подлежащего и сказуемого

2) определения и дополнения

3) определения и обстоятельства

4) подлежащего и части сказуемого

В таких заданиях выдерживается правило цепочки.

И.С.БАХ ПИСАЛ

1) фуги, мессы и оратории

2) оратории, оперы и прелюдии

3) прелюдии, симфонии и кантаты

4) кантаты, литургические драмы и сонаты

Пятый принцип - градуирование. Примеры:

ИНТЕРВАЛ (МАЛАЯ ТЕРЦИЯ) СОСТОИТ ИЗ

1) 1-го полутона

2) 2-х полутонов

3) 3-х полутонов

4) 4-х полутонов

КАЧЕСТВО УЧЕБНОГО ПРОЦЕССА С КАЧЕСТВОМ ТЕСТОВОГО КОНТРОЛЯ

1) связано, значительно

2) связано, но незначительно

3) не связано заметным образом

4) не связано никак

ДИСПЕРСИЯ БАЛЛОВ В ЗАДАНИИ, ПРИ ИСПОЛЬЗОВАНИИ ОЦЕНКИ 1/0, МОЖЕТ ПРИНИМАТЬ ЗНАЧЕНИЕ

1) меньшее или равное 0,5

2) меньшее 0,5

3) меньшее или равное 0,25

4) меньшее 0,25

АЛМАЗОНОСНЫЕ КИМБЕРЛИТЫ ХАРАКТЕРНЫ ДЛЯ ПЛАТФОРМ

1) интенсивно активизированных

2) активизированных

3) слабо активизированных

4) неактивизированных

К положительным сторонам заданий с четырьмя ответами относится невысокая вероятность угадать правильный ответ, возможность проверять знание в противопоставлении с незнанием и эстетичность. Ответы, расположенные в центре теста двумя столбцами, смотрятся довольно привлекательно, можно думать, даже для незнающих. В тестовом задании, как и в поэзии, словам должно быть тесно, а мыслям просторно.

Возможная сфера применения заданий с четырьмя ответами ,по мнению автора, - это самоконтроль, входной и выходной педагогический контроль в школьном и вузовском учебном процессе, а также в системе повышения педагогической квалификации, аттестации выпускников вузов и средних учебных заведении. Особенно такие задания рекомендуется использовать для контроля знаний по технике безопасности, где предъявляются повышенные требования к прочности знаний.

 

4. ЗАДАНИЯ С ПЯТЬЮ вариантами ОТВЕТов

 

Для разработчиков задания с пятью ответами создавать труднее, чем с меньшим числом ответов.

В России задания с пятью ответами начали широко применяться начиная с шестидесятых годов, после появления первых переводов с зарубежных, преимущественно американских публикаций по программированному обучению и по программированному контролю знаний.

Тем не менее, несмотря на полное отсутствие подходящей техники, сама идея тестового контроля вызвала большой энтузиазм. В те годы появилось немало преподавателей, сумевших наработать большое количество заданий в тестовой форме и материалов для программированного обучения. Хотя этот материал часто был несовершенным, жаль, что он практически не был сохранен ни в вузах, ни в других учебных заведениях.

Автор рассматривает основные элементы, используемые в композиции заданий с пятью ответами.

Инструкция для испытуемых. Она та же, что и в рассмотренных ранее заданиях, хотя в литературе встречаются и другие инструкции для испытуемых.

Содержательная основа заданий. Она во многом совпадает с заданиями других видов, за исключением дополнительных возможностей ранжирования ответов. Кроме того, в заданиях с пятью ответами расширяются возможности использования фасета для проверки знаний названий изучаемых объектов.

Проверка у учащихся знаний подобного рода - названий различных объектов и элементов учебной дисциплины - самое утомительная и малоблагодарная часть педагогической работы. Не случайно во всем мире наметилась стойкая тенденция переложить проверку таких знаний на ЭВМ. Последняя, в отличие от человека, не огорчается при слабых знаниях испытуемых, а спокойно советует им еще раз выучить то, что все равно придется выучить и снова сдавать. И так до тех пор, без следов какой-либо усталости, пока весь требуемый материал не будет освоен всеми учащимися, с должным уровнем качества.

Высвобождаемое при этом учебное время используется для эмоционального развития учащихся, формирования способностей и для другой работы, которую ни одна машина сделать не сможет. Это может делать только человек такой творческой профессии, как педагог.

В повседневной педагогической работе много времени уходит на проверку домашних заданий. Тестовая форма позволяет посредством ЭВМ проверить окончательные результаты домашней работы.

Третий элемент композиции - ответы к заданиям. Их лучше делать как можно короткими, состоящими из одного-двух слов. Ответы помещают в конце задания. Если они короткие, то их можно писать по два в одной строке, как это делается во всех примерах. Последний, пятый ответ пишется в середине. Самая распространенная ошибка, допускаемая в этих заданиях - неоднородность ответов по содержанию. Например:

НА ЭЛЕКТРОН, ДВИЖУЩИЙСЯ В МАГНИТНОМ ПОЛЕ, ДЕЙСТВУЕТ СИЛА

1) Кулона

2) Лоренца

3) Ампера

4) Кориолиса

5) тяжести

Пятый ответ не совпадает с фамилией ученого - физика. Он не однороден и не соответствует содержанию остальных ответов и потому его можно признать некорректным. В данном примере пятый ответ должен содержать фамилию еще одного известного физика, как это сделано в другом задании:

ОСНОВОПОЛОЖНИК КВАНТОВОЙ ТЕОРИИ

1) Борн

2) Эйнштейн

3) Гейзенберг

4) Бор

5) Резерфорд

Разные основания в подборе дистракторов привели к ошибке в композиции и следующего задания:

28. КУБИЧЕСКУЮ ОБЪЕМОЦЕНТРИРОВАННУЮ РЕШЕТКУ ИМЕЕТ

1) цинк

2) бериллий

3) алюминий

4) железо при температуре до 910 град. по Цельсию

5) железо при температуре от 910 до 1439 град. по Цельсию

Использование слова "железо" в третьем и четвертом ответах заставляет незнающего студента думать, что это неспроста; в одном из них может заключаться правильный ответ. Если это не так, то почему не используются дважды алюминий, цинк, бериллий? Подобное рассуждение студента может, правда, натолкнуться на такое же контррассуждение разработчика задания, и потому неизвестно - что приведет к успеху.

Во избежание намеков на правильный ответ (или искусственного запутывания) повтор отдельных элементов в ответах лучше не делать. В случаях, когда есть опасность смешения номера ответа с цифрой ответа, используются буквы. Например:

РЕЗУЛЬТАТ СЛОЖЕНИЯ ДВОИЧНЫХ ЧИСЕЛ 1001 И 11001

а) 100001

б) 100010

в) 100011

г) 100100

д) 100101

В подобных случаях использование букв оправдано и с точки зрения психологии: в условиях дефицита времени они позволяют испытуемому легче понять суть задания, отделить метку ответа от содержания ответа, что предупреждает возникновение уже упоминавшейся интерференции при восприятии информации.

Что касается технологических требований, то они не меняются. В процессе ввода и обработки тестовых данных эквивалентность букв и соответствующих им цифр будет восприниматься, как говорят в информатике, по умолчанию.

Четвертый элемент композиции - оценка за правильное выполнение задания. За исключением случаев использования принципа градуирования обычно используется номинальная шкала, в рамках которой за каждый правильный ответ на задания теста испытуемый получает один балл, за неправильный - ноль. При градуировании оценки могут выставляться в виде возрастающих или убывающих рангов. Коррекция на догадку проводится подстановкой в ранее рассмотренную формулу.

Автор рассматривает принципы композиции заданий данного типа. Самый распространенный принцип формулирования заданий с пятью ответами - принцип однородности, при котором к каждому утверждению подбираются однородные ответы, близкие по родовому или по видовому признаку.

Полезно напомнить, что правильным обычно является один ответ, остальные ответы - неправильные. Соответственно, дается обычная инструкция, приводившаяся ранее, в предыдущих главах.

Рассмотрим вначале примеры заданий, с помощью которых проверяется знание имен и названий:

МАТЕРИЮ КАК "КОМБИНАЦИЮ ОЩУЩЕНИЙ" ОПРЕДЕЛЯЕТ

1) Мах

2) Юм

3) Беркли

4) Авенариус

5) Спиноза

ОСНОВНЫМ СПОСОБОМ ИЗОБРАЖЕНИЯ ПЕРСОНАЖА В ПРОИЗВЕДЕНИИ ЯВЛЯЕТСЯ

1) описание

2) характеристика

3) прямая речь

4) лирические отступления

5) вставные эпизоды

В заданиях с пятью ответами используются все принципы, характерные для заданий с выбором одного правильного ответа, за исключением одного только принципа удвоенной противоположности. С пятью ответами он применяется очень редко.

Зато часто применяется принцип сочетания. Основной вид сочетаний - по два.

14. ЦЕНТР МАСС СОЛНЕЧНОЙ СИСТЕМЫ ДВИЖЕТСЯ ПО ОТНОШЕНИЮ К ЗВЕЗДАМ

1) криволинейно и равномерно

2) равномерно и прямолинейно

3) прямолинейно и ускоренно

4) ускоренно и криволинейно

5) криволинейно и замедленно

В стремлении усилить эффективность дистракторов разработчики заданий иногда прибегают к некоторым, можно сказать, хитростям. Посмотрим задание:

В СЛЕСАРНОМ ДЕЛЕ РЕЗЬБУ НАРЕЗАЮТ

1) плашками и метчиками

2) нарезным резцом и плашками

3) метчиками и резьбонакатыванием

4) резьбонакатыванием и нарезным резцом

5) резьбонакатыванием и резьбофрезерованием

Два корня "резь" в содержании задания и неоднократное повторение этого же корня в ответах должны, по замыслу разработчика, привлечь внимание незнающего именно к таким ответам, хотя правильным является совсем другой ответ; он находится под первым номером.

При разработке заданий с использованием принципа кумуляции возникает одно затруднение: для того, чтобы студент не выбирал самый многословный (а это, скорее всего, и наиболее полный ответ), иногда приходится давать ответы с избыточными, неверными понятиями, что нельзя признать полезным с точки зрения логики обучающего контроля.

Одно дело, когда ответы к заданию для итогового контроля состоят из типичных ошибок студентов и совсем другое дело, когда за создание и тиражирование ошибочных ответов, (хотелось бы подчеркнуть, для организации текущего контроля) берется сам преподаватель. Это тот самый случай, когда логика создания контрольных материалов для обучающего контроля не совпадает с логикой организации итогового контроля. В текущем контроле некоторые неверные ответы могут, все-таки, запасть в память. Поэтому ответы с избыточными неверными понятиями более уместны, вероятно, в итоговом контроле. С другой стороны, если нужно научить дифференцировать правильные ответы от неправильных, то такие задания становятся просто находкой.

Принцип градуирования проявляет себя в таких, например, заданиях:

ВНУТРЕННЮЮ ПАМЯТЬ ПЭВМ СОСТАВЛЯЮТ

1) регистры

2) регистры и ОЗУ

3) регистры, ОЗУ и ПЗУ

4) регистры, ОЗУ, ПЗУ и винчестер

5) регистры, ОЗУ, ПЗУ, винчестер и НМД

Интересным, но к сожалению многословным является следующее задание, соответствующее логической форме импликативного суждения (высказывания). Главная причина многословия в этом задании - использование двух условий, связанных с повышением номинального дохода и цены. Здесь можно увидеть противоречие между содержанием и формой. С точки зрения формы вместо двух условий лучше использовать одно. Задание при этом становится короче и, можно сказать, элегантнее. Однако два условия делают задание содержательнее и труднее, что тоже немаловажно.

ЕСЛИ НОМИНАЛЬНЫЙ ДОХОД ПОВЫСИЛСЯ НА 8%, А УРОВЕНЬ ЦЕН ВЫРОС НА 10%, ТО РЕАЛЬНЫЙ ДОХОД

1) увеличится на 18%

2) увеличится на 2%

3) останется прежним

4) снизится на 2%

5) снизится на 8%

В композиции заданий с пятью ответами довольно часто используется сочетание принципов. В одном задании первая часть ответов может строиться по принципу однородности, а вторая часть - по принципу сочетания. Например:

ВЕРХНИЙ ПОЯС ФЕРМЫ РАБОТАЕТ НА

1) изгиб

2) сжатие

3) растяжение

4) сжатие с изгибом

5) растяжение с изгибом

СТРОФА - ЭТО ГРУППА СТИХОВ, ОБЪЕДИНЕННЫХ В РИТМИЧЕСКИЙ ЦИКЛ, ПО

1) интонации

2) содержанию

3) содержанию и интонации

4) способу рифмовки и интонации

5) содержанию, способу рифмовки и интонации

Возможная сфера применения заданий с пятью ответами - это самоконтроль, текущий и итоговый контроль знаний учащихся и студентов, слушателей системы повышения квалификации, аттестация выпускников школ, вузов, училищ и других образовательных учреждений, профотбор и профориентация.

 

5. ЗАДАНИЯ ОТКРЫТОЙ ФОРМЫ

 

В заданиях открытой формы готовые ответы не даются, но в них имеется возможность дополнить тот недостающий элемент ответа, который должен свидетельствовать о требуемых знаниях. Как и в случае с выбором правильного ответа, задания открытой формы формулируются в виде утверждений, которые превращаются в истинное высказывание, если ответ правильный и в ложное высказывание, если ответ неправильный.

Рассмотрим вначале пример из курса по истории философии:

ПЕРВЫМ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ______.

Как известно, в древней Греции было много философов, но основателем философии, как научной системы, многие авторы считают Фалеса. Именно такой ответ ждет преподаватель от студента, отвечающего на задание из курса по истории философии. Другие ответы, в рамках принятого учебника, считаются неправильными. Другие примеры:

ПОСТРОЕНИЕ ПЕРСПЕКТИВЫ МЕТОДОМ КООРДИНАТ ПРЕДЛОЖИЛ__________.

ПОЛОЖИТЕЛЬНЫЙ ЗАРЯД ЯДРА ОПРЕДЕЛЯЕТСЯ ЧИСЛОМ________.

ОСНОВОПОЛОЖНИКОМ ЖАНРА СЮЖЕТНОЙ РОМАНТИЧЕСКОЙ СИМФОНИИ ЯВЛЯЕТСЯ ________.

КОЭФФИЦИЕНТ НАДЕЖНОСТИ ТЕСТА ПО ГУТТМАНУ ВЫЧИСЛЯЕТСЯ ПО ФОРМУЛЕ __________.

Создание заданий этой формы внешне выглядит довольно просто. Вначале формируется короткий и точный вопрос, что дается не сразу. Затем записывается точный и немногословный ответ к поставленному вопросу. Далее из ответа исключается ключевое слово, которое испытуемый должен дополнить. Рассмотрим два примера. Вместо вопроса из уже знакомого примера - "КТО СЧИТАЕТСЯ ПЕРВЫМ В ИСТОРИИ ГРЕЧЕСКИМ ФИЛОСОФОМ?" и полного ответа - "ПЕРВЫМ В ИСТОРИИ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ ФАЛЕС", тестовая форма позволяет то и другое объединить в одном предложении с неизвестным элементом:

ПЕРВЫМ В ИСТОРИИ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ ____________.

В случае правильного ответа утверждение (задание) становится истинным высказыванием, в случае неправильного - ложным.

К тем принципам, которые уже известны, автор добавляет несколько общих логических принципов, характерных не только для заданий открытой формы, но и других. В числе первых по важности можно назвать принцип логической определенности содержания задания.

Смысл этого принципа можно определить так: задание является логически определённым, если оно способно продуцировать у знающих учащихся бесспорно правильный ответ и если содержание и форма задания помогают организовать педагогически целесообразный мыслительный процесс для нахождения такого ответа. Под этот общий принцип подпадают почти все задания, приводимые в этой книге в качестве примеров.

Второй принцип композиции заданий в тестовой форме является вариативность (фасетность) содержания задания.

Третий принцип композиции заданий открытой формы можно назвать принципом параллельности. Этот принцип включает в себя три понятия, связанных между собой отношением кумуляции:

1) параллельность заданий (или вариантов заданий) по содержанию;

2) параллельность по содержанию и по форме;

3) параллельность по содержанию, форме и по трудности заданий.

Параллельность заданий по содержанию достигается использованием рассмотренного выше принципа фасетностй задания и применением четвертого принципа - обратимости. Рассмотрим примеры заданий открытой формы, построенных по принципу обратимости.

ОПЕРАЦИЯ НАХОЖДЕНИЯ ПРОИЗВОДНОЙ ФУНКЦИИ НАЗЫВАЕТСЯ_____________.

Теперь сформулируем обратное утверждение:

ДИФФЕРЕНЦИРОВАНИЕМ НАЗЫВАЕТСЯ ОПЕРАЦИЯ НАХОЖДЕНИЯ _______________.

При применении обратимых заданий возникает вопрос выбора лучшего варианта для итогового тестирования. В эту, казалось бы, несложную процедуру выбора полезно привнести элементы тестовой науки и разделить процедуру на два этапа. На первом обсуждаются педагогические и психологические соображения и аргументы, которые обычно используются для выбора вариантов. На втором этапе проводится, эмпирическое опробование всех вариантов на параллельных выборках, после чего выбирается то задание, которое в большей степени обладает свойствами тестового задания для данного теста.

Принцип обратимости полезно дифференцировать от тавтологии. Последняя появляется в случае, если обратимые утверждения находятся в одном тесте. Например:

ОПЕРАЦИЯ НАХОЖДЕНИЯ ПЕРВООБРАЗНОЙ НАЗЫВАЕТСЯ______________.

ИНТЕГРИРОВАНИЕМ НАЗЫВАЕТСЯ ОПЕРАЦИЯ НАХОЖДЕНИЯ_______________.

Если испытуемые хотя бы немного ориентируются в учебной дисциплине, то в случае тавтологии ответ для одного задания они найдут из содержания другого,

Посмотрим теперь на задание, построенное по принципу обратимости.

ЯДРА, ИМЕЮЩИЕ РАЗНОЕ ЧИСЛО НЕЙТРОНОВ, ОТНОСЯТСЯ К________.

К ИЗОТОПАМ ОТНОСЯТСЯ ЯДРА, ИМЕЮЩИЕ РАЗНОЕ ЧИСЛО __________.

Если теперь представить это же задание, но теперь в другой форме, сохраняя в неприкосновенности его содержание, то получится:

К ИЗОТОПАМ ОТНОСЯТСЯ ЯДРА, ИМЕЮЩИЕ ЧИСЛО НЕЙТРОНОВ

1) разное

2) одинаковое

Таким образом, из одного задания получились три, параллельных по содержанию и по форме.

До настоящего момента все элементы фасетных заданий рассматривались как одинаковые по трудности для испытуемых. Между тем, варианты заданий, параллельные по содержанию и по форме, нередко оказываются неравными по трудности. Легко предсказать неравную трудность тех заданий, содержание которых по каким - либо причинам учащиеся не усвоили, или усвоили недостаточна.

Некоторые педагоги априори считают задания открытой формы лучше заданий с выбором одного ответа из нескольких и тем самым вопрос выбора уних считается решенным. Но это мнение представляется спорным, и вот почему. Опыт автора многократно подтверждает вывод, что не все задания открытой формы в действительности оказываются лучше заданий с выбором правильного ответа.

Иногда в некоторых заданиях открытой формы имеются два и более дополняемых слов (или символов). Примеры:

26. УСКОРЕНИЕ ПРЯМО ПРОПОРЦИОНАЛЬНО ______, И ОБРАТНО ПРОПОРЦИОНАЛЬНО ________ ДАННОГО ТЕЛА.

27. СИЛЫ, С КОТОРЫМИ ВЗАИМОДЕЙСТВУЮТ ДВА ТЕЛА, РАВНЫ ПО _________ И ПРОТИВОПОЛОЖНЫ ПО_______.

Иногда дополняемые слова следуют одно за другим, и тогда смысл задания улавливается еще труднее:

28. КАНТ УСМАТРИВАЛ ОСНОВНУЮ ЗАДАЧУ ФИЛОСОФСКОГО ПОЗНАНИЯ В________ ____________ ЧЕЛОВЕЧЕСКИХ ЗНАНИЙ.

Попытки вникнуть в смысл последнего задания с двумя пропусками подряд, в течение короткого времени тестирования, мало что дадут не только среднему студенту, но даже философски подготовленному читателю, в то время как любой вариант из фасета тестового задания должен пониматься с первого чтения.

Затруднения в понимании предыдущего задания о человеческих знаниях вызваны пропуском подряд двух слов "синтезе разнообразных". Уменьшается понимаемость задания для испытуемых, вследствие чего задание начинает плохо отличать хороших студентов от плохо подготовленных. Это главная причина слабой эффективности заметной части сдвоенных заданий. Некоторые разработчики заданий иногда включают три пропуска:

30. СУЛЬФИДЫ ЖЕЛТОГО ЦВЕТА НАЗЫВАЮТСЯ ____________, СЕРОГО_________, БЕЗ МЕТАЛЛИЧЕСКОГО БЛЕСКА

Применение таких заданий требует

заранее определенного решения об оценке, такой, которая сопрягалась бы с оценками в других заданиях.

Задание в тестовой форме должно отвечать следующему - пятому принципу - логической соразмерности объема определяющего понятия объему определяемого. Примеры:

ЧЕТЫРЕХУГОЛЬНИК, У КОТОРОГО ВСЕ СТОРОНЫ РАВНЫ, НАЗЫВАЕТСЯ ромб.

ПРЯМОУГОЛЬНИК, У КОТОРОГО ВСЕ СТОРОНЫ РАВНЫ, НАЗЫВАЕТСЯ квадрат. .

Если на первое задание дается ответ "квадрат", то этим допускается ошибка несоразмерности: объем определяющего - четырехугольника - больше объема определяемого - квадрата.

Характерная особенность содержания заданий открытой формы заключается в том, что оно порождают иногда несколько правильных, но логически несоразмерных ответов, что нежелательно с точки зрения однозначной оценки и технологичности контроля.

В англоязычной методической литературе популярен такой пример:

ПЕРВЫМ ПРЕЗИДЕНТОМ США БЫЛ ________ Автор этого задания ожидал ответ "Вашингтон", но наряду с ним от некоторых испытуемых были получены и такие ответы, как "Генерал", "Мужчина", "Уроженец штата Вирджиния" и другие, которые правильно, с разных сторон характеризуют Вашингтона, но по довольно неожиданным основаниям. Полученные ответы нельзя оценить как неправильные, как их трудно и приравнять к ожидаемому правильному ответу.

Выход из подобных ситуаций подсказывает логика. Для сужения объема искомого понятия задание лучше начать со слов "Фамилия первого президента США". В задание вносится необходимое уточнение, что позволяет уменьшить объем понятия за счет уточнения содержания, после чего испытуемый дает один ожидаемый правильный ответ. Это требование соразмерности содержания задания с содержанием возможных правильных ответов

Еще одним, шестым принципом формулирования заданий в тестовой форме является краткость.

Краткость тестового задания обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смыслового содержания задания. Исключаются повторы, редко употребляемые или неизвестные знаки, символы, иностранные слова, затрудняющие восприятие смысла. Примерное количество слов в заданиях (по мнению автора) пять-семь.

Эффективный способ достижения краткости задания - это спросить о чем-нибудь одном. Часто встречающиеся случаи утяжеления заданий требованиями что-то найти, решить и затем еще и объяснить отрицательно сказываются на качестве задания и теста в целом, хотя с педагогической точки зрения легко понять причину формулирования таких заданий.

Седьмой принцип формулирования заданий открытой формы - принцип неотрицательности. В основе задания не рекомендуется использование отрицательных частиц, а также определение понятия через перечисление элементов, не входящих в него. Пример:

БАНКИ НЕ СТАВЯТСЯ НА ___________. Ожидаемый ответ здесь ассоциировался со словом "позвоночник", однако банки нельзя ставить не только на позвоночник, но и, например, на голову и на многие другие части тела.

Другой преподаватель написал такое задание:

ТОЧКОЙ НАЗЫВАЕТСЯ ТО, ЧТО НЕ ИМЕЕТ

На вопрос о том, что точка не имеет, разработчик задания ответил определением Евклида: ТОЧКОЙ НАЗЫВАЕТСЯ ТО, ЧТО НЕ ИМЕЕТ ЧАСТЕЙ. Как бы, однако, не был высок авторитет древнего ученого, в данном задании (и в определении) имеется нарушение логического правила, которое гласит: определение не должно быть отрицательным . И действительно, если испытуемые напишут, что точка не имеет веса, запаха, цвета, вкуса и много чего еще, они будут правы

Если в задании открытой формы пропускается два слова, то эти слова могут подбираться по принципу противоположности.

ПРОЦЕСС ОТДАЧИ ЭЛЕКТРОНОВ НАЗЫВАЕТСЯ окислением. А ПРОЦЕСС ПРИСОЕДИНЕНИЯ - восстановление.

Автор перечисляет основные элементы, используемые в композиции заданий открытой формы.

Инструкция для испытуемых. Тестирование с помощью заданий открытой формы начинается с инструкции "Дополнить", в соответствии с которой испытуемый на месте прочерка пишет ответ или набирает его на клавиатуре компьютера. Если задания этой формы следуют одно за другим, то инструкция пишется один раз на все задания. При этом после слова "Дополнить" лучше поставить двоеточие. Если в тесте есть задания и других форм, то инструкция повторяется после каждой перемены формы заданий.

Содержательная основа заданий. С помощью заданий открытой формы удобно проверять знание названий, фактов, свойств, признаков, дат, причинно - следственных отношений. Соответствующие примеры приводятся ниже:

ВНЕДРЕНИЕ ТВЕРДЫХ ЧАСТИЦ В ЖИДКОСТЬ НАЗЫВАЕТСЯ _____

ЧАСТЬ РЕЧИ, ОБОЗНАЧАЮЩАЯ ДЕЙСТВИЕ, НАЗЫВАЕТСЯ ________

47. ЕСЛИ ТОЧКА ЛЕЖИТ НА БИССЕКТРИСЕ, ТО ОТ СТОРОН УГЛА ОНА _______________.

Последнее задание состоит из двух частей: в первой -условие, во второй - заключение или вывод. При этом условие задается однозначно, а вывод представляется в виде переменного значения, зависящего от правильности только одного ответа из множества возможных.

Хороший способ укрупнения проверяемых единиц знаний является использование фасетов и представление содержания задания в символьном виде.

Третий элемент композиции - ответы к заданиям. Понятно, что ответы к заданиям открытой формы испытуемым не даются: последние должны найти их сами и вписать в том месте, где стоит прочерк (если контроль знаний проводится с помощью тестового бланка) или набрать ответ на клавиатуре ЭВМ (при автоматизированном контроле знаний).

Во всяком тестовом утверждении заранее определяется, что однозначно считается ответом на данный вопрос, с какой степенью полноты должен быть правильный ответ. При композиции тестового задания возможные ответы являются главными, после содержания задания, признаками, влияющими как на содержание, так и на форму той части задания, которую логики называют предпосылкой вопроса.

Ответом является дополняемое слово (знак, формула и т.п.), которое ставится в конце утверждения. Задание формулируется в виде утверждения, а не вопроса. За правильное дополнение дается один балл, за неправильное - нуль.

Хотя в большинстве случаев ответы к заданиям открытой формы испытуемые пишут преимущественно в конце задания, имеют место случаи, когда ответы необязательно стоят в конце тестового утверждения.

СОВОКУПНОСТЬ ПРОЦЕССОВ, ПРИВОДЯЩИХ СИСТЕМУ В ПЕРВОНАЧАЛЬНОЕ СОСТОЯНИЕ НАЗЫВАЕТСЯ ______ ЦИКЛОМ.

Четвертый элемент композиции заданий открытой формы - оценка, выставляемая за правильное выполнение. Обычно .используется номинальная шкала, в рамках которой за каждый правильный ответ на задания теста испытуемый получает один балл, за неправильный - ноль.

Нередко в заданиях делаются три пропуска для ответов. Естественно встает вопрос о допустимости, или лучше сказать, целесообразности трех и большего числа пропусков в заданиях открытой формы. Например:

54. ТРАПЕЦИЕЙ НАЗЫВАЕТСЯ __________, У КОТОРОГО ______ СТОРОНЫ _________, А ДВЕ ДРУГИЕ____________.

Конечно, такие задания имеют педагогическую целесообразность, как и тысячи других заданий. Но как их оценивать? Если давать по одному баллу за каждый правильный ответ, то в целом за задание испытуемый получит три балла -в три раза больше, чем в любом другом задании. Если давать по одному баллу за все три правильно дополняемых слова, то встает вопрос сопоставимости получаемых баллов за разные задания.

Переход к применяю заданий, сформулированных в форме утвердительного предложения способствует одновременному выражения содержания вопроса и ответа в логической форме суждения с переменными элементами. Замена пропуска правильным ответом превращает утверждение в истинное, а неправильным - в ложное высказывание. Это дает возможность использовать логику, информатику, кибернетику,что помогает организовать эффективный тестовый контроль знаний. Задания открытой формы применяются там, где нужно полностью исключить вероятность получения правильного ответа посредством угадывания и тем самым повысить качество педагогического измерения.

В англоязычной тестовой литературе имеется немало рекомендаций, большая часть которых рассчитана на вопросно - ответную форму заданий". Поэтому только часть имеющихся там рекомендаций оказываетеся полезной для композиции заданий - утверждений в тестовой форме. Обобщенные рекомендации для создания заданий открытой формы, по мнению автора:

- содержание задания должно быть понятным всем, без исключений, испытуемым;

- содержание задания пишется прописными буквами;

- все утверждения, по возможности, короткие;

- лучше добавлять как можно меньше слов или знаков (формул);

- добавляется что-то одно;

- добавляемое слово, для лучшего понимания, желательно ставить ближе к концу в конце задания.

 

6. ЗАДАНИЯ НА УСТАНОВЛЕНИЕ СООТВЕТСТВИЯ

 

Аванесов В.С. приводит подробный логический разбор заданий данной формы. Однако, необходимо отметить, что в зарубежной практике существуют модернизированные типы данной формы тестовых заданий, которые в отечественной практике, к сожалению не используются. Естественно, их теоретическое описание также отсутствует в нашей педагогической литературе.

В этих заданиях надо установить соответствие содержания элементов одного множества элементам другого множества. Например, в работе [3] приводится характерный пример:

УСТАНОВИТЬ СООТВЕТСТВИЕ:

АВТОРЫ 1) Бэкон 2) Кант 3) Лейбниц 4) Платон

ПРОИЗВЕДЕНИЯ А) Философия права Б) Критика чистого разума В) Монадология Г) Творческая эволюция Д) Новый органон Е) Государство

 

В приведенном примере устанавливается соответствие между элементами левого (АВТОРЫ) и правого ряда (ПРОИЗВЕДЕНИЯ). Ответы выглядит так: 1Д, 2Б, 3В, 4Е.

Задания на установление соответствия позволяют оценить так называемые ассоциативные знания, тол есть знания о взаимосвязи определений и фактов, авторов и их произведений, сущности и явлений, о соотношении между различными предметами, свойствами, законами, формулами, датами и т. п. В работе [2] совершенно справедливо отмечается , что задания на соответствие ценны тем, что позволяют проверить все перечисленные элементы именно в их взаимной связи.

Автор [3] приводит ряд заданий на установление соответствия из различных учебных дисциплин, подчеркивая инвариантность этой формы по отношению к переменному содержанию заданий:

ПОЛИТИЧЕСКОЕ ТЕЧЕНИЕ 1) Тред-юнионизм 2) Прудонизм 3) Лассальянство 4) Анархо-синдикализм	ГОСУДАРСТВО А) Франция Б) Испания В) Россия Г) США Д) Англия Е) Австро-Венгрия Ж) Германия З) Швейцария
Ответы:

 

СТЕБЛИ 1) Ползучий 2) Прямостоящий 3) Полегающий	КУЛЬТУРА А) Кукуруза Б) Свекла В) Арбуз Д) Горох
Ответы:

 

По мнению [2] основной принцип композиции заданий на установление соответствия - это принцип вариативности (фасетности). Он дает возможности замены основных элементов заданий и укрупнения проверяемой единицы знаний, активизации самостоятельной работы и исключения условий для списывания.

В отличие от заданий с выбором одного правильного ответа из нескольких, характеристическим признаком заданий этой формы является наличие не одного, а двух множеств. Соответствие в заданиях на установление соответствия устанавливается только между элементами двух множеств, в которых элементы левого столбца можно рассматривать как постоянные (константы), а правого столбца - как правильные и неправильные переменные элементы, из которых испытуемые надо выбирать только правильные ответы.

Например:

УРАВНЕНИЕ 1) Дифференциальное 2) Алгебраическое нелинейное 3) Система линейных алгебраических

МЕТОД РЕШЕНИЯ А) Половинного деления Б) Наименьших квадратов В) Крамера Г) Эйлера Д) По формуле Тэйлора Е) По формуле Симпсона

 

ХУДОЖНИКИ 1) Левицкий 2) Боровиковский 3) Тропинин 4) Рокотов

КАРТИНЫ А) "Кружевница" Б) портрет Струйской В) портрет Дашковой Г) портрет Лопухиной Д) «Екатерина П-законо-дательница» Е) портрет Ковалевой-Жемчуговой

К числу основных элементов заданий на установление соответствия автор [2, 3] относит инструкцию для испытуемых, названия двух столбцов, элементы этих столбцов вместе со номерами и буквами, номер задания, строку ответов и оценку (выставляемый балл).

Инструкция, рекомендованная автором [2, 3] ,состоит из слов "УСТАНОВИТЬ СООТВЕТСТВИЕ". Обычная- ошибка, по его мнению, допускаемая в инструкции -это стремление дополнить эти два слова различными пояснениями типа "Установить соответствие между тем-то и этим". Это можно не делать, потому что из названий столбцов видно достаточно хорошо, между чем надо устанавливать соответствие.

Названия двух столбцов (заголовки) должны относиться ко всем элементам представляемого класса.

Во время ответа испытуемый мыслит, в первую очередь, именно этими названиями и только затем начинает соотносить элементы одного столбца с элементами другого. Элементы Столбца должны полностью соответствовать названию заголовка.

Если вернуться к первому примеру, где в заголовке слева стоит слово "АВТОРЫ", то это означает, что в данном столбце перечисляются только те авторы, и только тех произведений, которые будут представлены в правом столбце.

Названия столбцов должны быть, по-возможности, короткими и точными, понятными для всех, без исключения, испытуемых, понятных с первого чтения.

Например, "УСТАНОВИТЬ СООТВЕТСТВИЕ":

ANIMAL 1) cat 2) swan 3) chicken 4)dog 5) sheep     Ответы:

SMALL ANIMAL A. puppy B. chick C. cygnet D. kitten E. cub F. baby G. lamb

Главное- это придумать точные и короткие названия столбцов.

Элементы столбцов. Элементы столбцов выражают содержание задания. Подбор этих элементов ограничен содержанием учебного плана и программы, курса. Контрольный материал, выходящий за пределы этих учебных документов, в содержание тестового контроля не включается вообще.

По мнению автора [2] одно из формальных требований, предъявляемых к заданиям на соответствие - это неодинаковое число элементов в правом и левом столбцах. Следует отметить, что существуют разновидности данной формы тестовых заданий, где это требование не обязательно. Автор [3] считает, что число элементов правого столбца примерно в два раза больше числа элементов левого столбца. Заметим, что часто в реальной практике разработки заданий это невозможно. Избыточные (правдоподобные, но неверные элементы) имеются только в правом столбце; они выполняют здесь уже рассматривавшуюся ранее роль дистракторов. Когда испытуемые отвечают на такие задания, они вначале выбирают те пары элементов, которые знают. И если бы число элементов в столбцах было одинаковым, то последнюю, неизвестную пару, они бы определили правильно, используя метод последовательного исключения. Чтобы это не случилось, число элементов справа всегда делают примерно в два раза больше числа элементов слева.

Номера и буквы используются как идентификаторы (метки) элементов. Цифры лучше писать в левом столбце, буквы - в правом, хотя могут быть случаи, когда для безошибочного восприятия контрольного материала лучше сделать наоборот. Заметим, что на практике лучше номера в левом столбце совместить с номером задания в тесте. Это более технологично и применяется в отечественной и зарубежной практике педагогического тестирования.

Номер задания, по технологии автора [3] , ставится рядом с первым заголовком задания (как отмечалось выше, данное утверждение не является наиболее технологичным). В процессе разработки теста номер задания желательно сохранять неизменным, для того чтобы не возникли ошибки при удалении неработающих заданий из тестовой заготовки. И лишь после окончания работы по созданию теста каждое задание получает новый номер.

Строка ответов помогает тестируемому сразу определить место, куда нужно заносить свои ответы. Заметим, что в практике тестирования для этого типа заданий применяется ответный лист, аналогичный применяемому в других формах заданий.

Каждому элементу левого множества соответствует один элемент из правого множества. Заметим, что существую эффективные задания данной формы, когда каждому элементу правого множества, может соответствовать несколько элементов левого множества, автор [2] не рассматривает такую модификацию заданий.

Оценка. В заданиях на установление соответствия в работе [3] описывается несколько вариантов оценки. В одном варианте оценка в один балл дается за правильное выполнение всего задания; в противном случае - ноль, даже за одну ошибку. В другом варианте дается по одному баллу за каждое правильно установленное соответствие; при этом тестируемый может набрать несколько баллов за каждое правильное соответствие. Возможен и третий вариант. Например, за все правильные ответы давать два балла, за одну допущенную ошибку снижать оценку до одного балла, за две ошибки и более - ноль баллов. Если принимается второй и третий варианты, то возникают трудности сопряжения в одном тесте баллов, полученных по заданиям этой формы, с баллами полученными по заданиям других форм.

Отметим, что если тест состоит из заданий разных форм (в большинстве случаев практики тестирования), то в нем лучше использовать первый вариант оценки: за каждое правильно выполненное задание - независимо от формы - давать один балл.

Основная сфера применения заданий на соответствие -это текущий и тематический контроль знаний. Задания на соответствие лучше применять для самоконтроля и в текущем контроле знаний. По мнению автора [3] они реже используются при входном и выходном контроле по причине их сравнительной громоздкости .Это ошибочное мнение автора, поскольку при правильной технологии задания на соответствие занимают меньше места и проверяют больший объем содержания дисциплины, чем другие формы заданий. Во многих известных зарубежных тестах такие задания применяются как для вступительных, так и для итоговых испытаний.

7. ЗАДАНИЯ НА УСТАНОВЛЕНИЕ ПРАВИЛЬНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ

 

Задания на установление правильной последовательности в зарубежной педагогической литературе не выделяются в отдельный тип. Задания такого типа являются составной частью других форм, например закрытой формы. Однако, Аванесов В.С. выделил в своих трудах [3] задания на установление правильной последовательности в отдельную форму.

Такие задания, по мнению автора, позволяют проверить алгоритмические знания, умения и навыки, необходимые для установления правильной последовательности различных действий, операций, расчетов. Роль алгоритмов правильной и эффективной деятельности важна на всех этапах обучения. Они особенно необходимы на заключительных этапах профессиональной подготовки.

Задания на установление правильной последовательности позволяют контролировать текущий процесс профессионального обучения и вносить в него изменения, способствующие качеству подготовки специалистов.

Автор рассматривает несколько примеров правильных последовательностей:

· последовательность исторических событий;

· последовательность технологических действий и операций.

· последовательность различных процессов и четвертый

· цепочки умственных действий, образующих систему знаний, умений и навыков.

Автор приводит пример такого типа задания из истории. Знание истории - это не только знание отдельных фактов, но, в первую очередь, знание исторического процесса, в котором изучаемые факты упорядочены по времени.

УСТАНОВИТЬ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ

1. СОБЫТИЯ ФЕВРАЛЯ - ОКТЯБРЯ 1917 г.

q VI съезд РСДРП (б)

q отречение царя Николая II

q приезд Ленина

q создание Петроградского совета

q взятие Зимнего дворца

q корниловский мятеж

q ликвидация двоевластия

q II съезд Советов

 

Автор предлагает тестируемому ставить цифры рангов в прямоугольниках, стоящих слева перед каждым элементом задания.

Заметим, что это же самое задание может быть составлено в форме с несколькими вариантами ответов (закрытой форме).

По мнению автора [3] задания на установление правильной последовательности получают поддержку у преподавателей выпускающих кафедр вузов, что объясняется важной ролью алгоритмов в профессиональной деятельности. Цель введения таких заданий в учебный процесс - формирование алгоритмического мышления и алгоритмических знаний, умений и навыков. Алгоритмическое мышление определяется автором как интеллектуальную способность, проявляющуюся в определении наилучшей последовательности действий при решении задачи. Характерный пример проявления такого мышления -разработка самой короткой и эффективной программы для компьютера.

Задания на установление правильной последовательности, по мнению автора, состоят из элементов:

1. Инструкция для испытуемого, в которой всего три слова - "Установить правильную последовательность". Эта инструкция сопровождается примером и пояснениями - как надо отвечать на задания этой формы. Для заданий одной формы, при контроле с помощью бланков, инструкцию перед каждым заданием можно не повторять.

2. Название задания, из которого тестируемый узнает, о чем его спрашивают и знание (или умение) чего он должен продемонстрировать. Ключевое слово в названии задания лучше писать в именительном падеже.

3. Содержание задания, которое включает в себя название и ранжируемые элементы деятельности или определения.

4. Место для ответов - это прямоугольники, нарисованные слева, против названия каждого элемента. В них нужно проставить соответствующие цифры (ранги). Получив задание, Студент анализирует все события и на основе имеющихся у него знаний начинает строить последовательность, ставя ранги в прямоугольники против названия элементов. Если контроль знаний проводится с помощью ЭВМ, то на экране монитора к месту для ответов студент двигается с помощью клавиш управления курсором.

5. Оценка за выполнение каждого задания может варьировать в зависимости от его важности и трудности. Чаще всего, однако, используется дихотомическая оценка 1/0, при которой один балл дается за правильную расстановку всех рангов в задании, ноль - при ошибке в ответе.

Помимо проверки знаний алгоритмов деятельности и знаний основных понятий, задания на установление правильной последовательности могут разрабатываться для контроля знаний основных законов, закономерностей, принципов, правил и т.п. любой изучаемой учебной дисциплины.

Помимо контроля, задания на установление правильной | последовательности используются в профессиональном обучении, в котором большое место занимает обучение на тренажерах, макетах, моделях, тренировка по сборке и разборке частей машин и оборудования. Эффективность такого обучения доказана уже давно и многократно, что породило в наше 'время своеобразное движение в пользу широкого использования таких форм активного обучения, как анализ проблемных ситуаций и деловые игры.

Существенной особенностью учебной деятельности является субъективная новизна объективно не новых профессиональных действий. Эти действия вместе с условиями их эффективного выполнения уже известны профессионалам и потому педагогическая задача здесь сводится к поиску таких форм организации учебного процесса, в которых становление профессионала протекало бы как можно лучше и быстрее.

Задания на установление правильной последовательности применяются для реализации двух функций тестов - контролирующей и обучающей.

Автор рассматривает проблему сравнительной ценности всех четырех форм тестовых заданий. Каждая форма проверяет определенные виды знаний, имеет свои достоинства и недостатки, и потому выбор во многом зависит от учебной дисциплины, от цели создания и применения тестов, от ориентации на ручную или машинную обработку данных и даже от приверженности разработчика к той или иной теории тестов. Выбор формы заданий - процесс творческий, как и культурное применение тестов.

 

СОДЕРЖАНИЕ ТЕСТА И ТЕСТОВЫХ ЗАДАНИЙ

Большой вклад внес проф. Аванесов В.С. в проблему отбора содержания для тестовых заданий.

В работе [2] он считает, что разработку тестовых заданий только тогда можно признать успешной, когда содержание заданий органично соединяется с формой.

Нельзя не согласится с автором, что анализ теста и тестовых заданий преподаватель и тестолог ведут в разной последовательности. Преподаватель в первую очередь оценивает содержание, в то время как тестолог вначале оценивает форму и тестологические характеристики заданий - такие как мера (уровень) трудности, коррелируемость ответов испытуемых в заданиях с ответами по критерию, эффективность задания, проверяет надежность и определяет меру валидности теста в целом. И только после подтверждения искомых характеристик тестолог начинает обсуждать содержание тех заданий, которые обладают интересующими тестологическими свойствами; нетестовые задания (какого бы то ни было содержания) его могут заинтересовать только с точки зрения возможной переработки в задания тестовой формы.

Соответственно, анализ содержания обычно относится к компетенции авторов, в то время как анализ форм заданий - один из ключевых вопросов общей теории тестов, которую для точности, по мнению автора, лучше назвать педагогической тестологией.

Под тестологией автор понимает прикладную науку о педагогических тестах, методах их разработки и эффективного применения. Общие принципы разработки формы тестовых заданий рассматриваются в тестологии как важный предмет исследования, в то время как содержание, будучи не менее важным компонентом хорошего теста, относится все же не столько к тестологии, сколько к той науке, знание которой проверяется.

Тем не менее, в определении содержания теста есть вопросы, относящиеся к тестологии: - это определение содержания теста, отображение содержания учебной дисциплины в содержании теста, классификации видов знаний и, наконец, формулирование основных принципов такого отображения

Содержание теста можно определить как оптимальное отображение содержания учебной дисциплины (учебных элементов) в системе тестовых заданий. Содержание теста меняется в зависимости от объема изучаемой учебной дисциплины и от типа теста.

Гомогенный тест измеряет знание по одной учебной дисциплине и его задания охватывают содержание только этой дисциплины.

Гетерогенный включает в себя несколько гомогенных тестов в то время как интегративный тест состоит из таких заданий, что ответы на каждое из них требует знания нескольких учебных дисциплин. В соответствии с этим, содержание гомогенного теста включает в себя знание только одной учебной дисциплины. Содержание гетерогенного теста охватывает знания по нескольким дисциплинам; таким образом, в гетерогенном тесте содержится несколько гомогенных тестов. Содержание итегративного теста охватывает содержание нескольких учебных дисциплин в каждом отдельном задании.

Чем полнее отображение, тем увереннее можно говорить о так называемой содержательной валидности теста. Тест не может быть пригодным дм измерения любых знаний, в любое время и в любом месте. Каждый тест создается для достижения конкретной цели и потому он в первую очередь валиден (пригоден) для измерения знаний по той дисциплине и тех учащихся, для которых он создавался.

Стремление к повышению валидности теста путем расширения числа тем, разделов учебной дисциплины и, соответственно, увеличения числа заданий в тесте нельзя, в принципе, признать рациональным. Нет таких тестов, содержание которых вбирало бы в себя все содержание учебной дисциплины. При создании теста обычно ставится задача отобразить в нем то основное, что учащиеся и студенты должны знать и уметь в результате изучения курса. Содержание учебной дисциплины всегда шире содержания тестовых заданий. Не обязательно требовать, чтобы все основные знания, навыки и представления входили в тест; некоторые из них заметно связаны между собой, иногда перекрывают друг друга по содержанию и потому могут замещаться.

Требование оптимальности подводит к необходимости уточнения содержания учебной дисциплины и тестовых заданий, в состав которых обычно входит известная из старой педагогики триада так называемых ЗУНов - знаний, умений и навыков. Установка на усвоение знаний, умений и навыков является следствием, с одной стороны, технократизации педагогического сознания, а с другой - традиционного информационно - объяснительного подхода к построению содержания образования. Преодолению ограниченности такого сознания может способствовать включение в содержание учебных дисциплин овладение опытом учебной и практической деятельности, эмоционально - ценностное отношение к людям и окружающему предметному миру, представления. Учитывая трудности педагогического измерения отмеченных компонентов, к отмеченной триаде добавим представления -мыслимые образы предметов, образы, которые в некоторых случаях могут быть ближе к действительности, чем ряд абстрактных понятий.

Автор замечает, что представления сейчас мало или почти не отражаются в учебных планах и программах. Между тем, в условиях быстро изменяющегося и обновляющегося образования прочное знание всего материала учебной дисциплины становится малореальным и трудным делом. Если к тому же добавить, что так называемые "остаточные знания" у студентов спустя год после сдачи экзамена редко превышают 15 %, то возникает вопрос - а знания ли это вообще и не лучше ли некоторые учебные материалы давать в виде представлений, которые могут быть забыты, но затем, в нужный момент, учащийся можно превратить их в знания самостоятельно? Вспомним А. Дистервега: не следует прочно изучать то, что может быть легко забыто. Представления решают важную задачу ориентации в мире знаний, а это иной раз не менее важно, чем обладать теми или иными частными знаниями. Тем не менее, представления не заменяют знания, а дополняет их, в той мере, в какой требует хорошо организованный учебный процесс.

В тестовом задании внимание преподавателя привлекает, в первую очередь, содержание и форма. Содержание определяется как отображение фрагмента учебной дисциплины в тестовой форме, форма - как способ связи, упорядочения элементов задания.

Отображение содержания образования в содержании тестов проводится посредством выделения основных единиц учебного материала, формирования на этой основе т. н. укрупненных дидактических единиц³. Эти единицы используются далее в двух различных формах: материала для обучения и материала для контроля. Выделение собственно контрольного материала из общей совокупности дидактических средств является необходимой и нормальной для науки формой исследования интересующего предмета. В работе, целиком посвященной вопросу тестирования, абстракция такого рода необходима.

Содержание теста связывает два начала: научное и учебное. Научное начало отражает процесс развития науки и ее применимость; учебное - обусловливает все то, что формирует систему знания. Научное начало составляет содержание теста в виде основных компонентов: фактический материал, отражающий признаки и свойства предметов, явлений; обобщенные результаты общественно-исторического познания мира - понятия, законы, принципы, основные мировоззренческие понятия, идеи, ведущие научные теории и др. В содержание учебных дисциплин включены и познавательные задания, направленные как на усвоение знаний, таки на интеллектуальное развитие учащихся.

Не все изучаемые знания являются научными. Помимо них, существует пласты донаучных и вненаучных знаний. Главным критерием отличия донаучных знаний от научных является мера их обоснованности; чем выше обоснованность, тем больше знания претендуют на научность. Вненаучные знания отличаются от научных способами получения, хранения и передачи. Научные способы обеспечивают сравнительно большую надежность, валидность и объективность знаний. В наибольшей степени всем этим трем критериям отвечает тестовый метод получения знаний о знаниях испытуемых.

Знание можно разделить на объективное и на субъективное. Если объективно истинное знание репродуцируется через субъективно правильное выполнение задания, и оно однозначно оценивается экспертами как истинное, то тем самым достигается одна из важнейших целей общественного образования - формирование знаний у подрастающих поколений.

При тестировании выявляется как знание, так и незнание, что достигается посредством системы заданий, нацеленных на выявление знаний.

Автор отмечает, что педагогическая наука, имеющая одним из своих основных предметов исследования закономерности процесса формирования знаний, феноменом самих знаний занималась значительно меньше, чем философия и психология, а в учебниках педагогики последних лет о знаниях, не говоря уже об измерениях знаний, долгое время ничего не писалось. Между тем, знание характеризует одну из важнейших целей обучения: знание определяет и указывает

Учебные знания, которые находятся лишь на начальной ступени научного познания, упорядочены, соподчинены, выражены доступным для учащихся языком и, наконец, представлены в учебных текстах и во множестве заданий, сопровождающих учебный процесс. Для решения задач педагогического измерения плодотворно еще одно определение знания: это объективно и субъективно достаточное признание истинности суждения. Знание, проявляемое в ответе на конкретное задание теста, можно рассматривать как логическое суждение.

К наиболее известным в мировой литературе классификациям знаний и способностей B.S. Bloom и R.M. Gagne (Bloom, В. S. et. al. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook 1: Cognitive Domain. N-Y, David McKay Co. 1956. Gagne, R.M. The Conditions of Learning. 3 ed. Holt, Rinehart and Winston, N-Y. 1977.) автор добавляет свой перечень видов знаний, который сформулирован исключительно для решения задач педагогического измерения:

1) знание названий, имен;

2) знание смысла названий и имен;

3) фактуальные знания;

4) знание определений;

5) сравнительные, сопоставительные знания;

6) классификационные знания;

7) Знание противоположностей, противоречий, синонимичных и антонимичных объектов;

8) ассоциативные знания;

9) причинные знания, знания причинно-следственных отношений, знание оснований, принципов классификации;

10) процессуальные, алгоритмические, процедурные знания;

11) технологические знания;

12) обобщенные, системные знания;

13) оценочные знания;

14) вероятностные знания;

15) абстрактные знания;

16) структурные знания.

17) методологические знания

Заметим, что перечисленные автором виды знаний не образуют пока полной классификационной системы и потому допускают возможность заметного расширения представленной номенклатуры, замены одних видов знаний другими, объединения их в различные группы.

По мнению автора, с точки зрения педагогических измерений полезно ввести два основных показателя качества знаний - уровень и структура знаний. В качестве показателя уровня знаний может рассматриваться тестовый балл учащихся, который является результатом использования тестового метода.

Преимущество тестового метода проверки знаний перед другими состоит в том, что он позволяет выявить и количественно оценить сразу и знание, и незнание, а иногда и антизнание. Формой представления индивидуальной структуры знания и незнания является профиль, представляемый последовательностью единиц и нулей, получаемых каждым студентом. Формой представления групповой структуры является матрица. Основной метод выявления структуры знания и незнания - многомерный статистический анализ данных. Антизнание проявляется в случаях, когда выявляемые элементы подготовленности оказываются противоположными знаниям.

Если тестовый балл ниже требуемого уровняв измеряемого критерия, то проявленные при этом знания, умения, навыки и представления указывают на докритериальный уровень подготовленности испытуемого. Этот уровень является самым распространенным и массовым. Для многих он оказывается вполне преодолимым по мере изучения ими наук и овладения мастерством. Однако некоторые, преимущественно в силу недостатка способностей и прилежания; так и остаются на этом уровне.

В западной литературе различают два подхода к интерпретации тестовых результатов: нормативно - ориентированный и критериально - ориентированный. Соответственно пишут и о наличии таких же тестов, однако вопрос о методологии создания таких тестов остается, по мнению Аванесова достаточно спорным, хотя различия в интерпретации действительно существуют. Примером критериально - ориентированного подхода в создании тестов и интерпретации результатов могут стать создаваемые сейчас средства оценки минимального уровня подготовленности выпускников образовательных учреждений в соответствии с требованиями государственных стандартов.

В качестве одного из лучших показателей структуры знаний автор предлагает использовать профиль знаний испытуемого. Профиль знаний представляет собой упорядоченный набор оценок (вектор-строку) в матрице тестовых результатов.

Профиль и соответственно структура знаний называются правильными, если все нули следуют за всеми единицами; в других случаях получаются инвертированные профили знаний, инвертированные в той или иной степени.

Принципы отбора содержания тестовых заданий

 

В работе [3] автор сформулировал принципы отбора содержания тестового материала:

Значимость. Этот принцип указывает на необходимость включения в тест только тех элементов знания, которые можно отнести к наиболее важным, ключевым, без которых знания становятся неполными, с многочисленными пробелами. Такие элементы знания ввиду их важности можно назвать структурными элементами. В тест, следовательно, нужно включать только те материалы, которые выполняют роль таких элементов в индивидуальном знании.

Научная достоверность. В тест включается только то содержание учебной дисциплины, которое является объективно истинным и поддается некоторой рациональной аргументации. Соответственно, все спорные точки зрения, вполне нормальные в науке, не рекомендуется включать в тестовые задания. Суть тестовых заданий заключается как раз в том, что они требуют четкого, заранее известного преподавателям ответа, признанного ими в процессе разработки заданий объективно истинным.

Соответствие содержания теста уровню современного состояния науки. Этот принцип вытекает из естественной необходимости готовить специалистов и проверять их знания на современном материале. Трудность в реализации этого принципа заключается в опосредованное связи содержания теста с уровнем развития науки и с содержанием учебной дисциплины.

Репрезентативность. В тест не только включаются значимые элементы содержания, но обращается внимание также на полноту и их достаточность для контроля. В самом деле, можно взять пять-шесть элементов и проверить по ним знания студентов. Но где уверенность, что студент знает и другие важные элементы содержания учебной дисциплины? Путь к появлению такой уверенности лежит в наиболее полном отображении необходимого знания в заданиях теста. Репрезентативность не означает обязательного включения в тест всех значимых элементов содержания. Ведь многие из них явно связаны между собой в общей структуре знаний, включены один в другой полностью или частично. Кроме того, много элементов в структуре знаний иерархически соподчинены. Этому принципу соответствуют основные задания, которые лучше называть структурными.

Возрастающая трудность учебного материала. Этот принцип означает, что каждый учебный элемент в процессе контроля обладает некоторой усредненной, для студентов, мерой трудности, на которую и ориентируются преподаватели. Практически все учебники и пособия построены по принципу возрастающей трудности, особенно в тех науках, которые построены по так называемому автором кумулятивному принципу. В таких учебных дисциплинах, как логика, математика, иностранные языки, статистика, философия и др., знание последующих элементов курса жестко зависит от знания предыдущих учебных элементов. Поэтому изучать такие дисциплины можно только с самого начала, и без пробелов. Трудному содержанию обычно соответствуют и трудные задания. Студент, правильно отвечающий на трудные задания, с большой вероятностью отвечает правильно и на легкие задания.

Вариативность содержания. Содержание теста не может оставаться неизменным и независимым от развития науки, научно - технического прогресса, от нового содержания учебной дисциплины и от новых учебников. По мере изменения содержания учебной дисциплины должно варьироваться и содержание теста. При этом принимается во внимание контингент испытуемых. Если тестируется слабая по подготовленности группа студентов, то оказывается, что трудные задания теста просто не работают ни один студент правильно ответить на них не может и потому из дальнейшей обработки и интерпретации тестовых данных эти задания изымаются. В адаптивных контролирующих системах они не предлагаются.

Содержание теста для слабых студентов будет заметно отличаться от содержания теста для сильных студентов; у последних, наоборот, не работают легкие задания, так как на них все отвечают правильно. Таким образом, в содержании теста для разных групп имеются вариантная и инвариантная части. Аналогичные части появляются в тесте для студентов, изучающих одну и ту же учебную дисциплину при различающемся числе часов. Соответствующие изменения в содержание теста вносятся для того, чтобы лучше, репрезентативнее, отобразить в нем вариативное содержание учебной дисциплины.

Системность содержания. Это означает подбор такого содержания тестовых заданий, который отвечал бы требованиям системности знаний. Помимо подбора заданий с системным содержанием важно иметь задания, связанные между собой общей структурой знаний. Это возможно только в тех случаях, когда задания теста связаны с общей факторной структурой знаний. Такая связь определяется методами факторного анализа.

Комплексность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы, даже если эта тема является самой ключевой в учебной дисциплине. Необходимо искать задания, комплексно отображающие основные, если не все, темы учебного курса. В то же время существует стремление сбалансировано отобразить в тесте основной теоретический материал - понятия, законы и закономерности, гипотезы, факты, структурные компоненты теории вместе с методами научной и практической деятельности, с умениями эффективно решать типовые профессиональные задания. Такие задания сравнительно легко могут трансформироваться в форму тестовых заданий на установление соответствия или правильной последовательности, превращаясь, таким образом, в дидактическую модель, используемую одинаково успешно и для контроля, и для обучения.

Взаимосвязь содержания и формы. При рассмотрении этого общего диалектического принципа применительно к тестам невольно возникает ассоциация с искусством. Настоящее искусство представляет собой, по словам Гегеля, законченное внутри себя соединение содержания с вполне соответствующей ему формой. Точно так же и настоящий педагогический тест можно охарактеризовать как результат взаимовлияния содержания заданий с наиболее подходящей формой. При этом в отличие от широко распространенного философского истолкования активности содержания и пассивности формы тестовую форму надо рассматривать вместе с содержанием как активную сторону их взаимодействия.

Уже на стадии замысла содержание задания начинает обретать свою форму. Несоответствие задания одной из четырех форм допускает возможность только двух правильных суждений: или это не тестовое задание, или используется какая-то новая неисследованная форма при условии, что группа известных форм определена. Не всякое содержание поддается представлению в форме тестового задания. Доказательства, обширные вычисления, многословные описания трудно выражаются, а то и совсем не выражаются в тестовой форме.

Тестирование является одной из наиболее технологичных форм проведения автоматизированного контроля с управляемыми параметрами качества. В этом смысле ни одна из известных форм контроля знаний студентов с тестированием сравниться не может. Но и абсолютизировать возможности тестовой формы нет никаких оснований. Да и вряд ли есть хотя бы одна какая-то форма, которая могла бы выразить все богатство содержания.

В отличие от философской традиции рассмотрения формы через призму содержания, в теории тестов дело обстоит, можно сказать, наоборот: содержание контроля по каждой учебной дисциплине рассматривается сквозь призму подходящей формы. При этом содержание теста надо относить к теории той или иной учебной дисциплины, в то время как поиск наилучшей формы для выражения содержания является предметом теории тестов.

Содержание задания находится в диалектической связи с формой. Первое, как справедливо отмечается философами, не может существовать без формы. В свою очередь, содержание приобретает определенность благодаря форме. Одновременно форма является способом существования и сохранения содержания задания. Вне тестовой формы могут храниться только идеи тех или иных заданий. Реализация идеи посредством содержания всегда протекает в активном взаимодействии с той или иной формой. Часто бывает так, что какое-то содержание можно выразить в одной форме и нельзя в другой. В некоторых случаях одно и то же содержание задания можно выразить разными формами.

И, наконец, при правильном отборе контрольного материала содержание теста может быть использовано не только для контроля, но и для обучения. Использование тестовых заданий в автоматизированных контрольно-обучающих программах позволяет студенту самостоятельно обнаруживать пробелы в структуре своих знаний и принимать меры для их ликвидации. В таких случаях можно говорить о значительном обучающем потенциале тестовых заданий, использование которого станет одним из эффективных направлений практической реализации принципа единства и взаимосвязи обучения и контроля.

Содержание теста зависит от цели проверки. Если нужно отобрать небольшое число самых подготовленных студентов, скажем, на олимпиаду, то ясно, что задания должны быть трудные, ибо только с помощью таких заданий можно отобрать лучших. Если же, наоборот, требуется отсеять самых слабых, то сделать это лучше с помощью сравнительно легких заданий; те, кто не выполнят эти задания, и есть самые слабые. При необходимости оценить студентов во всем диапазоне знания - от низшего до высшего, в тест придется включать задания и легкие, и средние, и трудные.

 

Литература

 

1. Аванесов В.С. Основы научной организации педаго­ги­чес­ко­го контроля в высшей школе. Учебное пособие. - М.: Исследователь­ский центр, 1989 - 167 с.

2. Аванесов В.С. Теоретические основы разработки заданий в тестовой форме. Пособие. - М.: Исследовательский центр, 1995 - 96с.

3. Аванесов В.С. Композиция тестовых заданий. - М.: Ассоциация инженеров-педагогов, 1996. - 191 с.