Эффективность применения инструментального программного комплекса для построения интеллектуальных тестирующих систем

Эффективность применения инструментального программного комплекса для построения интеллектуальных тестирующих систем. В современных условиях наряду с традиционным обучением широко используется электронное.

Существует большое количество разнообразных компьютерных средств обучения (КСО). Основной способ контроля знаний в КСО – тестирование.

Тесты используются не только для измерения учебных достижений, но и для обучения, тренировки, повышения мотивации обучения и т.п. Тестирующие системы (ТС) входят в состав КСО и используются автономно.

Модель традиционной ТС может быть представлена структурой тестирующей системы, множеством сценариев тестирования, реализованных в ТС, и множеством данных, необходимых для работы системы и генерируемых системой.

Основными недостатками указанной модели являются отсутствие механизма автоматического создания тестовых заданий, «жесткая» база заданий, ограниченное число тестовых вопросов, что влечет за собой сложность индивидуализации обучения и адаптации к испытуемому.

Один из путей решения этой задачи авторы данной работы видят в интеллектуализации тестирующих систем [1]. Интеллектуальными называют системы, ядром которых являются базы знаний или модель предметной области, описанные на языке представления знаний, приближенного к естественному.

Применяются интеллектуальные системы для решения сложных задач, где основная сложность решения связана с использованием слабо формализованных знаний специалистов-практиков и логическая (или символьная) обработка превалирует над вычислительной. Именно в состав этой группы задач входит задача автоматической генерации тестовых заданий. В ряде работ (в т.ч. [2]) излагаются модели КСО, включающие генерацию ТЗ, но механизмы генерации при этом не рассматриваются.

На кафедре Автоматики и вычислительной техники Вологодского государственного технического университета (ВоГТУ) в течение ряда лет проводятся работы по программной реализации систем тестирования и их апробации на студенческой среде. Основными принципами построения интеллектуальных тестирующих систем ИТС являются:  автоматическая генерация на основе предложенного авторами метода (наиболее подробно изложен в [3]) произвольных множеств тестовых заданий в соответствии с заданной моделью обучения;  точная формализация порождаемых множеств вопросов путем описания их соответствующими формальными грамматиками;  автоматическое предъявление в динамике сгенерированных вопросов в соответствии с моделью тестирования.

Выделение инструментального интеллектуального программного комплекса (ИИПК) в самостоятельный модуль позволило использовать его и автономно и как компонент другой системы (тестирующей или обучающей, в том числе сетевых и Интернет версий). Обязательными элементами структуры ИИПК являются редактор грамматик, формирователь структуры теста, блок генерации вопросов по грамматикам и генератор теста.

Редактор грамматик предназначен для создания и редактирования файлов с контекстно-свободными грамматиками (КСГ), добавления и удаления КСГ, пополнения списка дисциплин и т.п. Формирователь структуры теста предназначен для определения типов и количества заданий каждого типа включаемых в конкретный тест. При определении типов заданий указываются также имена файлов, в которых записаны сформированные ранее КСГ. Блок генерации тестовых заданий решает проблему преобразования КСГ в тестовое задание и записи этого задания в выходной файл. Выходная информация может выводиться как в текстовый файл (для бланкового тестирования), так и в ТС (в этом случае тестовые задания генерируются и предъявляются в динамическом режиме). Для количественной оценки эффективности применения ИИПК, использующей метод генерации тестовых заданий, был проведен ряд экспериментов по хронометрированию процессов тестирования.

Для выяснения процентного соотношения между работами 1) по созданию теста и 2) собственно тестированию и оцениванию было составлено 360 заданий (18 вариантов по 20 вопросов) по дисциплине «Информационные технологии» представляющих собой вопросы с выбором ответа «одного из многих» или «с открытой формой ответа» и простые вычислительные задачи. Тесты выполнялись группой студентов среднетехнического факультета.

Форма тестирования – бланковое Время тестирования в два раза превышает выполнение варианта теста экспертом.

Качество теста удовлетворительное. Полученные результаты показывают, что затраты на подготовку тестовых заданий и формирование вариантов теста превышает 90 от общей трудоемкости (уже при составлении всего двух параллельных форм). Эксперименты по созданию заданий с помощью ИИПК (по дисциплинам «Интеллектуальные системы управления», «Метрология» и некоторым другим) подтвердили гарантированное снижение трудоемкости подготовительного этапа на 10% уже при составлении 5 параллельных вариантов тестов.

Таким образом, проведенные исследования убедительно доказывают целесообразность и эффективность интеллектуализации тестирующих и обучающих систем. 3.