СИСТЕМА АВТОМАТИЗАЦИИ ТЕСТИРОВАНИЯ ЗНАНИЙ

© М.ОКорлякова, Н.В.Базылева
© Государственный музей истории космонавтики им. К.Э. Циолковского, г. Калуга
Секция "К.Э. Циолковский и проблемы образования"
2003 г.

Ассоциативное тестирование представляет собой проверку знаний, при которой экзаменуемому предлагается список семантически взаимосвязанных терминов и несколько случайно выбранных понятий, не связанных с остальными. В основе подхода лежит идея организации словаря терминов как тезауруса, который представляет собой набор слов, связанных попарно весовыми коэффициентами, характеризующими степень их близости друг к другу. Весовые коэффициенты задает преподаватель из интервала [0,1].

Для автоматизации наполнения словаря разработаны алгоритмы выделения ключевых фраз: анализ одного текста и коллекции текстов. В первом случае выделяются повторяющиеся слова, используя которые гипотетически строим ключевые фразы и проверяем их фразы с помощью функции принадлежности, построенной в рамках экспертной оболочки «Аргонавт». Результирующая нечеткая оценка позволяет выстроить ключевые фразы в порядке возможности их существования. В процессе анализа коллекции текстов после поиска повторяющихся слов каждое слово предложений текстов сравнивается с ключевыми словами и при их совпадении заносится в фразу. Затем начало и конец предложения проверяются на содержание ключевых слов и, если таковые имеются, добавляются соответственно в начало или конец фразы.

В процессе подготовки теста все множество терминов разбивается на группы (кластеры), внутри которых они семантически связаны.

Список понятий теста состоит из терминов, принадлежащих одному кластеру, и случайно выбранных терминов, не принадлежащих кластеру, количество которых составляет 1/3 от числа всех терминов списка.

Тестируемый должен определить общую смысловую нагрузку и удалить не соответствующие ей термины. Качество ответов определяется, исходя из оценки отклонения коэффициентов связи от границы кластера.

В процессе тестирования была опрошена группа студентов. Ответы оценили с помощью эксперта и в подсистеме проведения теста. Результирующие оценки различались не более чем на 6%. Без применения системы затраты времени учителя оказались значительно выше.

Разработанная система автоматизации тестирования обеспечивает следующие функциональные и технические характеристики:

- представление знаний о предметной области в виде онтологии;

- статистическая обработка результатов анализа текстов;

- ограничение доступа к системе в процессе работы;

- доступный интерфейс и наличие краткой справки о программе;

- приложение реализовано под операционную систему Windows 95 и выше.