Процесс накопления эмпирических данных о содержании и правилах проверки ответов является необходимым этапом создания интеллектуальных систем компьютерного тестирования. Нужной для педагога оперативностью подготовки тестов и прозрачностью механизмов проверки обладают технологии логических моделей (ЛМ) ответов. В основе такой автоматизированной проверки лежат представления составителя теста о логической правильности возможных последовательностей ключевых слов (КС) текстового ответа для текущего задания. В иерархии ЛМ позиций слов для специально созданной речевой ситуации "задание-ответ" составитель теста воплощает свой опыт и свои знания о содержании и методике преподавания дисциплины, знания педагогики, психологии, логики, лингвистики, теории вероятности и статистики.

Более конкретно объяснить механизмы проверки по ЛМ можно на примере описания работы созданного автором пакета программ обучения и контроля ЭЛИС (эрудиция, логика, интуиция, смекалка). В этой инструментальной системе основные виды (по способам построения формализованных моделей) ответов на задания компьютерного теста представлены в одной экранной форме в следующем составе: а) выборочный ответ (ВО); б) проявляющийся ответ (ПО), восстанавливаемый угадыванием букв; в) координатный ответ по рисунку (КО); г) свободный письменный ответ (СПО). Все виды ответов в компьютерном тесте имеют общую природу: это связанные логическими отношениями конечные (для текущего состояния знаний о предмете) множества элементов. Только для ВО они предъявляются в задании, а правильный текстовый ответ в виде последовательности символов является обязательным эквивалентом и этапом проверки всех видов ответов.

Каждое описание элемента ЛМ подразумеваемых ответов может быть представлено в виде логической (управляющей) и фактической (ключевое слово) частей, что образует хорошо обозримые и удобно читаемые составителем тестов таблицы ввода проверочных данных. КС (последовательность символов ASCII) служит для определения позиций слов в проверяемом ответе. В управляющей части размещаются номера групп, номера слов, дистанция, длина и позиция слов в проверяемом тексте. В проверочных ЛМ СПО слова и группы нумеруются в прямом и обратном порядке. Порядок номеров управляет проверкой, проверяется последовательное или произвольное размещение групп и слов в ответе. В пределах одной ЛМ можно образовывать прямой и обратный порядок, сохраняя лишь непрерывность нумерации. Если слово слитно, оно создает условие порядка независимо от порядка номеров слов. Группы объединяют КС, образуя пополняемые словари. Позициями КС могут быть номера вариантов для ВО, номера букв для ПО, координаты на рисунке и позиция первой буквы КС в СПО. Слова ЛМ ВО, ПО, КО связаны отношениями строгой дизъюнкции, иногда конъюнкции. Слова ЛМ СПО с разными номерами соответствуют отношению конъюнкции, слова с одинаковыми номерами – нестрогой дизъюнкции. Ответ считается верным, если найдены в соответствии с логикой позиций по всем параметрам проверочной таблицы все пронумерованные слова или их синонимы. Слова и группы с нулевым номером имеют статус отрицания для определения неправильности ответа по текущей ЛМ.

В случае сложных ответов проверка осуществляется по нескольким моделям, находящимся в отношениях нестрогой дизъюнкции, конъюнкции или отрицания. Если для ВО, ПО, КО осуществляется точная проверка, то для СПО мы можем говорить лишь о высокой вероятности определения правильных и неправильных ответов за счет мощности проверки. Например, проверка по иерархической системе ЛМ из 20 КС, выполняемая за доли секунды, соответствует ситуации прямой проверки не менее миллиона возможных комбинаций позиций слов с учетом их включения или не включения в ответ. При обнаружении компьютерной системой тестирования случаев неправильного распознавания по ЛМ правильного ответа составитель теста уточняет формулировки заданий или усложняет логические модели проверки СПО.

обсудить на форуме написать автору

Сервер поддерживается фирмой НПП "БИТ про" и Московским центром Федерации Интернет Образования