ИТО-2008 / Секция IX : только публикация 

ВЕРОЯТНОСТНЫЕ ОЦЕНКИ УРОВНЯ ЗНАНИЙ УЧАЩИХСЯ

Лихтциндер Борис Яковлевич, Пугин Владимир Владимирович, Татаринова Наталья Михайловна

Поволжский Государственный Университет Телекоммуникаций и Информатики (ПГУТИ), г. Самара

Предложенная вероятностная модель тестирования обеспечивает наиболее объективный подход к оценке уровня знаний. Адаптивность процесса тестирования достигается за счёт применения метода направленного тестирования, который осуществляет выбор очередного тестового задания по критерию максимума информативности.

задать вопрос автору

В настоящее время образовательными учреждениями широко практикуются   автоматизация контроля знаний учащихся. Самым популярным видом такого контроля является тестирование, основанное на диалоге вычислительной системы с пользователем.

Для традиционной 4-х бальной шкалы оценки уровня знаний испытуемый может находиться в четырёх состояниях, соответствующих оценкам уровня знаний: «неудовлетворительно», «удовлетворительно», «хорошо» и «отлично». Состояния испытуемого составляют полную группу событий, следовательно, сумма вероятностей этих состояний равна единице. В процессе тестирования испытуемому предлагаются различные задания и, в зависимости от правильности ответа, вероятности состояний изменяются. Задания предлагаются до тех пор, пока какая-либо из вероятностей превысит порог, задаваемый преподавателем-экспертом. Предложенные задания не участвуют в дальнейшем тестировании данного испытуемого [1].

Таким образом, процесс тестирования является итеративным процессом. Каждый r-й шаг представляет собой выбор и предъявление очередного задания, получение от испытуемого ответа на предложенное задание и определение вероятностей состояний на основании полученного ответа.

Выбор очередного задания осуществляется на основании максимума среднего количества информации, которое система может получить от испытуемого, предложив то или иное задание. Для выбора очередного (r-го по счёту) задания определяется среднее значение количества информации для каждого k-го задания из набора [2]:

  ,       

где  – среднее количество информации, которое будет получено от испытуемого в результате предъявления ему k-го задания на r-м шаге;  – априорная энтропия, характеризующая степень неопределённости состояния испытуемого перед предъявлением ему следующего задания,  – средняя энтропия, характеризующая степень неопределённости, после условного предъявления k-го задания.

Средняя энтропия до предъявления задания вычисляется по формуле:

  .        

Энтропия после условного предъявления k-го задания вычисляется по формуле:

  ,         

где m – количество исходов,  – условная энтропия, характеризующая изменение неопределённости состояния испытуемого после получения j-го исхода k-го задания:

  ,       

а  – средняя вероятность исхода :

  .       

Вероятности  вычисляются по формуле Байеса:

  .

Если испытуемый в действительности имеет уровень знаний, оцениваемый состоянием ei, то при корректно сформулированных заданиях, значение апостериорной вероятности P(ei)  должно после каждой задания возрастать, в то время как значения вероятностей, соответствующие остальным состояниям — убывают.  Каждое задание  однозначно характеризует матрица  условных вероятностей с элементами.

Элемент матрицы определяет вероятность получения ответа qjk при условии, что испытуемый в действительности имеет уровень знаний, соответствующий оценке . Значения указанных условных вероятностей определяются на основании экспертных оценок и составляют информационную базу системы.

При заданных значениях априорных вероятностей , предшествовавших  очередному заданию, каждое из заданий обладает некоторой информативностью. Из множества заданий, в качестве очередного, выбирается наиболее информативное. По результатам его проведения уточняются апостериорные значения вероятностей , которые принимаются за исходные при проведении последующей проверки. Процесс повторяется до тех пор, пока значение одной из вероятностей достигнет заданного уровня.

Поскольку состояния еi. представляют полную систему событий, остальные значения апостериорных вероятностей должны уменьшатся. За действительное состояние испытуемого принимается то, которое соответствует наибольшему из значений апостериорных вероятностей.

Литература:

  1. Лихтциндер Б.Я., Иванова Л.Б. «Контроль качества знаний на основе вероятностных критериев оценки», журнал «Информационные технологии»    № 2, 2006г.
  2. Лихтциндер Б.Я., Аверьянов С.В., Пугин В.В. Шигаев В.В. «Использование вероятностных методов оценки знаний при разработке тестирующих модулей распределенных тренинг-систем», журнал «Инфокоммуникационные технологии» №3, 2003г.