ОЦЕНКА КАЧЕСТВА НАБОРА ТЕСТОВЫХ ЗАДАНИЙ ПО РУССКОЙ ЛИТЕРАТУРЕ XIX ВЕКА
Сарахатунова Елена Аркадьевна
Славянский-на-Кубани государственный педагогический институт (СГПИ), г. Славянск-на-Кубани Краснодарского края
Предложена методика оценки качества тестовых заданий. В качестве основных критериев выбраны совместимость набора тестовых заданий, ширина диапазона варьирования оценок трудности заданий, степень равномерности распределения тестовых заданий по трудности, соответствие средней трудности набора тестовых заданий среднему уровню знаний тестируемых студентов.
обсудить на форуме
написать автору
Для оценки качества набора тестовых заданий по русской литературе XIX века использовалась модель Раша. Выбор этой модели обусловлен следующим. Измерения на основе модели Раша позволяют получить объективные оценки латентных (скрытых) переменных. Измерения, полученные на основе модели Раша, являются объективными в том смысле, что они не зависят от того, кто измеряет, а также от набора тестовых заданий, который выступает в роли измерительного инструмента. Кроме того, измерения осуществляются на линейной интервальной шкале, что позволяет применять для их дальнейшей обработки и анализа широкий спектр статистических процедур.
С помощью компьютерной программы тестирования, разработанной в СГПИ, были протестированы две группы студентов – всего 39 студентов. Результаты тестирования обрабатывались с помощью программы измерения латентных переменных RUMM, разработанной под руководством проф. Дэвида Эндрича (Мердокский университет, Австралия).
Оценка качества набора тестовых заданий осуществлялась по четырем критериям:
- совместимости набора тестовых заданий;
- диапазону варьирования оценок трудности заданий;
- равномерности распределения тестовых заданий по трудности;
- соответствия средней трудности набора тестовых заданий среднему уровню знаний тестируемых студентов.
1. Прежде всего, на основе критерия Хи-квадрат вычисляется совместимость разработанных 50 тестовых заданий, т.е. образуют ли они измерительный инструмент. Совместимость тестовых заданий определяется следующим образом. Все студенты на основе вычисленной оценки уровня знаний делятся на три группы – с низким, средним и высоким уровнями. Степень близости этих оценок соответствующим модельным значениям количественно определяется на основе критерия Хи-квадрат. Чем меньше эмпирический уровень значимости статистики Хи-квадрат (по крайней мере меньше 0,05), тем в меньшей степени совместим набор тестовых заданий. В данном исследовании значение статистики Хи-квадрат равно 94,4 при 100 степенях свободы, что соответствует эмпирическому уровню значимости 0,64. Полученное значение свидетельствует о высокой степени совместимости тестовых заданий.
2. Диапазон варьирования оценок трудности тестовых заданий оказался достаточно широким от –2,86 логита до 2,70 логита. Диапазон варьирования в 5 логитов является более чем достаточным для измерения уровня знаний студентов по учебному предмету.
3. Оценки уровня трудности тестовых заданий распределены равномерно по всему диапазону их варьирования. Это означает, что разработанный набор тестовых заданий позволяет достаточно точно измерять уровень знаний студентов на всем диапазоне варьирования уровня их знаний.
4. Средний уровень знаний студентов превышает средний уровень трудности заданий на 0,90 логит. Это допустимое превышение и свидетельствует в целом о том, что студенты достаточно хорошо усвоили учебный материал.
Другие результаты, полученные в данном исследовании, состоят в следующем.
Уровни знаний всех протестированных студентов варьируются в узком диапазоне не превышающем двух логитов (от 0,03 логита до 1,83 логит).
Между двумя протестированными группами студентов нет значимого различия по уровню знаний. Средний уровень знаний одной группы студентов равен 0,78 логит, второй группы 1,03 логит.
В целом, полученные результаты позволяют сделать вывод, что разработанный набор тестовых заданий является эффективным средством контроля уровня знаний студентов по русской литературе XIX века.