Компьютерное тестирование для гуманитарных дисциплин Вуза почти полностью реализуется при проведении контрольных работ, контроля над самостоятельной работой студентов (входной, текущий, тематический), частично – коллоквиумов, зачетов и экзаменов (рубежный, итоговый, заключительный контроль).

Педагогический тест — это система фасетных заданий определенного содержания, возрастающей трудности, специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений.

Свойство фасетности в гуманитарном знании реализовать весьма затруднительно в силу слабой формализации и неартикулярности.

С одной стороны, тестовые задания (ТЗ) составляют очень высокий процент, пожалуй, 80-90% компьютерных контролирующих программ по любой гуманитарной дисциплине. С другой, — не всякое содержание поддается трансформации формам тестового задания. Многие доказательства, многословные описания трудно выражаются, а то и совсем не выражаются в тестовой форме. Тест — не единственная форма отображения содержания учебных дисциплин, он только одним из наиболее технологичных методов проведения автоматизированного контроля с заложенными в него параметрами качества.

Основными формами ТЗ-й являются: задания открытой формы, закрытой, на соответствие, на установление правильной последовательности.

ТЗ включает в себя: а) констатирующую часть, описывающую ситуацию (может и отсутствовать), которая не требует от тестируемого каких-либо активных действий; б) процедурную часть, содержащую предложения обучаемому выполнить какие–либо конкретные действия — выбрать правильный элемент из предложенного набора, установить соответствие или правильную последовательность, назвать дату, записать название и т.д. Процедурная часть — это такой вид информации, после получения которой от студента требуется произвести активные действия, связанные не только с изучением и анализом материала, содержащегося в задании, но и составлением и вводом ответа; в) элементы самого выбора.

Общие правила для всех 4-х форм ТЗ. Необходимо следить за корректностью формулировки задания. ТЗ должно быть сформулировано четко, ясно, конкретно, не допуская двусмысленности в ответе.

Оптимальное число элементов ответа — 5-8, но существуют исключения.

Процедурная часть ТЗ должна быть максимально краткой — не превышать 5-10 слов.

ТЗ должно быть сформулировано в утвердительной форме.

Не допускается определение понятия через перечисление элементов, не входящих в него.

Для всех форм ТЗ должна быть стандартная инструкция.

Все элементы в заданиях должны отбираться по какому-то определенному, выбранному автором принципу.

Предпочтение большому количеству простых по структуре ТЗ, а не малому количеству сложных.

В сложных разделительных ТЗ необходимо перечислять все возможные альтернативы, т.к. в противном случае у обучаемого искажается представление о классификации или структуре объекта базиса.

ТЗ открытой формы должны отвечать следующим требованиям:

• дополняющее слово или словосочетание ставится в конце и д.б. единственным,

• дополнять надо важное,

• желательно при формулировке задания дополнение д.б. в именительном падеже,

• все прочерки для дополнения д.б. одинаковой длины,

• как правило, требуется обучаемому дать образец ответа.

Закрытая форма тестовых заданий должна отвечать следующим требованиям:

• равная правдоподобность элементов,

• все элементы выбора, желательно, должны быть равны по длине,

• в элементах выбора необходимо использовать равное количество объектов, желательно один,

• исключить повторяющиеся слова в ответах,

• все элементы должны быть верными утверждениями, только один из них является верным ответом на данное задание, а остальные верными на другие задания в этом тесте или в других тестах.

ТЗ на соответствие содержат два множества, правый столбик — для выбора, левый — для ответа. В правом формируется, например, на 1-3 элемента больше, чтобы при последней подстановке у студента был выбор, а не автоматически подставляемый остаток. Все элементы являются истинными высказываниями.

В ТЗ на установление правильной последовательности может быть избран принцип формирования элементов по алфавиту. Если алфавитный список является верным ответом, то элементы располагать случайным образом.

С целью нивелирования заимствования ответа у соседа в заданиях всех 4-х форм надо формулировать ТЗ в 2-3-х синонимичных по смыслу вариантах, которые выбираются случайным образом. В заданиях закрытой и на соответствие формах элементы подаются с помощью датчика случайных расстановок. Элементы задания в этих формах формируются по принципу “основных” и “запасных” игроков. Например, при 5-ти элементах, подающихся студенту, автор формирует набор не “1 верный + 4 неверных”, а “1 верный + 4 основных неверных + 5 запасных неверных”, где из 9-ти неверных случайным образом выбираются 4.

Методы оценки критериев качества тестов. Классическая теория тестов опирается на теорию корреляции, главными параметрами которой являются надежность и валидность. Надежность — устойчивость результатов теста, получаемых при его применении. Валидность — пригодность теста, т. е. способность качественно измерять то, для чего он создан по замыслу авторов.

Существует строгая научная теория тестов, позволяющая методологически и методически обосновать их применение и обработку результатов тестирования. Научно обоснованный тест — это метод, соответствующий установленным стандартам надежности и валидности (величина от 0 до 1; чем ближе к 1, тем качественнее тест).

По классификации существуют тесты, ориентированные на норму (рейтинг по сильным — слабым студентам) и тесты, ориентированные на критерий (сортировка по трудным — легким заданиям). По характеру действий тесты подразделяются на вербальные (выраженные словами) и невербальные (представленные образами). По степени однородности задач тесты бывают гомогенные (по одной дисциплине) и гетерогенные (по нескольким дисциплинам). По целям использования: начало обучения, прогресс и трудности в процессе обучения, достижения в конце обучения. Практика высшей школы показывает, что наиболее применимы критериально-ориентированные, в подавляющем большинстве вербальные, гомогенные, нацеленные, как правило, на достижения в конце обучения тесты.

Оценка тестовых заданий может быть политамическая (если из 10 элементов задания одно сделал неправильно, то сумма баллов равна 9); дихотомическая (сделал все элементы — 1 балл, не сделал — 0 баллов). По степени трудности задания могут быть одноуровневые, т.е. с весовым коэффициентом, равным единице и многоуровневые с весовым коэффициентом от 0 до N.

Под длиной теста понимается количество заданий, входящих в тест. Классическая теория тестов утверждает: чем длиннее тест, тем он надежнее. Но практика показывает, что если тест очень длинный, то ухудшается мотивация и внимание. Практически длину теста следует определять опытным путем, с учетом валидности, времени тестирования и др. Оптимальная длина теста, как показала теория и практика — 30-60 заданий. Соотношение длины теста к числу ТЗ в банке должно стремиться к соотношению 1:10.

Каждый тест имеет оптимальное время тестирования — время от начала процедуры тестирования до момента наступления утомления. Разброс по характеристикам порога наступления утомления довольно большой — от 20 до 100 минут в одной возрастной группе Основные причины утомления: возраст, мотивация, монотонность выполняемой работы, индивидуальные особенности испытуемых. Следовательно, мы должны поддерживать мотивацию на нужном уровне, максимально разнообразить работу за счет введения в оборот всех форм заданий и невербальной поддержки, а также адаптировать программный продукт согласно индивидуальным особенностям испытуемых. Среднее ориентировочное время до момента утомления для студентов — 50 — 80 минут (максимальная продолжительность). А по минимальной зависит от форм, количества и трудности заданий, элементов в задании. Например, для легкого тестового задания закрытой формы с выбором одного элемента из предложенных достаточно 10-15 сек. В процессе апробации реальные сроки д.б. уточнены.

Соотношение форм заданий в тесте. Выбор формы тестового задания зависит от содержания курса, цели создания теста, умения разработчика. Усредненный расклад может быть следующим. В тесте длиною, например, 60 заданий, рекомендовано не более 10 тестовых заданий открытой формы, примерно по 10 на соотношение и последовательность, остальные 30 заданий целесообразнее давать в закрытой форме.

Тесты с вышеизложенными характеристиками разработаны и применяются в составе учебно-методических комплексов на историческом факультете Белгосуниверситета.

Литература

1. Аванесов В.С. Методологические и теоретические основы тестового педагогического контроля: Автореф. д-ра пед. наук: 13.00.01 / Санкт-Петербургский гос. Ун-т. – СПб., 1994.
2. Аванесов В.С. Научные проблемы тестового контроля знаний. — М., 1994.
3. Балыкина Е.Н. Принципы конструирования тестовых заданий в контексте компьютерной реализации (на примере гуманитарных дисциплин)/ Информационный Бюллетень Ассоциации "История и компьютер", № 30 Материалы VIII конференции АИК. – М., 2002. – С.221-223; она же Сущностные характеристики дидактических компьютерных тестов (на примере исторических дисциплин), там же – С.219-221.
4. Балыкина Е.Н., Липницкая О.Л., Попова Е.Э. Дидактическое обеспечение базового курса исторической информатики (основы реализации учебно-методического комплекса) // ИБ АИК, № 26/27. — М., 2000. — С. 172-194.
5. Майоров А.Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования). – М., 2001.
6. Павлова И.Н., Миронова Е.А. Применение логики вопросов и ответов при автоматизированном контроле знаний / XI Международная конференция-выставка “Информационные технологии в образовании”: Сборник трудов участников конференции. Часть V. — М., 2001. — С. 47-48.
7. Шмелев А.Г. Компьютеризация экзаменов: проблема защиты от фальсификаций / там же. — С. 71-73.

обсудить на форуме написать автору

Сервер поддерживается фирмой НПП "БИТ про" и Московским центром Федерации Интернет Образования