Конгресс конференций
"Информационные технологии в образовании"
VI Научно-практическая конференция-выставка
"Информационные технологии в образовании"
("ИТО-Ростов-2006")
http://ito.edu.ru/2006/Rostov/
СБОРНИК ТРУДОВ
Конгресс конференций
"Информационные технологии в образовании"
VI Научно-практическая конференция-выставка
"Информационные технологии в образовании"
("ИТО-Ростов-2006")
http://ito.edu.ru/2006/Rostov/
СБОРНИК ТРУДОВ
КОМПЬЮТЕРНОЕ КВАЛИМЕТРИЧЕСКОЕ АНКЕТИРОВАНИЕ
Сафонцев Сергей Александрович, Шамильян Ольга Ивановна
ГОУ ДПО «Ростовский областной институт повышения квалификации и переподготовки работников образования» (РО ИПК и ПРО)
На современном этапе модернизации отечественного образования особое внимание уделяется системам управления качеством, позволяющим осуществлять мониторинговые исследования процесса обучения и состояния образовательной среды. Если технологии разработки педагогических измерителей для дидактических целей достаточно хорошо разработаны, то доступность качественного образования, эффективность использования педагогических технологий, обеспечение демократических принципов управления образовательным учреждением и безопасности учащихся практически не поддаются объективному контролю.
Известно, что экспериментальные основы педагогической диагностики были заложены Ф.Гальтоном и его учениками, а также Э.Торндайком, впервые применившим тест для определения уровней учебных достижений. Однако развивающееся параллельно психологическое тестирование всегда опережало развитие дидактической тестологии [1]. Психологические опросники оснащались индикаторными методиками, позволяющими установить степень ситуативности суждений респондента, результаты анкетирований подвергались статистической обработке и позволяли выявить усредненное мнение опрошенных. Таким образом, на основе процедур психологического диагностирования можно было поставить содержательный диагноз особенностей индивида [2].
Дидактические тесты, позволяющие оценить учебные достижения учащихся по данному предмету, никогда не предполагали выявление искренности испытуемых, что не позволяет переносить соответствующие технологии дидактической тестологии в область исследований состояния образовательной среды [5]. В результате возникает противоречие между оснащением индикаторными методиками психологических тестов и отсутствием подобных методик в процедурах педагогического опроса, анкетирования или экспертизы. Педагогическое диагностирование нуждается в той же мере, как и психологические тесты, в показателях объективности суждений респондентов, иначе принципиально невозможно сформулировать содержательно обоснованный диагноз состояния образовательной среды [6].
Решить проблему повышения объективности процедур педагогического диагностирования можно только путем привлечения современных количественных методов, наиболее подходящими из которых является теория образовательной квалиметрии [5]. С ее помощью можно качественные характеристики состояния того или иного образовательного процесса перевести в количественные показатели и сравнить с существующими эталонами. Кроме того, образовательная квалиметрия позволяет получить интегральный количественный показатель состояния образовательной среды, эффективности деятельности образовательного учреждения или профессиональной компетентности отдельного преподавателя, позволяющий ранжировать различных представителей соответствующего множества предметов исследования [7].
В результате возникает еще одно методологическое противоречие: педагогическая диагностика оперирует преимущественно качественными характеристиками образовательного процесса, а образовательная квалиметрия – количественными. Однако это противоречие легко разрешается, так как возможность получить интегральные показатель состояния исследуемого объекта ни в коей мере не снижает ценность его содержательного диагноза. Более того, процедура квалиметрического определения эффективности деятельности образовательного учреждения или педагога позволяет более глубоко проанализировать содержательные составляющие педагогического диагноза.
Актуальность заявленной темы, прежде всего, базируется на главном противоречии, заключающемся в несоответствии технологического обеспечения процедур педагогического диагностирования и существующей технологией стандартизации дидактических тестов, позволяющей разработать качественный педагогический измеритель [5]. Диагностические процедуры, к которым следует отнести опросы, анкетирования и экспертизы, должны достигать уровня наиболее совершенных педагогических измерителей.
Под педагогическим измерителем следует понимать специальным образом подготовленный диагностический материал, включающий в себя все необходимые инструкции и задания для испытуемых, которые позволяют гарантировать объективность и необходимую точность проводимых исследований. Инструкция диагносту должна содержать цель исследования, сведения об эталоне, на который ориентирован данный педагогический измеритель, а также подробное описание диагностической процедуры и способа статистической обработки полученных результатов. Количественные показатели содержательной, конструктной, критериальной валидности, а также надежности различных диагностических материалов требовать пока что невозможно. Данные характеристики используются только в дидактических тестах. Инструкция испытуемому должна ориентировать его на цель исследования и четко регламентировать диагностическую процедуру. Объективность проводимого исследования можно обеспечить только путем достижения строго адекватного отражения содержания предмета исследования в предлагаемых заданиях, что позволит обеспечить не только содержательную, но и критериальную валидность диагностического материала. Возможности статистической обработки полученной информации гарантируют конструктную валидность и надежность педагогического измерителя только при условии объективность формулируемых выводов.
Именно поэтому важнейшим условием повышения эффективности диагностических процедур является использование индикаторных методик, позволяющих установить степень ситуативности суждений респондента. Но здесь возникает новая проблема: если в психологических опросах респонденту предлагается практически не задумываясь отвечать на поставленные вопросы, то при проведении педагогического опроса или анкетирования это невозможно. В этом случае речь идет не о рефлексии на ту или иную психологическую ситуацию, а о выражении взвешенного суждения. Следовательно, включение в диагностические материалы провокационных вопросов не позволит судить о ситуативности суждений респондентов в случае педагогических опросов, анкетирований и, тем более, экспертиз.
Разрешить проблему индикаторных методик можно только с помощью образовательной квалиметрии, в рамках которой был разработан метод корреляционных вопросов [4]. Включая в анкету различные вопросы, относящиеся к одному и тому же объекту, можно установить внутреннюю согласованность суждений респондента, а значит и его ситуативность или некомпетентность. Различить две возможные причины расхождения ответов на вопросы, касающиеся одних и тех же явлений, принципиально невозможно. Респондент способен умышленно искажать собственное мнение или просто заблуждаться в оценках исследуемого объекта. В любом случае отсутствие достаточно высокой корреляции между ответами на специально подобранные пары вопросов (меньше 0,6) указывает на то, что суждения респондента не могут быть признаны экспертными. Результаты заполнения подобной анкеты не следует учитывать при определении интегрального показателя состояния образовательной среды.
Профессиональную квалификацию респондента в данной области исследований можно установить с помощью корреляционного коэффициента, вычисленного на основе результатов заполнения им квалиметрической анкеты. Данная диагностическая процедура обладает универсальными свойствами, так как включает в себя положительные качества опросников (обладает встроенной индикаторной методикой), анкет (позволяет производить статистическую обработку информации) и экспертиз (позволяет судить о степени выраженности того или иного критериального показателя). Наиболее важными являются экспертные возможности квалиметрического анкетирования. Включая в анкету не вопросы, а критериальные показатели, которые респондент, получивший статус эксперта, должен оценить с помощью любой шкалы, мы можем оценить, в какой мере значимым является та или иная характеристика исследуемого объекта [6].
Наиболее важным этапом квалиметрического анкетирования является согласование суждений различных экспертов относительно предмета исследования, позволяющее получить интегральный показатель его состояния [3]. Даже самые объективные и профессиональные эксперты различаются в оценках предмета исследования. Субъективная составляющая их восприятия данного явления приводит к формированию своеобразных индивидуальных эталонов, с которыми эксперт мысленно сопоставляет исследуемый объект. В результате экспертные оценки могут существенно отличаться друг от друга.
Осуществить конкордацию суждений группы экспертов можно только на основе учета весомости экспертных оценок в соответствии с профессиональной квалификацией респондентов [6].
В основе процедуры конкордации суждений экспертной группы лежит нормировка коэффициентов профессиональной квалификации отдельных экспертов. Решить эту задачу можно с помощью программного обеспечения, позволяющего не только обработать частотные таблицы результатов квалиметрического анкетирования и определить весовые коэффициенты суждений экспертов, позволяющие оценить эффективность предмета исследования, но и автоматизировать сам процесс разработки квалиметрической анкеты [3].
Компьютерная автоматизация процедур педагогического диагностирования позволяет оперативно решать задачи мониторинговых исследований в рамках системы управления качеством образования. В современных условиях все образовательные учреждения нуждаются в объективных и достоверных данных о состоянии образовательного процесса в целом и образовательной среды в частности. Основываясь на компьютерной технологии квалиметрического анкетирования, ответственный за систему оценки качества образования в учебном заведении способен постоянно держать руку на пульсе процесса обучения и отслеживать доступность качественного образования, эффективность использования педагогических технологий, состояние здоровьесбережения, а также степень демократизации управления образовательным учреждением.
Все перечисленные критериальные характеристики включены в методику конкурсного отбора образовательных учреждений и отдельных преподавателей, которая будет применяться ежегодно для определения грантополучателей по национальному проекту «Образование» [7].
Литература
