Рейтинг@Mail.ru

ДИДАКТИЧЕСКИЕ И МЕТОДИЧЕСКИЕ ВОПРОСЫ ОРГАНИЗАЦИИ КОНТРОЛЯ В КОМПЬЮТЕРНЫХ ОБУЧАЮЩИХ СРЕДАХ

Кофтан Юрий Романович, Кудинов Александр Сергеевич

ООО научно-коммерческое предприятие ЭКРИС (ООО НКП ЭКРИС), г. Обнинск

Анализ дидактических и методических особенностей организации контроля в компьютерных обучающих средах (КОС) системы открытого образования вскрывает недостатки существующих подходов. Предлагаются пути решения и один из подходов к созданию тестирующей системы на базе семантического анализатора.

обсудить на форуме задать вопрос автору

Одним из важнейших направлений создания компьютерных обучающих сред – КОС [1] являются системы контроля. Они включают в себя [2]:

Но современное дидактическое и методическое осмысление этих задач явно недостаточно, особенно в приложении к компьютерным обучающим и тестирующим системам [3].

В работах [2] и [4] сформулирован ряд требований к диагностическим компонентам уровня подготовки обучаемого. В частности, одним из важнейших дидактических принципов диагностики уровня подготовки обучаемого является учет обучающего воздействия средств и методов контроля. К глубокому сожалению, надо отметить, что дидактические заблуждения и методические недостатки компьютерного тестирования широко распространены в педагогической практике, существующие методики тестирования и их программные реализации используются без должного осмысления.

Компьютерные технологии тестирования по сравнению с традиционными методиками предлагают расширенные средства контроля знаний, умений и навыков (ЗУН) – от диалоговых систем вопрос-ответ до ситуационно-имитационных моделирующих тестовых систем виртуальной реальности.

Спектр задач контроля в КОС включает начальный (входной), текущий и завершающий контроль/диагностику. Задачи контроля/диагностики уровня подготовки обучаемого делятся на две группы:

В настоящее время наиболее распространенным является метод компьютерного тестирования: "выбери правильный ответ из предложенных вариантов" [5]. Основные недостатки этого метода:

  1. Большая вероятность обучиться неправильному (запомнить неправильный ответ),
  2. Формирование привычки угадывания ответа,
  3. Блокирование / торможение системы размышлений обучаемого при формировании ответов,
  4. Необходимость иметь большую базу вопросов по учебной теме для случайной генерации текущей группы неповторяющихся тестовых вопросов при многократном использовании тестирующей системы,
  5. Высокая трудоемкость создания качественных тестов при практическом отсутствии возможности автоматизировать процесс порождения правдоподобных, но неправильных ответов,
  6. Невозможность эффективной оценки умений и навыков.

Из-за перечисленных недостатков использовать такие тесты при начальной и текущей диагностике нельзя. Возможно их использование при завершающем контроле, но с учетом всех недостатков.

Предлагаемая альтернатива:

Предложения по созданию тестирующей системы на основе семантического анализатора

Основной задачей автоматизированного семантического анализа является выделение смыслового содержания произвольного высказывания, записанного в условном соответствии с грамматикой некоторого неформализованного (в общем случае) языка.

Формализованное смысловое содержание высказывания называется смысловой структурой высказывания или просто смысловой структурой. Для разработки и описания алгоритмов выделения и обработки смысловых структур, удобнее представлять их графами, вершины которых отождествлены с объектами, действиями и свойствами, а ребра с соотношениями между ними. В неформализованных языках часто случается что одно и то же высказывание может быть интерпретировано по-разному, в особенности, если в записи высказывания допустимы ошибки, поэтому одному высказыванию изначально следует ставить в соответствие не один, а несколько графов (смысловых структур), и уже после этого производить отбор среди них по дополнительным критериям. Множество неэквивалентных графов, соответствующих одному высказыванию, называется интерпретацией. Таким образом, в рамках перечисленных определений, анализатор есть алгоритм, генерирующий по заданному высказыванию его интерпретацию.

Механизм ожиданий.

Считаем, что анализ высказывания производится слева направо. Используем два понятия – лексемы и морфемы. Лексемы – независимые части высказываний, описывающие отдельные элементы соответствующей смысловой структуры. Морфемы – универсальные символьные сочетания, входящие в состав лексем. В общем случае именно морфемы определяют соотношения между элементами смысловой структуры, т.е. описывают топологию смысловой структуры. При анализе высказываний, записанных с использованием русского языка, в роли морфем выступают части слова, а именно приставки, корни, суффиксы, окончания и т.д. Таким образом, входящее высказывание представляется в виде выборки множества допустимых лексем, каждая из которых в свою очередь является выборкой множества допустимых морфем.

Для каждой морфемы (соответственно, лексемы) можно определить некоторое подмножество морфем (лексем), которые в принципе могут следовать после неё в записи лексемы (высказывания), такое множество называется ожиданием. В общем случае ожидание зависит не только от последней морфемы (лексемы), но и от предыдущих морфем (лексем). Строящаяся таким образом система ожиданий отражает корреляционную связь между элементами высказывания. Каждому ожиданию ставится в соответствие некоторый уникальный индекс. Задачей механизма ожиданий является преобразование входящего высказывания в последовательность индексов (спектр), представляющую смысловое содержание высказывания в удобном для машинной обработки (формализованном) виде, т.е. смысловую структуру. Как уже говорилось, одному высказыванию могут соответствовать различные смысловые структуры, поэтому конечный алгоритм должен находить все возможные спектры высказывания, генерируя, таким образом, полную интерпретацию.

Принцип форматов.

Для улучшения качества интерпретации отдельных лексем удобно использовать специализированную алгоритмическую конструкцию, т.н. формат. Задача форматов – правильно идентифицировать тип лексемы, подбирая подходящую и допустимую последовательность морфем. Принципиальное отличие формата от системы ожиданий в том, что лексемы не всегда интерпретируются именно как ряд морфем: формат учитывает также символьные сочетания, не являющиеся морфемами.

Выявление топологии высказывания.

Механизм ожиданий и принцип форматов в совокупности дают весьма эффективный метод построения интерпретаций в виде набора спектров. Остаётся вопрос о преобразовании набора спектров в соответствующие графы. От этого этапа, в конечном счёте, зависит результат машинного анализа текста. Выделение элементов высказывания – объектов, свойств и действий вполне возможно, поскольку значения индексов, входящие в соответствующие спектры при правильной организации систем ожиданий, однозначно характеризуют каждый элемент. Существенным является построение топологии высказывания. При построении графа иногда стоит использовать набор признаков, позволяющих выделить связи между элементами высказывания, но в общем случае составление набора таких признаков – очень кропотливая работа, её сложно автоматизировать. Существует иной путь – применение обучаемых нейронных сетей (НС) [6]. Идея заключается в следующем: индексы, входящие в спектры каждых двух элементов высказывания, подаются на рецепторный слой НС, которая на одном из выходов даст величину, характеризующую тип связи этих двух элементов.

НС обрабатываются только те элементы, представления которых внутри высказывания удовлетворяют требованию соблюдения порядка слов, иначе высказывание получало бы слишком широкую интерпретацию. Естественно, НС должна реагировать только на некоторые характерные индексы, указывающие в основном не на смысл элемента, а на грамматические особенности его представления в высказывании, с этой целью вводится рекомбинационный фильтр. Для охвата большого количества типов связей НС должна быть масштабируемой и достаточно многослойной, количество слоёв определяется непосредственно полным многообразием связей.

Подводя итог, можно еще раз перечислить компоненты рассматриваемой модели анализатора:

В настоящее время ведется разработка варианта семантического анализатора для тестирующей системы, позволяющего идентифицировать смысловую структуру ответа (высказывания) обучаемого, соответствующую правильному или неправильному ответу. Предполагается, что формулировка высказывания использует ограниченное лексическое пространство.

Литература:

  1. Ю.Р.Кофтан. Задачи создания компьютерной обучающей среды открытого образования / См. настоящий сборник.
  2. Ю.Р.Кофтан. Контроль в компьютерных обучающих средах / Материалы XV Международной конференции "Применение новых информационных технологий в образовании", 29-30 июня 2004г.г. Троицк, Московской области. – Троицк: МФО Фонд новых технологий в образовании "Байтик", 2004г.
  3. Равен Джон. Педагогическое тестирование: Проблемы, заблуждения перспективы / Пер. с англ., изд.2-е, испр. – М.:"Когито-Центр", 2001г.
  4. Ю.Р.Кофтан, В.А.Остапенко. Методические аспекты разработки обучающих и тестирующих курсов дистанционного обучения / Новые возможности в управлении качеством образования. Сборник докладов. Часть 1. // Серия материалов Всероссийской школы-семинара "Информационные технологии в управлении качеством образования и развитии образовательного пространства". / Под общей редакцией д-ра техн. наук, проф. Н.А. Селезневой и д-ра техн. наук, проф. И.И. Дзегеленка. – М.: Исследовательский центр проблем качества подготовки специалистов, 2000г.
  5. Майоров А.Н. Теория и практика создания тестов для системы образования (Как выбирать, создавать и использовать тесты для целей образования) \ М.:Интеллект-центр, 2001.
  6. Заенцев И.В. Нейронные сети: основные модели / Учебное пособие к курсу "Нейронные сети" – Воронежский государственный университет, 1999г.