Запись написана

  • 29.03.2013
  • в 12:00 ДП
  • admin

Реклама

Построение тестовых заданий в системе компьютерного тестирования знаний OpenTEST2 0

Шкиль А.С., Чумаченко С.В. Напрасник С.В., Гаркуша Е.В

ВВЕДЕНИЕ

Одним из основных требований организации учебного процесса в рамках Болонского соглашения является дальнейшая унификация учебных планов для одноименных дисциплин, которые преподаются в разных учебных заведениях. Это выдвигает требования объективизации процесса оценивания знаний студентов, что невозможно без использования методов тестирования знаний, которые являются основой теории педагогических измерений. Массовое внедрение тестирования знаний в учебный процесс высшей школы показало необходимость создания и применения компьютерных систем тестирования знаний. Это обусловлено с одной стороны снижением трудоемкости при проведении тестирований по сравнению с традиционными методами бланкового тестирования, а с другой стороны повышением надежности и объективности результатов тестирования. Для решения этих задач в Харьковском национальном университете радиоэлектроники была разработана компьютерная система тестирования знаний OpenTEST, вторая версия которой OpenTEST2 проходит опытную эксплуатацию с 2006 в ряде ВУЗов Украины [1]. В системе OpenTEST2 реализованы частично адаптивные методы контроля знаний на основе модели учебного материала вероятностных критериев оценивания, учитывающих вероятностные характеристики правильных и неправильных ответов [2]. Опыт применения системы OpenTEST с 2003 года в ряде ВУЗов Украины показал, что очень важным моментом при компьютерном тестировании знаний является не солько содержательная сторона тестов, но и форма представления тестовых заданий. Именно различным формам представления и оценивания тестовых заданий при компьютерном тестировании посвящена данная статья

1.1 Педагогические контролирующие задания

Педагогическое задание – это средство интеллектуального развития, образования и обучения, которые можно разделить на обучающие и контролирующие. Первые применяются в учебном процессе для развития личности, вторые – педагогами или органами управления образованием после окончания учебного периода с целью определения уровня и структуры подготовленности. Настоящие педагогические задания создаются только педагогами преимущественно для педагогических целей и состоят из трех основных частей, перечисленных ниже [3].

Педагогический тест – это система заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых.

Тестовое задание – это составная единица педагогического теста, отвечающая требованиям к заданиям в тестовой форме и статистическим требованиям известной трудности и дифференцирующей способности.

Задание в тестовой форме – это педагогическое средство, отвечающее определенным целевым требованиям, обладающее краткостью, технологичностью и логичностью высказываний, имеющее инструкции для тестируемых и определенные места для элементов задания и ответов, а также подчиняющееся одинаковым правилам оценки ответов.

Все три понятия – задание в тестовой форме, тестовое задание и тест – соответствуют трем основным этапам разработки педагогических тестов. Первый этап начинается с разработки задний в тестовой форме. Второй этап – статическая проверка заданий, с целью обоснования их в качестве тестовых. Третий этап – разработка теста

1.2 Построение тестовых заданий

Тестирование в автоматизированной системе контроля знаний OpenTEST2 осуществляется путем организации сеанса тестирования для каждого тестируемого. Сеанс характеризуется длиной (количеством вопросов,), временем, отводимым на сеанс и количеством попыток прохождения теста в рамках одного сеанса. В случае истечения времени, сеанс считается законченным независимо от того, ответил ли тестируемый на все вопросы или нет. Во время сеанса тестируемый в случайном порядке получает набор вопросов с вариантами ответов, а также информацию об оставшемся времени на сеанс тестирования. Кроме выбора ответов, он может также пропускать вопросы и отвечать на них в произвольном порядке. Тестируемый (равно, как и преподаватель) может прервать сеанс тестирования по своему желанию до истечения времени, отводимого на сеанс. В качестве синонима понятия «вариант ответа» для вопросов закрытого типа при дальнейшем изложении будет использоваться понятие «альтернатива», а количество возможных вариантов ответов будет обозначаться А (альтернативность).

Если оценка за сеанс тестирования выставляется с учетом вероятностей угадывания для каждого из вопросов, то это может быть осуществлено или путем вычисления неоцениваемого диапазона, для шкалируемых систем оценивания [4], или путем вычисления поправочных коэффициентов для баллов набранных за сеанс тестирования [3] для нешкалируемых систем оценивания. В обоих этих случаях необходимо вычислять среднюю вероятность угадывания за сеанс тестирования Рср., которая отражает вероятность получения максимального балла за сеанс в случае угадывания правильных ответов.

(1)

где Рi –вероятность угадывания i-го вопроса сеанса, N – общее количество вопросов в сеансе. При этом . Формула (1) вычисляет Рср при условии, что вес всех вопросов в сеансе одинаков и равен 1.

В системе OpenTEST 2 каждый вопрос может иметь вес Вi, выраженный целым положительным числом больше 0. Весомозначность каждого вопроса в тесте (Вi) определяется автором теста (преподавателем) на этапе составления теста. С учетом этого формула (2.8) примет вид :

. (2)

Выражение в знаменателе Bmax= принято называть максимально возможным баллом, набранным за сеанс тестирования. Для сеанса, где все вопросы имеют равную альтернативность Аi и, следовательно, равную вероятность угадывания Рi , формула (2) преобразуется :

. (3)

Следовательно, для сеанса с вопросами равной альтернативности вероятность угадывания не зависит от веса вопросов. Для сеанса тестирования можно вычислить среднюю альтернативность , которая отражает среднее количество возможных вариантов ответов для всех вопросов сеанса.

Для сеанса, в котором вопросы имеют разную альтернативность и равный вес Рср в пределе будет стремится к середине диапазона между Рi для вопроса с минимальной альтернативностью и Рi для вопроса с максимальной альтернативностью с учетом количества вопросов в сеансе с каждой альтернативностью.

Например, пусть задан сеанс тестирования из 10 вопросов, каждый из которых имеет вес 1. Тип вопросов 1 («выбор одного из нескольких») 5 вопросов по 2 альтернативы, 5 вопросов – 10 альтернатив.

Рср=(5*1/2 + 5*1/10) / 10 =(30/10) / 10 = 0,3 .

Например, пусть задан сеанс тестирования из 10 вопросов, каждый из которых имеет вес 1. Тип вопросов 1 («выбор одного из нескольких») 9 вопросов имеет 2 альтернативы, 1 вопрос – 10 альтернатив.

Рср=(9*1/2 + 1*1/10) / 10 =(46/10) / 10 = 0,46 .

Например, пусть задан сеанс тестирования из 10 вопросов, каждый из которых имеет вес 1. Тип вопросов 1 («выбор одного из нескольких») 1 вопрос имеет 2 альтернативы, 9 вопросов – 10 альтернатив.

Рср=(1*1/2 + 9*1/10) / 10 =(14/10) / 10 = 0,14 .

Рассмотрим ситуацию, когда вопросы имеют разную альтернативность при разном весе.

Например, пусть задан сеанс тестирования из 10 вопросов. Тип вопросов 1 («выбор одного из нескольких»). 9 вопросов имеют по 2 альтернативы с весомозначностью 1, 1 вопросов – 10 альтернатив с весомозначностью 10.

Рср=(9*1*1/2 + 1*10/10) / 19 =(11/2) / 19 = 0,29 .

Например, пусть задан сеанс тестирования из 10 вопросов. Тип вопросов 1 («выбор одного из нескольких»). 5 вопросов имеют по 2 альтернативы с весомозначностью 1, 5 вопросов – 10 альтернатив с весомозначностью 10.

Рср=(5*1*1/2 + 5*10/10) / 55 =(15/2) / 55 = 0,136 .

р, пусть задан сеанс тестирования из 10 вопросов. Тип вопросов 1 («выбор одного из нескольких»). 1 вопрос имеюет 2 альтернативы с весомозначностью 10, 9 вопросов – 10 альтернатив с весомозначностью 1.

Рср=(10*1*1/2 + 9*1/10) / 19 =(59/10) / 19 = 0,31 .

Таким образом, для сеанса, в котором вопросы имеют разную альтернативность и разный вес, Рср сдвигается в сторону значения Рi для вопроса с большим весом.

1.3 Типы заданий в тестовой форме

Автоматизированная система контроля знаний OpenTEST2 оперирует с с заданиями в тестовой форме (вопросами) закрытого типа (типа «выбор одного из нескольких», «выбор нескольких из нескольких», «соответствие») и открытого типа (свободный ввод ответа) [3]. Взаимодействие тестируемого с системой OpenTEST2 происходит через Web-интерфейс (диалоговое окно браузера), что накладывает определенные особенности на форму представления вопросов и вариантов ответов.

Типичная структура представления вопроса имеет следующий вид.

1) Описание ситуации. В этой части вопроса могут присутствовать текст, рисунки, графики, анимации и т.д. Эта часть вопроса не является обязательной, но все же рекомендуется ее применять, так как одна и та же ситуация может быть основой для множества однотипных вопросов.

2) Текст вопроса. Он должен быть сформулирован четко, и не содержать двузначных формулировок. Текст вопроса достаточно часто может быть совмещен с описанием ситуации.

3) Выбор (ввод) ответов. В Web-интерфейсе выборочные варианты ответов на вопросы реализуются через radio-button (”выбор одного из нескольких”), check-box (”выбор нескольких из нескольких”) или combo-box (выпадающий список для типа «соответствие»). Визуально они различимы, поэтому обучаемый всегда может определить, какой тип вопроса ему предложен. Порядок следования вариантов ответов в исходном задании теста абсолютно несущественен (при выдаче тестов происходит случайное перемешивание порядка следования вариантов ответов). При использовании вопросов открытого типа со свободным вводом ответа (ввод произвольной последовательности) последовательность вводится в одно или несколько полей ввода в Web-интерфейсе (input-box)

1.3.1 Выбор одного из нескольких

Это самый распространенный тип вопросных тестовых заданий, когда пользователю предлагается несколько (m) вариантов ответа на поставленный вопрос, только один из которых правильный. За правильный ответ на вопрос тестируемый получает один балл (несколько баллов), за неверный ответ или отказ от ответа – 0 баллов. В системе OpenTEST2 эти вопросы определяются как «тип 1». На рисунке 1 представлен внешний вид вопроса данного типа в Web-интерфейсе системы OpenTEST2.

Рисунок 1 – Вопрос «один из нескольких» Web-интерфейсе системы OpenTEST2

При использовании вопросов закрытого типа очень важно не допустить возможности угадывания правильных ответов. Вероятность угадывания P для вопроса типа «один из нескольких» составляет 1/m, где m – количество альтернатив вопроса этого типа. При этом возникает проблема количества и содержания неправильных ответов, которые принято называть дистракторами. С одной стороны дистракторы должны быть достаточно правдоподобными, чтобы тестируемый не мог интуитивно выбрать правильный ответ, а с другой стороны не должны провоцировать тестируемого на неправильный ответ. Ведь конечная цель тестирования определить объективный уровень знаний обучаемого, а не доказать ему, что он ничего не знает. Также нецелесообразно строить вопросы по негативному принципу, т.е. предлагать тестируемому выбрать неправильный ответ из предложенных. Это обусловлено тем, что обычно обучение сводится к изучению и анализу правильных знаний, а неправильные знания не являются предметом изучения. Исключениями здесь могут быть тесты по технике безопасности на производстве и правилам уличного движения, где четко указывается то, чего нельзя делать. При составлении вопросов первого типа существенную роль играет количество дистракторов. При малом их количестве (m=2,3) возрастает вероятность угадывания правильного ответа, а, следовательно, уменьшается оцениваемый диапазон. При большом количестве дистракторов (m>6) возрастает громоздкость вопроса и затраты времени на поиск правильного ответа. Оптимальными с количественной точки зрения являются m=4,5.

С точки зрения целевых установок тестирования, вопросы первого типа рекомендуется использовать при проверке знаний семантических фактов и при проверке умений и навыков по физике, математике и другим фундаментальным дисциплинам. С методической точки зрения этот тип вопросов целесообразно применять при итоговом контроле и на вступительных экзаменах. При этом следует не только учитывать возможность угадывания правильных ответов, но и возможность подстановки результатов для чего в системе OpenTEST используются вопросы с задержкой появления ответов [5].

1.3.2 Выбор нескольких из нескольких

В этом типе вопросных тестовых заданий тестируемому предлагается m вариантов ответов на поставленный вопрос, из которых k правильные. За правильный ответ на вопрос тестируемый получает один балл (несколько баллов). Для вопросов типа «выбор нескольких из нескольких» в системе OpenTEST2 применяется так называемая «нестрогая стратегия оценивания»: если выбраны не все правильные ответы, то за ответ на данный вопрос тестируемый получает долю максимального балла. Это так называемый «частично правильный ответ». Если выбран хотя бы один неверный вариант ответа, весь ответ на вопрос признается неверным. За неверный ответ или за отказ от ответа тестируемый получает 0 баллов. Не рекомендуется использовать этот тип вопросов со всеми правильными ответами, так как в этом случае чисто психологически тестируемый будет искать неправильный ответ, которого на самом деле не существует], что искусственно будет увеличивать количество ошибок.

В системе OpenTEST2 эти вопросы определяются как «тип 2». На рисунке 2 представлен внешний вид вопроса данного типа в Web-интерфейсе системы OpenTEST2.

Рисунок 2 – Вопрос «несколько из нескольких» Web-интерфейсе системы OpenTEST2

Вероятность угадывания с учетом частично правильных ответов при условии, что за полностью правильный ответ начисляется один балл (для упрощения изложения математических выкладок вопросы весом более одного балла не рассматриваются), может быть определена как отношение количества всех частично правильных ответов (с учетом долей балла за частично правильный ответ) к общему числу вариантов ответа для этого типа вопросов.

Количество всех частично правильных ответов вычисляется как сумма вариантов с одним правильным ответом, с двумя правильными ответами, … , с k правильными ответами. При этом считается, что ответ с k правильными вариантами тоже является частично правильным, но за него назначается один балл. Число ответов с i правильными альтернативами определяется как число сочетаний из k по i . Следовательно, указанная сумма вычисляется как : . Раскрыв выражение получим :

С учетом известных формул и , а также получим

.

Общее вариантов ответов будет , а с учетом рекомендации не использовать вопрос со всеми вариантами правильных ответов, будет .

Таким образом, для вопросов типа «выбор нескольких из нескольких» вероятность угадывания будет :

, (4)

где k – число правильных альтернатив, m – общее число альтернатив. Вычитание единицы в знаменателе учитывает возможность существования (но рекомендацию не использовать) вопрос этого типа со всеми правильными альтернативами. Если эту рекомендацию не учитывать, то вероятность угадывания будет :

. (5)

Например, для вопроса второго типа с m =8 и k=4 P = 1/32 =0,031. Отметим, что точность вычисления вероятностей угадывания может быть ограничена тремя знаками после запятой. Это обусловлено способом подсчета набранных балов за тест в процентах от максимального балла, а вычисление с точностью больше, чем 0,1% особого смысла не имеет.

При использовании вопросов типа «выбор нескольких из нескольких» важно, чтобы вероятность угадывания для них была меньше, чем для вопросов типа « выбор одного из нескольких», т.е. с равным общим числом альтернатив m . Следовательно . Выполнив логарифмирование, получим log2 m < m-k+1 . В интервале 3 < m < 8 условно можно считать, что log2 m = 2. Заменив логарифм его значением, получим, 2 < m-k+1 или k < m+1-2 , или k < m–1. Следовательно, в вопросах типа «несколько из нескольких» число альтернатив не должно быть меньше 4, и при этом k < m–1. Вопросы типа 2 с числом альтернатив m=2 теоретически не существуют, а с m=3 теоретически хотя и существуют, но смысла не имеют, так как может существовать только одна возможность множественного выбора (2 из 3) и таких вариантов будет всего 3.

Рекомендации по использованию вопросов «несколько из нескольких» :

· не рекомендуется использовать вопросы типа «несколько из нескольких» c числом альтернатив меньше 4 и больше 8;

· не рекомендуется использовать вопросы типа «несколько из нескольких» при одной правильной альтернативе;

· при использовании вопросов типа «несколько из нескольких» должно соблюдаться условие k < (m – 1), т.е., например, при общем числе альтернатив 5 число правильных альтернатив не должно превышать 3;

· так же, как и для вопросов первого типа, не рекомендуется использовать формулировки вопросов с отрицательными ответами.

С точки зрения целевых установок тестирования, вопросы второго типа рекомендуется использовать при проверке профессиональных знаний по принципу “что для чего”. Данный тип вопросов рекомендуется использовать при итоговом тестировании с целью более углубленной проверки знаний и умений обучаемых. Также данный тип вопросов целесообразно использовать при текущем контроле знаний по иностранным языкам и синтаксису языков программирования. Данный тип вопросов является самым перспективным для использования в компьютерных системах контроля знаний.

1.3.3 Соответствие

Данный тип вопроса предусматривает наличие двух столбцов : левого, содержащего k элементов, и правого, содержащего m элементов. Сутью вопросного тестового задания данного типа является установление соответствия между элементами левого и правого столбцов. Таким образом, вопрос на соответствие представляет собой композицию k вопросов первого типа, связанных общей тематикой и общим оцениванием. За установление одного правильного соответствия тестируемый получает максимального балла за вопрос, за два правильных соответствия – и т.д. Такой ответ определяется как частично правильный. При установлении k правильных соответствий тестируемый получает максимальный балл за ответ (один или несколько баллов). При установлении хотя бы одного неправильного соответствия, за ответ на весь вопрос тестируемый получает нуль баллов. В правом столбце всегда присутствует альтернатива (по умолчанию) “ответ не выбран”. За выбор данной альтернативы тестируемый получает нуль баллов, соответствующий элемент левого столбца исключается из рассмотрения, а тестируемый имеет возможность устанавливать соответствие для остальных элементов левого столбца. Если для всех элементов левого столбца в качестве соответствия выбрана альтернатива правого столбца “ответ не выбран”, это соответствует отказу от ответа и оценивается в нуль баллов. Каждому элементу левого столбца соответствует один элемент правого столбца. Количество элементов правого столбца m > k+1 (за счет элемента “ответ не выбран”), но рекомендуется, чтобы m в среднем было в два раза больше k. Двойное соответствие (разным элементам левого столбца соответствует один и тот же элемент правого столбца или наоборот) недопустимо.

В системе OpenTEST2 эти вопросы определяются как «тип 4». На рисунке 3 представлен внешний вид вопроса данного типа в Web-интерфейсе системы OpenTEST2. Технически напротив каждого элемента левого столбца находится выпадающий список с элементами правого столбца. Таким образом, имеется возможность установить явное соответствие между элементами столбцов, а не указывать только номера элементов, как это обычно происходит при бланковом тестировании.

Рисунок 3 – Вопрос «соответствие» Web-интерфейсе системы OpenTEST2

Особенностью вопросов 4-го типа является то, что для однозначного понимания сути вопроса целесообразно указывать названия столбцов, т.е. явно указывать между какими группами понятий устанавливается соответствие. В системе компьютерного тестирования названия столбцов могут указываться в Web-интерфейсе или непосредственно в тексте вопроса (в системе OpenTEST2 принят и используется второй вариант).

По аналогии с вопросами второго типа вероятность угадывания с учетом частично правильных ответов определяется как сумма вероятностей угадывания одного соответствия, двух соответствий и т.д. С учетом доли балла вероятность угадывания одного соответствия определяется как , где k – количество альтернатив левого столбца, m – количество альтернатив правого столбца. В этом выражении (m+1) используется за счет наличия в правом столбце альтернативы “ответ не выбран”. Вероятность угадывания двух соответствий определяется как произведение вероятностей угадывания одиночных соответствий и так далее. Таким образом, общая вероятность угадывания для вопроса типа “соответствие” будет :

, (6)

Если вынести за знак суммы , то получим : .

Рассмотрим более подробно способ вычисления суммы ряда :

Рассматривать более 5 членов ряда не имеет смысла, т.к. даже при m=5 шестой член ряда несущественен, т.к. .

Для аналитического вычисления суммы указанного ряда рассмотрим сумму первых 5 членов геометрической прогрессии (k=5):

у которой первый член а знаменатель прогрессии .

Для убывающей геометрической прогрессии известна формула вычисления суммы первых k членов :

. (7)

Если учитывать, что число элементов правого столбца рекомендуется устанавливать примерно в два раза больше, чем число элементов левого столбца, то при k=5 для удобства вычислений целесообразно принять m=9. При этом . Следовательно, qk в формуле (7) можно не учитывать, и она преобразуется в известную формулу суммы бесконечно убывающей геометрической прогрессии .

Таким образом, сумма ряда .

Рассмотрим разность r = | S1–S2 | .

При m=9 S1=0,1+0,02+0,003+0.0004+0,00005=0.12345. В свою очередь S2=1/8=0,125. Таким образом, r = 0,125–0,12345 = 0,00155.

С учетом, что , а можно вычислить разность

Следовательно, с учетом принятых в пункте 1.3.2 ограничений на точность вычислений P в 0.1% можно считать, что приближенно P1=P2 и формула (6) преобразуется :

. (8)

Рассмотрим, как соотносятся вероятности угадывания однотипных вопросов второго и четвертого типов. При k= 4 и m =8 P = 1/(4*7)=1/28=0,036.

Таким образом, с точки зрения вероятности угадывания, вопросы “выбор нескольких из нескольких” и “соответствие” приблизительно одинаковы.

Рекомендации по использованию вопросов типа «соответствие»:

· в тексте вопроса всегда следует указывать наименование понятий (столбцов) между которыми устанавливается соответствие;

· не рекомендуется использовать в левом столбце больше 5 альтернатив, так как в этой ситуации число альтернатив правого столбца (с учетом m > 2*k) становится чрезмерно большим.

С точки зрения целевых установок тестирования, вопросы четвертого типа позволяют проверять так называемые ассоциативные знания. Это знания о взаимосвязи определений и фактов, авторов и произведений, сущности и явлений, о соотношении между различными предметами, свойствами, законами, формулировками, понятиями, датами. Данный тип вопросов используется в целях повышения активности учебной деятельности обучаемых путем усиления ассоциативной составляющей в процессе обучения. Вопросы типа «соответствие» рекомендуется использовать при текущем контроле и самоконтроле, и не рекомендуется использовать при итоговом контроле.

1.3.4 Свободный ввод ответа

В тестовых заданиях открытой формы нет предлагаемых для выбора вариантов ответов. Текст ответа вводится тестируемым в одном или нескольких (k) полях текстового ввода. Если k=1 вопрос называется однооконным, а если k >1, то многооконным. Количество символов, вводимых в i-ом окне, обозначается Li . В поле текстового ввода вводятся символы с компьютерной клавиатуры. С учетом разноязычных раскладок и клавиатурных регистров число возможных вводимых символов, которое обозначается mi , в целом может превышать 100.

Вопросы открытой формы формулируются в виде утверждений, которые превращаются в истинные высказывания, если в поле ввода вводится правильный ответ. Если ответ не правильный, то утверждение становится ложным. Ответ считается правильным, если вводимый ответ совпадает с эталоном. В качестве ответа на вопрос может вводиться произвольная буквенно-цифровая последовательность или так называемая «регулярная последовательность». За правильный ответ в одном окне тестируемый получает максимального балла за вопрос, при неправильном ответе – нуль баллов. С точки зрения суммарного балла за вопрос окна являются независимыми, т.е. суммарный балл за вопрос формируется как сумма баллов (долей балла) за отдельные окна.

В системе OpenTEST2 эти вопросы определяются, как «тип 3». На рисунке 4 представлен внешний вид вопроса данного типа в Web-интерфейсе системы OpenTEST2.

Рисунок 4 – Вопрос «свободный ввод ответа» Web-интерфейсе системы OpenTEST2

Для вопросов типа «свободный ввод» с многооконным вводом вероятность угадывания будет:

, (9)

где k – число окон ввода, Li-число символов в i-ом окне, mi – базовое число вводимых символов в i-ом окне. Если принять, что mi постоянно, а все окна имеют одинаковый размер (Li – постоянно), то второй сомножитель в формуле (9) будет постоянным и независимым от i, а следовательно, его можно вынести за знак суммы., т.е.

. (10)

Таким образом, для многооконного вопроса свободного ввода ответа с одинаковыми окнами вероятность угадывания для всего вопроса равна вероятности угадывания для одного окна. При условии, что mi > 100 , вероятность угадывания для вопросов данного типа стремится к нулю. Например, при m=100 и L=10 P = (1/10010) = 10–100. С учетом точности вычисления вероятности в 10–3, определенной в пункте 1.3.2, такую вероятность, естественно, можно считать нулевой.

Если в качестве эталона выступает произвольная буквенно-цифровая последовательность, то для определения правильности ответа происходит побитовое сравнение вводимой последовательности с эталоном. Если в качестве эталона используется “регулярная последовательность”, то она задает шаблон ввода, сравнения и обработки вводимой последовательности. “Регулярные последовательности” могут использоваться для следующих видов эталонов :

· значения математических (физических, химических) констант с неуказанной точностью;

· попадание числа с указанный интервал;

· синонимы в эталоне;

· буквы одинакового начертания в разных клавиатурных (языковых) раскладках;

· обработка последовательностей пробелов при текстовом вводе.

При составлении вопросов открытого типа необходимо использовать принцип неотрицательности, т.е не рекомендуется формулировать вопрос следующим образом , например, “Укажите какие действия нельзя выполнять в определенной ситуации”. Однозначно ответить на такой вопрос не представляется возможным, а, следовательно, будут возникать постоянные конфликты при его оценивании.

Рекомендации по использованию вопросов типа «свободный ввод»:

· в формулировке вопроса необходимо указывать, в какой языковой раскладке, в каком регистре, в каком падеже, в каком лице и т.д. необходимо вводить ответ;

· не рекомендуется использовать больше трех окон ввода, если это не проверка правописания;

· не рекомендуется использовать совместно в одном сеансе тестирования вопросы со свободным вводом ответа и выборочные вопросы из-за существенной разницы в вероятностях угадывания правильных ответов.

С точки зрения целевых установок тестирования вопросы третьего типа целесообразно использовать тогда, когда необходимо практически исключить вероятность угадывания ответов. Одной из областей широкого применения вопросов данного типа является проверка знаний и умений по использованию различных языковых конструкций (проверка правописания, применение конструкций языков программирования и т.д.).

1.4 Оценивание ответов

В компьютерных системах тестирования знаний особое внимание должно уделяться объективному оцениванию результатов, которые, как правило, выражаются в некоторых условных единицах (оценках). В шкалированных системах оценивания вычисляется процент правильных ответов за сеанс тестирования, и результат относится к одному из диапазонов шкалы оценивания (–количество диапазонов шкалы оценивания). В системе компьютерного тестирования знаний OpenTEST2 применяется автоматическая шкала оценивания, учитывающая вероятности угадывания для различных типов вопросов. При этом границы диапазонов шкалы оценивания вычисляются по формуле, которая ранее использовалась только для вопросов первого типа [4]. Нижняя граница первого диапазона принимается 0%, а верхняя граница последнего диапазона – 100%. Отметим, что первый диапазон шкалы соответствует зоне угадывания и оценивается оценкой «очень плохо». Верхняя граница k-го диапазона () вычисляются по формуле :

. (11)

Нормирование полученной оценки за сеанс относительно выбранной шкалы оценивания осуществляется с использованием неравенства:

.

В качестве примера рассмотрим реальный сеанс тестирования из 10 вопросов закрытого типа, 4 из которых первого типа («выбор одного из нескольких»), три второго типа («выбор нескольких из нескольких») и три четвертого типа («соответствие»). Необходимо подсчитать, какую оценку получил тестируемый в национальной пятибалльной шкале оценивания (D=5). Параметры вопросов и результаты прохождения сеанса одним из тестируемых приведены в таблице 1. В столбце «ответ» правильные ответы обозначаются «+», неправильные ответы «–», а частично правильные знаком «+» и дробью, указывающей количество выбранных правильных ответов из общего числа правильных ответов. Например, +(3/4) обозначает, что из четырех правильных альтернатив выбрано 3.

Таблица 1 ­ Параметры и результаты сеанса тестирования

Вопрос

Тип

m, k

Балл за вопрос Bi

Вероятность угадыван. Pi

Pi* Bi

Ответ

Набранный балл

1

1

4

1

0,25

0,25

+

1

2

1

4

2

0,25

0,5

0

3

1

5

1

0,2

0,2

0

4

1

5

2

0,2

0,4

+

2

5

2

5, 3

1

0,125

0,125

+

1

6

2

6, 3

2

0,0625

0,125

0

7

2

6, 4

3

0,125

0,375

+(3/4)

2,25

8

4

6, 4

1

0,05

0,05

+(3/4)

0,75

9

4

8, 4

2

0,036

0,072

0

10

4

9, 5

3

0,025

0,075

+(3/5)

1,8

å

18

2,172

8,8 (48,9%)

Pср = å(Pi* Bi ) / å Bi =2,172 / 18 = 0,121

Аср = 8,26.

Верхние границы диапазонов шкалы оценивания по формуле (11) будут :

С1 = 12% – «очень плохо»;

С2 = 34% – «неудовлетворительно»;

С3 = 56% – «удовлетворительно»;

С4 = 78% – «хорошо»;

С5 = 100% – «отлично».

Таким образом, 8,8 набранных баллов за рассматриваемый сеанс тестирования из 18 возможных соответствуют оценке «удовлетворительно» в пятибалльной шкале оценивания.

Рисунок 5 – Диапазоны автоматической шкалы оценивания в системе OpenTEST2

ВЫВОДЫ

Система OpenTEST2 находится в опытной эксплуатации в учебном процессе ХНУРЭ. Применение всех четырех типов вопросов значительно расширило дидактические и методические возможности преподавателей при оценивании знаний студентов. Учет вероятностей угадывания позволил более объективно оценивать уровень знаний студентов, что особенно важно при использовании накопительной системы оценивания в рамках Болонского соглашения.


ПЕРЕЧЕНЬ ССЫЛОК

1. Напрасник С.В., Цимбалюк Е.С., Шкиль А.С. Компьютерная система тестирования знаний OpenTEST 2.0 // Сборник научных трудов 10-й международной конференции УАДО Образование и виртуальность–2006. – Харьков-Ялта.– 2006.– Харьков: ХНУРЭ.– 2006.– С. 454–461.

2. Прокофьева Н.О. Методы контроля знаний при компьютерном обучении // Сборник научных трудов 9-й международной конференции УАДО Образование и виртуальность–2005. – Харьков-Ялта.– 2005.– Харьков: ХНУРЭ.– 2005.– С. 272–277.

3. Аванесов В.С. Формы тестовых заданий : Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. – М.: Центр тестирования, 2005. – 156 с.

4. Шкиль А.С., Чумаченко С.В., Напрасник С.В. Компьютерная система тестирования знаний в дистанционном обучении // АСУ и приборы автоматики. – 2003.- Харьков: ХТУРЭ.– Вып. 122.– С. 85–95.

5. Напрасник С.В., Таранов В.Б., Шкиль А.С., Шкляров Л.И. Использование закрытых форм тестовых заданий в системе компьютерного тестирования знаний OpenTEST // Сборник научных трудов 9-й международной конференции УАДО Образование и виртуальность–2005. – Харьков-Ялта. – 2005. – Харьков: ХНУРЭ.– 2005. – С. 307–312.

подписка на RSS комментариев

Комментарии are closed

Тестирование знаний - наша работа