программа тестирования

Использование закрытых форм тестовых заданий в системе компьютерного тестирования знаний OpenTEST

Напрасник С.В., Таранов В.Б., Шкиль А.С., Шкляров Л.И.

Харьковский национальный университет радиоэлектроники,
г. Харьков, Украина
E-mail: opentest@opentest.com.ua

Abstract. The issues of usage of private-type test questions in knowledge testing system OpenTEST are considered. As a main form of realization the questions of selective type are used, their creation and applying for testing in several fields of knowledges is represented. The mathematical selective questions with delay of answers’ apearance are collected into particular subtype, the technology of their creation and applying is described.

При компьютерном тестировании знаний наиболее распространенной формой тестовых заданий является вопросная форма. Государственным стандартом высшего образования Украины [1] определены вопросы закрытой формы с предложенными вариантами ответов, среди которых присутствует один или несколько правильных, и открытой формы со свободно конструируемыми ответами. В Харьковском национальном университете радиоэлектроники (ХНУРЭ) разработана и в течение ряда лет функционирует система компьютерного тестирования знаний OpenTEST [2], которая поддерживает все основные типы вопросов закрытого и открытого типов. Опыт проведения итоговых компьютерных тестирований студентов в ХНУРЭ показал, что с точки зрения однозначности оценивания и определения уровня знаний студентов, а также документирования результатов тестирования, более предпочтительными являются вопросы закрытой формы.

В системе компьютерного тестирования знаний OpenTEST диалог пользователя с системой происходит через Web-интерфейс, который предусматривает наиболее удобную форму реализации вопросов типа “выбор одного из нескольких” (radio-button) и “выбор нескольких из нескольких” (check-box). Визуально они различимы, поэтому пользователь всегда может определить, какой тип вопроса ему предложен. При выдаче вопросов происходит случайное перемешивание порядка следования вариантов ответов. За правильный ответ на вопрос тестируемый получает один балл. Для вопросов типа “несколько из нескольких” применяется так называемая “нестрогая стратегия оценивания”: если выбраны не все правильные ответы, то за ответ на данный вопрос пользователь получает долю балла, если выбран хотя бы один неверный вариант ответа, ответ на вопрос признается неверным. За неверный ответ или отказ от ответа студент получает нуль баллов. Суммируя баллы за ответы на все вопросы, пользователь получает суммарный балл за сеанс тестирования и процент правильных ответов (полученный балл за сеанс, отнесенный к максимально возможному баллу за сеанс). В случае необходимости, процент правильных ответов нормируется относительно выбранной автоматической или авторской шкалы оценивания.

Рассмотрим, каким образом могут реализовываться разнообразные типы вопросов закрытого типа путем различных сочетаний структурных компонентов учебного материала в вопросах типа “выбор одного из нескольких” и “выбор нескольких из нескольких”. Все приведенные вопросы взяты из реальных тестов в системе OpenTEST, использующихся в учебном процессе ХНУРЭ и при проведении контроля математических знаний в Центре довузовской подготовки ХНУРЭ.

1. Множественный выбор понятий (определений, названий, имен), при необходимости с отрицанием или объединением (рис.1).

Рис.1. Вопрос по дисциплине “История Укрины“

2. Выбор строк на основании их анализа или конструирования (рис.2).

Рис.2. Вопрос из независимого вступительного теста по украинскому языку

3. Реализация отношений последовательности через выбор «одного из нескольких» (рис.3).

Рис.3. Вопрос по дисциплине “Философия”

4. Реализация отношений соответствия через выбор «несколько из нескольких» (рис.4).

Рис.4. Вопрос по дисциплине “Физика”

5. Понятия, формулы и графики в выборочных вопросах .

Отдельный класс выборочных вопросов в математических и технических дисциплинах составляют вопросы по контролю знаний понятий (определений, законов) и их математического и графического представления (формулы и графики). Возможно представить 6 основных способов построения таких вопросов : «понятие – формула», «формула – понятие», «понятие – график», «график – понятие», «график – формула», «формула – график». На рис. 5 представлен вопрос типа «формула – понятие» из дисциплины “Аналитической геометрии“.

Рис.5. Вопрос по дисциплине “Аналитическая геометрия”

6. Вычисления в выборочных вопросах .

Еще один класс выборочных вопросов при контроле умений и навыков по математическим и техническим дисциплинам составляют вопросы на вычисление конкретных значений заданных величин. В тексте вопроса формулируется условие задачи, а в вариантах ответа приводятся конкретные численные значения ответов. При ответе та такой вопрос студент должен выбрать путь решения задачи с набором формул для вычисления ответа, вычислить ответ, а после этого выбрать правильный из списка предложенных. На рисунке 6 представлен вопрос типа «график в условии решения – вычисление значений по этому графику» из дисциплины «Теория сигналов».

Рис.6. Вопрос по дисциплине “Теория сигналов”

При определении уровня подготовки студентов по математическим дисциплинам основным способом проверки умений и навыков является решение уравнений, неравенств, доказательство правильности определенных математических преобразований. Основной особенностью таких вопросов является относительно простые ответы при достаточно сложной и громоздкой процедуре решения.

При использовании традиционных вопросов закрытого типа (варианты ответов предъявляются студенту вместе с текстом вопроса) правильный ответ достаточно легко вычислить путем простой подстановки вариантов ответов в условие задачи. При возможности использовании математических калькуляторов применение выборочных вопросов математике вообще становится проблематичным. Например, выборочный вопрос типа “один из нескольких” :

« Решить уравнение »

с альтернативными ответами { 0 ; 11 ; 16, –11 ; –1 } методом подстановки ответов решается за несколько секунд, хотя для его правильного решения необходимо знать методы решения иррациональных уравнений.

В системе OpenTEST для устранения вышеперечисленных недостатков при создании вопросов закрытого типа по математическим дисциплинам предложено использовать новый тип вопроса – “выборочный с задержкой появления ответа”. Технология ответа на такой вопрос следующая. В окне браузера (Web-интерфейса) появляется текст вопроса с рекомендуемым временем на решение задачи и кнопка “Готов к ответу”. Студент любым способом (на бумаге, “в уме”, с использованием калькулятора) решает поставленную задачу и в случае получения правильного ответа нажимает кнопку “Готов к ответу” (”answer ready“). После этого в окне браузера появляются варианты ответов на достаточно короткое время (15 – 30 секунд ) и локальный таймер с указанным интервалом времени. За это время тестируемый имеет возможность выбрать правильный вариант ответа, но не имеет возможности подобрать ответ методом подстановки. Время задержки ответа указывается в настройках конкретного теста в системе OpenTEST и может изменяться от теста к тесту. После истечения указанного в настройках теста времени задержки (доступности ответов) кнопка “Ответить” исчезает независимо от того, был выбран ответ или нет. Сам вопрос после этого “блокируется”, то есть пересылка ответов на сервер становится невозможной (рис.7).

Рис.7. Вопрос из независимого вступительного теста по математике

Контроль времени доступности ответов осуществляется на стороне сервера, поэтому любые попытки студента с помощью манипуляций кнопками управления браузером продлить время существования ответа на экране монитора не дают результата. Хотя визуально ответы на экране присутствует, прием варианта ответа на вопрос все равно блокируется по истечении времени задержки.

Проведение компьютерных тестирований в ХНУРЭ более чем по 50 дисциплинам показало эффективность использования выборочных вопросов при проведении итоговых тестирований. Для оценки уровня математической подготовки в Центре довузовской подготовки ХНУРЭ применялось тестирование с использованием математических выборочных вопросов с задержкой появления ответов. Анализ статистики проведения тестирования более 1500 абитуриентов по дисциплине “Математика для поступающих в ВУЗы” показал надежность и эффективность как системы OpenTEST в целом, так технологии применения выборочных вопросов с задержкой появления ответов.

Литература

1. Комплекс нормативних документів для розробки складових систем стандартів вищої освіти. Засоби діагностики якості вищої освіти // Інформаційний вісник “Вища освіта”. – 2003.- №10. – С 67-82 .
2. Напрасник С.В., Таранов В.Б., Шкиль А.С. Технологии подготовки тестовых заданий и проведения тестирования в системе OpenTEST. Образование и виртуальность –2004. Сборник научных трудов 8-й международной конференции УАДО. – Харьков-Ялта.– 2004.– Харьков: ХНУРЭ.– 2004.– С. 359-365.