Запись написана

  • 29.03.2013
  • в 12:00 ДП
  • admin

Реклама

Компьютерное тестирование знаний обучаемых по математическим дисциплинам 0

В.В.Семенец, В.И. Каук, А.С.Шкиль,

КОМПЬЮТЕРНОЕ ТЕСТИРОВАНИЕ ЗНАНИЙ ОБУЧАЕМЫХ ПО МАТЕМАТИЧЕСКИМ ДИСЦИПЛИНАМ

Розглянуті питання комп’ютерного тестування за математичними дисциплінами. Наведені недоліки, які виникають при використанні тестових запитань традиційних видів. Запропоновано використовувати новий тип закритого запитання “вибірковий з затримкою появи відповідей”. Розглядається технологія тестування з використанням комп’ютерної тестової системи OpenTEST. Наведені результати тестування абітурієнтів ХНУРЕ на вступному іспиті з математики в 2005 році.

В 2005 году приемные экзамены по математике в Харьковском национальном университете радиоэлектроники проводились в форме компьютерного тестирования. При компьютерном тестировании знаний наиболее распространенной формой тестовых заданий является вопросная форма. С точки зрения способа ввода ответов все множество вопросов можно разделить на вопросы закрытого типа (”выбор одного из нескольких”, “выбор нескольких из нескольких” и “установление соответствия”) и вопросы открытого типа (ввод свободноконструируемого ответа).

По целевым установкам тестирования тестовые задания можно разделить на теоретические (проверка знаний) и практические (проверка умений и навыков). При определении уровня подготовки студентов по математическим дисциплинам основное внимание уделяется проверке умений и навыков. Основным видом вопросов при этом является задание на решение уравнений, неравенств, доказательство правильности определенных математических преобразований и т.п. Особенностью таких вопросов является то, что ответы являются относительно простыми при достаточно сложной процедуре решения.

При использовании вопросов закрытого типа (варианты ответов предъявляются абитуриенту вместе с текстом вопроса) правильный ответ достаточно легко вычислить путем простой подстановки вариантов ответов в условие задачи. При возможности использовании математических калькуляторов применение выборочных  математических вопросов вообще становится проблематичным. Например, выборочный вопрос типа “один из нескольких” :

« Решить уравнение    »

с альтернативными ответами  { 2 ; ±6 ; 16, 8 ; 12 } методом подстановки вариантов ответов решается за несколько секунд, хотя для его правильного решения необходимо знать методы решения иррациональных и квадратных уравнений.

При использовании вопросов открытого типа со свободноконструируемыми ответами возникает другая сложность – многообразие форм представления ответов, каждый из которых является математически правильным. Например, для вопроса открытого типа

« Решить уравнение   Cos 2x + Sin 2x = Cos x + Sin x »

ответ  { π/6 + 2/3 πn;  2πk } имеет достаточно много форм представления, в частности ” π ” может быть заменено на “180°”, или на запись “180 градусов”. Периодичность ответов для тригонометрических уравнений также может быть представлена многими способами.

Кроме того, во многих решениях используются специальные математические символы типа “интеграл”, “производная”, “корень квадратный” и так далее. В вопросах открытого типа ответ вводится, обычно, в текстовом виде, а в стандартной компьютерной клавиатуре таких символов нет. Использование стандартных генераторов формул (MS Office) не представляется возможным из-за закрытости формата представления таких формул.  Большую сложность также имеет представление диапазонов, которые достаточно часто присутствуют в решениях математических неравенств. Можно, конечно, построить специальный интерфейс для ввода указанных математических символов, но это, во-первых, значительно усложнит тестовую систему, а, во-вторых, сделает ее исключительно математически направленной и непригодной для использования в других дисциплинах.

Указанные недостатки создают определенные трудности для применения традиционных типов вопросов при тестировании студентов по математическим дисциплинам.

В Харьковском национальном университете радиоэлектроники (ХНУРЭ) разработана и в течении ряда лет функционирует система компьютерного тестирования знаний OpenTEST, которая предназначена для контроля уровня знаний студентов (абитуриентов) с использованием вопросных тестовых заданий в локальном и сетевом (клиент-серверном) вариантах [1].

При разработке OpenTEST использован скриптовый язык PHP, а также HTML, XML и JavaScript. Для хранения информации используется база данных MySQL. Серверной программой, обычно, является Apache. Все программные средства разработки являются бесплатно распространяемыми и открытыми. Применение некомпилируемых, скриптовых языков облегчает разработку и внесение изменений в исходный код системы самими разработчиками или другими специалистами.  Ориентация на Internet-технологии дает возможность устанавливать OpenTEST только на сервере, при этом на пользовательских компьютерах тестируемых не требуется устанавливать какого-либо специального программного обеспечения. Операционная система на серверном и клиентских компьютерах не играет практически никакой роли. Система OpenTEST может функционировать под Windows, Linux и другими распространенными операционными системами.

Тестирование знаний обучаемых в системе ОpenTEST осуществляется путем организации индивидуального или группового сеанса тестирования. Для каждого пользователя осуществляется индивидуальная регистрация в системе с использованием пароля. Сеанс тестирования характеризуется длиной (количеством вопросов, выдаваемых пользователю в безусловном режиме и случайном порядке), временем, отводимым на сеанс, и разрешенным количеством попыток. В случае окончания отведенного времени, сеанс считается законченным независимо от того, ответил ли студент на все вопросы. Тестируемый может прервать сеанс по своему желанию до окончания времени, отводимого на сеанс.

Автоматизированная система контроля знаний OpenTEST поддерживает все основные типы вопросов закрытого и открытого типов. При выдаче вопросов закрытого типа происходит случайное перемешивание порядка следования вариантов ответов. При вводе ответов в вопросах открытого типа могут использоваться только символы, вводимые с клавиатуры в соответствующей кодировке. За правильный ответ на каждый вопрос студент получает заданное наперед количество баллов. Для вопросов типа “несколько из нескольких” применяется так называемая “нестрогая стратегия оценивания”: если выбраны не все правильные ответы, то за ответ на данный вопрос пользователь получает долю максимального балла, если выбран хотя бы один неверный вариант ответа, весь ответ на вопрос признается неверным. За неверный ответ или отказ от ответа студент получает нуль баллов. Отказ от ответа приравнивается к неправильному ответу. Суммируя баллы за ответы на все вопросы, пользователь получает суммарный балл за сеанс и процент правильных ответов (полученный балл за сеанс, отнесенный к максимально возможному баллу за сеанс). В случае необходимости, процент правильных ответов нормируется относительно выбранной шкалы оценивания (по умолчанию используется пятибалльная шкала). В системе OpenTEST имеется возможность создавать авторскую шкалу оценивания, указывая интервалы шкалы в процентах.

В системе OpenTEST для устранения вышеперечисленных недостатков математических вопросов закрытого типа при создании тестовых заданий по математическим дисциплинам, предложено использовать новый тип вопроса: “выборочный с задержкой появления ответа”. Технология ответа на такой вопрос следующая. В окне браузера (Web-интерфейса) появляется текст вопроса с рекомендуемым временем на решение задачи и кнопка “Готов к ответу”. Студент любым способом (на бумаге, “в уме”) решает поставленную задачу и, в случае получения правильного ответа, нажимает кнопку “Готов к ответу”. После этого в окне браузера появляются варианты ответов на достаточно короткое время ( 30 – 45 секунд ) и локальный таймер с указанным интервалом времени. За это время студент имеет возможность выбрать правильный вариант ответа, но не имеет возможности подобрать ответ методом подстановки. Время существования на экране вариантов ответа (время задержки) указывается в настройках конкретного теста в системе OpenTEST и может изменяться от теста к тесту.

После истечения указанного в настройках теста времени задержки сами варианты ответов исчезают независимо от того, был выбран ответ или нет. Сам вопрос после этого “блокируется, то есть варианты ответов становятся недоступными для просмотра или их корректировки. При работе с такими вопросами студент должен очень осторожно пользоваться кнопкой “Готов к ответу”. Нажимать ее следует только в том случае, если готов правильный ответ.

Контроль времени доступности вариантов ответов осуществляется на стороне сервера, поэтому любые попытки пользователя или оператора с помощью манипуляций кнопками управления браузером продлить время существования ответа на экране не дают результата. Хотя визуально ответы на экране присутствует, прием варианта ответа на вопрос все равно блокируется по истечении времени задержки. Незначительное время существования ответов на экране монитора делает затруднительным их копирование для последующего распространения среди других студентов.

Такой тип вопроса, с одной стороны, удобен для представления сложных математических выражений в виде рисунков в формате  *.gif , а с другой стороны не требует для анализа ответов  сложного программного анализатора.

При достаточно большой тестовой базе в 300 – 500 вопросов защищенность вопросов подобного типа является высокой. Специфика математических дисциплин состоит в том, что структуризация предметной области (перечень тем, подтем и их взаимосвязь) является общепринятой и изменяется достаточно редко. Поэтому тестовая база данных по указанным дисциплинам постоянно наращивается и может использоваться во многих учебных заведениях практически без изменений.

При проведении компьютерного тестирование на вступительном экзамене по математике ХНУРЭ в 2005 году использовались только вопросы закрытого типа «выбор одного из нескольких» с задержкой появления ответа. Сеанс тестирования состоял из 12 вопросов разной сложности (весомозначности) типа «один из нескольких» с пятью вариантами ответов На сеанс тестирования отводилось 120 минут. Среди 12 вопросов сеанса было 6 вопросов по одному баллу за правильный ответ, 5 вопросов по 3 балла за правильный ответ и один вопрос с 4 баллами за правильный ответ. Время задержки появления ответов было 45 секунд. Максимальный балл за сеанс при этом составил 25 баллов.

При использовании нешкалированных систем оценивания (непосредственно по набранному баллу) по методике Аванесова В.С. [2], которая утверждена Министерством образования и науки Украины в качестве базовой при оценивании результатов тестирования, должна вводиться корректировка набранного балла Вн с учетом возможности угадывания правильного ответа. При использовании в тестовых заданиях закрытого типа вопросов типа “выбор одного из нескольких” независимо от весомозначности отдельных вопросов и длины сеанса тестирования в условиях равной вероятности (или равного количества) попадания разных вопросов в сеанс тестирования реальный балл Вр вычисляется по формуле

где Вmax – максимально возможный балл, набранный в сеансе тестирования,

к – количество вариантов ответов в вопросе «один из нескольких».

При рассматриваемом варианте организации тестирования, когда к=5, Вmax=25, можно составить таблицу корректировки набранных баллов. В таблице 1 представлены в первой строке набранны баллы, а во второй строке – реальные баллы с учетом корректировки.

Таблица 1

Набранный балл Вн

0

1

2

3

4

5

6

7

8

9

10

11

12

Реальный балл Вр

0

0

0

0

0

0

1

2

4

5

6

8

9

Вн

13

14

15

16

17

18

19

20

21

22

23

24

25

Вр

10

11

12

14

15

16

17

19

20

21

22

24

25

Из таблицы 1 видно, что набранные 5 и меньше баллов находятся в так называемой «зоне угадывания», т.е. как реальные баллы за тестирование не рассматриваются. Такой способ корректировки достаточно эффективно “поощряет” хорошо успевающих студентов (абитуриентов) и “отсекает” тех, кто не зная материала, пытается угадывать ответы на выборочные вопросы.

В таблицах 2 и 3 соответственно приведены примеры математических вопросов первого уровня сложности (1 балл) и второго уровня сложности (3 балла). Формат представления вопросов ориентирован на ввод в систему OpenTEST.

Таблица 2

Т Алгебраические уравнения
Q1/D Решить алгебраическое уравнение :
A -9;-1
A+ -9;1
A 9;-1
A -9;9
A -1;9

Таблица 3

Т Алгебраические уравнения
Q1/D Решить алгебраическое уравнение :
A -9;-1
A+ -9;1
A 9;-1
A -9;9
A -1;9

При проведении тестирования в ХНУРЕ 15 и 16 июля 2005 года одновременно было задействовано 225 компьютеров в 23 компьютерных классах. В один день проводилось по 3 сеанса тестирования. Ниже приведены результаты тестирования первого дня. Всего трестировалось 673 абитуриента. Результаты тестирования приведены в таблице 4.в первой строке данной таблицы представлены набранные баллы,  а во второй строке количество абитуриентов, набравших указанный балл.

Таблица 4

1

2 3 4 5 6

7

8

9

10

11

12

13

14

15 16 17 18 19

20

21

22 24

5

7 9 8 9 12 16 18 26

36

38

40

48

74 74 98 61 32 30

20

8

3

1

На рисунке 1 представлена гистограмма количественного распределения абитуриентов по набранным баллам, построенная на основании таблицы 4. Полученное распределение достаточно близко к нормальному, что подтверждает объективность тестирования и качество использованных математических тестовых заданий.

Рисунок 1- Распределение количества абитуриентов по набранным баллам

ЛИТЕРАТУРА :

1.  Напрасник С.В., Шкиль А.С. Компьютерная система тестирования знаний “OpenTEST”. Образование и виртуальность –2003. Сборник научных трудов 7-й международной конференции УАДО. – Харьков-Ялта.– 2003.– Харьков: ХТУРЭ.– 2003.– С. 319-321.

2.  Аванесов В.С. Форма тестовых заданий. Учебное пособие, 2 изд. переработанное и расширенное. – М.: Центр тестирования, 2005.– 156 с.

подписка на RSS комментариев

Комментарии are closed

Тестирование знаний - наша работа