Запись написана

  • 29.03.2013
  • в 12:00 ДП
  • admin

Реклама

Технологии подготовки тестовых заданий и проведения тестирования в системе OpenTEST 0

Март29

Технологии подготовки тестовых заданий и проведения тестирования в системе OpenTEST

Напрасник С.В., Таранов В.Б., Шкиль А.С..

Харьковский национальный университет радиоэлектроники,
г. Харьков, Украина

Abstract. In this paper the technology of usage of web-based system of knowledge testing (OpenTEST) is offered. Structure of system is represented. The duties of specialists engaged in testing are defined. The calculations of test’s length depending on volume of learning course are given. Common rules of statistic analysis of results of testing are described.

Компьютерная система тестирования знаний OpenTEST находится в опытной эксплуатации в ряде вузов Харькова с 2003 года. Продукт состоит из пяти независимых модулей, которые работают с общей базой данных (БД) и выполняют следующие функции. Модуль «Тестирование» используется для проведения тестирования в режиме “online”. Модуль «Студия тестов» – создание тестов и их редактирование, управление правами доступа к тестам, импорт и экспорт XML с тестами пользователей. Модуль «Управление пользователями» – добавление пользователей и групп пользователей, редактирование прав доступа к тестам и модулям. Модуль «Статистика» – просмотр результатов тестирования пользователей, выдача статистических оценок. Модуль «Зона администратора» – вход для администраторов проекта [1].

Опыт использования системы OpenTEST показал, что в проведении тестирования должны участвовать ниже перечисленные специалисты, выполняющие определенные функциональные обязанности.

1) Составитель (автор)  тестов.

Обычно это специалист в данной предметной области (ведущий лектор по дисциплине). Он задает целевую установку тестов, выполняет тематическую разбивку предметной области, выбирает типы применяемых вопросов, группирует вопросы по уровням сложности и предлагает варианты шкалы оценивания.

2) Оператор ввода тестов.

Является специалистом в области XML-формата и модуля «Студия тестов» системы OpenTEST. Оператор может вводить тест следующих режимах:

- через Web-интерфейс «Студии ввода тестов» непосредственно в БД OpenTEST;

- через имитатор Web-интерфейса с конвертированием его в XML-формат;

- из doc-файла с конвертированием его в XML-формат;

- из XML-файла (импортирование теста).

Введенный тест визуально и формально проверяется на корректность и при необходимости дорабатывается совместно с составителем тестов.

3) Организатор тестирования.

В качестве организатора тестирования могут выступать ведущий лектор по дисциплине, представитель администрации учебного заведения, представитель приемной комиссии и др. Организатор тестирования выполняет следующие функции:

- готовит (получает в деканате) списки групп тестируемых студентов;

- проверяет наличие в БД соответствующих тестов и выполняет их настройки;

- определяет параметры сеанса тестирования;

- получает и обнародует результаты тестирования.

4) Оператор проведения тестирования.

Оператором проведения тестирования является специалист по всем режимам системы OpenTEST.  Оператор проведения тестирования, как правило, обладает правами на модули “Студия тестов”, “Студия пользователей”, “Статистика” системы OpenTEST. Его функции :

- по указанию организатора тестирования заносит в БД списки групп тестируемых;

- устанавливает настройки тестов и групп тестируемых;

- устанавливает параметры сеанса тестирования;

- проводит идентификацию тестируемых и их допуск к сеансу тестирования;

- присутствует в компьютерном зале при проведении тестирования и, при необходимости, разрешает конфликтные ситуации;

- по указанию организатора тестирования получает ведомость результатов тестирования.

5) Инженер по знаниям.

Является специалистом по теории тестирования, по теории вероятностей и матстатистике, знает структуру БД и имеет права администратора системы OpenTEST.

Выполняет следующие функции:

- организует просмотр полных результатов журнала сеанса тестирования для любого пользователя (по требованию организатора тестирования);

- помогает автору теста оценить качество отдельных вопросов;

- помогает автору теста (организатору тестирования) оценить уровень знаний студентов по темам;

- помогает автору теста (организатору тестирования) оценить сложность теста и выбрать правильную шкалу оценивания.

6) Администратор системы.

Обладает, как правило, правами администратора сетевого домена, где инсталирована OpenTEST, является специалистом по всем модулям системы, должен уметь выполнять обязанности операторов ввода тестов и проведения тестирования.

- производит инсталляцию системы OpenTEST;

- устанавливает права доступа разным категориям пользователей в OpenTEST.

Отметим, что один человек может совмещать несколько функциональных обязанностей, например, автора теста и организатора тестирования, но это не отменяет выше перечисленного разделения функций. При таком распределении обязанностей технология проведения тестирования выглядит следующим образом.

Автор теста изготавливает тест по своей предметной области в письменном или электронном виде. Оператор ввода тестов с использованием “Студии тестов” вводит тест в систему любым их выше перечисленных способов. Тест проверяется на корректность и в случае необходимости дорабатывается автором теста. Организатор тестирования передает оператору проведения тестирования списки групп тестируемых, определяет настройки теста, пароли и допуски групп к тестам, определяет параметры сеанса тестирования и шкалу оценивания. Оператор проведения тестирования с использованием “Студии тестов” и “Студии пользователей” заносит в базу данных списки тестируемых, устанавливает настройки теста и параметры сеанса тестирования. С использованием модуля “Тестирование” выполняет идентификацию пользователей и проводит сеанс тестирования. С использованием модуля “Статистика” получает результаты сеанса тестирования и передает их организатору тестирования. Инженер по знаниям с использованием модуля “Статистика” получает информацию об уровнях знаний по отдельным темам теста и доводит ее до автора теста, проводит экспертную оценку отдельных вопросов и теста целиком, помогает организатору тестирования (автору теста) установить правильную шкалу оценивания.

Тестирование знаний обучаемых в автоматизированной системе контроля знаний OpenTEST осуществляется путем организации сеанса тестирования для каждого пользователя (тестируемого) или группы тестируемых. Для каждого пользователя осуществляется индивидуальная регистрация в системе с использованием пароля. Сеанс характеризуется длиной (количеством вопросов, выдаваемых пользователю в безусловном режиме и случайном порядке) и временем, отводимым не сеанс. В случае истечения времени, сеанс считается законченным независимо от того, ответил ли тестируемый на все вопросы или нет. Во время сеанса пользователь в окне браузера в случайном порядке получает набор вопросов с вариантами ответов и время, оставшееся до конца сеанса. Кроме собственно выбора ответов, он может также пропускать вопросы, перемещаться между ними и отвечать на вопросы в произвольном порядке. Любые неполадки на клиентской машине не влияют на отсчет времени или запись результатов тестирования. При необходимости в любой момент можно прервать тестирование и, по желанию пользователя, продолжить его с того же места на другой машине, если, например, первая вышла из строя.

Для оценки знаний используется автоматическая (пятибалльная) шкала оценивания или устанавливается авторская .

Для правильного формирования теста его автор должен знать модель предметной области, которая поддерживается системой OpenTEST, и способ назначения весомозначности отдельным вопросам в тесте.

В автоматизированной системе контроля знаний обучаемых OpenTEST принята трехуровневая иерархическая структуризация тестовых заданий (вопросов) :

“ИМЯ ТЕСТА”  -  “ИМЯ ТЕМЫ”  -  ВОПРОСЫ ТЕМЫ .

“Имя теста” обычно соответствует названию учебной дисциплины или ее части. Доступ к тесту (при организации сеанса тестирования) осуществляется по имени теста. Тест разбивается на темы в соответствии с рабочей программой по учебной дисциплине. Не рекомендуется выделять в тесте более 10 тем. Это связано с необходимостью включения в сеанс тестирования вопросов из каждой темы, а длина сеанса обычно достаточно ограничена. Если количество тем в учебной дисциплине все-таки больше указанного числа, то рекомендуется создавать несколько тестов по этой дисциплине. Среди вопросов одной темы могут присутствовать однотипные по смыслу, но с разными данными или начальными условиями, или проверяющие реализацию одних и тех же умений и навыков, но на разных примерах. Это значительно ускоряет процесс составления тестов: формулируется базовый вопрос, а затем на его основе создается несколько однотипных.

В теории приобретения знаний выделяют три уровня усвоения знаний [2] :

- узнавание (запоминание);

- заучивание (понимание, применение);

- актуализация (синтез новых понятий, комплексное применение умений и навыков).

Каждому из этих уровней соответствуют определенные типы вопросов, различающиеся по качественным характеристикам. В целом можно сказать, что сложность вопросов возрастает от уровня к уровню, однако однозначного соответствия в этом нет. Вопросы, проверяющие знание определенных понятий, которые подлежат исключительно запоминанию, могут оказаться сложнее, чем понимание некоторых процессов. Например, такими вопросами могут быть годы жизни малоизвестных политиков или писателей, точные значения физических или математических констант, малоиспользуемые синтаксические конструкции языков программирования и т.д. Указанные уровни сложности вопросов проверяют разные аспекты познавательной деятельности обучаемых, и включение в один тест вопросов разных уровней – это компетенция автора теста. Для раздельного оценивания уровня знаний, умений и навыков авторам теста рекомендуется разделять тесты по целевым установкам, например, “Физика_механика (знания)”, “Матанализ_пределы (умения)” и так далее.

С целью создания равных условий для всех тестируемых и упрощения алгоритма организации сеанса тестирования в системе OpenTEST принята равная оценка сложности всех вопросов. За правильный ответ на вопрос тестируемый получает один балл, за частично правильный ответ на вопрос типа “несколько из нескольких” получает долю балла, пропорциональную числу правильно выбранных вариантов. Если выбран хотя бы один неправильный вариант, то за ответ назначается нуль баллов.

При подготовке тестов в системе OpenTEST важную роль играет количественное нормирование параметров тестов. Для этого целесообразно использовать принятое в дистанционном обучении понятие “тематическая единица” [3]. Под тематической единицей принято понимать совокупность всех видов учебной нагрузки (лекции, практические занятия, лабораторные работы, самостоятельная работа), необходимые для изучения определенной темы учебной дисциплины. Рекомендуемая минимальная длина тематической единицы – 7 часов учебного времени. Исходя из этого, можно дать следующие рекомендации по длине тестов (объему тестовой БД по дисциплине).

1. Для единообразия и удобства работы с учебными планами количество тематических единиц (тем) в дисциплине нормируется относительно ее объема в кредитах (54 часа). Анализ рабочих программ по дисциплинам показал, что с увеличением объема учебной дисциплины увеличение числа тематических единиц происходит нелинейно (а достаточно часто практически не увеличивается). Следовательно, происходит увеличение учебных часов, отводимых на изучение одной тематической единицы. Таким образом, чем больше объем дисциплины, тем меньше тематических единиц приходится на один кредит. Например, стандартная учебная дисциплина в 2 кредита содержит примерно 15 тематических единиц, что соответствует 108 часам учебной, а дисциплина в 4 кредита – примерно 20-25 тематических единиц.

2. Длина сеанса тестирования ( N ) определяется, исходя из двух показателей.

· В сеанс тестирования должен попасть хотя бы один вопрос из каждой тематической единицы. Следует отметить, что если число тематических единиц в тесте меньше рекомендуемых величин, то длина сеанса тестирования сохраняется, а в сеанс будут включаться несколько вопросов из одной темы.

· Исходя из достоверности выборки, психофизических рекомендаций и реального времени, отводимого на сеанс тестирования в условиях одновременного тестирования нескольких студенческих групп, длина сеанса тестирования не рекомендуется меньше 10-15 вопросов и больше 30-40 вопросов. Время, отводимое на один вопрос, и соответственно на сеанс тестирования в целом, определяется автором теста.

3. Общее количество вопросов в тесте определяется способом формирования сеансов тестирования на основе базы тестовых заданий и моделью предметной области. Объем тестовой базы должен быть таким, чтобы при проведении тестирования в компьютерном классе у двух тестируемых было как можно меньше одинаковых вопросов (иначе начинатся “обмен мнениями” прямо в компьютерном классе). Исходя из 10 посадочных мест ( C ) в стандартном компьютерном классе, достаточно просто вычислить минимальную длину теста M = N * C .

Следует иметь ввиду, что объем тестовой базы (реальная длина теста- Мб) также зависит от количества одновременно тестируемых студентов (размера студенческого потока). В порядке обсуждения можно предложить такие коэффициенты увеличения минимальной длины теста при формировании тестовой базы в зависимости от количества одновременно тестируемых студентов (размера студенческого потока) :

Мб= М* К ,

где К = 1  для потоков до 50 студентов, К= 1,2  для потоков от 50 до 100 студентов, К = 1,4  для потоков от 100 до 150 студентов и К = 1,5  для потоков свыше 150 студентов.

Рекомендуемые значения общего количества вопросов в тесте и длины сеанса тестирования для системы OpenTEST приведены в таблице.

Объем учебной дисциплины в кредитах

Тематические единицы (темы)

на кредит

Длина сеанса тестирования

N

Общее минимальное количество вопросов в тесте (M)

До 2-х кредитов

8-10

10-15

100 – 150

2-3 кредита

7-8

15-20

150 – 200

Свыше 3-х кредитов

5-7

20-30

200 – 300

В заключение отметим, что в текущей версии OpenTEST реализованы только простейшие режимы статистического анализа результатов тестирования, а именно :

· количество правильных и неправильных ответов на данный вопрос в тесте;

· количество правильных и неправильных ответов по выбранной теме теста;

· частотное распределение тестируемых (по итогам теста) по шкале оценивания.

Эта информацию позволяет сделать такие выводы по результатам тестирования.

1. Если количество правильных ответов на вопрос составляет менее 25% общего числа отвечавших на него, и, как минимум, в 2 раза меньше такой же оценки по теме в целом, качество такого вопроса вызывает сомнение. Автор теста должен более подробно проанализировать этот вопрос и при необходимости скорректировать его.

2. Если количество правильных ответов на вопросы темы составляет менее 25% общего числа отвечавших на них, и, как минимум, в 2 раза меньше такой же оценки по тесту в целом, то качество знаний по данной теме требует дополнительного рассмотрения. Ведущий лектор по дисциплине должен проанализировать эту ситуацию и скорректировать процесс изучения данной темы или качество вопросов по ней.

3. Для определения качества шкалы оценивания необходимо провести тестирование группы студентов (или экспертов в данной предметной области) с заранее известным уровнем знаний данной темы (дисциплины). Если частотное распределение тестируемых (максимум нормального распределения) совпадает с предсказанным уровнем знаний группы, шкала оценивания выбрана верно. Если нет, она корректируется в сторону уменьшения или увеличения.

1. Напрасник С.В., Шкиль А.С. Компьютерная система тестирования знаний “OpenTEST”. Образование и виртуальность –2003. Сборник научных трудов 7-й международной конференции УАДО. – Харьков-Ялта.– 2003.– Харьков: ХТУРЭ.– 2003.– С. 319-321.

2. Богданов И.В., Крутий И.А., Чмыхова Е.В. Проектирование учебного процесса на базе современных информационных технологий // Телекоммуникации и информатизация образования, 2001, № 1.- С.72-84.

3. Каук В.І., Шкіль О.С. Рекомендації щодо створення гіпертекстових навчально-методичних матеріалів. Материалы V межвуз.научн-метод.конф. “Экспертные оценки элементов учебного процесса”.–Харьков, 24 окт.2003 – Харьков: НУА.- 2003. – С.13-15.

подписка на RSS комментариев

Комментарии are closed

Тестирование знаний - наша работа