Запись написана

  • 29.03.2013
  • в 12:00 ДП
  • admin

Реклама

Компьютерная система тестирования знаний в дистанционном обучении 0

Март29
А.С. Шкиль, С.В. Чумаченко, С.В. Напрасник

КОМПЬЮТЕРНАЯ СИСТЕМА ТЕСТИРОВАНИЯ ЗНАНИЙ В ДИСТАНЦИОННОМ ОБУЧЕНИИ

Рассматриваются вопросы построения системы дистанционного тестирования знаний обучаемых по клиент-серверной технологии. Описываются компоненты системы, технологии разработки тестов, подготовки и проведения сеанса тестирования, а также оценивание результатов тестирования и обработки статистики обучения. Особое внимание уделяется оцениванию знаний в сеансе тестирования из выборочных вопросов с различным числом альтернатив в ответах. Описывается программная реализация тестовой системы с использованием свободно распространяемых программных продуктов и опыт ее использования на кафедре АПВТ ХНУРЭ.

1. Введение

Одним из неотъемлемых компонентов дистанционного обучения является компьютерная система тестирования знаний [1]. Основными ее составляющими являются базы тестовых заданий и респондентов с результатами тестирования и статистикой, студия разработки тестов, интерфейс общения с тестовой системой, правила допуска и процедура прохождения тестирования, способы оценивания и обработки статистики. С точки зрения технологий программирования система тестирования знаний должна обладать платформенной независимостью, работать в сетевом варианте и использовать свободно распространяемые программные продукты.

Разрабатываемая в настоящее время на кафедре АПВТ ХНУРЭ система дистанционного тестирования знаний обучаемых (СДТ OPENTEST) построена на основе Web-технологий и может работать как в корпоративной сети (INTRANET), так и в глобальной сети INTERNET.

Использование и администрирование системы OPENTEST полностью реализовано с помощью Web-интерфейса, что дает ряд существенных преимуществ:

– использование гипертекста (обеспечивает связность разнородной информации);

– браузер или клиентская программа WWW-сервера (дает единый, достаточно простой, быстрый и привычный интерфейс пользователя);

– Web-интерфейс (позволяет осуществлять удаленное администрирование).

2. Архитектура “клиент-сервер”

Особенностью архитектуры клиент-сервер является использование выделенных серверов баз данных (БД), понимающих запросы на языке структурированных запросов SQL и выполняющих поиск, сортировку и агрегирование информации на месте без излишней “перекачки” данных на рабочие станции. Клиенты серверов БД получают последовательно и порциями только результаты запросов. База данных тестовой системы OPENTEST создана при помощи СУБД MySQL. Используются поля фиксированной длины, что значительно повышает производительность системы.

При создании СДТ OPENTEST были использованы такие программные продукты.

PHP – язык написания сценариев, внедренный в HTML. PHP является интерпретируемым языком программирования, поэтому не возникает проблем с переносом программ из одной операционной системы в другую.

MySQL–небольшая и быстрая реляционная СУБД. Ее преимуществами являются многопоточность, поддержка нескольких одновременных запросов, записи фиксированной и переменной длины. Все данные хранятся в формате ISO8859_1.

Apache – самый распространенный в мире Web-сервер. Apache по своим функциональным возможностям и надежности не уступает коммерческим серверам, а широкие возможности конфигурирования позволяют настроить его для работы практически с любой операционной системой.

Все эти продукты являются OpenSource проектами, поэтому они бесплатные и свободные для распространения. Данные средства мультиплатформенные, т.е. они будут одинаково успешно работать под операционными системами Windows, UNIX и другими.

Структура системы тестирования является модульной, что позволяет подключать модули с дополнительными функциями, изменять режимы работы отдельных модулей, управляя системой настроек и не затрагивая при этом остальной ее части. Например, с помощью настроек можно изменять язык интерфейса системы, процедуры допуска и прохождения тестирования, способ и диапазон шкалы оценивания и т.д.

3. Характеристика студии разработки тестов

Студия разработки тестов реализована полностью на Web-технологиях. С ее помощью возможно создание вопросов с использованием графики, таблиц, анимации, спецсимволов. В студии заложена возможность структурирования теста на темы и подтемы, что позволяет равномерно включать в сеансы тестирования вопросы из разных разделов предметной области. Тесты, созданные в студии, легко переносимы, что обеспечивается формированием XML-файла, который позволяет быстро создать тест на другом сервере или использоваться в качестве резервной копии.

Попав на главную страницу студии тестов, пользователь может:

– добавить тест, нажав на ссылку “Добавить тест”;

– просмотреть структуру теста, нажав кнопку “Подробнее”;

– изменить параметры теста, нажав кнопку “Изменить параметры”;

– разблокировать или заблокировать тест, нажав кнопку “Разблокировать” или “Заблокировать” соответственно;

– создать XML-файл, в котором будут храниться параметры теста, тестовые вопросы и ответы на них.

Если выбрана ссылка “Добавить тест”, то следующим шагом должна быть выбрана ссылка, указывающая, как будет добавляться тест: через файл или через Wеb-интерфейс. Если через файл, тогда необходимо выбрать ссылку “Через файл”. Если через Web-интерфейс, то – “Через веб”.

Если выбрано добавление теста “Через файл”, то необходимо указать месторасположение файла с тестом, нажав на кнопку “Обзор” и нажав после этого кнопку “Далее”. Если все пройдет без ошибок, появится сообщение “Операция завершена успешно” и через несколько секунд автоматически появляется главная страница студии тестов.

Если выбрано добавление теста “Через веб”, необходимо заполнить форму со следующими полями:

– Имя теста (имя должно быть уникальным во всей базе).

– Автор (автор теста).

– Дисциплина (предмет, по которому будет проводиться тестирование).

– Специальности (указать через запятую специальности, для которых предназначен тест).

– Вид обучения (указать через запятую вид обучения тестируемых, которые будут проходить этот тест).

– Время на вопрос (время в секундах на каждый вопрос, указывается целым числом).

– Вопросов за сеанс (количество вопросов, задаваемых одному тестируемому за одну попытку прохождения теста, указывается целым числом).

– Количество попыток (количество попыток прохождения теста указывается целым числом).

Если все пройдет без ошибок, появляется главная страница студии тестов.

Если выбрана ссылка “Подробнее”, то появляется список тем, содержащихся в тесте.

Имеются следующие возможности:

– добавить тему, нажав на ссылку “Добавить тему”;

– просмотреть структуру темы, нажав на ссылку “Подробнее”;

– изменить параметры темы, нажав на ссылку “Изменить параметры”;

– удалить тему, нажав на ссылку “Удалить”.

Если выбрана ссылка “Добавить тему”, то необходимо заполнить форму с полем “Имя темы” и нажать кнопку “Далее”.

Если все пройдет без ошибок, то появляется предыдущая страница.

Если выбрана ссылка “Изменить параметры”, необходимо заполнить форму с полем имени темы, в котором уже написано старое имя темы, и нажать кнопку “Далее”.

Если все пройдет без ошибок, появляется предыдущая страница.

Если выбрана ссылка “Подробнее”, то появляется список подтем, содержащихся в теме.

Возможности:

– добавить подтему, нажав на ссылку “Добавить подтему”;

– просмотреть структуру подтемы, нажав на ссылку “Подробнее”;

– изменить параметры подтемы, нажав на ссылку “Изменить параметры”;

– удалить подтему, нажав на ссылку “Удалить”.

Если выбрана ссылка “Добавить подтему”, то необходимо заполнить форму с полем “Имя подтемы” и нажать кнопку “Далее”.

Если все пройдет без ошибок, появится предыдущая страница.

Если выбрана ссылка “Изменить параметры”, то необходимо заполнить форму с полем “Имя подтемы”, в котором уже написано старое имя подтемы, и нажать кнопку “Далее”.

Если все пройдет без ошибок, появится предыдущая страница.

Если выбрана ссылка “Подробнее”, то появится список вопросов, содержащихся в подтеме, и возле каждого вопроса будет указан его уникальный номер, а также тип вопроса. При этом предоставляются возможности:

– добавить вопрос, нажав на ссылку “Добавить вопрос”;

– просмотреть варианты ответов на вопрос, нажав на ссылку “Подробнее”;

– изменить параметры вопроса, нажав на ссылку “Изменить вопрос”;

– изменить подтему, в которой находится вопрос, нажав на ссылку “Изменить подтему”;

– удалить вопрос, нажав на ссылку “Удалить”.

С помощью студии тестов можно создать тест с четырьмя типами вопросов: “выбор одного из нескольких”, “выбор нескольких из нескольких”, “непосредственный ввод ответа и сравнение с эталоном”, “вопросы на соответствие” (порядок следования ответов).

Выбор одного варианта ответа: при ответе на этот тип вопроса тестируемый должен выбрать один вариант ответа из предложенных. Одновременно можно выбрать только один вариант ответа, что определяется типом используемого визуального интерфейса:

Выбор нескольких вариантов ответа: при ответе на этот тип вопроса тестируемый может выбрать несколько вариантов ответа из предложенных. Вопрос может ставиться следующим образом: “выберите несколько вариантов ответа” или “исключите ненужные варианты ответа”:

Непосредственный ввод ответа: при ответе на этот тип вопроса тестируемый должен записать ответ в свободной (открытой) форме, как слово или как предложение:

Вопрос на соответствие (порядок следования вариантов ответов): при ответе на этот тип вопроса тестируемый должен особым образом записать индексы предлагаемых вариантов ответа (а), б), в) …) в строки ввода, напротив номера предлагаемого соответствия. Вопрос может ставиться следующим образом: “упорядочить по возрастанию/убыванию” или “произведите соответствие”:

Таким образом, студия тестов может реализовать возможность задания вопроса любого возможного вида, но на первом этапе реализации СДТ используются только первые два типа вопросов.

Если выбрана ссылка “Добавить вопрос”, то необходимо заполнить форму со следующими полями:

– вопрос;

– тип вопроса;

– если необходимо добавить рисунок, следует нажать кнопку “Обзор…” и выбрать рисунок, после чего нажать кнопку “Добавить”. Реализовано добавление трех рисунков в один вопрос.

Следует нажать кнопку “Далее”.

Если все пройдет без ошибок, реализуется переход на предыдущую страницу.

Если выбрана ссылка “Изменить вопрос”, то следует заполнить форму с полями:

– вопрос;

– тип вопроса;

– если необходимо добавить или изменить рисунок, нажать кнопку “Обзор…” и выбрать рисунок, после чего нажать кнопку “Добавить”. Реализовано добавление трех рисунков в один вопрос.

Нажать кнопку “Далее”.

Если все пройдет без ошибок, происходит переход на предыдущую страницу.

Если выбрана ссылка “Изменить вопрос”, то следует выбрать из списка подтем теста нужную и нажать кнопку “Далее”.

Если выбрана ссылка “Подробнее”, то появляется список вариантов ответов на выбранный вопрос и возле каждого ответа будет указан его уникальный номер, а также количество баллов, которые тестируемый получит, выбрав этот вариант ответа. Возможности:

– добавить вариант ответа, нажав на ссылку “Добавить ответ”;

– изменить параметры варианта ответа, нажав на ссылку “Изменить ответ”;

– удалить вариант ответа, нажав на ссылку “Удалить”.

Если выбрана ссылка “Добавить ответ”, необходимо заполнить форму со следующими полями:

– ответ;

– балл за ответ;

– если необходимо добавить рисунок, то следует нажать кнопку “Обзор…” и выбрать рисунок, после чего нажать кнопку “Добавить”. Реализовано добавление трех рисунков в один вопрос.

Нажать кнопку “Далее”.

Если все пройдет без ошибок, происходит переход на предыдущую страницу.

Если выбрана ссылка “Изменить ответ”, то необходимо заполнить форму со следующими полями:

– ответ;

– балл за ответ;

– если необходимо добавить или изменить рисунок, то следует нажать кнопку “Обзор…” и выбрать рисунок, после чего нажать кнопку “Добавить”. Реализовано добавление трех рисунков в один вопрос.

Нажать кнопку “Далее”.

Если все пройдет без ошибок, произойдет переход на предыдущую страницу.

4. Подготовка к проведению тестирования

Подготовка к проведению сеанса тестирования осуществляется подсистемой регистрацииоторая состоит из следующих компонентов.

Редактор пользователей дает возможность создавать группу тестируемых как через Web-интерфейс, так и при помощи plain\text файла. Один респондент может находиться одновременно в нескольких разных группах.

Модуль допуска позволяет преподавателю выбрать из группы респондентов тех, кто допущен к тестированию. Здесь же создаются пароли для прохождения теста. Метод, по которому создаются пароли, преподаватель определяет сам.

Генератор паролей позволяет создавать для определенной группы тестируемых файл RTF-формата с паролями.

Редактор тестируемых позволяет создавать группу тестируемых как через Web-интерфейс, так и при помощи plain\text файла. Один тестируемый может находиться одновременно в разных группах.

Попав на главную страницу редактора тестируемых, можно:

– использовать веб-редактор тестируемых, нажав на ссылку “Веб-редактор”;

– добавить группу, используя текстовый файл определенной структуры со списком студентов группы путем ссылки “Добавить группу из файла”.

Если выбрана ссылка “Добавить группу из файла”, следует выбрать файл, нажав на кнопку “Обзор…”, затем нажать кнопку “Далее”.

Если выбрана ссылка “Веб-редактор”, то появялется список групп. При этом имеются возможности:

– добавить группу, нажав на ссылку “Добавить группу”;

– показать список группы, нажав на ссылку “Показать студентов”;

– изменить имя группы, нажав на ссылку “Изменить группу”;

– удалить группу ответа, нажав на ссылку “Удалить группу”.

Если выбрана ссылка “Добавить группу”, то следует заполнить форму с полем имени группы и нажать кнопку “Далее”.

Если все пройдет без ошибок, появляется предыдущая страница.

Если выбрана ссылка “Изменить группу”, необходимо заполнить форму с полем имени группы, в которое уже введено старое имя, и нажать кнопку “Далее”.

Если все пройдет без ошибок, появится предыдущая страница.

Если выбрана ссылка “Показать студентов”, то появляется список выбранной группы и номер зачетной книжки напротив каждого студента.

Возможности:

– добавить студента, нажав на ссылку “Добавить студента”;

– изменить имя и номер зачетной книжки студента, нажав на ссылку “Изменить студента”;

– удалить студента, нажав на ссылку “Удалить студента”.

Если выбрана ссылка “Добавить студента”, то следует заполнить форму с полем имени студента и номером его зачетной книжки. После нажать кнопку “Далее”.

Если все пройдет без ошибок, появится предыдущая страница.

Если выбрана ссылка “Изменить студента”, то нужно заполнить форму с полем имени студента и номером его зачетной книжки. После нажать кнопку “Далее”.

Если все пройдет без ошибок, появится предыдущая страница.

Модуль допуска позволяет преподавателю выбрать из списка группы тестируемых, которые допущены к тесту; все остальные автоматически не будут иметь допуска. Впоследствии можно изменить список допущенных, добавив тестируемых или удалив их.

Попав на главную страницу редактора допуска, следует выбрать тест из списка и нажать кнопку “Далее”. Появится страница, где нужно выбрать одну из двух ссылок, при помощи которых можно добавить допуск новой группе (ссылка “Добавить группу”) или изменить допуск группе (ссылка “Изменить группу”).

Если ни для одной группы допуск не определен или нет ни одной группы, то появится сообщение “Нет групп для изменения”, иначе – список группы. Перед каждым тестируемым в списке можно поставить или убрать метку (“галочку”), что будет означать, что он допущен или соответственно не допущен. Также можно предоставить допуск всем или запретить его, нажав на кнопки “Все имеют допуск” или “Все не имеют допуска” соответственно. После того как все тестируемые определены, необходимо нажать кнопку ”Далее”. Если все прошло удачно, появится сообщение “Операция завершена успешно” и через несколько секунд – главная страница редактора.

Модуль просмотра паролей позволяет преподавателю посмотреть пароли для определенной группы тестируемых.

Попав на главную страницу модуля просмотра паролей, необходимо выбрать тест из списка и нажать кнопку “Далее”. Если в базе не будет ни одного теста, то появится сообщение “Не найдено ни одного теста”.

После этого необходимо выбрать группу из списка и нажать кнопку “Далее”. Если к этому тесту не допущена ни одна группа или в базе нет ни одной группы, появится сообщение “Не найдено ни одной группы”.

Если все прошло без ошибок, то появится таблица, состоящая из трех столбцов: имя (имя тестируемого), пароль (его пароль), попытка (номер попытки).

5. Тестирование и оценивание результатов

Подсистема оценивания и обработки статистики формирует оценку тестируемого за сеанс, нормирует ее относительно выбранной шкалы, формирует таблицы результатов тестирования для каждого пользователя и каждого вопроса. Выводится подробный отчет о том, как отдельный респондент или группа отвечали на заданные вопросы. Генератор ведомостей позволяет создавать стандартную ведомость с результатами тестирования для определенной группы в формате RTF.

В компьютерных системах тестирования знаний особое внимание должно уделяться объективному оцениванию результатов, так как, во-первых, тестирование обычно происходит в отсутствие преподавателя и составить объективную оценку об уровне знаний и личности обучаемого преподаватель не может, во-вторых, оспорить результат компьютерного тестирования обучаемому достаточно сложно.

Существует много способов формирования оценки результатов тестирования. Одним из способов оценивания знаний может быть следующий.

В разработанной системе тестирования знаний каждый обучаемый проходит сеанс тестирования, состоящий из фиксированного и заранее определенного количества вопросов разных типов. По умолчанию в настройках . Каждому вопросу ставится в соответствие максимальный балл за правильный ответ и фактически набранный балл за ответ . В выборочных вопросах при разном количестве альтернатив фактически набранный балл за частично правильный ответ может быть меньше максимального. Оценка за сеанс тестирования определяется по формуле

,

где N – количество вопросов в сеансе.

Далее полученный процент правильных ответов нормируется относительно выбранной шкалы оценивания, D – её диапазон. Например, традиционная шкала оценивания, используемая в вузах Украины, имеет диапазон D=5. Чтобы набранный процент правильных ответов в интервале от 0 до 100% перевести в численные значения диапазонов шкалы оценивания, необходимо определить границы интервалов шкалы. Для первого диапазона k=1 нижняя граница интервала равна 0, а для последнего при k=5 верхняя граница равна 100%. В литературных источниках описываются разные способы выбора границ интервалов диапазонов шкалы оценивания [2,3], но обычно они не связаны с главной характеристикой любого выборочного типа вопроса – количеством предлагаемых альтернативных вариантов ответов (в дальнейшем просто “альтернатив”). Выбирая случайно ответы на выборочные вопросы, тестируемый, например, при может набрать 50% правильных ответов, не имея знаний в предметной области.

В разработанной системе тестирования знаний для оценивания результатов принята “плавающая” шкала, которая зависит от числа альтернатив выборочных вопросов. Если рассматривать сеанс тестирования из вопросов с m альтернативами каждый как испытания Бернулли, то в любом испытании вероятность наступления желаемого события (правильный ответ) равна и вероятность неудачи (неправильный ответ) (1-1/m). Учитывая, что частота наступления удачи мало отличается от его вероятности, в шкале оценивания можно выделить интервал случайного попадания при наугад выбранных ответах и определить его верхнюю границу . Таким образом, это будет первый интервал шкалы, соответствующий оценке “очень плохо” и не участвующий в фактическом оценивании знаний. Остальные диапазоны, определяемые как (), являются оцениваемыми диапазонами шкалы. Примем, что диапазоны оцениваемой части шкалы имеют равную длину, что соответствует равновероятному распределению баллов за ответ в оцениваемом диапазоне. Такой подход традиционно используется в простых схемах оценивания [2]. Таким образом, оцениваемая зона шкалы ( интервалов) делится на () отрезков, где – номер интервала. Верхняя граница о интервала может быть вычислена по формуле:

. (1)

Нормирование полученной оценки за сеанс относительно выбранной шкалы оценивания осуществляется с использованием неравенства:

. (2)

Отметим, что при и при , что соответствует выбранному принципу оценивания.

Формула (2) верна для сеанса тестирования, в котором используются вопросы с одинаковым числом альтернатив, но в реальности обычно авторы предлагают вопросы с различным числом альтернатив. Не учитывая различной сложности вопросов с разным числом альтернатив, общую оценку за сеанс можно получить путем усреднения оценок для групп вопросов с равным числом альтернатив, т.е.

,

где –количество вопросов с -ым числом альтернатив.

При выбранной методике оценивания усреднение оценок фактически сводится к усреднению границ диапазонов в формуле (1). С учетом того, что в (1) и не зависят от количества вопросов с разным числом альтернатив, получим:

. (3)

Выражение можно определить как среднюю альтернативность сеанса тестирования, которая вычисляется для каждого сеанса в оперативном режиме.

В качестве примера рассмотрим следующую задачу: определить, какой оценке в пятибалльной шкале оценивания соответствует 75% правильных ответов при наличии в сеансе тестирования из двадцати вопросов 2 вопросов с двумя альтернативами, 3 вопросов с тремя альтернативами и 15 вопросов с четырьмя альтернативами.

Средняя альтернативность сеанса для этого случая будет:

.

По формуле вычислим верхние границы диапазонов шкалы оценивания:

k=1, Ск =27%; k=2, Ск =45%; k=3, Ск =63%; k=4, Ск =81%; k=5, Ск =100% .

Таким образом, 75% правильных ответов соответствует оценке 4 (“хорошо”) традиционной пятибалльной шкалы.

Приведенная методика является корректной при одинаковой весомозначности всех выборочных вопросов в сеансе. В случае неравной весомозначности возникает погрешность, которую оценить достаточно сложно.

Не претендуя на полноту и универсальность, методика вычисления по формуле (3) границ интервалов диапазонов шкалы оценивания достаточно хорошо позволила решить главную, с точки зрения авторов, проблему оценивания сеанса тестирования из выборочных вопросов – получение обоснованной “отрицательной” оценки (“очень плохо” и “плохо”) при случайном выборе альтернатив тестируемыми в условиях отсутствия знаний.

Подсистема анализа статистики позволяет строить гистограмму частотного распределения результатов тестируемых, оценивать сложность тем при помощи таблицы правильных и неправильных ответов, просматривать подробный лог теста по определенной попытке конкретного тестируемого.

На главной странице редактора тестируемых имеются возможности:

– построить гистограмму, выбрав ссылку “Частотное распределение тестируемых”;

– оценить сложность и качество изучения отдельных тем, нажав на ссылку “Оценка правильных и неправильных ответов”;

– просмотреть подробный лог определенного тестируемого по определенной попытке, нажав на ссылку “Лог тестов”.

Если выбрана ссылка “Частотное распределение тестируемых”, необходимо выбрать тест и нажать кнопку “Далее”. На следующей странице следует выбрать группу и максимальное значение балла, а затем нажать кнопку “Далее”. Если все сделано правильно, появится гистограмма частотного распределения баллов.

Если выбрана ссылка “Оценка правильных и неправильных ответов”, необходимо выбрать тест и нажать кнопку “Далее”. На следующей странице следует определить группу и нажать кнопку “Далее”. Появится две таблицы: первая – таблица соответствия подтем, вторая –список группы и количество правильных и неправильных ответов по определенной подтеме и по тесту в целом.

Если выбрана ссылка “Лог тестов”, следует определить группу. На следующей странице нужно выбрать пользователя из этой группы. Если он ни разу не проходил тест, появится сообщение “Выбранный пользователь не тестировался”, иначе – список тестов, которые он проходил. Затем из данного списка нужно выбрать тест, тогда появится список попыток по данному тесту. Выбрав нужную, можно увидеть список вопросов, которые были заданы этому тестируемому. При выборе номера вопроса появляется тип вопроса, выбранные тестируемым ответы, балл, полученный за ответ.

Генератор ведомостей позволяет создавать, удалять, обновлять ведомости по результатам тестируемых. Ведомости генерируются в формате RTF.

На главной странице редактора ведомостей следует выбрать тест из списка и нажать кнопку “Далее”. Если в базе не будет ни одного теста, то появится сообщение “Не найдено ни одного теста”. Далее появится страница, на которой можно:

– создать ведомость, нажав на ссылку “Создать ведомость”;

– получить ведомость, нажав на ссылку “Получить ведомость”;

– обновить ведомость, нажав на ссылку “Обновить ведомость”.

Модуль просмотра оценок позволяет преподавателю посмотреть оценки для определенной группы по результатам данного теста.

На главной странице модуля просмотра оценок необходимо выбрать тест из списка и нажать кнопку “Далее”. Если в базе не будет ни одного теста, то появится сообщение “Не найдено ни одного теста”.

После этого нужно выбрать группу из списка и нажать кнопку “Далее”. Если к этому тесту не допущена ни одна группа или в базе нет ни одной группы, появится сообщение “Не найдено ни одной группы”.

Если все прошло без ошибок, то появится таблица, состоящая из трех столбцов: имя (имя тестируемого), оценка (его оценка), попытка (номер попытки).

Попав на главную страницу модуля просмотра оценок, необходимо выбрать тест из списка и нажать кнопку “Далее”. Если в базе не будет ни одного теста, то появится сообщение “Не найдено ни одного теста”.

После этого необходимо выбрать группу из списка и нажать кнопку “Далее”. Если к этому тесту не допущена ни одна группа или в базе нет ни одной группы, появится сообщение “Не найдено ни одной группы”.

Если все прошло без ошибок, то появляется таблица, состоящая из трех столбцов: имя (имя тестируемого), оценка (его оценка), попытка (номер попытки).

6. Результаты тестирования

Испытание предложенной методики оценивания результатов тестирования проводилось на факультете КИУ ХНУРЭ на трех студенческих потоках (1-й курс – 163 и 115 студентов, 3-й курс – 120 человек). Всего было протестировано около 400 студентов. Для каждой из трех учебных дисциплин в базе данных находилось от 150 до 200 вопросов типа “выбор одного из нескольких” и “выбор нескольких из нескольких”. Сеанс тестирования – 20 вопросов, выбор вопросов для сеанса осуществлялся случайным образом. Результаты тестирования приведены в таблице, по которым построены соответствующие диаграммы статистики (рис. 1-3).

Рис. 1. Диаграмма статистики для I потока студентов

Рис. 2. Диаграмма статистики для II потока студентов

Рис. 3. Результирующая диаграмма для двух потоков студетнов

7. Выводы

Опыт использования СДТ OPENTEST на кафедре АПВТ ХНУРЭ показал следующее.

– Использование при разработке тестовой системы свободно распространяемых программных продуктов разрешает безлицензионное применение СДТ как в учебном процессе, так и для коммерческих целей.

– Достаточно сложная система регистрации позволяет успешно идентифицировать обучаемых и не допускать сдачу тестов за других обучаемых.

– Обработка результатов тестирования на стороне сервера позволяет достаточно хорошо защитить СДТ от несанкционированного вмешательства в ходе проведения тестирования.

– Система оценивания, учитывающая альтернативность выборочных вопросов, позволяет устранить большинство случаев “угадывания” правильных ответов.

– Система анализа статистики позволяет не только оценивать знания обучаемых, но и проводить экспертную оценку качества тестов.

В ходе тестирования данная методика оценивания показала свое удобство и эффективность.

Перспективы исследований определяются:

1) трансформированием принципа ограниченной альтернативности в континуум вариантов, определяемый многообразием символики алфавитов искусственных и естественных языков;

2) возможностью формирования сложных и многовариантных текстовых ответов, в том числе и основанных на решениях, при использовании компиляторов или интерпретаторов.

Список литературы: 1. Кривуля Г.Ф., Пиженко И.Н., Шкиль А.С. Проверка знаний при дистанционном обучении // Образование и виртуальность-2001. Харьков-Ялта: УАДО, 2001. С.212-219. 2. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учебное пособие / Н.М. Оленик. Донецк, ДонГУ, 1991. 66с. 3. Антофий Н.М. Шкалирование результатов тестового контроля // АСУ и приборы автоматики, 2002. Вып. 118. С. 119-121.

Поступила в редколлегию 16.10.2002

Шкиль Александр Сергеевич, канд. техн. наук, доцент кафедры АПВТ ХНУРЭ. Научные интересы: проектирование и диагностика цифровых устройств, создание электронных учебников, технологии дистанционного образования. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 70-21-326.

Чумаченко Светлана Викторовна, канд. физ.-мат. наук, доцент кафедры АПВТ ХНУРЭ. Научные интересы: методы математической физики и дискретной математики в автоматизации проектирования радиоэлектронных устройств. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 40-93-26. E-mail: ri@kture.kharkov.ua

Напрасник Сергей Владимирович, системный администратор кафедры АПВТ ХНУРЭ, студент гр. КСМ-00-4. Научные интересы: системное администрирование сетей Windows и UNIX. Проектирование и разработка Internet/Intranet приложений. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 70-21-326.

подписка на RSS комментариев

Комментарии are closed

Тестирование знаний - наша работа