Разработка web-ориентированной экспертной системы оценки качества педагогических тестов | Статья в журнале «Молодой ученый»

Авторы: ,

Рубрика: Информатика

Опубликовано в Молодой учёный №9 (68) июнь-2 2014 г.

Дата публикации: 11.06.2014

Статья просмотрена: 270 раз

Библиографическое описание:

Рыбанов А. А., Самодьянова А. С. Разработка web-ориентированной экспертной системы оценки качества педагогических тестов // Молодой ученый. — 2014. — №9. — С. 31-34. — URL https://moluch.ru/archive/68/11614/ (дата обращения: 22.10.2018).

В работе приведено описание разработанной экспертной системы оценки качества педагогических тестов. Описана схема взаимодействия модулей разработанного программного продукта. Приведены графические примеры реализации экспертной системы.

Ключевые слова:экспертная система, ItemResponseTheory, модель Г. Раша, модель А. Бирнбаума, педагогические тесты, оценка качества теста.

В настоящее время, благодаря современному уровню продвижения вычислительной техники и внедрению компьютеров в учебный процесс становится возможной автоматизация тестового контроля. В связи с тем, что тестирование становится неотъемлемой частью процесса обучения, особенно важным является грамотное составление тестовых заданий.

В основе теории Item Response Theory (IRT) лежит предположение о наличии вероятностной связи между результатами, наблюдаемыми при тестировании и латентными характеристиками испытуемого и заданий теста, которую можно записать в виде:

,  

где  — элемент матрицы ответов, который равен 1, если ответ -го испытуемого на –е задание верный, 0 — в противном случае;  — значение параметра уровня подготовленности -го испытуемого, ;  — значение параметра трудности –го задания, ;  — логистическая функция, зависящая от выбранной модели IRT [3,4]: однопараметрическая модель Г. Раша, двухпараметрическая модель А. Бирнбаума, трехпараметрическая модель А. Бирнбаума.

Исходными данными для моделей IRT являются результаты тестирования испытуемых, представленные бинарной матрицей ответов (эмпирические данные):

,    

где  — количество участников тестирования;  — количество заданий в тесте.

Проведенный анализ существующего программного обеспечения для решения задачи поиска параметров моделей IRT, позволил выявить следующие недостатки: интерфейс данных приложений ориентирован на опытного пользователя-специалиста в области теории IRT; все рассмотренные приложения являются локальными.

Для программной реализации web-ориентированной экспертной системы оценки качества педагогических тестов выбрана однопараметрическая модель Г. Раша, так как данная модель не требует больших вычислительных затрат [1, 2], что является актуальным для web-приложений. Экспертная система оценки качества педагогических тестов позволяет:

-        загружать результаты теста в виде текстового файла;

-        получать из базы данных результаты проведенного тестирования;

-        получать уровни подготовленности обучаемых и уровни сложности заданий;

-        получать оценку качества педагогического теста;

-        получать рекомендации по улучшению качества педагогического теста;

-        сформировать отчет в формате.docx по результатам анализа педагогического теста.

В процессе разработки экспертной системы использовался пакет программ: Apache+SSL, PHP5, MySQL5. Для отображения и построения графиков использовалась библиотека Highcharts 4 [5]. Для генерации отчета использовалась библиотека PHPWord.

На рисунке 1 представлена схема взаимодействия модулей экспертной системы.

Рис. 1. Схема взаимодействия модулей

Экспертная система состоит из следующих модулей:

-                   модуль загрузки входных данных;

-                   модуль «База данных»;

-                   модуль «Расчет первичных данных»;

-                   модуль «Расчет предварительных уровней подготовленности обучаемых и уровней сложности заданий»;

-                   модуль «Шкала с единым отсчетом»;

-                   модуль «Выравнивание масштаба шкал»;

-                   модуль «Визуализация графиков»;

-                   модуль «Формирование отчета».

Использование данной экспертной системы позволяет преподавателю, не имеющему специальных знаний в области тестологии, оценить качество своего теста и получить рекомендации по его улучшению.

Пользовательское меню разработанной экспертной системы (рис. 2) предоставляет возможность видеть результаты проведенного тестирования, получать характеристики теста, оценить его качество и получить рекомендации по улучшению.

Рис. 2. Пользовательский интерфейс web — ориентированной системы

При нажатии кнопки «Получить первичные баллы» в окно браузера выводятся первичные баллы обучаемых и тестовых заданий. Кнопка «Получить параметры теста» предназначена для вывода уровней подготовленности обучаемых и уровней сложности заданий теста.

При нажатии кнопки «Построить график» в окно браузера выводятся критерии оценки качества теста (рис. 3). Реализовано построение графиков информационной функции и ошибки измерения теста.

Рис. 3. Оценка качества педагогического теста

При переходе в раздел рекомендаций по нажатию соответствующей кнопки в главном меню выводятся рекомендации по улучшению качества педагогического теста (рис. 4).

Рис. 4. Рекомендации по улучшению качества педагогического теста

Выполнение рекомендаций экспертной системы позволяет повысить качество педагогического теста на основе модели Item Response Theory. Направлением дальнейших исследований является расширение экспертной системы возможностью работы с моделью А. Бирнбаума, учитывающей дифференцирующую способность тестовых заданий.

Литература:

1.                  Сухушин, А. С. Экспертная система для выработки рекомендаций по улучшению качества педагогических и психологических тестов // Вестник Томского государственного педагогического университета. 2009. № 2. С. 88–9.

2.                  Рыбанов А. А., Самодьянова А. С. Решение задачи поиска параметров модели Г. Раша в среде MathCad // Информатика и информационные технологии в образовании, науке и производстве: сборник научных статей. Ч. I. — Издательство Нобель Пресс. 2014. С. 148–152.

3.                  Гедранович А.Б, Гедранович В. В. Оценка учебных достижений студентов с помощью тестов // Управление в социальных и экономических системах: материалы ХX междунар. науч.-практ. конф., Минск, 20 мая 2011 г. — Минск: Изд-во МИУ, 2011. С. 232–234.

4.                  Гедранович А.Б, Гедранович В. В. Методика оценки качества тестовых заданий // Инновационные образовательные технологии. 2011. № 2(26) С. 19–25.

5.                  Библиотека Highcharts 4. URL: www.highcharts.com.

Основные термины (генерируются автоматически): экспертная система, педагогический тест, IRT, оценка качества, модуль, схема взаимодействия модулей, улучшение качества, нажатие кнопки, Раша, разработанная экспертная система.


Ключевые слова

экспертная система, Теория Отклика Элемента, модель Г. Раша, модель А. Бирнбаума, педагогические тесты, оценка качества теста

Похожие статьи

Исследование процессов обработки и преобразования параметров...

В основе современной теории тестов лежит Item Response Theory (IRT).

Экспертная оценка качества предметных тестовых заданий — один из важных аспектов

Разработка программного модуля по реализации функции интеллектуальной обработки данных для системы 1С-Битрикс.

Применение экспертных систем для анализа и оценки...

Это объясняется тем, что качество и оперативность принятия некоторых технических решений и эффективность их реализации зависят от

При успешном создании и тестировании прототипа, экспертную систему необходимо доработать до промышленного состояния.

Использование оболочек для программной реализации...

Необходимость разработки модели экспертной системы диагностики технического состояния строительных конструкций. Использование модулей на основе Bluetooth 4.0 BLE для реализации удаленного сбора данных со счетчиков энергоресурсов.

Использование нечетких экспертных систем для мониторинга...

Экспертная система включает в себя два модуля - модуль накопления и управления знаниями экспертов и модуль нечеткого вывода (рисунок 1). Рисунок 1. Схема работы экспертной системы.

Экспертная система. Классификация. Обзор существующих...

Экспертная система (ЭС, англ.expertsystem) — компьютерная система, способная частично заменить специалиста-эксперта в разрешении проблемной ситуации.

‒ Этап тестирования — производится оценка выбранного способа представления знаний в ЭС в целом.

Модульно-рейтинговая система как средство повышения...

- разработка модулей требует высокой педагогической и методической квалификации, специального методического обеспечения

Рейтинговая система оценки успеваемости студентов вуза как фактор повышения качества образования.

Экспертные системы | Статья в журнале «Молодой ученый»

− Этап тестирования — производится оценка выбранного способа представления знаний в ЭС в целом.

Данная программа и есть экспертная система, выступающая в качестве игрока и заменяющая человека.

Система оценки компетенций студентов ВПО. Обзор достижений...

Балльно-рейтинговая система оценки образовательных компетенций студентов (БРС) также эффективна в процессе мониторинга качества обучения

[3]. Основные модели: Модель Раша (логистическая, однопараметровая). , где s-уровень подготовленности участника тестирования

Обсуждение

Социальные комментарии Cackle

Похожие статьи

Исследование процессов обработки и преобразования параметров...

В основе современной теории тестов лежит Item Response Theory (IRT).

Экспертная оценка качества предметных тестовых заданий — один из важных аспектов

Разработка программного модуля по реализации функции интеллектуальной обработки данных для системы 1С-Битрикс.

Применение экспертных систем для анализа и оценки...

Это объясняется тем, что качество и оперативность принятия некоторых технических решений и эффективность их реализации зависят от

При успешном создании и тестировании прототипа, экспертную систему необходимо доработать до промышленного состояния.

Использование оболочек для программной реализации...

Необходимость разработки модели экспертной системы диагностики технического состояния строительных конструкций. Использование модулей на основе Bluetooth 4.0 BLE для реализации удаленного сбора данных со счетчиков энергоресурсов.

Использование нечетких экспертных систем для мониторинга...

Экспертная система включает в себя два модуля - модуль накопления и управления знаниями экспертов и модуль нечеткого вывода (рисунок 1). Рисунок 1. Схема работы экспертной системы.

Экспертная система. Классификация. Обзор существующих...

Экспертная система (ЭС, англ.expertsystem) — компьютерная система, способная частично заменить специалиста-эксперта в разрешении проблемной ситуации.

‒ Этап тестирования — производится оценка выбранного способа представления знаний в ЭС в целом.

Модульно-рейтинговая система как средство повышения...

- разработка модулей требует высокой педагогической и методической квалификации, специального методического обеспечения

Рейтинговая система оценки успеваемости студентов вуза как фактор повышения качества образования.

Экспертные системы | Статья в журнале «Молодой ученый»

− Этап тестирования — производится оценка выбранного способа представления знаний в ЭС в целом.

Данная программа и есть экспертная система, выступающая в качестве игрока и заменяющая человека.

Система оценки компетенций студентов ВПО. Обзор достижений...

Балльно-рейтинговая система оценки образовательных компетенций студентов (БРС) также эффективна в процессе мониторинга качества обучения

[3]. Основные модели: Модель Раша (логистическая, однопараметровая). , где s-уровень подготовленности участника тестирования

Задать вопрос