При получении, каких-либо данных на первый план выходит задача их интерпретации и оценки достоверности. И здесь не обойтись без визуализации.
Следует заметить, что даже, если в процессе анализа были получены достоверные и ценные результаты, неудачный выбор визуализации не позволит их интерпретировать, увидеть в них зависимости и закономерности [1, 2].
В настоящее время существует большое количество различных систем дистанционного обучения. Однако ни одна из них не предоставляет необходимого количества средств визуализации, позволяющих в полной мере производить анализ процесса обучения пользователей в системе дистанционного обучения [3].
На данный момент СДО располагают следующими средствами визуализации:
1. ATutor: диаграмма посещений курса, по дням [4];
2. Docebo: диаграмма просмотра страницы курса, диаграмма времени проведенном в каждом разделе/курсе, диаграмма числа баллов, набранных пользователями в каждом разделе курса, диаграмма числа разделов просматриваемых пользователями, по дням, диаграмма числа завершенных и незавершенных разделов, по пользователям, диаграмма завершения каждого раздела данного курса, диаграмма числа зарегистрированных пользователей, диаграмма числа пользователей, проходящий и завершивших курсы [5];
3. eFront: график числа входов пользователя в систему, по дням, диаграмма времени проведенном в каждом разделе/курсе, диаграмма типов вопросов, диаграмма типов пользователей [6];
4. Moodle: диаграмма числа баллов, набранных пользователями в каждом разделе курса, диаграмма числа разделов просматриваемых пользователями, по дням [7].
Рассмотрим расширение функциональных возможностей визуализации результатов учебной деятельности пользователей на основе СДО Moodle и аналитической платформы (АП) Deductor.
Deductor является аналитической платформой, т.е. основой для создания законченных прикладных решений. Реализованные в Deductor технологии позволяют на базе единой архитектуры пройти все этапы построения аналитической системы: от создания хранилища данных до анализа и визуализации полученных результатов.
Графическая визуализация в СДО Moodle представлена по всем пользователям в целом, при этом отсутствует анализ динамики учебных достижений каждого отдельного пользователя при прохождении им отдельного дистанционного курса, что делает актуальной задачу расширения средств визуализации системы Moodle.
Средства визуализации данных позволяют преподавателю судить о степени усвоения пользователями учебного материала, а также повышают эффективность анализа процесса обучения пользователей в системе дистанционного обучения.
Основой для решения поставленных выше задач, является хранилище данных результатов учебной деятельности пользователей, разработанное средствами АП Deductor и пополняемое из базы данных системы Moodle, что делает возможным использование арсенала методов и средств визуализации платформы Deductor [8].
Качественная визуализация данных является важной частью любой аналитической системы. Но одни и те же данные можно отображать множеством способов, и какой из них будет наиболее приемлем, зависит от решаемой задачи. Поэтому пользователю Deductor предлагается много механизмов визуализации, из которых он может выбрать наиболее оптимальные.
Настроенные визуализаторы могут быть вынесены на панель «Отчеты». Таким образом, конечный пользователь сможет просто получить и просмотреть необходимый результат, не задумываясь, каким способом он был получен.
Наличие большого набора механизмов визуализации позволяет легко проводить разведочный анализ (предварительный анализ данных с целью выявления наиболее общих закономерностей и тенденций), сравнивать результаты, полученные с применением различных механизмов обработки.
В качестве примера анализа данных результатов учебной деятельности пользователей в СДО Moodle были выбраны 3 задачи:
Оценка качества обучения – проводится на основе двух параметров: оценка за тест и время прохождения теста.
Организационная задача определения пользователей, проходящих тесты за других пользователей, когда один тест проходят разные пользователи, имеющие один IP-адрес.
Оценка качества тестовых заданий [9], которая проводится по 4 статических показателей результатов выполнения тестовых заданий: индекс легкости (доля правильных ответов), дисперсия (среднеквадратическое отклонение), индекс и коэффициент дифференциации. Важность количественных характеристик сложности тестовых заданий состоит в следующем: для того, чтобы эти задания обладали способностью дифференцировать испытуемых по уровню их подготовки, их сложность должна соответствовать уровню подготовки испытуемых. Тест в целом должен включать в себя комплекс заданий различной сложности – от легких до трудных. При этом, однако, слишком простые задания, на которые правильно отвечают все испытуемые, и слишком сложные задания, на которые не может ответить никто из испытуемых, не обладают способностью дифференцировать испытуемых по уровню их подготовки и в этом смысле не являются тестовыми заданиями.
Все необходимые данные располагаются в 10 таблицах базы данных СДО Moodle:
mdl_user – содержит информацию о всех пользователях;
mdl_role_assignments – содержит роли пользователей (учитель, создатель курса, ученик и т.д.);
mdl_groups – содержит информацию о всех группах пользователей;
mdl_groups_members – определяет связь пользователя и групп в которых он состоит;
mdl_course – содержит информацию о всех курсах;
mdl_quiz – содержит информацию о всех тестах;
mdl_question – содержит информацию о всех вопросах;
mdl_quiz_attempts – содержит информацию о всех попытках прохождения теста (время начала прохождения, время окончания прохождения теста и т.д.);
mdl_grade_grades_history – содержит информацию об оценках за каждую попытку прохождения теста;
mdl_log – содержит номер пользователя, проходящего тест и IP-адрес под которым он зашел в СДО.
Для решения вышестоящих задач анализа данных в АП Deductor было разработано хранилище данных, структура которого представлена на рисунке 1.
Хранилище данных состоит из 3 процессов, описывающих каждую задачу: оценивание, группы по IP, метрики. Каждый процесс имеет тип «снежинка», в центре «снежинки» расположены факты, а ветвями от центра расходятся измерения. Такая архитектура хранилища наиболее адекватна задачам анализа данных. Измерения могут быть как простыми списками, например, дата, так и содержать дополнительные столбцы, называемые атрибутами.
Рис.1. Структура хранилища данных
Хранилище данных предназначено для аккумулирования всей необходимой для анализа предметной области информации [10] на основе, которой могут быть построены следующие визуализации: максимальная/средняя/минимальная оценка студента за тест, количество прохождений теста студентом, количество прохождений теста по датам, максимальная/средняя/минимальная оценка за тест среди всех студентов, среднее время прохождения теста, статистические показатели результатов выполнения тестовых заданий, анализ прохождений теста пользователями с одинаковыми IP-адресами [11].
На рисунке 2 представлен пример анализа по IP-адресам: количество уникальных IP-адресов с которых пользователь заходил в систем для прохождения теста.
Рис. 2. Количество уникальных IP-адресов по тестам и по пользователям
Пример анализа статических показателей выполнения тестовых заданий представлен на рисунке 3.
Рис. 3. Вопросы индекс легкости, которых больше 20% и меньше 90%
Общая схема работы программного модуля представлена на рисунке 4.
Рис. 4. Схема работы программной продукта
Практическая ценность программной разработки заключается в том, что результаты работы (скрипт для извлечения данных из БД СДО Moodle, проект в АП Deductor, файл хранилища данных о результатах учебной деятельности пользователей) могут быть использованы в учебных заведениях, ориентированных на использование СДО Moodle, как средства анализа и планирования учебного процесса преподавателем, ведущим курс дистанционного обучения.
Литература:
Рыбанов А.А. Автоматизированный анализ качества процесса обучения по результатам тестирования знаний на основе диаграмм Парето // Дистанционное и виртуальное обучение. 2009. № 8. С. 54-59.
Рыбанов А.А. Алгоритмическое и математическое обеспечение автоматизированной системы оценки качества учебного процесса по контрольным картам // Вестник компьютерных и информационных технологий. 2009. № 2. С. 30-36.
Рыбанов А.А., Худоложкин М.С. Визуализация учебной деятельности пользователей в системе дистанционного обучения (на примере LMS Moodle) // Сборник тезисов научно-практической конференции молодых ученых по направлениям: Химия – наука будущего, Инновации в энергосбережении и энергоэффективности, Информационные технологии – локомотив инновационного развития. Волгоград: Основа, 2012. – 81-83 с.
http://atutor.ca официальный сайт СДО ATutor
http://www.docebo.com официальный сайт СДО Docebo
http://www.efrontlearning.net официальный сайт СДО eFront
http://moodle.org официальный сайт СДО Moodle
Компания BaseGroup Labs Визуализация в Deductor Studio, 2009.
Рыбанов А.А. Анализ качества дистракторов для тестовых заданий // Известия Волгоградского государственного технического университета. 2009. Т. 10. № 6. С. 137-140.
Рыбанов А.А., Худоложкин М.С. Проблема визуализации результатов учебной деятельности пользователей в системе дистанционного обучения (на примере LMS Moodle) // I Всероссийский конгресс молодых ученых: Тезисы докладов. Санкт-Петербург, 2012.
Компания BaseGroup Labs Проектирование хранилищ данных Deductor Warehouse 6, 2009.