Использование компьютерного тестирования для промежуточной аттестации знаний студентов безотрывной формы обучения

В решении задачи повышения качества и эффективности учебного процесса важное место принадлежит не только процессу обучения, но и контролю знаний. При разработке нового курса подсистема контроля проектируется таким образом, чтобы каждая тема была педагогически и методически завершенной, т. е. чтобы студент прошел через полный цикл процесса усвоения – от первичного восприятия содержания до закрепления и применения усвоенной информации в моделях реальной практики [1]. На факультете подготовки инженерных кадров (ФПИК) контроль учебного процесса проводится посредством совмещения контактных и неконтактных мероприятий: самостоятельная работа (контрольная работа, реферат и т.п.) осуществляется преимущественно без непосредственного контакта студента и преподавателя, промежуточная аттестация проводится исключительно в контактной фазе. В соответствии с этими предпосылками на ФПИК с 2009 г. в качестве эксперимента проводилась промежуточная аттестация по отдельным дисциплинам в виде компьютерного тестирования[3]. При проведении тестирования преследовались следующие цели: – объективная оценка объема знаний студентов; – выявление структуры усвоения знаний студентами; – полнота усвоения знаний (выявляются нули в тестах и соответственно заполняются пробелы в знаниях); – оценка эффективности работы кафедры, преподавания читаемых на ней предметов и т.д. Задания для тестирования разрабатывались сотрудниками ВолгГТУ, проводящими занятия не только с заочниками, но и со студентами дневного отделения (кафедры информатики, философии, сопротивления материалов, теплотехники и гидравлики). При составлении заданий учитывались следующие критерии тестов: – дифференцирующая способность (знающие материал студенты должны выполнить задание, не знающие его не в состоянии это сделать); – локальная независимость (выполнение заданий не зависит от результатов выполнения других форм работы); – информативность заданий (каждое задание выполняет информационную функцию). В соответствии с этими требованиями были использованы следующие конструкции вопросов для тестирования студентов: – закрытая форма; – открытая форма; – задания на соответствие; – задания на установление правильной последовательности. При этом во всех вопросах предусматривалась возможность использования не только текстовой информации, но и графической (в том числе и математических формул).

Тестирование проводилось среди студентов 1–3-х курсов заочной формы обучения. Анализ результатов тестирования проводился стандартными средствами программной оболочки [2]. Статистический анализ показал, что распределение полученных с первой попытки баллов (рис. 1) по дисциплинам гуманитарного и естественнонаучного циклов существенно различается. Так, если для гуманитарного цикла распределение приближается к нормальному, то для естественнонаучного – к экспоненциальному. При этом средний бал по гуманитарным дисциплинам составляет около 75, а по естественнонаучным – 55.

Обычно такой характер успеваемости объясняется большей сложностью изучаемого материала. На наш взгляд, одной из причин может быть особенность составления тестовых вопросов по этому циклу дисциплин, заключающаяся в большем количестве специальной символьно графической информации. Чтобы выявить влияние этой причины, можно рассмотреть индекс дифференциации вопросов. Данный параметр является грубым индикатором способности конкретного тестового задания отделить более успешных испытуемых от менее успешных. Этот показатель рассчитывается следующим образом. По общим результатам тестирования по всем заданиям испытуемые делятся на три группы: хорошо подготовленные, средние и слабо подготовленные, включающие каждая по одной трети от общего числа (N) испытуемых. Математическое выражение для индекса дифференциации (ИД) задания имеет вид:

ИД=З * (Х_сил − Х_слаб ) / N,

где Х_сил = Σ(Y_сил /Х_max ) – сумма относительных значений баллов, полученных при выполнении задания одной третью испытуемых, получивших самые высокие баллы за тест в целом (группа хорошо подготовленных); Х_слаб = Σ(Y_слаб /Х_max ) – аналогичная сумма относительных значений баллов, полученных одной третью испытуемых, имеющих самые низкие баллы за весь тест (группа слабых). Этот параметр может принимать значения между +1 (все испытуемые из сильной группы ответили правильно, а из слабой неправильно) и –1 (все испытуемые из сильной группы ответили неправильно, а из слабой, напротив, правильно).

Отрицательные значения индекса свидетельствует о том, что слабые испытуемые отвечают на данный вопрос лучше, чем сильные. Такие тестовые задания должны отбраковываться. Анализ показал, что средний ИД тестовых вопросов для гуманитарного блока составляет 0,9, а для естественнонаучного – 0,7 при отсутствии отрицательных значений в обоих тестах. Однако, как видно из рис. 2, вопросы гуманитарного цикла составлены таким образом, что большинство из них (более 60 %) имеют ИД более 0,9.

Исходя из этого можно говорить о том, что структура теста по гуманитарным дисциплинам помогает более адекватно определить успевающих и неуспевающих студентов. Другой мерой способности конкретного задания разделять испытуемых на сильных и слабых является коэффициент дифференциации. Коэффициент дифференциации – это коэффициент корреляции между множеством значений ответов, полученных испытуемыми при выполнении конкретного задания, и результатами выполнения ими теста в целом. Значение этого показателя рассчитывается по следующей формуле:

КД= Σ (x * y)/( N * s_x * s_y ),

где x – отклонения от среднего значения множества баллов, полученных испытуемыми при ответе на конкретное задание, y – отклонения от среднего значения множества баллов, полученных испытуемыми за тест в целом, N – количество ответов, данных по этому заданию, s_x – среднеквадратичное отклонение множества баллов, полученных испытуемыми при ответе на данное задание, s_y – среднеквадратичное от-клонение множества баллов, полученных испытуемыми за тест в целом. Этот параметр также может принимать значения между +1 и –1. Положительные значения соответствуют заданиям, которые действительно разделяют хорошо и слабо подготовленных студентов, в то время как отрицательное значение коэффициента свидетельствует о том, что плохо подготовленные студенты отвечают на данное задание в среднем лучше, чем хорошо подготовленные. На рис. 3 показано распределение КД по гуманитарным и естественнонаучным циклам.

Видно, что по этому показателю тест по гуманитарным дисциплинам также в целом более объективен. Однако в обоих случаях имеют место вопросы, у которых КД меньше 0. Такие задания с отрицательным значением КД не являются тестовыми, так как не отвечают требованиям задачи тестирования по оценке уровня подготовленности испытуемых. Таких заданий следует избегать.

В результате проведенного анализа было выявлено, что, несмотря на то, что тесты по дисциплинам естественнонаучного блока требуют некоторой доработки, такой вид промежуточной аттестации по сравнению с традиционными методами помогает более объективно оценить знания студентов.

Литература:

1. Авдеюк, О.А. Проблемы заочного обучения и пути их решения / О.А. Авдеюк, Е.Н. Асеева // Международный журнал экспериментального образования. – 2011.– № 3. – С. 146–147.

2. Приходькова, И.В. Автоматизация контроля знаний студентов заочного отделения по дисциплине «Гидравлика» с помощью системы «Moodle»/ И.В. Приходькова, К.В. Приходьков, С.Г. Телица // Известия ВолгГТУ: межвуз. сб. науч. ст. / ВолгГТУ. – Волгоград, 2010. – № 8. –С. 160–162. (Сер. Новые образовательные системы и технологии обучения в вузе. Вып. 7).

3. Савкин, А.Н. Особенности компьютерного тестирования по гуманитарным и естественнонаучным дисциплинам при безотрывной форме обучения/ А.Н. Савкин, К.В. Приходьков, А.В. Крохалев, Т.Н. Рязанова// Известия Волгоградского государственного технического университета. Серия «Новые образовательные системы и технологии обучения в вузе», выпуск 8, Т.10, № 6, 2011. – С. 118-121.