В работе подробно наглядно представлена процедура обработки и интерпретации результатов итогового контроля и показана возможность использования результатов математико-статистической обработки тестовых заданий для анализа полученных данных.
В первой части статьи автор указывал, что выработка требований к содержанию и форме тестовых заданий, должна быть приоритетной в оценивании результативности познавательной деятельности студентов. В предыдущих работах автор неоднократно указывал на проблему низкого качества самих тестовых заданий по дисциплине «Иностранный язык», либо на погрешности в их организации в тесте [1].
Для того чтобы ликвидировать этот пробел, и в целях улучшения качества теста итогового контроля (экзамена) для студентов 2 года бакалавриата института Кибернетики Томского политехнического университета нами проведена тестологическая интерпретация и анализ данных, полученных в результате апробации, условия которой описаны в первой части статьи.
1. Составленная матрица результатов тестирования позволила вычислить индивидуальный балл тестируемых и количества правильных ответов тестируемых на каждое задание теста. Для оценивания ответов и расчета качественных характеристик заданий была использована дихотомическая оценка. В результате определен профиль знаний тестируемых: никакой столбец матрицы ответов не состоял из всех единиц или нулей (отсутствие неправильных профилей), то такие задания слишком легких или трудных заданий в анализируемом тесте не было, т. е. в результате измерения все тестируемые были «оцененными» («измеренными»). Одинаковый первичный тестовый балл не является доказательством одинакового уровня подготовки тестируемых [2]. Частотное распределение тестового балла представлено на рис.1. Упорядочиванием результатов матрица тестирования была подготовлена к дальнейшей статистической обработке.
Рис.1
2. Далее была рассчитана наиболее важная характеристика — трудность тестовых заданий, процент (доля) тестируемых, выполнивших верно данное задание. Рассматриваемый нами тест итогового контроля (экзамена) — предметно-ориентирован, а значит, его целью было установить, овладел ли студент основными, существенными элементами того или иного умения или усвоил ли знания по дисциплине «Иностранный язык». Была определена ошибка измерения трудности задания, связанная с выборкой. По вычисленным значениям трудности заданий был построен график (рис. 2).
Рис. 2
В целях анализа результаты упорядочивания заданий по возрастанию коэффициента трудности представлены в виде графика на рис. 3 и табл.1.
Рис. 3
Таблица 1
Уровни трудности тестовых заданий
|
№ |
Уровень трудности |
Кол-во заданий |
Номера заданий |
|
1 |
Легкий (меньше 0,3) |
3 |
А2, А3, А5 |
|
2 |
Средний (от 0,3 до 0,7) |
25 |
А8, А7, А23, А6, А10, А29, А16, А21, А27, А13, А15, А20, А24, А25, А11, А17, А12, А22, А14, А9, А28, А30, А19, А18, А26 |
|
3 |
Трудный (больше 0,7) |
2 |
А4, А1 |
Вывод: в тесте много заданий с одинаковым значением трудности, больше всего заданий со средним уровнем трудности.
3. Кроме того, была рассчитана дифференцирующая способность тестовых заданий — способность различать (дифференцировать) обучающихся на «знающих» и «незнающих». Достижение дифференцирующего эффекта — главная цель создания нормативно-ориентированных тестов [3]. Поэтому хороший нормативно-ориентированный тест должен быть составлен из заданий с высокой дифференцирующей способностью. Для оценки дифференцирующей способности задания мы использовали метод «крайних» групп — расчет разности долей правильных ответов среди сильных и слабых групп тестируемых. Наши результаты представлены на рис.4, 5.
Рис.4
Полученное распределение значений показало, что ошибок в формулировке заданий нет.
Рис.5
В табл.2 представлена оценка дифференцирующей способности задания.
Таблица 2
|
№ |
Дифференцирующая способность, Dj |
Номера заданий |
Оценка / Рекомендации |
|
1 |
0,4 < Dj <= 1 |
А11, А12, А14, А19, А24, А25, А27, А29 |
Отличное задание |
|
2 |
0,3 < Dj <= 0,4 |
А6, А15, А16, А17, А20, А28, А30 |
Хорошее задание |
|
3 |
0,2 < Dj <= 0,3 |
А2, А7, А10, А18, А22, А23, А26 |
Желательна дальнейшая доработка. |
|
4 |
0,1 < Dj <= 0,2 |
А3, А4, А8, А13, А21 |
Критическое значение |
|
5 |
-1 <= Dj <= 0,1 |
А1, А5, А9 |
Задание нельзя использовать |
Результаты сообщают, что в исследуемом тесте присутствуют как отличные задания, так и требующие серьезной доработки, даже такие, которые использовать нельзя. При таком разбросе данных требуется серьезный анализ содержания тестовых заданий. При этом следует помнить, что допускается возможность того, что задание может быть составлено правильно, но у тестируемых нет достаточного понимания данной темы. Ценность (значимость) вопроса необходимо, по-видимому, оценивать в каждом конкретном случае отдельно.
Предварительные результаты сообщают, что в целом, качество компоновки исследуемого теста неудовлетворительное: требуется коррекция содержания и формы тестовых заданий. К вопросу конструирования тестов необходимо подойти более серьезно.
Предлагаемые формы представления результатов удобны для преподавателей, т. к. они позволяют оценить процент успеваемости в целом, оценить, насколько студенты усвоили каждую тему, и выявить пробелы в знаниях, а значит обеспечить условия эффективного применения тестовых заданий. В целях повышения качества образования и выявления тенденций в изменении качества интерпретации результаты тестологической экспертизы требуется зафиксировать в банке тестовых заданий.
Литература:
1. Маркова, Н. А. К вопросу о создании объективной системы оценки качества образования в вузе // Молодой ученый. — 2015. — № 9 — c.1124.
2. Переверзев, В. Ю. Технология разработки тестовых заданий: справочное руководство. — М.: Е-Медиа, 2005. — 265 с.
3. Челышкова, М. Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002. — 432 с.
