В статье обсуждается балансированность дистракторов тестовых заданий, используемых при контроле знаний учащихся, приводятся экспериментальные результаты в виде таблиц и круговых диаграмм.
Ключевые слова: сбалансированность, дидактический тест, дистрактор, информационный файл, диагностическая эффективность, дисперсия дистракторов,
Информация о сбалансированности тестовых заданий позволяет оценить как качество дидактического теста, так и научно-методический уровень разработчика.
Предложенный нами алгоритм основан на статистическом анализе распределения дистракторов и включает следующие этапы:
из информационного файла «арбитраж» считывается информация о результатах дидактического тестирования: количество респондентов, общее количество ответов по каждому заданию и по каждому его дистрактору, частота предъявления каждого задания.
вычисление кумулятивной (накопленной) частоты дистракторов и перевод в %-ное значение, путем их деления на общее количество ответов по данному заданию. Причем суммарная накопленная частотность всегда равна общему количеству ответов по данному заданию и принимается равным 100 %.
Анализ сбалансированности заданий проводятся, исходя из следующих заданных условий:
частотность выбора дистракторов должна быть нормированной, (например, в %-ах), что повышает корректность сравнительного анализа их значений;
если частота выбора дистрактора (A %, Б %, B %, Г %) меньше или равно 5 %, то данный дистрактор не работает, т. е. не привлекает внимание обследуемых;
если частота выбора дистрактора (A %, Б %, B %, Г %) больше или равно 90 %, то данный дистрактор также не работает («чрезмерно привлекает» внимание респондентов, например, правильный ответ слишком легко распознать), что резко снижает диагностическую эффективность задания;
если одновременно два и более дистракторов подпадают под условия пунктов (а, б), то данное задание должно быть заменено другим.
В нашем примере анализ полученных результатов показывает, что из 40 тестовых заданий рубежного контроля по изученному разделу 8 заданий имеют по одному неработающему дистрактору и должны быть доработаны.
Сбалансированность тестовых заданий и самого теста удобно представить в виде круговой диаграммы (рис. 1).
В качестве примера отдельные результаты анализа сбалансированности дистракторов тестовых заданий приведены в таблице 1.
Таблица 1
Анализ сбалансированности тестовых заданий
|
№ вопроса |
Кол-во ответов |
Верный ответ |
Частотность дистракторов |
Вывод о баланс. |
|||||||
|
А |
A % |
Б |
Б % |
В |
B % |
Г |
Г % |
||||
|
1 2 29 37 40 |
39 45 33 42 37 |
14А 31А 8А 13А 15А |
14 31 8 13 15 |
35 68 24 31 4 |
12 6 12 11 5 |
3 13 36 26 13 |
10 2 6 7 10 |
25 04 18 17 27 |
3 6 7 11 7 |
07 13 21 26 18 |
БАЛАНС НЕ РАБ.В БАЛАНС БАЛАНС БАЛАНС |
|
40 |
1667 |
806 |
806 |
47 |
8.6 |
2 |
234 |
5.4 |
282 |
6.6 |
|
Рассмотрим причины различной сбалансированности на примере отдельных тестовых заданий — № 27 и № 37.
Задание № 27:
27. Укажите электродную пару, необходимую для определения активности нитрат иона в водном растворе?
Варианты ответа:
А — рNО3 — Аg / АgCI, КСI насыщ.
Б — рNО3 — стандартный водородный электрод
В — рК — Аg / АgСI, КCI насыщ.
Г — рNO3 — насыщенный каломельный электрод.
Дисперсия дистракторов:
А-31 чел., Б-6 чел., В-2 чел., Г-6 чел. (всего 45 чел.). A % -69 %;
Б — 13 %; В — 4 %; Г — 13 %. (всего 100 %).
ЗАДАНИЕ № 37
37. Как вычисляется величина постоянной кондуктометрической ячейки?
Варианты ответа:
К ячейки= Rсреднее(0,01М КСI)* Xудельн.электр.(0,01М КСI) К ячейки= Rсреднее(0,01М КСI)- Xудельн.электр.(0,01М КСI) К ячейки= Rсреднее(0,01М КСI)+ Xудельн.электр.(0,01М КСI) К ячейки= Rсреднее(0,2 М КСI)* Xудельн.электр.(0,01М КСI)
Как видно, из табл.1, дисперсия дистракторов в этом случае составляет:
А-13 чел.; Б-11 чел.; В-7 чел.; Г-11 чел. (всего — 40 чел.), A % -31 %; Б — 26 %; В-17 % и Г — 26 %. (всего 100 %), т. е. задание N % 37 может служит примером оптимальной сбалансированности дистракторов.
Это, видимо, обусловлено равномерной смысловой нагрузкой вариантов ответа, структура и информационные элементы которых весьма близки, а элементы неверных ответов спрятаны посредством использования неброских обозначений (*, +, -, C = 0,001 M).
Рис. 1. Результаты сбалансированности дистракторов
Литература:
- Абдукадиpов А. Адолатли усул. // Халк таълими. 1994. N % 3–4.
- Михайлычев Е. А., Норов Ш. К. Дидактические тесты в системе многоэтапного контроля знаний студентов: — Бухара, 1993.
- Норов Ш. К., Ниязхонов Т. Н., Маджидов М. А. Контрольно-тестирующие программы с таймером и журналом регистрации. // ИНФО. — 1992. — N % 2.
- Фарберман Б. Л. Методика разработки и применения педагогических тестов. — Т.: РУМЦ, 1995.
