Методика анализа селективности тестовых заданий, используемых при рейтинговом контроле знаний студентов

Диагностическая ценность дидактического теста определяется и обеспечивается качеством тестовых заданий. В психолого-педагогической литературе имеются лишь несистематизированные рекомендации по основным аспектам использования и эмпирического анализа тестов, формулировке тестовых заданий, но к сожалению, не приводятся объективные методики оценки качества самых тестовых заданий, и, следовательно, отсутствуют и стандартизированные дидактические тесты [1–3].

Общепринятая методика оценки качества тестовых заданий включает педагогическую экспертизу путем их спецификации. При этом мнения экспертов в большинстве случаев достаточно различаются, вследствие различий в их уровне компетентности, опыта и методике преподавания данного курса, своеобразного понимания целей обучения, диагностирования и контроля знаний учащихся, а также неоднозначного толкования таких основополагающих понятий, как «трудность» и «сложность» тестовых заданий, критериев их качества, что значительно снижает качества и диагностическую ценность педагогической экспертизы [3, 4].

Коэффициент селективности (K_sel.) отражает взаимосвязь данного задания с решением всех заданий теста. Необходимо отметить, что в научно-методической литературе не рассмотрены методы количественной оценки этой величины при дидактическом тестировании. В случае использования тестов различного уровня сложности, вообще проблематично четко представить количественную взаимосвязь K_sel. со степенью выявления межпредметных связей в батареи тестов. В первом приближении можно принять, что:

а) K_sel. --> 1, если учащиеся не выполнившие определенное задание не могут решить и все остальные задания;

б) K_sel. --> 0, если хорошо успевающие студенты не выполняют данное задание также часто, как и неуспевающие их коллеги;

в) K_sel. --> -1, если слабые студенты решают данное задание лучше, чем сильные. Случай (в) часто наблюдается при тестировании с помощью заданий " закрытого типа» с готовыми (но неудачно сформулированными) ответами. Вполне очевидно, что задания с величиной K_sel. <== 0,3 должны исключаться из теста, как не селективные.

Следует отметить, что в отличие от других критериев качества коэффициент селективности невозможно оценить без предварительных результатов тестирования. А.Анастази отмечает [1], что при одинаковой трудности тестовых заданий, коэффициент селективности равнозначен индексу различения (ID) задания. Практическая значимость данного параметра обусловлена тем, что он не зависит от размера выборки (что особенно ценно при малых размеров выборки, например, академ.групп учащихся по отдельным специальностям) и хорошо согласуется с другими, более сложными мерами валидности, причем чем больше среднее значение ID, тем выше валидность задания, а также чем однороднее задания по трудности, тем больше дифференцирующая (диагностирующая) способность тест-задания.

Предлагаемая нами методика основана на классическом подходе Дидериха [2] и имеет следующий алгоритм:

1.         Ранжировка группы респондентов по баллам (по конкретному заданию или по сумме набранных баллов за тест, табл.1).

2.         Разделение табл.1 на верхнюю (А — лучшая часть) и нижнюю (В — худшая часть) части поровну (т. е. 50 = 50, при нечетном количестве 1 респондент из середине списка исключается или такой же результат добавляется в середину для сохранения баланса).

3.         Считают и суммируют количество правильных ответов в верхней части (К11) и нижней части (К12) табл.1.

4.         Вычисляют разницу между К11 и К12, что дает величину коэффициента селективности (К_sel.) тестового задания, т. е. К_sel. = К11 — К12. обычно, чем выше эта разность, тем выше и селективность.

5.         Вычисляют степень сложности тест-задания по (1), где NN — количество pеспондентов, выполнивших данное задание

Р = (К11 + К12)* 100 % / NN (1).

6.                  Вычисляют коэффициент усвоения тест-задания в виде — К_усв. = (К11 + К12) / NN (2).

7.                  Интерпретация полученных результатов согласно нижеприведенных условий:

а) К_sel. изменяется в пределах от -100 % до +100 %;

б) если -20 % < К_sel.< +20 %,то тест-задание НЕ СЕЛЕКТИВНОЕ;

в) если К_sel.> 20 % то, тест-задание + СЕЛЕКТИВНОЕ;

г) если K_sel.< -20 % то, тест-задание — СЕЛЕКТИВНОЕ.

8.         Распечатка результатов анализа с рекомендациями о доработке неселективных тестовых заданий.

Данный алгоритм структурно состоит из 5 частей:

1.         Объявляют массивы и их размерность

2.         Открываются информационные файлы («ginf1", «ginf2" и «ginf3") для чтения результатов дидактического тестирования. Представление результатов тестирования в виде информационных файлов «ginf1 — ginf4 " имеет следующие преимущества:

а) Возможность прямого чтения переменных S1(i), S2(i) и S3(i), что не требует составления отдельной процедуры для чтения текстового файла и перевода его в цифровую информацию;

б) Возможность корректировки данных без потери исходной информации;

в) Возможность чтения и редактирования информационных файлов различными текстовыми редакторами.

3.         Процедура расчета коэффициента селективности тестовых заданий всего теста по заданному циклу.

4.         Проверка условий селективности тест-задания, их сортировка и создание информационных файлов «ginf4" и «ginf41" для записи результатов работы программы.

5.         Вывод результатов работы программы в виде табл.1 на дисплей и на принтер.

Таблица 1

Значения коэффициента селективности тестовых заданий

Как видно из данных таблицы 1, анализируемый тест в целом удовлетворительно балансирован. Из 40 тест-заданий 27 являются селективными, что составляет 67,5 %

Как известно, в классическом подходе все респонденты отвечают на одни и те же количество тест-вопросов, индивидуализация заданий отсутствует, что характерно для социометрических и частично для психологических тестов, но не подходит к компьютерным дидактическим тестам, имеющим свои особенности.

Следует отметить, что особенности компьютерного дидактического тестирования существенно затрудняют реализацию классического подхода, а именно:

а) используя данные банка тестовых заданий каждому респонденту выдается индивидуальное задание, причем задания двух респондентов эквивалентны лишь по количеству заданий, но могут и должны содержать разные задания;

б) использование RND функцию приводит к неравномерному распределению количество респондентов по отдельным тест-заданиям;

в) необходимость индивидуализации заданий респондентов и использование банка учебных заданий приводит к тому, что число их предъявления различны и как правило не совпадают между собой.

Эти трудности были преодолены за счет представления результатов тестирования по группам А (лучшая) и В (худшая) в процентах (A % — B % = K_sel.).

Литература:

1.      Анастази А. Психологическое тестирование. — М.: Педагогика, 1982. — 340 с.

2.      Ингенкамп К. Х. Педагогическая диагностика.- М.: Педагогика, 1991. — 240 с.

3.      Черепанов В. С. Экспертные оценки в педагогических исследованиях. — М.: Педагогика, 1989. — 152 с.

4.      Методика и техника статистической обработки первичной социологической информации. — М.: Наука, 1968. — 327 с.