Статистика тестов. Определение характеристик качества тестов

Статистика тестов. Определение характеристик качества тестов 

5. Обозначения и исходные замечания для расчета статистики результатов тестирования

Использование аналитических возможности системы Moodle по оценке качества используемых тестовых материалов предполагает наличие у преподавателя – разработчика тестов определенных знаний в области теории педагогических измерений. Ниже приводятся краткие разъяснения смысла формируемых системой статистических характеристик.

В формулах используются следующие обозначения.

  • Множество студентов рис 005  , которые выполнили, по крайней мере, одну попытку теста.
  • Предъявляемый студентам тест представлен набором позиций с номерами рис 006.
  • В позиции теста выбираются тестовые задания с номерами рис 007.
  • Из-за случайного выбора заданий, студенты, как правило, получают различные задания в разных позициях теста из соответствующей категории (группы) заданий (см. рис. 3.4.1). В этом случае i(p,s) это номер задания, предъявляемого студенту s  в тестовой позиции p.

рис 5.1

Рис. 5.1. Структура теста студента s

  • Пусть Is будет множество заданий, которые выпали студенту .
  • Пусть также Si будет множество студентов, которые отвечали на задание .
  • Каждая позиция теста вносит минимальный xp(min) и максимальный xp(max)  вклад в общую сумму баллов за тест. По умолчанию в Moodle xp(min)  всегда равно нулю, но можно предположить, что это будет иметь место не во всех случаях.
  • Далее, каждым студентом получена фактическая оценка (баллы) xp(s) за выполнение задания, полученного в позиции p.

Тогда

рис 020

Баллы xp(s) следует измерять той же шкалой что и итоговую оценку за тест.

Если тест состоит только из дихотомичных заданий, то успешность и не успешность их выполнения оценивается баллами 1 или 0.

  • Количество баллов студента s за выполнение задания i обозначим xi(s) .

Следует, однако, иметь в виду, что в этом случае баллы оценки должны быть измерены шкалой по умолчанию для этого задания.

рис 023

Речь идет о том, что в общем случае xi(max)  и  xp(max) , т. е. максимальные значения шкал для задания  и позиции , в которой оно предъявлено, могут не совпадать.

  • Итоговая сумма баллов за весь тест для студента  определяется следующим выражением

рис 025

              Аналогично, максимальное и минимальное возможные значения суммарного балла по всем позициям теста имеют вид


рис 026

и

рис 027

Если тест состоит только из дихотомичных заданий, успешность и не успешность выполнения которых оценивается баллами 1 или 0, то

рис 028 и рис 029.

Промежуточные расчеты.

Чтобы упростить выражения для формул, приведенных ниже, нам потребуются кое-какие промежуточные расчеты величин, полученные из тех, что приведены выше.

  1. Выражение для суммарных баллов, полученные студентом за ответы на задания во всех P позициях, кроме самой позиции p («дополнение» оценки студента для позиции p):

рис 031

2. Для любой величины, зависящей от позиции, например xp или Xp, её среднее значение по всем студентам обозначается чертой, и вычисляется как:  

рис 034

Если тест состоит только из дихотомичных заданий, то \overline{x}_p=q_p, где qp это доля правильных ответов на задания позиции p.

           3. Когда количество баллов x относится к номеру задания i, черта означает усреднение по всем студентам,  выполнившим это задание.

рис 038

Здесь  множество студентов, отвечавших на вопрос i.

Для теста из дихотомичных заданий \overline{x}_i=q_i, где qi – это доля правильных ответов на i-е задание теста.

            4. Разброс количества баллов (дисперсия) в зависимости от позиции теста p имеет вид: 

рис 042

Если тест состоит только из дихотомичных заданий, то дисперсия V(xp) будет иметь вид

рис 043

где qp  это доля правильных ответов на задания позиции p.

              5. Выражение для разброса (дисперсии) величины количества баллов, определяемой номером задания, соответственно будет:

рис 044

Для теста, состоящего из дихотомичных заданий, это выражение будет иметь вид

рис 045 

 где qi это доля правильных ответов на i-е задание.

              6. Наконец нам необходимы выражения для ковариации двух величин, например:

рис 046

и

рис 047

Напомним, что

рис 048

это суммарные баллы, полученные студентом за ответы на задания во всех позициях, кроме позиции p («дополнение» оценки студента для позиции p), а

рис 049

это баллы, полученные студентом за ответы на все задания кроме iго («дополнение» оценки студента для вопроса i).