Статистика тестов. Определение характеристик качества тестов

Статистика тестов. Определение характеристик качества тестов 

7. Статистика тестовых заданий

Описываемая в данном разделе статистика уже касается не позиций теста, а конкретных тестовых заданий, которые при выполнении теста фактически предъявлялись хотя бы одному студенту. Смысл приводимых ниже статистических характеристик совпадает с аналогичными характеристиками, рассмотренными в предыдущем разделе. За тем исключением, что статистики предыдущего раздела относятся ко всем заданиям, случайным образом предъявляемым в конкретной позиции теста, а статистики, рассматриваемые в этом разделе относятся к конкретным тестовым заданиям.

рис 091

Рис. 7.1. Пример статистики по фактически выполняемым заданиям теста

Количество попыток  выполнения задания (Number of attempts)

Количество студентов, которые получили конкретное задание при выполнении теста – это Si.

Случайно угаданная оценка за выполнение задания (Random guess score)

Количество баллов, которое мог бы получить студент, отвечая наугад. Эта характеристика зависит от типа тестового задания. Для типа задания «короткий ответ», это 0 – или балл, связанный с ответом «*», если такой есть.

Для типа вопроса «множественный выбор» (включая вычисляемый, правда/ложь, и т.д.) это среднее значение среди возможных вариантов выбора.

Индекс легкости задания (Facility Index)

рис 092

рис 3

При xi(min)=0 и xi(max)=1 этот индекс равен среднему значению количества баллов полученных всеми студентами за выполнение задания, выраженному в процентах

рис 095

Для дихотомичных заданий

рис 096

где  qi это доля правильных ответов на i-е задание теста.

Стандартное отклонение оценок за задание (Standard Deviation)

рис 097

При xi(min)=0 и xi(max)=1

рис 099

где

рис 100

Для дихотомичных заданий

рис 101

где qi это доля правильных ответов на i-е задание Si студентов.

Коэффициент дифференциации оценок задания (Discrimination Index – Di)

рис 104

здесь

рис 105

рис 106

Из-за невозможности определить Xi, вследствие того, что некоторые номера вопросов, возможно, были выбраны в различных позициях и с различными весами, мы подставляем в формулу значение T вместо Xi .

Эффективность дифференциации оценок задания (Discriminative Efficiency – DEi)

рис 110

Детальный анализ статистики задания

Кликнув по названию тестового задания в таблице, пользователь получает доступ к дополнительной статистике по этому заданию, пример которой приведен на рис. 7.2.

рис 111

Рис. 7.2. Пример страницы с дополнительной информацией о статистике задания.

 

Помимо уже рассмотренных выше статистических характеристик задания, можно увидеть дополнительную статистику по предлагаемым в задании вариантам ответов. В частности, оценку, за выбор конкретного ответа, количество испытуемых, выбравших конкретный вариант ответа, частоту выбора ответа. Если обнаруживается факт того, что вариант ответа выбирается всеми испытуемыми или не выбирается ни одним из испытуемых, то можно сделать вывод, что такие варианты являются неработающими, так как не служат целям разделения испытуемых по уровню подготовки.