Статистика тестов. Определение характеристик качества тестов

Статистика тестов. Определение характеристик качества тестов 

4. Секция «Анализ структуры теста»

В этой секции (рис. 4.1) в виде таблицы представлены все задания (вопросы) теста с относящимися к ним различными статистиками.

рис 4.1

Рис. 4.1. Раздел «Анализ структуры теста»

Для того чтобы была понятней структура выводимой статистики по тестовым заданиям, напомним каким образом обычно формируется сценарий конкретного теста из банка тестовых заданий. Преподаватель – создатель конкретного теста выбирает задания из банка тестовых заданий в конкретные позиции теста. При этом в конкретную позицию теста может быть назначено или определенное тестовое задание, или задание, случайным образом выбираемое системой из заданной категории (группы) тестовых заданий при предъявлении теста студенту. Это делается для того, чтобы в данной позиции теста разным студентам предъявлялись, по возможности, разные тестовые задания, но из общей тематической группы-категории. Статистические характеристики, рассчитанные Moodle по результатам выполнения тестовых заданий, оформляются в виде таблицы, представленной на скриншоте рис. 4.1.

Для предъявляемых студенту заданий, формируемых путем случайного выбора, вначале выводятся общие статистические характеристики результатов по данной позиции теста. Эта строка таблицы обозначается иконкой  и имеет номер, соответствующий номеру позиции задания в сценарии теста. Вслед за этой строкой выводятся строки со статистиками для каждого реального вопроса, который хотя бы один раз был предъявлен студентам в этой позиции теста.

Когда вопросы теста дополнительно рандомизируются (перемешиваются) для каждого предъявления теста студентам, в таблице статистик указываются номера позиций вопросов по умолчанию, т. е. в соответствии с их номерами в сценарии теста.

Для каждого задания можно также увидеть Детальный анализ ответов статистики, рассчитанные для каждого ответа на вопрос.

Для каждого вопроса в колонках таблицы представлена следующая информация.

  •  - показывает номер позиции, иконку типа вопроса и иконки просмотра и редактирования.
  • Название вопроса – имя, являющееся также ссылкой на детальный анализ задания (см. раздел Статистика вопроса теста ниже).
  • Попытки – сколько студентов выполняли это задание.
  • Индекс легкости – процент студентов, которые выполнили задание правильно.
  • Стандартное отклонение – разброс значений результатов ответов на это задание.
  • Случайно угаданная оценка – оценка, которую мог получить студент, отвечая наугад.
  • Предполагаемый /Эффективный вес.

Предполагаемый вес – это вес задания, который составитель теста установил из каких-либо своих представлений при составлении теста. Если задание 1 удостоено 3-х баллов из общих 10‑ти баллов за весь тест, то его предполагаемый вес равен 30%.

Эффективный вес – это рассчитываемый параметр, оценивающий исходя из полученных результатов тестирования, насколько фактический разброс результатов связан с ответами именно на это задание. В идеале эффективный вес должен быть равен предполагаемому.

  • Коэффициент дифференциации – это корреляция между оценкой за конкретный вопрос и оценкой за тест в целом. Например, для хорошего вопроса мы надеемся, что студенты, которые получают более высокую оценку за конкретный вопрос, наберут большее количество баллов и за весь тест в целом. Чем больше этот коэффициент, тем лучше.
  • Эффективность дифференциации. Эта характеристика позволяет преодолеть недостатки коэффициента дифференциации путем его нормирования на максимальное значение, т. е. выражения этой характеристики в виде процента от максимального значения,  которое могло бы быть получено из оценки студента, отвечавшего на этот вопрос, и из оценки этого студента за тест в целом.