Анализ тестовых заданий при использовании системы Moodle

Широкое использование электронных систем управления обучением не в последнюю очередь обусловлено наличием в них средств, позволяющих сделать более технологичной важнейшую составляющую процесса обучения, связанную с оценкой уровня освоения учащимися изучаемого учебного материала. Речь идет об использовании автоматизированных тестовых систем в качестве средства измерения уровня подготовки учащихся.

Для этих целей в системе Moodle, как и в других современных системах аналогичного назначения, имеется подсистема, позволяющая формировать банки тестовых заданий всех основных форм – «в закрытой форме», «вычисляемые», «короткий ответ», «числовые», «на соответствие», «вложенные ответы», и строить из них тесты, предназначенные для самоконтроля и тренинга, тематические тесты, тесты для текущей и итоговой оценок уровня обучаемых и др.

Для преподавателя, использующего такого рода средства при преподавании своих учебных курсов, большая доля его труда состоит в создании банка тестовых заданий, обеспечивающего решение задачи оценки успешности освоения обучаемыми представляемого им учебного материала. При этом неизбежно возникает вопрос о качестве разработанных и используемых тестовых заданий с точки зрения их способности адекватно решать задачу измерения уровня подготовки испытуемых, правильно дифференцировать их в соответствии с действительным уровнем их подготовки. Дело в том, что тестовые задания, удовлетворяющие формальным требованиям, например, правильность формы, логическая точность и непротиворечивость высказываний и др., на практике могут не обладать качествами, позволяющими рассматривать их как полноценное средство измерения уровня подготовки испытуемых.

Вообще говоря, вопрос о способности конкретных контрольно-измерительных материалов в действительности служить средством измерения уровня подготовки обучаемых имеет место при использовании любой системы оценивания, в том числе и при использовании традиционных экзаменационных испытаний в устной или письменной форме. Но именно при использовании автоматизированных тестовых систем возникает возможность реального применения для оценки качества используемых контрольно-измерительных материалов формализованных подходов, основанных на методологии теории педагогических измерений. Становятся возможными накопление и статистическая обработка результатов испытаний и получение количественных характеристик, позволяющих оценивать качество тестовых контрольно-измерительных материалов.

Один из известных подходов для такого анализа базируется на известной в теории педагогических измерений однопараметрической модели Раша. Практическое использование предлагаемых этой теорией подходов облегчается тем, что в системе управления обучением Moodle имеются развитые встроенные средства для автоматизации вычисления по результатам выполнения тестовых заданий статистических показателей, позволяющих осуществлять объективную оценку качества тестовых заданий с точки зрения их способности служить средством измерения уровня подготовки испытуемых.

Для осуществления Moodle такой обработки результатов тестирования необходимо на вкладке просмотра результатов тестирования (рис. 1) перейти к пункту Анализ вопросов.

Обработка результатов испытаний, необходимая для получения характеристик качества тестовых заданий, состоит в следующем.

В соответствии с педагогической теорией измерений полученные испытуемыми результаты испытаний представляются в виде матрицы следующего вида (рис. 2).

Рис. 1. Скриншот системы Moodle со списком испытуемых, прошедших тестирование, и полученных ими результатов

Рис. 2. Матрица результатов тестовых заданий

В столбцах этой матрицы находятся результаты, полученные конкретными испытуемыми по каждому тестовому заданию, а по строкам размещаются результаты каждого испытуемого по соответствующему тестовому заданию. ............