Использование Partial Credit Model для формализации заданий... А.А. ЖИХАРЕВ, Е.Ю. НИКОЛАЕВ

Использование Partial Credit Model для формализации заданий...
А.А. ЖИХАРЕВ, Е.Ю. НИКОЛАЕВ
Национальный исследовательский ядерный университет «МИФИ»
ИСПОЛЬЗОВАНИЕ PARTIAL CREDIT MODEL ДЛЯ ФОРМАЛИЗАЦИИ ЗАДАНИЙ
В АДАПТИВНЫХ ОБУЧАЮЩИХ СИСТЕМАХ
Представлен метод формализации заданий открытого типа с использованием Partial Credit Model для их внедрения в компьютерные адаптивные обучающие системы. Определены основные характеристики и показатели качества
формализованных этим методом заданий. Приведены достоинства и недостатки предлагаемой методики.
В настоящее время все большее распространение и все большие темпы развития и исследований приобретают адаптивные обучающие системы. Назначение таких систем – поддержка профессиональной деятельности преподавателя путем переложения части выполняемых им функций
на электронные образовательные ресурсы [1]. Эти ресурсы могут включать в себя методические
компоненты, представленные в виде структурированных учебно-методических материалов, материалов лекционных и внелекционных занятий, материалов заданий для самостоятельной работы.
Адаптивные обучающие системы предоставляют учащимся широкий спектр возможностей для
приобретения новых знаний, а преподавателю – возможность осуществлять постоянный мониторинг знаний учащихся.
Важной составляющей частью адаптивной обучающей системы является блок тестирования,
осуществляющий формирование и выдачу заданий в тестовой форме, обработку и хранение результатов, получение числовых характеристик латентных качеств обучаемых (оценка знаний),
классификацию обучаемых по уровню знаний, а также расчет различных показателей функционирования системы, таких, как, например, показатели качества тестовых заданий. Традиционно в
учебном процессе используют задания открытого и закрытого типов. Ввиду особенностей современных компьютерных технологий и способов интерпретации результатов тестирования в адаптивных обучающих системах оказалось наиболее целесообразно использовать задания закрытого
типа. Однако у преподавателей имеются контрольно-измерительные материалы открытого типа,
эффективность применения в учебном процессе которых подтверждена многолетней практикой.
Возникает задача формализации заданий открытого типа для их внедрения в компьютерные адаптивные обучающие системы. Под заданием открытого типа понимается задача, представленная в
произвольном виде и предполагающая последовательность расчетов или выводов с целью получения числового результата или некоторого суждения.
Успешность функционирования компьютерной обучающей системы зависит от выбора математической модели в рамках определенной теории тестирования. На практике наибольшее распространение получили классическая теория и Item Response Theory (IRT). С точки зрения классического подхода латентному неизвестному уровню знания сопоставляется некоторое наблюдаемое
значение. Математические модели в рамках классической теории основаны на некоторых допущениях относительно истинного значения или ошибки, с которой наблюдаемое значение соответствует латентному. В IRT же модели связывают результат тестирования с измеряемым латентным
качеством посредством строгого математического выражения такого, как логистические функции
моделей Раша, Бирмбаума и другие. Модели IRT более детально описывают процесс тестирования, позволяют проектировать контрольно-измерительные материалы в виде тестов в зависимости
от ожидаемого значения ошибки измерений для каждой категории знаний, а также производить
расчет ошибок простым образом на основании значений функций информации теста [5, 6].
Модели IRT, в первую очередь, отличаются между собой видом зависимости между уровнем
подготовки каждого из n обучаемых j (j – номер испытуемого) и уровнями сложности N заданий
i (i = 1, 2, …, N). Значение уровня подготовки оценивается в логитах как логарифм отношения pj и
qj – долей правильных и неправильных ответов j-го обучаемого на задания теста [2]:
Уровень сложности задания i определяется аналогичным образом как логарифм отношения
долей правильных и неправильных ответов на i-е задание. В общем случае вид зависимости задается следующей логистической функцией (характеристической кривой задания):
ISBN 978-5-7262-1280-7. НАУЧНАЯ СЕССИЯ НИЯУ МИФИ-2010. Том V
1
Использование Partial Credit Model для формализации заданий...
где Pi(θ) – вероятность корректного ответа учащимся с уровнем знаний θ на i-й вопрос теста; ai –
дискриминативность тестового задания (угловой коэффициент касательной к характеристической
кривой в точке i); i – сложность тестового задания (значение аргумента, при котором учащийся
имеет вероятность правильного ответа на вопрос, равную (1 + ci)/2); ci – нижняя асимптота характеристической кривой, вероятность правильного ответа на вопрос учащимися с самым низким
уровнем знаний (часто также называют параметром псевдоугадывания); n – количество вопросов в
тесте. Параметр D называют масштабирующим параметром, и обычно его значение принимают
равным 1,7. Эта формула описывает общую трехпараметрическую модель – модель Бирнбаума.
При ci = 0 и ai = 1 зависимость называют однопараметрической моделью Раша.
Однопараметрическая модель Раша имеет ряд преимуществ, заключающихся не только в
простоте, но и в том, что соотнесение между собой показателей качества тестовых заданий или
полученных латентных характеристик не зависит от каких-либо внешних факторов, не входящих в
процесс выдачи заданий и обработки результатов тестиования. Иными словами, модель Раша обладает свойством «объективности» по отношению к другим моделям [4].
Предлагаемый нами метод формализации тестовых заданий открытого типа основывается на
положениях Partial Credit Model (PCM), в которой обработка результатов тестирования базируется
на достижениях однопараметрической модели Раша.
В соответствии с PCM открытое задание разбивается на некоторое количество шагов. Каждый шаг должен быть представлен заданием закрытого типа. В результате декомпозиции исходного задания на подзадания получается статическая цепочка со строгой последовательностью тестов.
При этом должны быть соблюдены следующие условия:
 все подзадания каждого задания составляют последовательность от простого к сложному;
 переход к следующему этапу происходит только при правильном выполнении текущего;
 результаты каждого подзадания обрабатываются по однопараметрической модели Раша.
Еще одним важным требованием, которое необходимо соблюсти при формализации, является то, что статистика прохождения каждого подзадания для оценки его показателей качества не
может набираться отдельно от остальных подзаданий исходного задания открытого типа. Это объясняется тем, что вероятность прохождения каждого последующего подзадания зависит не только
от уровня знаний испытуемого и собственной сложности этого задания, но и от вероятности прохождения предыдущего подзадания, которая, в свою очередь, зависит от его сложности, и так далее. В связи с этим вводят понятие относительной сложности подзаданий ik – сложность, для подсчета которой накапливаются статистики по каждому предъявленному в последовательности тесту
(здесь k – номер подзадания, i – номер задания открытого типа). В соответствии с этим условием
вероятность того, что испытуемый с уровнем знаний θ успешно выполнит k-е подзадание i-го задания, равна [3]:
 ki 
P()ki
exp(  ik )
=
.
P()ki  P()( k 1)i 1  exp(  ik )
В целом, вероятность того, что испытуемый с номером n и уровнем знаний θ правильно ответит на x вопросов при прохождении i-ого задания, равна:
ISBN 978-5-7262-1280-7. НАУЧНАЯ СЕССИЯ НИЯУ МИФИ-2010. Том V
2
Использование Partial Credit Model для формализации заданий...
exp  j 0 (  ij )
x
 xni 

m
exp
k 0

k
(  ij )
j 0
,
x  0,1,..., m.
В данном случае m – количество подзаданий. Для теста, состоящего из L заданий открытого
типа, вероятность того, что испытуемый с номером n и уровнем знаний θ выдаст определенный
вектор ответов xni , равна:
P
Теперь посчитаем вероятность того, что с получившимся вектором реализаций ответов на
вопросы теста тот же испытуемый получит r баллов:
Здесь внешнее суммирование ведется по всем векторам xni, позволяющим получить r баллов
за тест.
Посчитаем условную вероятность того, что конкретный вектор xni позволяет набрать r баллов за тест:
Как мы видим, от уровня знаний испытуемого зависит только то, какой он балл получил, в
то время как то, как он его получил, зависит только от относительных сложностей подзаданий.
Другими словами, выходной вектор реализаций не несет никакой дополнительной информации об
уровне знаний, помимо той, которая была получена на основании баллов за тест. Значит, для получения уровня знаний достаточной статистикой является количество пройденных этапов в рамках каждого вопроса, а для получения сложностей подзаданий достаточной статистикой является
количество испытуемых, прошедших каждое из них, вне зависимости от уровня знаний. Это свойство PCM называется различимостью параметров.
Стоит отметить, что существует, своего рода, обобщение PCM, так называемая Generalized
Partial Credit Model. Эта модель отличается от PCM лишь тем, что дискриминативности подзаданий могут отличаться друг от друга, поэтому для обработки результатов используется двухпараметрическая модель Бирнбаума [7]. Однако наличие в логистической функции мультипликативного параметра дискриминативности нивелирует свойство «объективности», что является серьезным
недостатком данной модели.
Резюмируя, можно сказать, что PCM представляет собой мощное средство для внедрения
заданий открытого типа в компьютерные адаптивные обучающие системы. К недостаткам модели
можно отнести потерю части информации при разбиении исходного задания на подзадания и
ISBN 978-5-7262-1280-7. НАУЧНАЯ СЕССИЯ НИЯУ МИФИ-2010. Том V
3
Использование Partial Credit Model для формализации заданий...
необходимость оценки весов пройденных этапов. Может показаться недостатком и то, что статистика для определения показателей качества тестовых заданий должна набираться только для
набора заданий, но свойство различимости параметров очень хорошо сглаживает этот недостаток.
PCM позволяет проводить объективные измерения, что очень важно для ранжирования испытуемых. Также разбиение на подзадания в рамках PCM позволяет проводить более детальный мониторинг уровня знаний учащихся и более точно определять их сильные и слабые стороны.
Настоящий метод применен в компьютерной адаптивной обучающей системе по предмету
«Математическая статистика» на кафедре информатики и процессов управления НИЯУ МИФИ.
СПИСОК ЛИТЕРАТУРЫ
1. Леонова Н.М. Параметрически адаптивное управление образовательной деятельностью: монография под ред. А.Д. Модяева. (Серия “Социальная кибернетика”). М.: МИФИ,
2006.
2. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002.
3. Masters N. G. The Key to Objective Measurement. Australian Council on Educational
Research, 2001.
4. Masters N.G. A Rasch Model for Partial Credit Scoring. University of Chicago, Psycometrika, 1982. V. 47. № 2.
5. Lord F.M. // Journal of Educational Measurement. 1977. V. 14. P. 117.
6. Hambleton K. R., Jones W. R. An NCME instructional module on Comparison of Classical Test Theory and Item Response Theory and Their Application to Test Development. University
of Massachusetts at Amherst, 2003.
7. Tang K. Linda. Polytomous Item Response Theory Models and Their Application in
Large-Scale Testing Programms // Review of Literature. Educational Testing Service, Princeton,
New Jersey, 1996.
ISBN 978-5-7262-1280-7. НАУЧНАЯ СЕССИЯ НИЯУ МИФИ-2010. Том V
4