СТАТИСТИЧЕСКАЯ ОЦЕНКА ЭКЗАМЕНАЦИОННОГО

Научный потенциал регионов на службу модернизации. Астрахань: АИСИ, 2011. 290 с.
СТАТИСТИЧЕСКАЯ ОЦЕНКА
ЭКЗАМЕНАЦИОННОГО ТЕСТИРОВАНИЯ
Ю. В. Холодов
Астраханский инженерно-строительный институт
г. Астрахань, Россия
Объем и качество освоенных знаний можно установить во время
экзаменационных испытаний, при которых на основе выборочного контроля
принимается решение об уровне усвоенных знаний. Введем показатель:
приемлемый уровень качества знаний (AQL – Acceptable Quality Level), при
которых экзамен может быть принят с оценкой «удовлетворительно». Исходя
из пятибалльной шкалы, поскольку тройка является удовлетворительным
уровнем знаний, то приемлемый уровень качества знаний будет составлять 60%
от изложенного материала по дисциплине или AQL = 0,6. На основе данного
показателя определим минимальное количество вопросов на экзамене или
минимальный объем выборки, при котором экзаменатор не совершит ошибку
второго рода, то есть не поставит удовлетворительную оценку студенту,
неудовлетворительно освоившему материал дисциплины, из-за малого объема
выборки задаваемых вопросов. Тогда доля несоответствий в ответах студента
должна не превышать q3 = 1 – 0,6 = 0,4. Основной вероятностный показатель
плана статистического контроля [1] – оперативная характеристика, это
функция P(q), определяющая вероятность приема экзамена у студента в
зависимости от доли несоответствий в ответах студента. В идеальном случае
оперативной характеристикой будет функция P(q) = 1 при 0 ≤ q ≤ q3, и P(q) = 0
при q3 ≤ q ≤ 1 (см. рис. 1). Здесь доля несоответствий в ответах студента
откладывается по оси абсцисс.
142
Научный потенциал регионов на службу модернизации. Астрахань: АИСИ, 2011. 290 с.
1.1
1
0.9
0.8
0.7
0.6
P ( q)
0.5
0.4
0.3
0.2
0.1
0
0
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
1
q
Рисунок 1 - Идеальная оперативная характеристика
плана экзаменационного контроля
Такая оперативная характеристика соответствует плану сплошного
контроля при условии, что во время контроля несоответствующие ответы не
могут быть пропущены. Естественно, что сплошной контроль во время
экзамена практически не выполним, во время экзамена используется либо
электронные тесты, либо экзаменационные билеты, которые по своей сути
являются элементом выборочного контроля [3]. Рассмотрим более подробно
электронное тестирование, наиболее используемую форму контроля, которая
представляет собой одноступенчатый план экзаменационного контроля. При
выборочном контроле оперативная характеристика P(q) – гладкая кривая. Пусть
вероятность несоответствующих ответов может быть аппроксимирована
биноминальным распределением, тогда вероятность того, что из n – заданных
вопросов будет получено m – неправильных ответов будет равна
,
(1)
где q – вероятность неправильного ответа студентом во время экзамена.
Вероятность приемки экзамена P(q) в этом случае – это вероятность того,
что количество неправильных ответов из n заданных вопросов не превысит
приемочное число с. Используя формулу сложения вероятностей несовместных
событий, получим уравнение оперативной характеристики одноступенчатого
плана экзаменационного контроля
Приемочное число с3, при получении студентом удовлетворительной
оценки, должно не превышать следующей величины, в зависимости от
количества n - предложенных вопросов
(3)
В частности, при использовании биноминального распределения (2)
уравнение оперативной характеристики одноступенчатого экзаменационного
143
Научный потенциал регионов на службу модернизации. Астрахань: АИСИ, 2011. 290 с.
контроля примет следующий вид в зависимости количества заданных
экзаменатором вопросов: n1 = 15 и n2 = 5.
AQL  0.6
n1  15
c

P1 ( q  c) 
m0
n2  5
c
P2 ( q  c) 

m0
n1

m
n1m
q ( 1  q)


 ( n1  m) m

n2

m
n2m
q ( 1  q)


 ( n2  m) m

1.1
1
0.9
P ( q)
0.8
0.7
AQL
0.6
P1 ( q  n1 0.4) 0.5
0.4
P2 ( q  n2 0.4)
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
q
Рисунок 2 - Оперативная характеристика плана экзаменационного
контроля, экзаменатор задает n1 = 15 вопросов – штриховая линия
и n2 = 5 вопросов – пунктирная линия.
Из полученной оперативной характеристики плана экзаменационного
контроля – P1(q,n1·q3) видно, что экзаменатор не допустит ошибки и не
поставит удовлетворительную оценку неуспевающему студенту, если
количество экзаменационных вопросов по контролю знаний будет не менее 15.
При меньшем количестве экзаменационных вопросов, экзаменатор может
поставить удовлетворительную оценку студенту, не освоившему 60 %
изучаемой дисциплины, как это следует из рис. 2, при n2 = 5, q = 0,45, то есть
объем усвоенных знаний составляет всего 55 % – P2(q,n2·q3).
Таким образом, оперативная характеристика одноступенчатого плана
экзаменационного контроля должна опираться на выборку, содержащую не
менее 15 экзаменационных вопросов. На основе данного критерия можно
установить связь между пятибалльной и стобалльной шкалой оценок, а
впоследствии с оценкой на основе компетенций [4].
Если экзаменатор предлагает 15 контрольных вопросов, то студент,
претендующий на удовлетворительную оценку, должен правильно ответить не
менее чем на девять вопросов и допустить не более шести неправильных
ответов. Тогда вероятность неправильных ответов должна быть не более q3 <
0,4, а вероятность изученности дисциплины р3  0,6.
144
Научный потенциал регионов на службу модернизации. Астрахань: АИСИ, 2011. 290 с.
Если студент допустит более шести неправильных ответов, а в этом
случае количество неправильных ответов превысит приемочное число, которое
составляет величину равную с3 = 6, и студент получает неудовлетворительную
оценку или согласно предложенной модели, студент освоил менее 60 %
материала дисциплины.
Студент, отвечающий на хорошую оценку, может допустить на экзамене
не более трех неправильных ответов q4 < 0,2, тогда вероятность изученности
дисциплины должна превышать величину р4  0,8, а в этом случае приемочное
число составляет величину равную с4 = 3.
Студент, отвечающий на отличную оценку должен ответить на все
пятнадцать вопросов, то есть в среднем он может ошибаться на шестнадцатом
вопросе, в этом случае вероятность неправильного ответа должна не превышать
величину q5 < 1/16, а вероятность изученности дисциплины должна превышать
р5  15/16 = 0,938. При этом студент должен освоить 94% материала
дисциплины, тогда можно надеяться, что он ответит на все поставленные
вопросы.
Ныне существующая в России 5-балльная (фактически – 4-балльная)
система является несколько грубым инструментом оценки; в других странах
используются более дробные шкалы (десяти-, двадцати- или стобалльные).
Рекомендуется, в соответствии с Болонским соглашением [2], единая
европейская шестиуровневая система оценок:
А – «отлично»;
В – «очень хорошо»;
С – «хорошо»;
D – «удовлетворительно»;
Е – «посредственно»;
F (FX) – «неудовлетворительно».
Полученные результаты можно свести в таблицу соответствия 5балльной, 6-балльной и 100-балльной систем экзаменационных оценок.
Верхняя граница и нижняя границы в пяти- и шестибалльной систем оценок
должны быть одинаковы: отлично и неудовлетворительно.
В соответствии с приведенными выше расчетами для 5-балльной шкалы,
граница отличной оценки должна начинаться с p5·100 баллов = 94 баллов и
продолжаться до
.
Граница хорошей оценки начинаться с p4·100 баллов = 80 баллов и
продолжаться до 94 баллов.
Граница удовлетворительной оценки начинаться с p3·100 баллов = 60
баллов и продолжаться до 80 баллов. Причем границу в 60 баллов между
удовлетворительной и неудовлетворительной оценками ни как нельзя
изменять, она определяет объем минимальных знаний, которые студент
должен освоить. А то получится как при ЕГЭ, сначала посчитают баллы, а
затем опустят нижнюю границу, чтобы сделать приемлемый процент
неуспевающих школьников, чиновники от образования отчитаются за
«хорошие» результаты, а общество получит очередной выпуск неграмотной
145
Научный потенциал регионов на службу модернизации. Астрахань: АИСИ, 2011. 290 с.
молодежи. Нижняя граница оценок также важна, как и верхняя, но если
верхняя граница успеваемости контролируется как-то обществом и определяет
его элиту, то нижняя граница успеваемости определяет, скорее всего,
грамотность общества и отдана в полное распоряжение чиновников от
образования.
Отметим, что шестиуровневая шкала оценок позволяет провести более
точную оценку знаний студента. Предположим, что студент ответил на 13
вопросов из 15, тогда вероятность изученности дисциплины составляет
, и в пределах 87 ÷ 94 баллов студенту можно поставить оценку
«очень хорошо», которая в принятой пятибалльной шкале, к сожалению, не
существует. Хотя деление интервала от 80 до 94 баллов пополам носит
несколько условной характер, также как и деление интервала от 60 до 80 баллов
на два диапазона от 60 до 70 баллов это посредственная оценка, а от 70 до 80
баллов это удовлетворительная оценка. Просто так удобнее и яснее.
Тогда в соответствии с изложенными выше данными получаем
следующую таблицу соответствий (см. табл. 1).
Таблица 1 - Соответствие 5- и 6-балльной систем оценок с стобалльной
шкалой экзаменационных оценок.
Пятибалльна Стобалльная
шкала
я
система экзаменационных оценок
оценок
Отлично
р5·100 ≤ отлично < 100
94 ≤ отлично < 100
ШестиуровСтобалльная
шкала
невая система экзаменационных оценок
оценок
А
р5·100 ≤ отлично < 100
отлично
94 ≤ отлично < 100
Хорошо
B
очень хорошо
р4·100 ≤ хорошо < р5·100
80 ≤ хорошо < 94
C
хорошо
Удовлетвори
тельно
Неудовлетво
рительно
Р3·100 ≤
удовлетворительно <
р4·100
60 ≤ удовлетворительно
< 80
D
удовлетворите
льно
не удовлетворительно <
р3·100
не удовлетворительно <
60
F
неудовлетвори
тельно
E
посредственно
87 ≤ очень хорошо <
р5·100
87 ≤ очень хорошо < 94
р4·100 ≤ хорошо < 87
80 ≤ хорошо < 87
70 ≤ удовлетворительно <
р4·100
70 ≤ удовлетворительно <
80
Р3·100 ≤ посредственно <
70
60 ≤ посредственно <70
не удовлетворительно <
р3·100
не удовлетворительно <
60
Пятибалльная система оценок несет ясный вероятностный смысл, такого
объяснения шестиуровневая система оценок не имеет без использования
стобалльной шкалы оценок, которая гораздо точнее, чем любая из выше
анализируемых систем. Если мы, отметили негибкость пятибалльной шкалы и
сложность шестиуровневой шкалы, например, при расчете результатов
146
Научный потенциал регионов на службу модернизации. Астрахань: АИСИ, 2011. 290 с.
электронного тестирования, тогда может быть стоит использовать сразу 100балльную шкалу. Во-первых, она может использоваться как рейтинговой
шкала, для ранжирования студентов по успеваемости, например по сумме
баллов за семестр, за год и так далее а, во-вторых, для точного количественного
описания шкалы компетенций.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Клячкин В.Н. Статистические методы в управлении качеством: компьютерные
технологии. М. Финансы и статистика, 2007, 303 с.
2. Федеральный центр образовательного законодательства. Европейское образовательное
пространство и «болонский процесс»- http:www/info.ru
3. Ануфриев Д.П., Зайнутдинова Л.Х., Тараскин В.Д. Методические аспекты построения
автоматизированной
обучающей
системы//
Межвузовская
научно-методическая
конференция «Компьютеризация учебного процесса по электротехническим дисциплинам.Астрахань: АГТУ,1992,с.
4. Холодов Ю.В. Информационно-математическая модель бакалавриата . Астрахань, 2011.
147