сопоставимость результатов разных оценочных процедур и

Учебный курс
«Система оценки качества и образовательная политика: ключевые проблемы и направления развития»
27-30 июня 2012 года, Кыргызская Республика
СЕССИЯ 10
Использование результатов:
сопоставимость результатов разных оценочных
процедур и работа с контекстной информацией
С.А. Боченков
эксперт Независимого агентства
оценки качества образования «Лидер», г. Чебоксары
Проблема сопоставимости результатов
оценочных процедур
• Любое сопоставление результатов оценочных процедур всегда несёт в
себе определённую величину ошибки.
• Величина ошибки определяется…
–
–
–
–
–
особенностями и изменчивостью объекта оценки;
различием применяемых в разных оценочных процедурах методик оценки;
многообразием показателей, отражающих результаты оценки;
корректностью выбора фона для сравнения и контекстной информации;
…
• Ошибка ведёт к неверным выводам и ложным сигналам.
• Используя определённые приёмы в анализе и интерпретации
результатов оценочных процедур можно нивелировать ошибку .
Сопоставимость результатов оценочных процедур –
возможные варианты ситуаций сравнения
Сопоставимость
результатов
оценочных
процедур
…в пределах одной
оценочной
процедуры
Сопоставимость
результатов разных
предметов
Сопоставимость
результатов разных
объектов
…между разными
оценочными
процедурами
Сопоставимость
результатов в
динамике по годам
Сопоставимость
результатов, показанных
одной и той же
категорией испытуемых в
разных оценочных
процедурах
Сопоставимость
результатов, показанных
учащимися одного и того
же объекта оценки
(школа, муниципалитет) в
разных оценочных
процедурах
Сопоставимость результатов по разным предметам
в пределах одной оценочной процедуры
Вопросы:
• Результаты по какому из
предметов лучше (хуже)
относительно других?
• Какова востребованность
учебных предметов по
выбору?
Риски:
•
•
•
Шкала первичных баллов и 100-балльная
шкала у разных предметов может не
совпадать (в ЕГЭ – не совпадает).
Предметы могут быть обязательными и по
выбору. Среди предметов по выбору группы
сдающих их учащихся несопоставимы по
числу и по уровню подготовки.
Значима такая контекстная информация, как
особенности профильной подготовки,
репетиторство, востребованность предмета и
т.д. Без учёта контекста сопоставление может
привести к неверным выводам.
Соотношение 100-балльной шкалы и уровней подготовки
по учебным предметам (РФ, ЕГЭ-2011)
88
80
76
33
36
35
32
79
71
40
30
32
Обществознание
10% лучших участников
выше 50 процентиля
50-процентиль
ниже минимального порога
Информатика
География
Биология
Химия
20
Физика
Математика
70 баллов
78
40
24
Русский язык
77
Английский язык
36
74
Литература
68
73
История
79
Сопоставимость результатов по разным предметам в пределах
одной оценочной процедуры. Пример ошибочного сравнения.
Средний балл по 100балльной шкале
традиционно остаётся
одним из наиболее
распространённых
показателей ЕГЭ, но его
использование следует
ограничить рамками
внутрипредметного
сопоставления по
результатам одного
учебного года. Поэтому,
данная диаграмма
некорректна и при
использовании её данных
возможны ошибочные
выводы как о соотношении
результатов по предметам,
так и в оценке их
динамики.
Для принятия
управленческих решений
необходимо основываться
на достоверные данные
проводя корректное их
сравнение.
Сопоставимость результатов по разным предметам в пределах
одной оценочной процедуры. Варианты решения проблемы.
Изменения процедуры ЕГЭ:
Использование специальных способов анализа:
•
•
•
•
Использование единой для
всех предметов ЕГЭ 100балльной шкалы.
Сохранение сопоставимости
шкалы по годам.
Закрепление порога
минимального базового и
минимального профильного
уровней освоения
образовательного стандарта
по каждому предмету.
•
•
Использование относительных величин
используемых показателей результатов ЕГЭ.
Использование показателей на основе значений
индивидуального рейтинга каждого участника.
Использование уровневой системы интерпретации
результатов:
–
–
•
Выделение уровней на основе процентильного подхода
Выделение двух пороговых групп участников - доля участников,
успешно сдавших ЕГЭ по предмету (выше минимального порога
базового уровня) и доля участников, преодолевших
минимальный порог профильного уровня из числа изучавших
предмет на профильном уровне.
Учёт контекстной информации.
Уровни освоения образовательного стандарта
(использована методика шкалирования ЕГЭ-2011,
http://www1.ege.edu.ru/scaling/157-metsh2011)
математика
русский
физика
химия
информ
история
биология
ин.языки
общество
30 100
64 100
51 100
66 100
40 100
67 100
69 100
80 100
59 100
19,7%
18,7%
19,0%
19,7%
5,4%
12,8%
4,8%
21,3%
8,3%
14 63
53 72
33 62
59 80
32 84
54 72
60 79
65 82
48 72
13 60
52 71
32 61
58 79
31 83
53 71
59 78
64 80
13 71
5
30
17 36
12 39
15 36
9
45
14 32
17 36
16 20
15 39
4
24
16 34
11 36
14 34
8
40
13 30
16 34
15 19
14 37
0
0
0
0
0
0
0
0
0
0
0
10,2%
0
4,1%
0
7,4%
0
8,6%
9,8%
0
9,4%
0
7,8%
0
3,1%
0
3,9%
ПБ2 – это наименьший первичный
балл, получение которого
свидетельствует о высоком уровне
подготовки участника экзамена, а
именно, о наличии системных
знаний, овладении комплексными
умениями, способности выполнять
творческие задания по
соответствующему
общеобразовательному предмету
ПБ1 – это наименьший первичный
балл, получение которого
свидетельствует об усвоении
участником экзамена основных
понятий и методов по
соответствующему
общеобразовательному предмету
Динамика среднего балла по русскому языку по отдельным
муниципалитетам Чувашии.
РФ=1,00
Абсолютное значение среднего
балла по 100-балльной шкале
Относительное значение среднего
балла по 100-балльной шкале
Позитивная динамика
абсолютных величин
среднего балла по 100балльной шкале за
последние три года
(график 1) на самом деле
показывает обратную
тенденцию – 4 из 5
муниципалитетов за
последние три года
показывают снижение
результатов на фоне
средних по РФ
(график 2).
Сопоставимость результатов оценочной процедуры
при оценке разных объектов
Вопросы:
Риски:
• Как оценить индивидуальный
результат (насколько высок
полученный балл)?
• Какая школа (муниципалитет,
регион) лучше (хуже) по
результатам ЕГЭ относительно
других?
•
•
•
Шкала первичных баллов и 100-балльная шкала
у разных предметов может не совпадать (в ЕГЭ –
не совпадает).
Учитель, школа, муниципалитет имеют разные
ресурсы влияния на результаты ЕГЭ (мера
ответственности) и должны оцениваться
разными показателями. Использование
одинаковых показателей приводит к росту
подтасовок и наказанию невиновных.
Трудность выделения вклада учителя, школы,
системы образования в достигнутый
образовательный результат. Зависимость
результатов от контингента, представленности в
нём групп риска.
Сопоставимость результатов оценочной процедуры при
оценке разных объектов. Варианты решения проблемы.
Изменения процедуры ЕГЭ:
Использование специальных способов анализа:
•
•
•
Наполнение понятий
«результат ЕГЭ» для ученика,
учителя, школы, системы
образования.
Подготовка методических
рекомендаций по
использованию результатов
ЕГЭ для оценки разных
объектов.
•
•
Использование разных систем показателей
результатов ЕГЭ для оценки работы учителя, школы,
системы образования максимально отражающих
уровень ответственности и степень влияния.
Через соответствующие системы показателей
определение критериев качества работы
эффективного учителя, хорошей школы, системы
образования.
Учёт контекстной информации. Нормирование
показателей.
Комплекс оценочных процедур.
Как сопоставлять результаты?
Сопоставление результатов, показанных
каждым участником (одной и той же
группой участников) в разных
оценочных процедурах
Готовность
учащихся 1
классов к
обучению в
школе
Внутриклассное
оценивание,
школьный
мониторинг
Готовность
учащихся 5
классов к
обучению в
основной школе
Внутриклассное
оценивание,
школьный
мониторинг
Сопоставление результатов, показанных
в каждой оценочной процедуре группой
участников соответствующего возраста
из одной школы (муниципалитета и т.д.)
ГИА выпускников
9 классов
ЕГЭ выпускников
11 классов
Внутриклассное Результаты
оценивание, предметных
школьный
олимпиад
мониторинг
Мониторинг
образовательных
и трудовых
траекторий
выпускников 11
классов
Комплекс процедур внешней
оценки должен быть дополнен
внутриклассным оцениванием
и различными
мониторингами….
Сопоставимость результатов нескольких оценочных процедур
между собой. Варианты решения проблемы.
Изменения собственно
оценочных процедур:
•
•
•
Проектирование оценочных
процедур как частей единого
комплекса ОСОКО.
Совместимость баз данных
индивидуальных результатов
разных оценочных процедур
между собой.
Введение системы электронного
портфолио учащихся.
Использование специальных способов анализа:
•
•
•
•
Единство методики исчисления ключевых
показателей в разных оценочных процедурах
(единообразие структуры моделей оценки).
Через соответствующие системы показателей
определение критериев качества работы
эффективного учителя, хорошей школы, системы
образования.
Использование средних и относительных величин,
поправочных коэффициентов, методов пересчета и
т.д.
Учёт контекстной информации.
Матрица системы сопоставимых показателей.
выпускников 11
ГИА выпускников 9 классов ЕГЭ
классов
Мониторинг
образовательных и
трудовых траекторий
выпускников 11 классов
Показатели минимальнодопустимого уровня
достижения
Доля выпускников успешно
сдавших все экзамены в
форме ГИА (выше
минимального порога)
Доля выпускников успешно
сдавших два обязательных
экзамена в форме ЕГЭ
(выше минимального
порога)
Доля выпускников
получивших определённый
статус после окончания
школы
Показатели повышенного
уровня достижения
Доля выпускников,
преодолевших порог
готовности к изучению
предмета на профильном
уровне по всем предметам
из числа предметов
будущего профиля
Доля выпускников,
преодолевших
минимальный порог
профильного уровня по
всем предметам из числа
изучавшихся на
профильном уровне
Доля выпускников
соответствующих заказу
государства (получают
профобразование на
бюджетной основе или
работают, или служат в
армии)
Относительные средние
Среднее значение
величины (рейтинг в группе рейтинга выпускников
участников)
школы
Среднее значение
рейтинга выпускников
школы
Цель формирования и публикации рейтинга общеобразовательных учреждений
Чувашской Республики по результатам ЕГЭ – 2011 года – не определить лучшие и
худшие школы, а привлечь внимание к проблеме уровня и качества образовательных
достижений по результатам ЕГЭ в школах Чувашии и стимулировать публичную
дискуссию по этой проблематике. Рейтинг должен сформировать информационную
основу результатов ЕГЭ по школам республики для продуктивного обмена мнениями
и опытом и стать инструментом работы с результатами и на результаты.
Задачи:
Представить сравнительную оценку результатов ЕГЭ-2011 школ Чувашской
Республики.
Обеспечить корректное сравнение данных по школам, существенно
различающимся по условиям организации образовательного процесса, учебным
программам, контингентам обучающихся и другим характеристикам, в
значительной степени влияющим на результаты обучения.
Обеспечить возможность сравнения, как общих результатов ЕГЭ, так и результатов
по учебным предметам.
ЕГЭ оценивает лишь некоторые характеристики качества образования и, поэтому,
вынося суждение о том, хорошая или плохая школа по результатам ЕГЭ всегда следует
помнить, что имеется в виду лишь этот ограниченный перечень характеристик.
Подходы к
рейтингованию
Положение в рейтинге определяется
достижением максимального значения
показателя, далее – в зависимости от его
абсолютного значения от большего к
меньшему
В верхней части рейтинга оказываются
гимназии и лицеи, в нижней –
вечерние школы и малочисленные
сельские школы
Положение в рейтинге определяется
достижением максимального значения
показателя, далее – в зависимости от
величины превышения показателя над
средним для данного кластера школ
В верхней части рейтинга оказываются
(как и в первом случае) школы с
максимально-возможными
показателями, далее те, чьи показатели
заметно превышают средние для
данного кластера школ
25 лучших школ по
абсолютным значениям
четырёх показателей ЕГЭ
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
МОУ "Лицей №3 г. Чебоксары"
МОУ "Гимназия №1 г. Чебоксары"
МОУ "Гимназия №4 г. Чебоксары"
МОУ "Гимназия №5 г. Чебоксары"
МОУ "Лицей №2 г. Чебоксары"
МОУ "Гимназия №6 г. Новочебоксарск"
МОУ "Лицей №44 г. Чебоксары"
МОУ "Цивильская СОШ №1 им М.В. Силантьева"
МОУ "Батыревская СОШ №1" Батыревского района
МОУ "Гимназия №8 г. Шумерля"
МОУ "СОШ №1 г. Шумерля"
МОУ "Санарпосинская СОШ" Вурнарского района
МОУ "Гимназия №1 г. Мариинский Посад"
МОУ "Яншихово-Норвашская СОШ" Янтиковского р-на
МОУ "СОШ №62 г. Чебоксары"
МОУ "Лицей-интернат им. Г.С.Лебедева г.Чебоксары«
МОУ "Шимкусская СОШ" Янтиковского района
МОУ "Гимназия №1 г. Ядрин" Ядринского района
МОУ "Вурнарская СОШ №1" Вурнарского района
МОУ "Сятра-Хочехматская СОШ" Чебоксарского района
МОУ "СОШ №13 г. Новочебоксарск"
МОУ "СОШ №61 г. Чебоксары"
МОУ "Азимсирминская СОШ" Вурнарского района
МОУ "Алтышевская СОШ" Алатырского района
МОУ "Большеяльчикская СОШ" Яльчикского района
25 лучших школ по значениям
четырёх показателей ЕГЭ
относительно средних для
аналогичных школ
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
МОУ "Лицей №3 г. Чебоксары"
МОУ "Яншихово-Норвашская СОШ" Янтиковского р-на
МОУ "СОШ №1 г. Шумерля"
МОУ "Санарпосинская СОШ" Вурнарского района
МОУ "Цивильская СОШ №1 им М.В. Силантьева"
МОУ "Сятра-Хочехматская СОШ" Чебоксарского района
МОУ "Батыревская СОШ №1" Батыревского района
МОУ "СОШ №13 г. Новочебоксарск"
МОУ "Азимсирминская СОШ" Вурнарского района
МОУ "Лицей №2 г. Чебоксары"
МОУ "Анастасовская СОШ" Порецкого района
МОУ "Гимназия №1 г. Чебоксары"
МОУ "СОШ №3 г. Шумерля"
МОУ "Еметкинская СОШ" Козловского района
МОУ "СОШ №60 г. Чебоксары"
МОУ "Гимназия №4 г. Чебоксары"
МОУ "Янгличская СОШ" Канашского района
МОУ "Алтышевская СОШ" Алатырского района
МОУ "СОШ №2 г. Шумерля"
МОУ "Стемасская СОШ" Алатырского района
МОУ "Ювановская СОШ" Ядринского района
МОУ "Татарско-Сугутская СОШ" Батыревского района
МОУ "Гимназия №8 г. Шумерля"
МОУ "Чуварлейская СОШ" Алатырского района
МОУ "Гимназия №5 г. Чебоксары"
Составляющие рейтинга школ по общим показателям ЕГЭ.
Для расчета рейтингов значения
показателей сравнивались со
средними для данного типа
школ и разница нормировалась.
Нормирование осуществлялось
по формуле:
норм
𝑋𝑖
Х𝑚𝑎𝑥 − 𝑋𝑖
=
𝑋𝑚𝑎𝑥 − 𝑋𝑚𝑖𝑛
Промежуточные рейтинги
Показатели рейтингования
Рейтинг школ по активности участия
выпускников в ЕГЭ-2011
•Доля выпускников, сдававших
три и более предмета в форме
ЕГЭ, %
Рейтинг школ по уровню освоения
образовательного стандарта общего
образования в ЕГЭ-2011
•Доля выпускников, успешно
сдавших два обязательных
экзамена (выше минимального
порога), %
Рейтинг школ по уровню освоения
образовательного стандарта для
получения профессионального
образования в ЕГЭ-2011
•Доля выпускников, успешно
сдавших все экзамены в форме
ЕГЭ (выше минимального
порога), %
Рейтинг школ по качеству учебных
достижений в ЕГЭ-2011
•Доля экзаменов, результаты
которых соответствуют
отличному уровню (по РФ 10%), %
Построение рейтинга – это не окончание, а начало работы с результатами ЕГЭ.
Школа должна иметь возможность понять, чем определена её позиция в
рейтинге, увидеть свои сильные и слабые стороны, спланировать шаг развития.
Вопросы для работы с раздаткой:
Какие показатели значимы для
определения позиции школы в
рейтинге?
Почему в рейтинге
использованы показатели,
значение которых у большей
части школ территории уже
достигло максимума (100%)?
Какова динамика общих
результатов ЕГЭ данной школы
за три года?
Лучшее ОУ по предмету: все
выпускники успешно сдали
предмет, средний балл выше
среднего по республике и доля
отличных результатов более 20%
Все выпускники успешно сдали
ЕГЭ с результатами ВЫШЕ
среднереспубликанских
Все выпускники успешно сдали
ЕГЭ с результатами НИЖЕ
среднереспубликанских
Не все выпускники сдавали
обязательный экзамен по
предмету, либо не все успешно
справились
Лучшее ОУ по предмету: выпускники
выбирают предмет чаще, чем в
среднем по ЧР, все справляются,
показывая высокие результаты
Выпускники показывают разную
активность в выборе предмета с
результатами ВЫШЕ
среднереспубликанских
Выпускники показывают разную
активность в выборе предмета с
результатами НИЖЕ
среднереспубликанских
Никто из выпускников не сдавал ЕГЭ
по предмету
Случаи сдачи ЕГЭ по предмету
единичны, что не позволяет сделать
вывод о качестве подготовки
Построение рейтинга – это не окончание, а начало работы с результатами ЕГЭ.
Школа должна иметь возможность понять, чем определена её позиция в
рейтинге, увидеть свои сильные и слабые стороны, спланировать шаг развития.
Вопросы для работы с
раздаткой:
Какие заключения можно
сделать, сопоставив
результаты ЕГЭ по русскому
языку и по математике?
Сравните результаты по
предметам по выбору. По
каким предметам школа
обеспечивает стабильновысокий уровень
результатов?
Значение каких показателей
можно сравнивать между
предметами и в динамике
по годам?
На какие ограничения при
сравнении Вы считаете
нужным обратить
внимание?
Использование данных рейтинга
в оценке состояния
территориальных
образовательных
систем.
И
Е
Образовательное учреждение входит в число 10% лучших
школ Чувашской Республики по результатам ЕГЭ
А
Образовательное учреждение показывает результаты
хуже, чем в среднем по республике
Г
А
Б
В
Г
Д
Е
Ж
З
И
1,000
0,971
1,000
1,000
0,889
1,000
0,630
1,000
1,000
1,000
0,828
0,868
0,872
0,444
1,000
0,444
1,000
1,000
0,620
0,180
0,158
0,135
0,034
0,255
0,056
0,000
0,000
Место в обще рейтинге
среди 255 школ
1,000
0,983
0,974
1,000
1,000
0,636
1,000
1,000
0,500
Общий рейтинг ЕГЭ-2011
Рейтинг школ по качеству
учебных достижений в
ЕГЭ-2011
В
Рейтинг школ по уровню
освоения
образовательного
стандарта для получения
профессионального
образования в ЕГЭ-2011
Образовательное учреждение входит в число 10% школ,
имеющих самые низкие результаты в республике
З
Рейтинг школ по уровню
освоения
образовательного
стандарта общего
образования в ЕГЭ-2011
Б
Рейтинг школ по
активности участия
выпускников в ЕГЭ-2011
Д
Образовательное учреждение показывает результаты
лучше, чем в среднем по республике
Ж
0,9050
8
0,7403
117
0,7500 108-112
0,7516
104
0,5919
230
0,7228
139
0,5325
238
0,7500 108-112
0,6250
223
Все выпускники успешно сдали ЕГЭ с
результатами НИЖЕ
среднереспубликанских
Не все выпускники сдавали обязательный
экзамен по предмету, либо не все
успешно справились
5
7
25 40
104 52 65
38 113 112 100
92 116 73
53 60
63
123
86
56
194
164
25
149
112
233
230
34
231
234
Английский язык
Литература
История
Обществознание
География
Биология
Химия
4
120
123
77
176
101
232
109
217
Физика
19
220
129
33
248
77
226
201
209
Информатика
Математика
Все выпускники успешно сдали ЕГЭ с
результатами ВЫШЕ
среднереспубликанских
А
Б
В
Г
Д
Е
Ж
З
И
Русский язык
Лучшее ОУ по предмету: все выпускники
успешно сдали предмет, средний балл
выше среднего по республике и доля
отличных результатов более 20%
13
14
95 21 31
102
26
113 6
Лучшее ОУ по предмету: выпускники выбирают предмет
чаще, чем в среднем по ЧР, все справляются, показывая
высокие результаты
Выпускники показывают разную активность в выборе
предмета с результатами ВЫШЕ среднереспубликанских
Выпускники показывают разную активность в выборе
предмета с результатами НИЖЕ среднереспубликанских
Никто из выпускников не сдавал ЕГЭ по предмету
Случаи сдачи ЕГЭ по предмету единичны, что не
позволяет сделать вывод о качестве подготовки
СПАСИБО ЗА ВНИМАНИЕ!
Сергей Анатольевич Боченков s_bochenkov@mail.ru 89051998891
rtc.imerae@gmail.com
WWW.RTC-EDU.RU