Костромцова В.В. Рейтинг общеобразовательных учреждений

Семинар
«Актуальные вопросы проектирования и формирования рейтингов в образовании»
31 октября - 1 ноября 2012 года, г. Москва
Рейтинг общеобразовательных
учреждений по результатам
процедур оценки качества
образования
Костромцова Вероника Владимировна
Начальник отдела организации ГИА Министерства
образования и науки Челябинской области
1
Челябинская область
ЕГЭ (2002-2012 г.г.) –
с 25 тыс. до 13.5 тыс.
выпускников 11 кл.
ГИА-9 (2004-2012 г.г.) –
с 40 тыс. до 30 тыс.
выпускников 9 кл.
2
Рейтинги в Челябинской области по
результатам ЕГЭ
• Рейтинги ОУ по предметам (с количеством участников не
менее 8): по среднему баллу, по доле лучших
• Рейтинг ОУ по средневзвешенному баллу
• Кластерные рейтинги ОУ по средневзвешенному баллу
• Рейтинги МОУО по предметам: по абсолютной
успеваемости, по доле лучших
• Рейтинг МОУО по средневзвешенному баллу
• Кластерные рейтинги МОУО по средневзвешенному
баллу
3
Цели подготовки рейтингов
• повышение качества управления образованием через
объективное сравнение ОУ по результатам обучения;
• привлечение общественности к обсуждению
проблем в образовании;
• корректировка политики образования (НП
«Образование», ОЦП «Развитие образования» и пр.)
4
Заказчики подготовки рейтингов
• Министерство образования и науки
Челябинской области
5
Целевые группы рейтинга
• ОУО регионального и муниципального
уровня;
• администрации АТЕ;
• директора ОУ;
• родители и обучающиеся;
• педагоги
6
Методология рейтингования
Разработчики:
• коллектив ГБОУ ДПО ЧИППКРО;
• коллектив РЦОИ;
• сотрудники Управления общего и
специального (коррекционного)
образования Министерства
7
Методология рейтингования
• апробация методики проходила в период
эксперимента по введению ЕГЭ
(2005-2009 г.г.)
8
Методология рейтингования
• индикаторы (средние величины по
предметам);
• вес индикаторов (попытки);
• кластеры (экспериментальный набор)
9
Методология рейтингования
• Субъекты деятельности - специалисты ОУО,
специалисты ОУ, представители
родительской общественности
10
Рейтинг
• Рейтинг (таблица лиг) – одномерный список
ранжируемых объектов от получившего
наивысшую оценку к получившему оценку
наименьшую
11
Рейтинг
Рейтинг по средневзвешенному
баллу ЕГЭ
12
Показатель рейтинга
• Средневзвешенный балл ЕГЭ
– для МОУО;
– для ОУ
13
Источники данных
• индивидуальные результаты ЕГЭ по всем
предметам;
• средние величины – средние тестовые
баллы ЕГЭ по предмету (средняя
арифметическая)
14
Методика расчета
1. Расчет средней арифметической величины
по каждому предмету по результатам ЕГЭ
2. Расчет средневзвешенной величины по
всем результатам ЕГЭ
3. Ранжирование ОУ или МОУО
15
Методика расчета
Общая формула расчета средних величин
X k
X

f

i
k
i
f
 i
k – степень (вид)
средней величины,
fi – частота
(статистический вес),
Xi – величины, для
которых исчисляется
средняя.
16
Методика расчета
• Средняя арифметическая для ОУ или МОУО
по результатам ЕГЭ по каждому предмету
(k=1)
n
X

X 1  X 2  ...  X n

n
X


i 1
i
n
17
Протокол проверки результатов Единого
государственного экзамена
Методика расчета
• Среднее
значение
результатов ЕГЭ
по математике
для ОУ №1 =
67,52
№
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Код ОУ
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
среднее
Участник ЕГЭ
участник 1
участник 2
участник 3
участник 4
участник 5
участник 6
участник 7
участник 8
участник 9
участник 10
участник 11
участник 12
участник 13
участник 14
участник 15
участник 16
участник 17
участник 18
Балл
69
76
86
55
79
81
71
69
69
54
57
46
62
97
76
52
41
75
67,5218
№
п/п
1
ОУ №1
80,92 63 67,52 62 66,14
22 60,00 9
85,82 17 64,13
8
64,91 11 100 1
71,06
16
0
0
0
0
19
Кол-во чел.
Ср.тест.балл
Кол-во чел.
Ср.тест.балл
Кол-во чел.
ГеограНемец.
Англ. язык
фия
язык
Ср.тест.балл
Кол-во чел.
Ср.тест.балл
Кол-во чел.
Ср.тест.балл
Кол-во чел.
История
Ср.тест.балл
Кол-во чел.
ИнформаБиология
тика
Ср.тест.балл
Кол-во чел.
Ср.тест.балл
Кол-во чел.
Химия
Ср.тест.балл
Кол-во чел.
Физика
Ср.тест.балл
Кол-во чел.
Русский Матемаязык
тика
Ср.тест.балл
Кол-во чел.
Ср.тест.балл
Кол-во чел.
Ср.тест.балл
Методика расчета
• Все средние величины для ОУ №1
Франц. Общество Литерату
язык
знание
ра
ОУ
70,30 27 67,00 2
Методика расчета
• Средняя взвешенная величина
X 1  n1  ...  X 13  n13
Хсрвзв 
n1  n2  ...  n13
ni – количество
участников ЕГЭ по
предмету с кодом i;
Xi
- средний
тестовый балл ЕГЭ по
предмету
20
Средняя взвешенная величина
№
1
ОУ
ОУ №1
Ср/взв.
балл ЕГЭ
72,41
Человеко-тестов
кол-во
238
% от общего
числа
0,59
21
Рейтинг ОУ по средневзвешенному баллу
рейт
инг
АТЕ
ОУ
Ср/взв
балл
Количество
чел/тест
экз
1
Челябинский ГО
МБОУ лицей №31
80,31
59
9
2
Калининский район
Челябинского ГО
НОУ Челябинская
православная гимназия
72,82
11
7
3
Озерский ГО
МБОУ лицей №39
72,42
205
11
4
Снежинский ГО
МБОУ гимназия №127
72,27
221
11
5
Ленинский район
Челябинского ГО
МАОУ лицей №77
71,09
159
10
22
Средняя взвешенная величина
№
1
МОУО
Управление по делам образования
г.Челябинска
Ср/взв.
балл ЕГЭ
67,31
Человеко-тестов
кол-во
352
% от общего
числа
0,87
23
Рейтинг МОУО по средневзвешенному
баллу
№
МОУО Челябинской области
Ср/взв.
балл ЕГЭ
Человеко-тестов
кол-во
% от общего
числа
1
Управление по делам образования
г.Челябинска
67,31
352
0,87
2
Снежинский городской округ
61,26
1053
2,62
3
Озерский городской округ
61,18
1508
3,76
4
Южноуральский городской округ
58,65
524
1,31
5
Калиниский район г.Челябинска
57,93
1157
2,88
6
Трехгорный городской округ
57,39
714
1,78
7
Коркинский муниципальный район
57,24
632
1,57
24
Методология рейтингования
• корректность ранжирования
(дополнительные условия);
• классификация (кластеризация) множества
объектов рейтинга;
• построение группы рейтингов
25
Кластерный анализ
Кластерный анализ
К1
К2
К3
Ш1.1________
Ш1.2________
Ш1.3________
……..
Ш1.14_______
Ш1.15_______
Ш2.1________
Ш2.2________
Ш2.3________
……..
Ш2.21_______
Ш3.1________
Ш3.2________
Ш3.3________
……..
Ш3.11_______
Ш3.12_______
«Слабые»
школы
Ш1.14,
Ш1.15,
Ш2.21,
Ш3.11,
Ш3.12
………..
Анализ факторов
•
•
•
•
•
•
самооценка школы
опросы потребителей
услуг
внешний аудит
данные исследований
статистика
…
Основания кластеризации
• административно-территориальное деление;
• общее количество выпускников
(медиальное значение, вариации, дискретные промежутки);
• доля экзаменов от общего количества
человеко-тестов – активность участия в ЕГЭ
(медиальное значение, вариации, дискретные промежутки)
27
Кластеры МОУО
1. Большие
города – 9
МОУО
2. Малые города
– 13 МОУО
3. Сельские терр.
– 29 МОУО
1. Более 1001 чел. 15 МОУО
2. От 501 до 1000
чел. - 17 МОУО
3. От 10 до 500 чел.
- 19 МОУО
(медиана 787)
1. От 2,5% - 15
МОУО
2. От 1% до 2,5 %
- 25 МОУО
3. До 1% - 11
МОУО
(медиана 1,96)
Кластеризованный рейтинг МОУО по
средневзвешенному баллу ЕГЭ
№
ОУО муниципальных районов
Челябинской области
(сельские территории)
Ср/взв.
балл ЕГЭ
Человеко-тестов
кол-во
% от общего
числа
1
Коркинский муниципальный район
57,24
632
1,57
2
Катав-Ивановский муниципальный район
54,79
447
1,11
3
Кизильский муниципальный район
53,92
417
1,04
4
Увельский муниципальный район
53,92
362
0,90
5
Кусинский муниципальный район
52,41
315
0,78
6
Сосновский муниципальный район
51,60
591
1,47
7
Нязепетровский муниципальный район
51,54
386
0,96
29
Кластеризованный рейтинг МОУО по
средневзвешенному баллу ЕГЭ
№
Средние МОУО Челябинской области
(менее 1 000 и более 500
выпускников 11 классов)
Ср/взв.
балл ЕГЭ
Человеко-тестов
кол-во
% от общего
числа
1
Южноуральский городской округ
58,65
524
1,31
2
Трёхгорный городской округ
57,39
714
1,78
3
Коркинский муниципальный район
57,24
632
1,57
4
Миасский городской округ
53,04
980
2,44
5
Тракторозаводский район Челябинского ГО
52,41
877
2,18
6
Чебаркульский городской округ
52,24
649
1,62
7
Верхнеуфалейский городской округ
51,96
737
1,84
30
Кластеризованный рейтинг МОУО по
средневзвешенному баллу ЕГЭ
№
МОУО Челябинской области
(доля участия от 1% до 2,5%)
Ср/взв.
балл ЕГЭ
Человеко-тестов
кол-во
% от общего
числа
1
Южноуральский городской округ
58,65
524
1,31
2
Трёхгорный городской округ
57,39
714
1,78
3
Коркинский городской округ
57,24
632
1,57
4
Катав-Ивановский муниципальный район
54,79
447
1,11
5
Кизильский муниципальный район
53,92
417
1,04
6
Миасский городской округ
53,04
980
2,44
7
Тракторозаводский район Челябинского ГО
52,41
877
2,18
31
Кластеры ОУ
1. «Продвинутые
школы»
2. Обычные школы
3. Вечерние школы
(по виду ОУ)
1. Школы больших
городов
2. Школы малых
городов
3. Школы сельских
территорий
(по терр. признаку)
32
Кластеризованный рейтинг вечерних ОУ
по средневзвешенному баллу ЕГЭ
рейт
инг
АТЕ
ОУ
Ср/взв
балл
Количество
чел/тест
экз
1
Снежинский ГО
МБОУ СОШ №117
47,93
44
4
2
Южноуральский ГО
МОУ СОШ №3
46,73
33
8
3
Озерский ГО
МБОУ СОШ №38
46,26
23
3
4
Коркинский МР
МКВ(С)ОУ В(С)ОШ
46,18
22
7
5
Тракторозаводский
район Челябинского
ГО
МБОУ ВСОШ №17
43,25
106
7
33
Кластеризованный рейтинг ОУ по
средневзвешенному баллу ЕГЭ
рейт
инг
Муниципальный
район (сельск.тер.)
ОУ
Ср/взв
балл
1
Еманжелинский МР
2
Количество
чел/тест
экз
МБОУ СОШ №4
64,97
37
6
Брединский МР
МОУ Брединская СОШ №1
61,14
152
9
3
Еткульский МР
МКОУ Еманжелинская СОШ
60,98
46
8
4
Увельский МР
МБОУ Красносельская СОШ
60,89
19
5
5
Коркинский МР
МКОУ СОШ №2
60,86
221
10
6
Кизильский МР
МОУ Кизильская СОШ №1
59,83
89
10
7
Кусинский МР
МБОУ СОШ №9
59,72
53
8
34
Представление и распространение
• ежегодный статистический сборник по
результатам ЕГЭ;
• доклады Министерства образования и
науки по результатам ГИА;
• совещания;
• официальный сайт (www.minobr74.ru)
35
Проблемы
• выбор основания для построения
рейтинга;
• ориентация на успешных;
• корректность представления рейтинга
(объяснения)
36
Смена стратегии
от поддержки сильных в условиях забвения “слабых” к
поддержке “слабых” в условиях предоставления
автономии сильным
Майкл Барбер
Чем выше успехи, тем слабее контроль.
Стратегии, которые используются сильными школами для
собственного развития, не подходят для слабых школ в
силу ряда причин (культурных, социальных, ресурсных,
человеческих и т.п.)
Риски
организационные
• отсутствие нормативных документов;
• отсутствие системы критериев;
• отсутствие специалистов;
• формализация оценки;
• нарушение методологии
38
Риски
финансовые
• невостребованность;
• недостаточная оснащенность
39
Риски
институциональные
• нехватка специалистов;
• нарушение технологии;
• проблема сопоставимости
40
Риски
социальные
• недостаточная общественная поддержка;
• неготовность управленцев;
• возникновение социальной напряженности
41
Использование результатов рейтинга для
•
•
•
•
•
•
•
подготовки рекомендаций управленцам;
повышения качества управления;
привлечения к обсуждению общественности;
выравнивания ресурсного обеспечения ОУ;
корректировки политики образования;
обеспечения доступа к качественному образованию;
разработка и реализация моделей сбалансированной
42
образовательной сети
Использование результатов рейтинга в
Челябинской области
•
•
•
•
•
•
поощрение ОУ;
аккредитация ОУ (отчет о самообследовании);
повышение квалификации;
аттестация пед.кадров;
конкурсы профессионального мастерства;
награждение педагогических работников
43
Перспективные рейтинги
• по результатам ГИА-9;
• интегрированные и сопоставительные
рейтинги по средневзвешенному результату
ЕГЭ и ГИА-9;
• многофакторные рейтинги
44
СПАСИБО ЗА ВНИМАНИЕ!
Министерство образования и науки
Челябинской области
www.minobr74.ru
kvv_minobr74@mail.ru
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
45