Бекмухамтова Н.В. Описание краевых оценочных процедур.

Оценочные процедуры.
декабрь 2013 год
Бекмухаметова Наталья Витальевна
заместитель директора КГБУ РЦОКО
РАМКА. 2-е классы
Цель
установить уровень соответствия
индивидуальных учебных
достижений обучающихся
2 классов по русскому языку,
математике требованиям ФГОС
РАМКА. 2-е классы
Ключевые вопросы
- Определение средних показателей, характеризующих уровень
достижения второклассниками контролируемых планируемых
результатов (край, муниципалитеты, образовательные
организации)
- Оценка соответствия индивидуальных учебных достижений
обучающихся 2 классов по обязательным предметам (край,
муниципалитеты, образовательные организации)
- Выявление системных пробелов в освоении образовательных
программ (по отдельным элементам кодификатора) на уровне
края, муниципалитета, образовательной организации
- Выделение в кластерах «продвинутых» и «слабых» школ для
оказания адресной поддержки
На уровне ОО - выявление пробелов в индивидуальных
достижениях планируемых результатов каждого отдельного
обучающегося
РАМКА. 2-е классы
Участники
Сплошная выборка
(100% образовательных организаций края)
Что оценивается
Индивидуальные учебные достижения
обучающихся 2 классов по русскому языку,
математике
РАМКА. 2-е классы
Инструментарий
Содержательной и критериальной основой данной
оценочной процедуры являются планируемые
результаты освоения образовательной программы
начального образования (раздел «Выпускник
научится»)
- Кодификатор планируемых результатов освоения основной
образовательной программы начального общего образования
по математике (русскому языку) для проведения процедур
оценки качества начального образования
- Краткие характеристики и особенности работ для 2 класса
(спецификация)
- Демоверсии работ
- Электронные формы первичной обработки результатов
РАМКА. 2-е классы
Кто проводит (организации)
- Министерство образования и науки
Хабаровского края
- КГБУ «Региональный центр оценки качества
образования»
- Органы местного самоуправления,
осуществляющие управление в сфере
образования (муниципальные координаторы)
- Образовательные организации (школьный
координатор, организаторы в аудитории учителя)
РАМКА. 2-е классы
Представление результатов
Министерство образования и науки
Статистический сборник по результатам
оценочных процедур
• Цели и назначение программы оценки
• Методология оценки и характеристика
инструментария
• Основные результаты
РАМКА. 2-е классы
Представление результатов
В качестве основных показателей, по которым
представлены результаты образовательных учреждений,
были выбраны следующие:
Успешность
выполнения
работы
Достижение
базового
уровня
Уровни
достижений
количественной характеристикой является общий балл за
выполнение всей работы по предмету (по 100 балльной шкале). Он
равен отношению баллов, полученных учащимся за выполнение
заданий по предмету за данный вариант работы, к максимальному
баллу, который можно было получить за выполнение всех заданий.
На основе данного показателя делается вывод об успешности
освоения учебной программы по данному предмету.
он равен отношению баллов, набранных учащимися за выполнение
заданий базового уровня, к максимальному баллу, который можно
было получить за выполнение всех заданий базового уровня.
выделение базового уровня достижений как точки отсчета при
построении всей системы оценки и организации индивидуальной
работы с учащимися.
РАМКА. 2-е классы
Представление результатов
Представление полного распределения результатов по
муниципальным образованиям
1. Успешность выполнения работ
РАМКА. 2-е классы
Представление результатов
Представление полного распределения результатов по
муниципальным образованиям
2. Достижение базового уровня
РАМКА. 2-е классы
Представление результатов
Представление полного распределения результатов по
муниципальным образованиям
2. Достижение базового уровня (сравнение с краевыми
показателями)
РАМКА. 2-е классы
Представление результатов
Представление полного распределения результатов по
муниципальным образованиям
3. Уровни достижений (низкий, пониженный, базовый,
повышенный, высокий)
РАМКА. 2-е классы
Представление результатов
Представление полного распределения результатов по
муниципальным образованиям
3. Уровни достижений (низкий, пониженный, базовый,
повышенный, высокий)
РАМКА. 2-е классы
Представление результатов
Для выявления пробелов в освоении образовательных
программ - результаты по отдельным заданиям (базовый,
повышенный уровень)
РАМКА. 2-е классы
Представление результатов
Для выявления пробелов в освоении образовательных
программ - результаты по элементам содержания
Результаты выполнения итоговой работы по математике
по элементам содержания (базовый уровень)
Работа с информацией
75.5
Геометрические величины
81.5
Пространственные отношения.
Геометрические фигуры
70.0
Работа с текстовыми задачами
72.0
Арифметические действия
86.9
Числа и величины
86.3
0
10
20
30
40
50
60
70
80
90
100
РАМКА. 2-е классы
Представление результатов
Сравнение
основных
показателей
по
результатам выполнения итоговых контрольных
работ по математике за 1 и 2 классы
Количество
участников
Не
справились с
работой
Справились с
работой
Успешность
выполнения
работы
2011-2012
13262
5,4%
94,6%
89,4%
2012-2013
12381
14,1%
85,9%
66,9%
Учебный год
РАМКА. 2-е классы
Представление результатов
- Успешность выполнения работ
- Достижение базового уровня
- Уровни достижений (низкий, пониженный,
базовый, повышенный, высокий)
- Результаты по отдельным заданиям (базовый,
повышенный уровень)
- Результаты по элементам содержания
- Сравнение основных показателей по годам
РАМКА. 2-е классы
Представление результатов
МО
Мун.
ОО
• муниципалитеты
• образовательные организации
• классы
РАМКА. 2-е классы
Виды решений
- организация программы поддержки преподавания
отдельных учебных дисциплин;
- изменения в программах повышения квалификации;
- необходимость проведения дальнейших исследований.
На уровне образовательной организации
- организация методической поддержки отдельному
преподавателю, корректировка учебной программы, учебного
плана;
- организация работы с детьми, демонстрирующими высокий
уровень образовательных достижений;
- организация работы с детьми, не освоившими требования
ФГОС на базовом уровне;
- формирование индивидуальных траекторий ликвидации
проблем в усвоении отдельных элементов планируемых
результатов
РАМКА. 2-е классы
Кто принимает решение
- учитель (как предметник, классный руководитель)
- психолог
- заместитель руководителя, руководитель
общеобразовательного учреждения,
- методисты муниципальных, краевых
методических служб (учреждений)
- руководители систем образования различного
уровня
РАМКА. 2-е классы
Кто использует результаты
Обучающиеся и их родители (законные представители) –
формирование объективной самооценки и создание условий для
индивидуального прогресса.
Педагогические работники – организация индивидуальной
работы с обучающимися.
Методисты – определение направлений методической поддержки,
повышения квалификации педагогических работников.
Руководители образовательных организаций – определение
направления совершенствования учебного процесса в
образовательной организации, оказание помощи педагогическим
работникам.
Руководители систем образования различного уровня –
определение направления развития системы образования
(определение программ поддержки отдельных предметов)
РАМКА. 11-е классы
Цель
Определить уровень освоения
учащимися 11-х классов
федерального компонента
государственного образовательного
стандарта среднего общего
образования по состоянию на конец
первого полугодия
РАМКА. 11-е классы
Ключевые вопросы
- Определение средних показателей, характеризующих уровень
освоения учащимися 11-х классов федерального компонента
государственного образовательного стандарта среднего
общего образования по состоянию на конец первого полугодия
(край, муниципалитеты, образовательные организации)
- Оценка уровня готовности учащихся 11-х классов к
государственной итоговой аттестации (край, муниципалитеты,
образовательные организации)
- Выявление системных пробелов в освоении образовательных
программ (по отдельным элементам кодификатора) на уровне
края, муниципалитета, образовательной организации
- Выделение в кластерах «продвинутых» и «слабых» школ для
оказания адресной поддержки
На уровне образовательной организации - выявление пробелов
в обученности каждого отдельного обучающегося
РАМКА. 11-е классы
Участники
Сплошная выборка
(100% образовательных организаций края)
Что оценивается
Индивидуальные учебные достижения учащихся
11 классов по русскому языку, математике
РАМКА. 11-е классы
Инструментарий
Представленная модель диагностической работы
по предметам предназначена для осуществления
диагностики готовности учащихся 11-х классов
по русскому языку и математики к
государственной итоговой аттестации по
состоянию на конец первого полугодия.
Проводится в декабре 2013 г.
 Кодификатор ЕГЭ
 Спецификация контрольных измерительных материалов для
проведения диагностической работы по математике (русскому
языку) в 11 классах 2013-2014 учебный год
 КИМ по 4 варианта
 Электронные формы первичной обработки результатов
РАМКА. 11-е классы
Инструментарий
Решаемость заданий КИМов ЕГЭ-2013 по русскому языку в сравнении с "коридором"
ожидаемой решаемости
100
80
60
40
границы "коридора" ожидаемой решаемости
доля выпускников, справившихся с заданием полностью от общего числа выпускников
20
A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11 A12 A13 A14 A15 A16 A17 A18 A19 A20 A21 A22 A23 A24 A25 A26 A27 A28 A29 A30 В1 В2 В3 В4 В5 В6 В7 В8
«Коридор» ожидаемой решаемости – примерный интервал
выполнения заданий
РАМКА. 11-е классы
Инструментарий
Аналог ЕГЭ – базовый уровень
Детальная диагностика
(базовый уровень)
Аналог ЕГЭ – повышенный и
высокий уровень
РАМКА. 11-е классы
Кто проводит (организации)
- Министерство образования и науки
Хабаровского края
- КГБУ «Региональный центр оценки качества
образования»
- Органы местного самоуправления,
осуществляющие управление в сфере
образования (муниципальные координаторы)
- Образовательные организации (школьный
координатор, организаторы в аудитории,
эксперты по проверке работ - учителя)
РАМКА. 11-е классы
1. Успешность выполнения работы –
общий свод
РАМКА. 11-е классы
1. Успешность выполнения работы –
общий свод
РАМКА. 11-е классы
2. Достижение базового уровня
количество заданий базового уровня
Выполнение заданий базового уровня
36
34
32
30
28
26
24
22
20
18
16
14
12
10
8
6
4
2
0
33
32 32
31
30
30 30 30
29
28
30
29
30 30
27
26
24 24
24
22
16
13
13
11
0
0
1
2
3
4
5
0
6
7
8
9
0
0
0
Номер учащегося по журналу
Ученик
0
10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
Класс
Минимальный уровень (17 баллов)
РАМКА. 11-е классы
2. Достижение базового уровня
Базовый уровень
Высокий уровень
Результаты выполнения диагностической
работы по русскому языку.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
Порядковый номер учащегося
РАМКА. 11-е классы
2. Достижение базового уровня
Результаты выполнения заданий базового уровня
100
90
80
70
Доля
60
50
40
30
20
10
0
1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 35
Номер задания
Доля учащихся, полностью выполнивших задание
Доля учащихся, не выполнивших задание
Доля учащихся, не приступивших к выполнению задания
РАМКА. 11-е классы
3. Достижение повышенного
(высокого) уровня
Класс
Процент выполнения заданий высокого уровня
100
100.0
100.0
100.0
100.0
Ученик
100.0
90
процент выполнения заданий
80
80.0
80.0
80.0
70
60
60.0
60.0
60.0
60.0
50
40
40.0
40.0
40.0
40.0
40.0
40.040.0
30
20
20.0
20.0
10
0
0.0
0
1
2
3
4
5
6
0.0
7
8
9
0.0 0.0
0.0
0.0
0.0
0.0
0.0
10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
Номер учащегося по журналу
РАМКА. 11-е классы
3. Достижение повышенного
(высокого) уровня
Выполнение заданий высокого уровня
80
70
60
50
40
30
20
10
0
Доля учащихся, полностью
выполнивших задание
Доля учащихся, частично
выполнивших задание
Доля учащихся, не выполнивших
задание
Доля учащихся, не приступивших к
выполнению задания
33 (1 балл)
34 (1 балл)
36 (2 балла)
37 (1 балл)
62.5
66.7
62.5
70.8
4.2
20.8
12.5
20.8
16.7
16.7
20.8
12.5
12.5
РАМКА. 11-е классы
Критерии выделения
индивидуальных уровней. Русский
язык
Уровень Критический
Удовлетворительный
Средний
Повышенный
Высокий
0 – 17 баллов
за задания
Критерий
базового
уровня 1 и 2
части
18 – 25 баллов
26 – 30
баллов
31 – 34
баллов
Более 35
баллов
РАМКА. 11-е классы
Критерии выделения индивидуальных
уровней. Математика
Уровень Критический
Низкий
Базовый
Средний
16 – 18
баллов
за задания
7 – 10
11 – 15
базового
0 – 6 баллов
баллов за
баллов за уровня 1, 2,
за задания
задания
задания
3 частей и
Критерии
базового
базового
базового
не менее
уровня 1 и 2
уровня 1 и 2 уровня 1, 2, 0,8 баллов
частей
частей
3 частей
за задания
повышенног
о уровня из
4 части
Повышенный
Более 18
баллов за
задания
базового
уровня 1, 2,
3 частей и
выполнение
любого
задания
повышенног
о уровня из
4 части
РАМКА. 11-е классы
Критерии выделения индивидуальных
уровней.
Критический
16.7%
Высокий
20.8%
Удовлетворитель
ный
4.2%
Повышенный
33.3%
Средний
25.0%
РАМКА. 11-е классы
Анализ выполнения заданий.
Решаемость заданий по русскому языку в сравнении с "коридором"
ожидаемой решаемости
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37
Границы коридора "ожидаемой" решаемости"
Доля учащихся, справившихся с заданием полностью
РАМКА. 11-е классы
Анализ по элементам содержания
Проверяемое содержание
Развитие речи
Задания
выполнены
полностью
Речь. Языковые нормы
Речь. Текст
Задания не
выполнены
Пунктуация
Орфография
Синтаксис
К заданиям
не
приступали
Морфология
Лексика и фразеология
0%
20%
40%
60%
Доля учащихся
80%
100%
РАМКА. 11-е классы
Анализ по элементам содержания
Задания
выполнены
полностью
часть 3
Задания не
выполнены
часть 2
К заданиям не
приступали
0%
20%
40%
60%
80%
100%
Доля учащихся
Синтаксис
Части работы
Части работы
Лексика и фразеология
Задания
выполнены
полностью
часть 3
Задания не
выполнены
часть 2
К заданиям не
приступали
0%
10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Доля учащихся
РАМКА. 11-е классы
Анализ - ученик
РАМКА. 11-е классы
Анализ - ученик
РАМКА. 11-е классы
Представление результатов
-
Успешность выполнения работ
Достижение базового (повышенного) уровня
Уровни достижений
Результаты по отдельным заданиям (базовый,
повышенный уровень)
- Результаты по элементам содержания
- Индивидуальный анализ выполнения работы
РАМКА. 11-е классы
Представление результатов
РАМКА. 11-е классы
Виды решений
- организация программы поддержки преподавания
отдельных учебных дисциплин;
- изменения в программах повышения квалификации;
- необходимость проведения дальнейших исследований.
На уровне образовательной организации
- организация методической поддержки отдельному
преподавателю, корректировка учебной программы, учебного
плана;
- организация работы с детьми, демонстрирующими разные
уровни освоения государственного образовательного
стандарта среднего общего образования;
- формирование индивидуальных траекторий ликвидации
пробелов в освоении государственного образовательного
стандарта среднего общего образования.
РАМКА. 11-е классы
Кто принимает решение
- учитель – предметник
- заместитель руководителя, руководитель
общеобразовательного учреждения,
- методисты муниципальных, краевых
методических служб (учреждений)
- руководители систем образования различного
уровня
РАМКА. 11-е классы
Кто использует результаты
Обучающиеся и их родители (законные представители) –
формирование объективной самооценки и создание условий для
индивидуального прогресса.
Педагогические работники – организация индивидуальной
работы с обучающимися.
Методисты – определение направлений методической поддержки,
повышения квалификации педагогических работников.
Руководители образовательных организаций – определение
направления совершенствования учебного процесса в
образовательной организации, оказание помощи педагогическим
работникам.
Руководители систем образования различного уровня –
определение направления развития системы образования
(определение программ поддержки отдельных предметов)
РАМКА. Профобразование
Цель
Определение уровня учебных
достижений обучающихся
профессиональных
образовательных организаций
среднего профессионального
образования Хабаровского края по
учебным дисциплинам
общеобразовательного цикла.
РАМКА. Профобразование
Ключевые вопросы
- Фиксация индивидуальных достижений обучающихся по
учебным дисциплинам общеобразовательного цикла
Выявление «пробелов»:
- системных пробелов в освоении учебных дисциплин (по
отдельным элементам кодификатора) на уровне края,
профессиональной образовательной организации;
- пробелов в освоении учебных дисциплин каждого отдельного
обучающегося
РАМКА. Профобразование
Участники
профессиональные образовательные организаций
среднего профессионального образования края
Что оценивается
индивидуальные учебные достижения по
учебным дисциплинам общеобразовательного
цикла
РАМКА. Профобразование
Инструментарий
Контрольно-измерительная работа в 4 вариантах,
состоящая из двух частей (первая часть – задания
базового уровня, вторая часть – задания
повышенного уровня)
- Кодификатор планируемых результатов освоения основной
образовательной программы начального общего образования по
математике (русскому языку) для проведения процедур оценки
качества начального образования
- Спецификация
- Электронные формы первичной обработки результатов
Процедура проводится в рамках плановых выездных проверок в соответствии
с планом министерства образования и науки Хабаровского края
РАМКА. Профобразование
Кто проводит (организации)
- Управление по контролю и надзору в сфере
образования министерства образования и науки
Хабаровского края,
- КГБУ «Региональный центр оценки качества
образования»
- Профессиональные образовательные
организации СПО края.
РАМКА. Профобразование
Представление результатов
• Министерство образования и науки Хабаровского
края:
– статистический сборник по результатам оценочных процедур;
• Хабаровский краевой институт переподготовки и
повышения квалификации в сфере среднего
профессионального образования (ХКИППКСПО):
– методические рекомендации по совершенствованию
преподавания учебных дисциплин общеобразовательного
цикла (по заявке управления профессионального образования
министерства образования и науки Хабаровского края)
• Участники рабочих групп по разработке
контрольно-измерительных материалов:
– краткий аналитический доклад: выявленные проблемы,
тенденции развития, направление совершенствования
инструмента.
РАМКА. Профобразование
Представление результатов
15 БАЛЛОВ
12-14
БАЛЛОВ
9-11
БАЛЛОВ
1-8 БАЛЛОВ
10
9
8
7
6
5
4
3
2
1
0
0 БАЛЛОВ
количество учащихся
В качестве основных показателей, по которым
представлены результаты образовательных учреждений,
были выбраны следующие:
1. Успешность выполнения работы
РАМКА. Профобразование
Представление результатов
В качестве основных показателей, по которым
представлены результаты образовательных учреждений,
были выбраны следующие:
2. Достижение базового уровня
80.0%
80%
60%
40%
20.0%
20%
0%
% учащихся, не справившихся с работой
% учащихся, справившихся с работой
РАМКА. Профобразование
Представление результатов
В качестве основных показателей, по которым
представлены результаты образовательных учреждений,
были выбраны следующие:
3. Результаты выполнения работы по отдельным заданиям
16
15
14
13
12
11
10
9
8
7
6
5
4
3
2
1
0
15
14
13
13
13
13
12
12
12
11
10
8
6
2
0
1
2
3
4
5
6
7
Справились с заданием
8
9
10
11
12
13
Выполнили неверно
14
15
РАМКА. Профобразование
Виды решений
- формирование индивидуальной траектории ликвидации
проблем уровня обученности обучающегося;
- организация методической поддержки отдельному
преподавателю, корректировка учебной программы,
учебного плана;
- организация программы поддержки преподавания
отдельных учебных дисциплин;
- реорганизация профессиональной образовательной
организации;
- необходимость проведения дальнейших исследований.
РАМКА. Профобразование
Кто принимает решение
- преподаватель (классный руководитель, куратор,
члены предметно-цикловой комиссии
(ПЦК)/методической комиссии (МК)/кафедры),
методист, педагог-психолог);
- заместитель руководителя, руководитель
профессиональной образовательной организации,
управление профессионального образования,
министерство образования и науки Хабаровского
края;
- руководители систем образования различного
уровня.
РАМКА. Профобразование
Кто использует результаты
Обучающиеся и их родители (законные представители) –
формирование объективной самооценки и создание условий для
индивидуального прогресса.
Педагогические работники – организация индивидуальной
работы с обучающимися.
Руководители образовательных учреждений – определение
направления совершенствования учебного процесса в
образовательной организации, оказание помощи педагогическим
работникам;
Руководители систем образования различного уровня –
определение направления развития системы профессионального
образования.
РАМКА.
Дополнительная информация (риски,
проблемы, …)
 Попытки использования результатов мониторинга для оценки деятельности
педагога и образовательной организации.
 Отсутствие нормативной и правовой базы, регламентирующей разработку
и экспертизу материалов оценочных процедур.
 Недостаточная грамотность получателей результатов в области
педагогических измерений.
 Нехватка квалифицированных кадров для разработки, экспертизы,
апробации материалов и интерпретации результатов (необходимость
формирования банка апробированных калиброванных заданий).
 Отсутствие (недостаточная активность) методических объединений.
 Неготовность (недостаточная грамотность) получателей результатов в
области педагогических измерений.
Спасибо за внимание!
Бекмухаметова
Наталья Витальевна
заместитель директора КГБУ РЦОКО
oto.rcoko@gmail.com
http://rcoko.khb.ru/