Основные задачи по повышению качества работы предметных

Всероссийское совещание по вопросам проведения государственной итоговой аттестации
по программам основного общего и среднего общего образования в 2016 году
3 марта 2016 года
Основные задачи по повышению качества
работы предметных комиссий субъектов РФ
и анализа результатов единого
государственного экзамена в 2016 году
Котова Ольга Алексеевна,
заместитель директора ФГБНУ «ФИПИ»
Контекст
• меры по обеспечению информационной безопасности и надежной,
объективной процедуры экзамена
• наращивание потенциала развернутых ответов участников ЕГЭ
(вклад в итоговой результат от 30 до 70%)
• постепенный переход в течение ближайших лет к 100%
межрегиональной проверке развернутых ответов
НЕОБХОДИМОСТЬ ПОВЫШЕНИЯ КАЧЕСТВА РАБОТЫ
РЕГИОНАЛЬНЫХ ПРЕДМЕТНЫХ КОМИССИЙ
 Повышение качества подготовки экспертов ПК
 Отбор экспертов, квалификационные испытания
 Усиление роли предметных комиссий в целом и персональной роли
председателей ПК
 Контроль организации и качества работы каждой ПК в регионе
Стратегия, реализуемая на федеральном уровне
(РОН, ФИПИ)
1.
2.
3.
Статистический анализ работы каждой из 1190 предметных комиссий
из 85 субъектов РФ на предмет согласованности работы
Ежегодное информирование ОИВ субъектов РФ о результатах
анализа качества работы ПК на федеральном уровне (справки,
специальная секция на окружных совещаниях)
Разработка унифицированной структуры отчета и сбор региональных
отчетов о работе ПК
ВАЖНО: проводится внимательное изучение всех обозначенных в
отчетах условий работы, квалификации экспертов, планируемых
изменений, сделанных выводов!
4. Ежегодные семинары по согласованию на федеральном уровне
подходов к оцениванию развернутых ответов, консультационная
поддержка работы ПК
5. Предоставление добровольной возможности пройти в ФИПИ
программу ДПО ПК для экспертов по заявке ОИВ (72 ч.)
6.
Согласование председателей ПК Рособрнадзором по рекомендации
ФИПИ – важный сигнал системе об ответственности
федерального уровня !!!!
Задачи
повышение объективности оценивания на фоне честной процедуры
экзамена;
• минимизация рисков возникновения конфликтных ситуаций с
участниками экзамена, родителями и законными представителями,
связанных с пересмотром результатов ЕГЭ;
• переход к межрегиональному формату проверки развернутых
ответов;
• повышение доверия общественности к результатам экспертной
проверки экзаменационных работ
•
Важно!
Отчеты о работе ПК следует из формальных, «для галочки»
вывести в плоскость конструктивного решения выявленных
организационных, кадровых и др. проблем
Важные акценты цикла ЕГЭ-2016
1. Учет результатов работы ПК в 2015 г. и методических
рекомендаций РОН по формированию и организации работы ПК
 оставлены без внимания ПК с аномальной рассогласованностью,
в т.ч. допустившие более 50% третьей проверки
 рекомендации кандидатами в председатели ПК специалистов без
опыта работы в ПК и ГЭК
 отсутствие у ряда кандидатов в председатели ПК документов о ДПО
 допуск к проверке экспертов, не прошедших обучение и инструктаж, и
др.
2. Отказ от выявленных на основе анализа региональных практик
неэффективных форматов работы ПК
Неэффективное определение необходимого
количества членов ПК
Предмет
Количество
сдающих
Количество
экспертов ПК
Качество проверки
ХИ
454
42
Согласованность ниже, чем в
2014 г.; ок. 7% третьей проверки
ИНФ
248
39
№1 по расхождениям в РФ
ГГ
91
30
Хуже, чем в 2014 г.; третьей
проверки в 2 раза больше, чем в
среднем по РФ
АЯ
355
90
Хуже, чем в 2014 г.; третьей
проверки более 12%
ЛИ
327
52
56% третьей проверки!!!!
По РУ 27 из 159 экспертов (4300 участников экзамена) показывают
стабильные расхождения при оценивании
Отсутствие необходимого разбора заданий и
критериев оценивания перед началом
проверки
Из отчета региональной ПК
2.
Проведение
оперативного
согласования
подходов к оцениванию развернутых ответов в
день получения критериев оценивания перед
началом проверки
(проводилось ли, продолжительность, была ли
потребность в проведении дополнительного
согласования в процессе проверки)
ЕГЭ 2015 г.
ЕГЭ 2016 г.
нет
изменений
нет
Экзаменационные
задания
и
критерии
оценивания
должны
предоставляться
председателю ПК сразу после завершения
экзамена для анализа и согласования подходов
к оцениванию с членами ПК
Неэффективная организация консультирования
экспертов по ходу проверки
Условия
2.
Реализация в 2015 г.
Проведение
оперативного
согласования
подходов
к Проводилось в течение 3 часов,
оцениванию развернутых ответов в день получения критериев потребности в
оценивания перед началом проверки
дополнительном
(проводилось ли, продолжительность, была ли потребность в
согласовании в процессе
проведении дополнительного согласования в процессе проверки)
53,8%
3.1.

третьей проверки
количество экспертов-консультантов
проверки не было
1 в лице председателя
Другая неэффективная стратегия
Количество
основных
экспертов ПК
Количество
экспертовконсультантов
ХИ
21
14
! В одной
аудитории
ФИ
30
19
На 2 аудитории
Результаты работы ПК
2-ая десятка регионов по 8,5%
рассогласованности
третьей
проверки
№2
в
РФ
рассогласованности
по 15% третьей
проверки
«Вам там видно голые цифры, а здесь люди с
душой работают» (регион N)
Третьей проверки в 3 раза
больше, чем в среднем по РФ
Физика. Расхождения экспертов (%)
100
95
90
85
3 балла
2 балла
1 балл
0 баллов
%
80
75
70
65
60
55
50
C01(3)
C02(3)
C03(3)
Задание
C04(3)
C05(3)
В выводах в отчете ПК значится:
«Работу ПК по физике можно считать плодотворной, о чем
свидетельствует благодарность от руководителя Федеральной службы
по надзору в сфере образования и науки С.С. Кравцова (Москва, 2015 г.)»
Поддержка и трансляция на другие
субъекты РФ позитивного регионального
опыта
 Лидеры по качеству проверки - Приморский край и Костромская
область
 Положительная динамика отмечается по большинству ПК:
Кировской области, Ульяновской области, Мурманской области,
Свердловской области, Тюменской области, Владимирской области
 Эффективная система подготовки экспертов и организации
работы самых многочисленных ПК: г. Москва, Московская
область, г. Санкт-Петербург
 Оптимизация организационно-технологических аспектов работы ПК,
активная трансляция регионального опыта: Республика
Татарстан
 Разработка ПО для анализа эффективности работы ПК:
Ростовская область
 Значительный объем работы по налаживанию деятельности
ПК (обучение, обмен опытом с другими регионами, жесткий
контроль хода проверки): Ханты-Мансийский АО
Статистика по участию в семинарах
ФИПИ по согласованию подходов
к оцениванию 2016 г
Предмет
Кол-во
участников
Предмет
Кол-во
участников
Русский язык
81
Математика
84
История
71
Информатика и ИКТ
71
Обществознание
69
Биология
66
Английский язык
80
Литература
74
Французский язык
82
Физика
74
Немецкий язык
94
Химия
74
Испанский язык
42
География
77
Итого 1039 участников
Регионы с наибольшим количеством заявленных, но не приехавших
участников
(3
и
более
предметов):
Республика Калмыкия, Вологодская область, Республика Марий Эл,
Липецкая область, Новгородская область, Республика Татарстан.
Согласование председателей
предметных комиссий субъектов РФ




К
согласованию
рекомендовано
1059
кандидатур
председателей ПК из 81 субъекта РФ (на 02.03.2016 г.)
Письма с рекомендацией о пересмотре кандидатур были
направлены в 32 субъекта РФ.
Получены
аргументированные
обоснования
назначения
председателей ПК с резолюцией ФИПИ «рекомендовать
Рособрнадзору» от 13 субъектов РФ
Присланы другие кандидатуры от 9 субъектов РФ.
Регионы, по состоянию на 2 марта не представившие запрошенную
информацию,
– Кабардино-Балкарская Республика, Республика
Ингушетия, Республика Калмыкия, Республика Саха (Якутия),
Республика Алтай, Калининградская область, Кемеровская область,
Новгородская область, Чукотский автономный округ, Самарская
область.
Статистика по участию в курсах ПК ДПО
ФИПИ для экспертов предметных комиссий
(72 ч.)
Сроки обучения
Предметы
24.11.2015 - 25.12.2015
Физика
Биология
Кол-во участников
78 слушателей из 29 субъектов РФ
Английский язык
Химия
История
Физика, биология (24.11.15-25.12.15)
–
260 слушателей из 56 субъектов РФ
Русский язык
Обществознание
190 слушателей из 52 субъектов РФ
25.01.2016 - 25.02.2016
15.02.2016 - 16.03.2016
Наибольшее количество слушателей на курсы ПК ДПО ФИПИ
заявили:
Республика Бурятия – 33 участника
Мурманская область – 26 участников
Курская область – 22 участника
Республика Крым – 21 участник
г. Москва – 19 участников
Республика Карелия – 17 участников
Краснодарский край – 16 участников
Ставропольский край – 16 участников
Контроль качества работы экспертов ПК
председателем ПК
На протяжении периода работы ПК председатель ПК запрашивает
у руководителя РЦОИ статистическую информацию о ходе проверки
развернутых ответов. При этом председателю ПК предоставляется
оперативная информация о количестве проверенных на текущий
момент времени работ один, два или три раза, о количестве работ,
ожидающих первой, второй или третьей проверки, а также
о количестве и проценте работ, назначенных на третью проверку.
Результаты статистических отчетов председатель ПК использует для
оптимизации организации работы ПК.
При необходимости председатель ПК дает дополнительные разъяснения
по вопросам согласованности работы ПК.
Председатель ПК вправе отстранить от работы экспертов, систематически
допускающих ошибки в оценивании работ или нарушающих процедуру
проведения проверки.
(Методические рекомендации по формированию и организации работы ПК
субъекта РФ при проведении ГИА по образовательным программам
среднего общего образования)
Контроль качества работы экспертов ПК
председателем ПК
Согласование
на
федеральном
уровне
Согласование
на
региональном
Уровне
1) Единые критерии
оценивания
2) Обучение
ведущих экспертов
в рамках ПК ФИПИ
3) Согласование
позиций
председателей ПК
(семинары ФИПИ)
1) Обучение членов
ПК ведущими
экспертами
2) Использование
УММ, разработанных
ФИПИ
3) Отбор на основе
анализа
согласованности
проверки
Оперативное
согласование
1) Обсуждение
критериев
оценивания в
день экзамена
(согласование
подходов)
2) Консультирование в ходе
проверки
Роль региональной предметной комиссии в анализе
результатов ЕГЭ и выработке методических
рекомендаций для системы образования региона
Отчет о результатах ЕГЭ по предмету
1. Анализ выполнения групп заданий или отдельных заданий
в текущем году:
o по видам деятельности
o по тематическим разделам
o по группам заданий разного уровня сложности
o ответов экзаменуемых на заданий с развернутым ответом
2. Анализ динамики выполнения групп заданий по результатам
нескольких лет
Рекомендации по совершенствованию отдельных направлений
методики обучения предмету в субъекте РФ
Программы системы
ДПО
Работа методических
объединений ОО,
самообразование
Эффективность выбора
УМК по предмету
Роль региональной предметной комиссии
в разработке рекомендаций для системы
образования региона по результатам ЕГЭ
Раздел методических рекомендаций
Использование
Результаты выполнения
экзаменационной работы
по направлениям (в соответствии
с особенностями предмета)
Формирование программ курсов
ДПО.
Разработка дидактических
материалов и других форм
методической поддержки на базе
используемых в регионе УМК
Результаты выполнения работы
экзаменуемыми с различным
уровнем подготовки
«Адресная» помощь ОО из разных
групп по результатам ЕГЭ.
Особое внимание ОО с высоким %
не достигших минимальной границы
Рекомендации по
совершенствованию методики
обучения по предмету
Внедрение через систему ДПО,
различные активные формы
методической работы на уровне
региона и ОО
Планируемая деятельность ФИПИ
с целью оказания поддержки региональным
методическим службам
1. Вебинар ФГБНУ ФИПИ на тему «Особенности
выполнения и оценивания задания 25 КИМ ЕГЭ по
истории – Историческое сочинение»
Предполагаемая
аудитория:
региональные
методисты, учителя выпускных классов, эксперты ПК
Условия участия: бесплатно для регионов, не более 2
точек подключения в регионе с неограниченным числом
слушателей по предварительной заявке ОИВ
Предполагаемая дата и время: 18 марта 2015 г.,
в 12.00 (уточним отдельным письмом ФИПИ)
Ведущий: заместитель руководителя ФКР по истории
Артасов И.А.
Планируемая деятельность ФИПИ
с целью оказания поддержки региональным
методическим службам
2. Разработка и публикация на сайте ФИПИ
-
Методических материалов для экспертов ПК
Унифицированных учебных материалов для экспертов ПК
Унифицированных учебных материалов для председателей ПК
Материалов для проведения квалификационных испытаний в системе
«Эксперт ЕГЭ»
3. Доработка формата регионального отчета по
результатам ЕГЭ 2016 г.
- доработанная структура отчета с выделением отдельных аналитических
блоков;
- сопровождение таблиц формулами SQL-запросов в РИС для поднятия
необходимой для анализа статистики (ФИПИ совместно с ФЦТ)
- выборочное ознакомление аналитиков ФИПИ с региональными отчетами
(особенно регионов из «красной зоны»)
Планируемая деятельность ФИПИ
с целью оказания поддержки региональным
методическим службам
4. Предложения ФИПИ к критериям оценки
эффективности работы субъекта РФ при проведении
ЕГЭ-2016
Доля работ, результат оценивания выполнения заданий с
развернутыми ответами в которых не был изменен
относительно первоначального балла ПК по итогам
перепроверки и (или) апелляции (по состоянию на 1августа
2016 года)
5. Продолжение практики оказания консультационнометодической
поддержки
ПК
регионов
при
проведении досрочного и основного этапов ЕГЭ-2016:
- «Горячая линия» ФИПИ
- Форум на сайте ФИПИ
Формирование вариантов КИМ ОГЭ
НАПОМИНАНИЕ
 Порядком проведения ГИА (ОГЭ) предусмотрено
обеспечение ОИВ субъектов РФ формирования
вариантов КИМ из Открытого Банка заданий
 Необходимо получить от специалиста ФИПИ
запечатанный конверт с параметрам допуска к
разделу ресурса Открытого Банка для формирования
вариантов КИМ ОГЭ вне зависимости от того, кому
ОИВ передает право формирования вариантов
 Субъектам РФ, самостоятельно формирующим
варианты КИМ ОГЭ, специалистами ФИПИ будет
оказана
необходимая
консультационная
и
техническая поддержка при условии получения
соответствующего уведомления от региона
Необходимые контакты ФИПИ
! Не для публикации на официальных региональных
информационных порталах ЕГЭ
 Техподдержка ресурса Открытого Банка ОГЭ
support@fipi.org
 Телефонная «горячая линия» для предметных комиссий
субъектов РФ (495) 225-10-45
 Ресурс для председателей ПК для обращения с
вопросами к специалистам Федеральных комиссий по
разработке КИМ ЕГЭ - форум на сайте ФИПИ www.fipi.ru
 Тел. приемной ФИПИ (495) 225-10-35, reception@fipi.org
БЛАГОДАРЮ ЗА ВНИМАНИЕ!