Компьютерная программа «Эксперт ЕГЭ

Система подготовки экспертов
региональных предметных
комиссий ЕГЭ
Лискова Т.Е., к.п.н.
сотрудник ФИПИ
obshestvoved@ioso.ru
Основные вопросы
1. Научно-методическое и организационнотехнологическое обеспечение системы
оценивания заданий с развёрнутым
ответом.
2. Система подготовки экспертов ЕГЭ с
использованием компьютерных
технологий.
3. Из опыта работы региональных
предметных комиссий
Основные вопросы
4. Возможные причины несогласованности
экспертных оценок.
5. Общие рекомендации экспертам.
6. Процедура проверки заданий с
развёрнутым ответом.
1. Научно-методическое и
организационно-технологическое
обеспечение системы оценивания
заданий с развёрнутым ответом
Научно-методическое обеспечение
системы оценивания
• Подходы к отбору основных элементов
содержания и учебно-познавательной
деятельности, проверяемых заданиями с
развёрнутым ответом
• Подходы к классификации заданий с
развёрнутым ответом
• Система критериев для оценки заданий с
развёрнутым ответом каждого типа
Научно-методическое обеспечение
системы оценивания
• Используемые шкалы с обоснованием вида
шкалы и ее размера
• Методика оценки ответов экзаменуемых на
основе разработанных критериев с
примерами типичных ответов, ошибок и
рекомендациями по принятию мер в
нестандартных ситуациях
Организационно-технологическое
обеспечение системы оценивания
• Методика отбора и подготовки экспертов
для проверки выполнения заданий с
развёрнутым ответом
• Стандартизированная процедура проверки и
перепроверки выполнения заданий с
развёрнутым ответом
• Механизмы обеспечения качества работы
системы (описание критериев качества и
оптимальных процедур)
Материалы, подготовленные в
ФИПИ для обучения экспертов ЕГЭ
• 1. Руководство по подготовке экспертов
региональных предметных комиссий ЕГЭ в
2008 году
• 2. Комплект учебных пособий по 11
предметам (3-4 части)
• 3. Электронное пособие «Эксперт ЕГЭ»
Все материалы размещены в свободном
доступе на сайте ФИПИ (www.fipi.ru) в
разделе «Эксперты предметных комиссий
регионов».
Руководство по подготовке экспертов
региональных предметных комиссий
ЕГЭ в 2008 г.
• Рекомендации по организации подготовки
экспертов РПК
• Примерная программа подготовки экспертов
• Методические рекомендации по организации
учебного процесса
• Требования к квалификации
(квалификационные характеристики)
экспертов РПК (организаторов и членов РПК)
• Приложения (рекомендации, инструкции,
протоколы)
Комплект учебных пособий по 11
предметам для подготовки
экспертов
• Методические рекомендации по оцениванию
заданий с развёрнутым ответом
• Материалы для самостоятельной работы
экспертов по оцениванию заданий с
развёрнутым ответом
• Материалы для проведения зачета
2.Система подготовки экспертов
ЕГЭ с использованием
компьютерных технологий
Компьютерная программа
«Эксперт ЕГЭ»
• Программное обеспечение,
устанавливаемое в локальной сети
регионального ресурсного центра или на ПК
• Материалы для пользователя
Компьютерная программа «Эксперт ЕГЭ»
размещена в свободном доступе на сайте
ФИПИ (www.fipi.ru) в разделе «Эксперты
предметных комиссий регионов».
Свободный доступ к программе
Сайт ФИПИ
www.fipi.ru
Серия программ «Эксперт ЕГЭ»
включает
 «Эксперт ЕГЭ. Математика»
 «Эксперт ЕГЭ. Русский
язык»
 «Эксперт ЕГЭ. Химия»
 «Эксперт ЕГЭ. География»
 «Эксперт ЕГЭ.
Обществознание»
 «Эксперт ЕГЭ. Биология»
 «Эксперт ЕГЭ. Физика»
 «Эксперт ЕГЭ.
Информатика»
 «Эксперт ЕГЭ. Литература»
 «Эксперт ЕГЭ. История
России»
Основные компоненты пособия
Нормативно-инструктивные материалы
Справочные материалы
Тренинги
Зачетная процедура
Содержание компьютерного
пособия
Справочный раздел
 Методические
материалы
 Инструкции и указания
 Задания и критерии
оценивания
 Демонстрация
подходов к оцениванию
 Типичные проблемы в
оценивании
работ
выпускников
и
рекомендации по их
разрешению
*В помощь эксперту. Примеры оценки решений
выпускников и комментарии к ним
*В помощь эксперту. Тезаурус
Содержание компьютерного
пособия. Тренинги.
Тренинги – это интерактивные
упражнения,
качество
выполнения
которых
отслеживается
обучающимся
самостоятельно.
Тренинги:
 Поэлементный тренинг
 Пошаговый тренинг
 Тренинг
оценивания
отдельных
заданий
 Тренинг оценивания целых работ
Поэлементный тренинг
 Освоение принятых подходов к оцениванию заданий части С
 Разъяснение понятийно-терминологического аппарата,
применяемого в критериях
 Идентификация типичных ошибок выпускников и др.
Пошаговый тренинг





Алгоритмизация работы эксперта
Вопросы и задания по применению отдельных критериев
Анализ «проблемных» ответов
Комментарии в помощь эксперту
Доступ к справочным материалам в процессе работы
Пошаговый тренинг
*В помощь эксперту. Разметка ошибок
в работе выпускника
Тренинг оценивания отдельных заданий
 отработка приемов оценивания заданий каждого типа




Оценивание целых работ
/Тренинг/Зачет/
Последовательное оценивание линий заданий
Предъявление результатов по окончании проверки
Во время зачета блокирован доступ к справочным материалам
Критерий качества работы эксперта – не менее 75% оценок,
согласованных с эталоном
Оценивание целых работ. Опции
Предъявление результатов
оценивания работ
 Время
выполнения
работы
ограничено
(контроль
времени
определяется
нормативами проверки
работ при проведении
ЕГЭ).
 По окончании работы
эксперта
проверяется
совпадение его оценок с
оценками,
выставленными
разработчиками
курса
(эталонными оценками).
 Результат приводится в
виде таблицы
Предъявление результатов
оценивания работ
3.Из опыта работы региональных
предметных комиссий
(по результатам опроса 309 экспертов из 55 регионов)
Подготовка экспертов
•
•
•
•
•
в последней четверти учебного года –
32%
во втором полугодии – 28%
в течение всего года – 22%
в последний месяц – 3,2%
в последнюю неделю – 1,3%
Продолжительность подготовки
•
•
•
в среднем 28 ч
минимальная- 4 ч
максимальная – 150ч
Содержание подготовки:
• Процедуры проверки заданий (81%)
• Нормативно-правовые документы ЕГЭ (78%)
• Процедуры разрешения конфликтных ситуаций
(67%)
• Особенности содержания итоговой аттестации
(61%)
• Подходы к разработке КИМ (52%)
• Содержание работы конфликтной комиссии (30%)
• Содержание вступительных испытаний в вузы
(28%)
Формы занятий
•
•
•
лекции (89%)
практические занятия
аттестация, зачет (96%)
(71%)
Формы аттестации
•
•
•
практическая работа
(59%)
теоретический зачет (11%)
комбинированная форма (28%)
Критерии отбора экспертов
•
•
•
•
квалификация (89%)
знание школьного курса
(76%)
опыт работы с абитуриентами (51%)
умение работать в жестких временных рамках
(43%)
• личный авторитет (27%)
• другие (психологические особенности личности,
умение работать в команде, умение
самостоятельно принимать решения и др.)
4. Возможные причины
несогласованности экспертных
оценок
Возможные причины
несогласованности экспертных оценок
• 1. Недостаточная отработка системы
оценивания заданий с развёрнутым
ответом (нового типа).
• 2. Отсутствие этапа адекватной апробации
всего банка заданий с развёрнутым ответом
для детальной разработки системы
оценивания каждого конкретного задания.
Возможные причины
несогласованности экспертных оценок
• 3. Недостаточная подготовленность
экспертов к проверке всех заданий.
• 4. Традиционно сложившаяся система
проверки заданий со свободным ответом в
России.
• 5. Значительные различия в подходах к
оценке, используемых представителями
вузов и школы.
Возможные причины
несогласованности экспертных оценок
• 6. Нарушение требований к процедуре
проверки заданий с развёрнутым ответом
• 7. Неадекватные условия проверки.
• 8. Непредусмотренные факторы.
• 9. Региональные особенности.
5.Общие
рекомендации
Некоторые общие рекомендации
экспертам
• 1. Если ответ отличается от варианта,
предложенного в рекомендациях по
оцениванию
Эксперт должен оценить, понял ли
экзаменуемый суть задания или
поставленного вопроса и в какой степени
продемонстрировал свою способность
выполнить данное задание или ответить
на данный вопрос. Балл выставляется на
основе коллегиального решения группы
экспертов, проверяющих данный вариант.
Некоторые общие рекомендации
экспертам
• 2. Если в ответе допущены
орфографические, пунктуационные и
грамматические ошибки
• По всем предметам, кроме русского языка
орфографические, пунктуационные и
грамматические ошибки не учитываются,
если они не искажают сути ответа.
Некоторые общие рекомендации
экспертам
• 3. Что означает «Ответ отсутствует»
(символ Х) в протоколе эксперта?
• Все случаи, когда место для ответа
пустое или ученик, например, записал: «Не
хватило времени для ответа».
• За все ответы, включающие, например,
слова: « Я не знаю», «Слишком трудный
вопрос», прочерк «-» или какие-либо
символы, ставится код (балл) 0.
6. Процедура проверки заданий с
развёрнутым ответом
За 5 дней до экзамена:
1. Передать в РЦОИ:
- список членов региональной предметной
комиссии;
- список экспертов, допущенных к третьей проверке
бланков ответов №2 (не более 25%).
2. Согласовать с руководителем РЦОИ время начала
проверки бланков ответов №2, определения
пустых бланков ответов №2.
День экзамена:
- назначить 2-х экспертов для определения
пустых бланков ответов №2.
- провести организационное совещание;
- обсудить критерии оценки заданий по всем
вариантам, направленным в регион;
- согласовать возможные решения заданий.
В РЦОИ тиражируются критерии оценки по всем
вариантам.
День проверки:
1. Провести инструктаж по заполнению протокола
проверки (бланка проверки).
2. Выдать эксперту комплект материалов на проверку:
до 20 копий бланков ответов №2 (бланков
проверки)
бланк протокола проверки
критерии оценивания заданий с развёрнутым
ответом
3. Вести учёт (приём-передачу) выданных экспертам
материалов.
4. Контролировать порядок в аудиториях, в которых
работают эксперты.
День проверки:
5. Обеспечить последовательную проверку ответов:
сначала во всех бланках - С1, затем С2 и т.д.
(кроме русского языка и литературы).
6. Оперативно передавать проверенные бланки
ответов в РЦОИ.
7. Вместе с руководителем РЦОИ отвечать на
возникающие у экспертов вопросы.
Заполнение протоколов
(бланков проверки)
-
-
заполнять чёрной гелевой ручкой;
в случае ошибки новый балл записывается жирно
поверх ошибочного;
если учащийся не приступал к выполнению
задания в протоколе в соответствующем поле
ставится «Х» (в бланках проверки «-»);
если в части С есть альтернативные задания, то в
соответствующее поле обязательно ставится
номер альтернативы.
Благодарю за внимание!
Лискова Татьяна Евгеньевна
сотрудник ФИПИ
В выступлении были использованы материалы,
подготовленные сотрудниками ФИПИ:
Бисеровым А.Ю., Ковалевой Г.С., Котовой О.А.