В.А. Болотов, И.А. Вальдман. Направления и условия

Вебинар
Российского тренингового центра ИУО РАО и
Регионального центра оценки качества ЯНАО
9 апреля 2013 года, г. Салехард
Направления и условия использования
результатов оценочных процедур на разных
уровнях системы образования
В.А. Болотов
вице-президент РАО, академик РАО, д.п.н.
И.А. Вальдман
директор Российского тренингового центра ИУО РАО, к.п.н.
ВИДЫ ПРОГРАММ ОЦЕНКИ
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
ЭФФЕКТИВНЫЕ СИСТЕМЫ ОЦЕНКИ
Эффективные системы оценки качества образования
это
системы,
которые
предоставляют
информацию
надлежащего
качества
и
в
необходимом количестве для того, чтобы
удовлетворить информационные потребности всех
заинтересованных групп и тех, кто принимает
решения с целью повышения качества обучения
учащихся.
ЦЕЛИ СИСТЕМЫ ОКО
1.
2.
3.
4.
5.
6.
Определение прогресса в обучении конкретного школьника.
Сертификация выпускников (подтверждение завершения
обучения).
Селекция – отбор для продолжения обучения или получения
рабочего места.
Оценка деятельности образовательных учреждений.
Оценка деятельности образовательных систем.
Оценка деятельности национальной образовательной системы.
ВИДЫ ПРОГРАММ ОЦЕНКИ
оценивание в классе (или формирующее оценивание), которое
встроено в образовательный процесс и позволяет определять
достижения и трудности в обучении каждого ученика;
государственные экзамены, которые используются для принятия
решений по каждому учащемуся относительно завершения им
ступени обучения и возможности продолжения;
крупномасштабные исследования (мониторинги), которые
направлены на оценку эффективности работы образовательных
систем разного уровня и являются инструментом мониторинга
результатов обучения школьников.
ВИДЫ ПРОГРАММ ОЦЕНКИ
Виды программ
оценивания
наблюдения
тесты
вопросы
Оценка на уровне
класса
Формирующее
оценивание
Выпускные
Государственные
экзамены
Вступительные
Крупномасштабные
исследования
Национальная
оценка
Суммирующее (итоговое)
оценивание
Международные
сравнительные
исследования
ПИРАМИДА ОБРАЗОВАТЕЛЬНОГО ОЦЕНИВАНИЯ
Углублённые
исследования
Крупномасштабные
исследования
Государственные
экзамены
Формирующее оценивание
оценка на уровне класса
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
Эффективное использование результатов оценки
зависит от ряда условий, которые следует
учитывать команде, координирующей организацию и
проведение процедуры оценки, с целью достижения
максимального влияния полученных результатов на
повышение
качества
обучения
и
выработку
образовательной политики.
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
Направления использования результатов ОКО
1. Для принятия решений о поддержке конкретных
учащихся
• корректировка образовательного процесса
• выявление
уровня
освоения
образовательной
программы
2. Для принятия управленческих решений на разных
уровнях системы образования
• оценка деятельности образовательного учреждения
• оценка деятельности образовательных систем
СТРАТЕГИЯ ОКО – КОНТРОЛЬ ИЛИ ПОДДЕРЖКА
Контроль
• Для наложения санкций и раздачи поощрений
• Нет права на ошибку
• ОУ не заинтересовано в обнаружении проблем
Поддержка
• Оказание содействия ОУ и муниципалитетам в
преодолении существующих проблем
• Есть право на ошибку. Неудача – сигнал для оказания
помощи.
• ОУ заинтересовано в обнаружении проблем
ПОДДЕРЖКА ЗАИНТЕРЕСОВАННЫХ СТОРОН
Крайне важно, чтобы все заинтересованные
стороны пришли к согласию относительно
необходимости проведения оценки и оказывали
поддержку при её проведении.
НАЛИЧИЕ НАДЁЖНОГО ИНСТРУМЕНТАРИЯ
Наличие надёжного инструментария, соответствующего
необходимым профессиональным стандартам, является
главным фактором получения достоверных результатов
и обеспечения доверия к ним со стороны
общественности и профессионального сообщества.
Пример. ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ ТЕСТА
1. Определение цели тестирования и разработка спецификации
теста.
2. Разработка заданий для теста.
3. Экспертиза и доработка заданий.
4. Апробация и доработка заданий.
5. Составление теста.
6. Проведение апробации теста и обработка полученных
результатов.
7. Доработка теста и подготовка окончательного варианта.
НАЛИЧИЕ НАДЁЖНОЙ СТАНДАРТИЗИРОВАННОЙ
ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНКИ
Стандартизированная процедура должна обеспечивать
информационную безопасность проведения оценки,
предотвращать
возможные
нарушения
и
фальсификацию данных, обеспечивать сопоставимость
результатов
для
всех
общеобразовательных
учреждений, чьи учащиеся принимали участие в оценке.
Ориентация на информационные потребности
основных групп пользователей результатов оценки
Соответствующая
информация
должна
достигать
представителей
всех
заинтересованных
сторон
(разнообразные информационные продукты).
Информацию следует представлять в форме, понятной
потенциальным
пользователям
(интерпретация
результатов).
Необходим
использовать
различные
методы
информирования
о
результатах
оценки
(распространение информации).
Пример. Представление информации
Информационные продукты
1. Региональный отчёт по итогам оценки.
2. Специализированный отчёт (по предмету, группе учащихся).
3. Аналитическая записка для министра.
4. Информационный буклет для родителей.
5. Пресс-релиз.
Распространение информации
1. Печатные отчёты.
2. Материалы в Интернет.
3. Статьи в СМИ.
4. Интервью.
5. Пресс-конференции, брифинги, конференции и семинары.
Национальный мониторинг SIMCE (Чили).
Информационные продукты
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
Руководство по проведению оценки (с 1988)
Школьный отчёт (с 1988)
Национальный отчёт (с 2006)
Приложение к газете (с 1995)
Отчёт для родителей (с 2005)
Он-лайн банк заданий (с 2007)
Комплект материалов для прессы (с 2006)
Файлы данных (с 2005)
Инструментарий анализа данных (с 2007)
Геоинформационная система (с 2010)
Вебсайт www.simce.cl (since 2001)
SIMCE. Распространение информации: Механизмы, Цели,
Целевые группы, Содержание
4. Приложение к газете
Цели: Обеспечение подотчётности школ
Целевая группа: родители, широкая общественность
Содержание: (а) Средние баллы школ и средние балы по предметам и
классам.
(b) Разница между средним баллом школ и
1) средними баллами предыдущей оценки, 2) средним по стране, 3)
средними баллами школ из той же социально-эконмической группы.
Механизмы: Публикуется в национальных и региональных газетах.
Обычно эта информация распространяется вместе с рейтингами школ.
SIMCE. Геоинформаионная система
Подготовка ясного итогового отчёта
Итоговый отчёт (на уровне федерации, региона,
муниципалитета, общеобразовательного учреждения)
является наиболее важным и наиболее полезным из
всех информационных материалов, которые могут быть
подготовлены на основе данных процедуры оценки.
Учёт дополнительных данных при принятии
управленческих решений по итогам оценки
Крайне важно, чтобы при принятии решений «с
высокими ставками», такими как государственные
экзамены, аккредитация школ, аттестация педагогов и
др., выводы о качестве образования делались не только
на основе результатов процедур оценки качества
образования.
Учёт дополнительных данных при принятии
управленческих решений по итогам оценки
Невозможно принимать «сложные» решения на основании данных одного
вида
«Простые» решения
• Итоговая государственная аттестация по предмету.
• Как учителю и школе организовать работу «над ошибками»
Более «сложные» решения
• Выбор профиля обучения в старшей школе
«Сложные» решения
• Оценка качества работы учителя
• Оценка эффективности работы школы
ПОГОВОРИМ НА ПРИМЕРАХ
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
ОБЛАСТЬ ПРИМЕНЕНИЯ ОДНОЙ ОЦЕНОЧНОЙ
ПРОЦЕДУРЫ ВСЕГДА ОГРАНИЧЕНА
Невозможно
использовать
одну
процедуру для решения многих задач.
оценочную
ПРИМЕР ЕГЭ
Предназначен для
• определения, освоил ли ученик образовательную программу школы
• отбора для поступления в вуз
Используется на практике для
• оценка качества работы учителя
• оценки эффективности работы школы, муниципалитета
• оценки эффективности деятельности губернатора
• …
Невозможно использовать оценочную процедуру в
целях, для которых она не предназначена.
Пример региона N. Письмо регионального министерства в муниципалитеты
В соответствии с приказом Минобразования … в рамках международного
исследования TIMSS и PIRLS в 2011 году в проведении тестирования
учащихся 4 и 8 классов участвовали школы вашего муниципального
образования… Однако, как показывают результаты исследований,
средний балл по тестируемой области этих учреждений оказался ниже
среднего балла по России.
Минобразования
…
отмечает
неудовлетворительную
работу
педагогических коллективов указанных образовательных учреждений по
качеству образования участников тестирования и просит принять все
необходимые организационно-методические меры по повышению
уровня квалификации учителей, внутришкольного контроля ...
Продолжение.
Пример региона N. Письмо регионального министерства в
муниципалитеты
Одновременно с этим сообщаем, что учащиеся, принявшие участие
в TIMSS-2011 стали участниками PISA-2012. После получения
результатов PISA-2012 (ориентировочно апрель 2013 г.)
предлагаем провести комплексное исследование результатов со
сравнением результатов Г(И)А и определением дальнейшей
образовательной траектории каждого учащегося
ДОВЕРИЕ К РЕЗУЛЬТАТАМ СО СТОРОНЫ
ОБЩЕСТВА
Экзамены для поступления в вузы Казахстана (ЕНТединое национальное тестирование) и Кыргызстана (ОРТ
– общереспубликанское тестирование) проводятся в
форме тестов с множественными вариантами ответов.
Выбор такого варианта теста был сделан с целью
исключения человеческого фактора.
К процедуре, которая бы допускала вмешательство
человека, у общества не было бы доверия.
Процедуры с высокими ставками требуют жёсткого
контроля. Старайтесь их избегать!
Школьная афера по-американски (30.03.2013 )
http://publicpost.ru/theme/id/3550/shkolnaya_afera_po-amerikanski/
В минувшую пятницу 35 сотрудникам системы образования в штате Джорджия
предъявили обвинение в многолетней фальсификации результатов экзаменов.
По данным следствия, как минимум 40 из 56 государственных школ в Атланте
отчитывались
о
недостоверных
результатах
государственного
тестирования более 10 лет.
Есть версия, что провоцирует директоров школ и учителей на преступление
действующее американское законодательство: зарплаты учителей и пособия из
госбюджета, выплачиваемые школам, напрямую зависят от успеваемости
учеников.
Сопоставимость результатов оценочных процедур.
Пример ЕГЭ
?
Соотношение 100-балльной шкалы
и уровней освоения
образовательного стандарта
(РФ, ЕГЭ-2012)
80
79
84
73
82
24
© Боченков СА
80
66
62
36
36
82
70 баллов
72
63
Соотношение 100-балльной и
процентильной шкал
(РФ, ЕГЭ-2012)
36
36
40
39
36
20
75
71
62
36
24
88
84
36
36
40
39
20
Стобалльная шкала ЕГЭ не позволяет сравнивать результаты
по предметам и оценить динамику по годам, т.к.:
НЕ СОВПАДАЕТ:
• величина наименьшего тестового
балла, получение которого
свидетельствует об усвоении
участником экзамена основных
понятий и методов по предмету (ТБ1)
• величина наименьшего тестового
балла, получение которого
свидетельствует о высоком уровне
подготовки участника экзамена (ТБ2)
© Боченков СА
МЕНЯЕТСЯ ПО ГОДАМ:
•
•
время, отведённое на выполнение
работы без изменения её содержания
(русский язык в 2012 и в 2013)
количество, качество и состав
заданий, уровень сложности
Пример межпредметного сравнения
результатов ЕГЭ-2012 по региону на
основе разных показателей
52.4%
7.1%
Химия
Биология
3.1%
78.4%
82.6%
8.1%
4.3%
1.5%
72.5%
2.8%
11.6%
4.8%
70.0%
6.3%
70.8%
25.6%
Информатика и
ИКТ
6.2%
Физика
5.5%
Математика
5.9%
2.9%
Русский язык
литература
английскй язык
общестовзнание
история
география
биология
химия
физика
информатика
математика
русский язык
© Боченков СА
1.2%
85.9%
Английский язык
72.0%
72.2%
83.8%
Обществознание
85.9%
70.1%
25.5%
26.0%
2.0%
Литература
24.9%
20.2%
21.9%
13.6%
28.7%
21.7%
История
50.3
13.2%
2.2%
53.1
7.0%
География
57.2 58.4
57.1
11.4%
8.6%
19.3%
63.8 64.6
62.1
61.9
высокий (ТБ2 и выше)
выше минимального
ниже минимального
Доля выпускников, выбравших предмет в форме ЕГЭ
99.9%
63.3
100.0%
65.8
Качество подготовки выпускников школ Чувашии по
общеобразовательным предметам.
Модель использования данных: линейный рейтинг
Линейный рейтинг
Ш 1________
Ш 2________
Ш 3________
………
Ш М _______
……..
Ш N _______
……..
Ш N+1 ________
Ш N+2 ________
……..
Ш N+k ________
«Сильные»
школы
Ш 1________
Ш 2________
Ш 3________
………
Ш М _______
«Слабые»
школы
Ш N+1 _______
Ш N+2 _______
……..
Ш N+k _______
«Простые» решения
• Поощрения
• Санкции
Модель использования данных: кластерный анализ
Кластерный анализ
К1
К2
К3
Ш1.1________
Ш1.2________
Ш1.3________
……..
Ш1.14_______
Ш1.15_______
Ш2.1________
Ш2.2________
Ш2.3________
……..
Ш2.21_______
Ш3.1________
Ш3.2________
Ш3.3________
……..
Ш3.11_______
Ш3.12_______
«Слабые»
школы
Ш1.14,
Ш1.15,
Ш2.21,
Ш3.11,
Ш3.12
………..
Анализ факторов
•
•
•
•
•
•
Самооценка школы
Опросы потребителей
услуг
Внешний аудит
Данные исследований
Статистика
…
МОДЕЛЬ ИСПОЛЬЗОВАНИЯ ДАННЫХ
Кластер.
анализ
От линейного рейтинга к
кластерному сравнению
и анализу факторов
Оценка
«Слабые»
школы
Меры
Анализ
поддержки
факторов
Сравнение результатов школ в рамках кластера
статист. подобных
Представление результатов мониторинга NAPLAN (Австралия)
Сайт “Моя Школа”
Год
Год 7
обучения
Ч
и
с
л
о
ш
к
о
л
Область оценки
Чтение
Сравнение результатов NAPLAN по
школе с «подобными» школами
СТАТИСТИЧЕСКИ «ПОДОБНЫЕ» ШКОЛЫ (Австралия).
В целях представления результатов национального мониторинга по
группам школ со статистически сходным контингентом учащихся
специально разработан Индекс местных социально-образовательных
условий (Index of Community Socio-Educational Advantage) – ICSEA.
ICSEA учитывает следующие параметры:
• количество учащихся в школе;
• данные по занятости и образованию родителей учеников;
• социо-экономические характеристики места проживания ученика;
• местонахождение школы (столица, регион либо удаленная территория);
• доля учеников из семей, где английский язык не является родным;
• доля учеников из коренного населения страны.
КЛАСТЕРИЗАЦИЯ.
Пример. Анализ результатов ЕГЭ в Чувашской Республике
Параметры кластеризации
Тип образовательного учреждения
Вид образовательного учреждения
Тип местности, размер населённого пункта
Размер образовательного учреждения по числу выпускников (наличие условий для профильной подготовки)
Кластер №1 Городские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением
отдельных
Кластер №2 Городские общеобразовательные школы (более 50 выпускников 11 классов)
Кластер №3 Городские общеобразовательные школы (менее 50 выпускников 11 классов)
Кластер №4 Сельские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением
отдельных предметов, ресурсные центры
Кластер №5 Сельская общеобразовательная школа (25 и более выпускников 11 классов)
Кластер №6 Сельская общеобразовательная школа (от 15 до 25 выпускников 11 классов)
Кластер №7 Малочисленные сельские общеобразовательные школы (менее 15 выпускников 11
классов)
Боченков С.А. Анализ и интерпретация результатов ЕГЭ. http://www.rtc-edu.ru/resources/publications
КЛАСТЕРИЗАЦИЯ.
Пример. Анализ результатов ЕГЭ-2012 в ЯНАО
Параметры кластеризации
Тип образовательного учреждения
Вид образовательного учреждения
Тип местности, размер населённого пункта
Размер образовательного учреждения по числу
выпускников (наличие условий для профильной
подготовки)
© Боченков СА
Подходы к упорядочиванию объектов
Подмножества, кластеры
КЛАСТЕРИЗАЦИЯ.
Строится на основе совокупности
характеристик или признаков
РЕЙТИНГОВАНИЕ.
Строится
на
основе
линейного
упорядочивания по числовому значению
Пример 2. Единый портал пермского образования
http://permedu.ru/pages/analytics/SchoolRating2011.aspx
Использование результатов рейтингования
Работа с «верхней» частью рейтинга.
Определение «лидеров» для:
• поощрения
• пропаганды успешного опыта
• информирования родителей (выбор школы)
• создания позитивного имиджа ОУ
Работа с «нижней» частью рейтинга.
Определение «неуспешных» для:
• оказания целевой помощи
• наложения санкций
• стимулирования улучшения работы ОУ
• информирования родителей (выбор школы)
Работа со всеми объектами рейтинга требует использования кластеризации.
Для каких целей целесообразно использовать
рейтинги
1. Для
2.
3.
4.
5.
6.
обеспечения
подотчётности
перед
обществом
услуг для
(информирование потребителей образовательных
осознанного выбора ОУ).
Для задания приоритетов деятельности ОУ и образовательных
систем (ОС).
Для повышения мотивации в достижении значимых результатов.
Для определения лидеров (с целью распространения их опыта,
поощрений).
Для определения наиболее «слабых» ОУ и ОС (с целью оказания
поддержки и преодоления имеющихся проблем).
WWW.RTC-EDU.RU
…?
ВАШИ ВОПРОСЫ
WWW.RTC-EDU.RU