Семинар «Мониторинговые исследования и их место в управлении образованием» 22-23 ноября 2012 года, г. Томск СЕССИЯ 3 Технология разработки измерительных материалов Булатова Устинья Анатольевна Старший научный сотрудник, Кандидат биологических наук Измерительные материалы - это комплексные работы , состоящие из системы заданий, и комплекта документов, определяющих процедуру проведения, технологии обработки и анализа результатов, предназначенные для измерения уровня обученности или любых других результатов образовательной деятельности. Измерительные материалы - 43 комплекта измерителей по 14 предметам: русский язык (5, 6, 7, 8, 10) математика (5, 6, 7, 8, 10) география (6, 7, 8, 10) физика (7, 8, 10) биология (7, 8, 10) химия (8, 10) история (7, 8, 10) обществознание (8, 10) иностранные языки (5, 6, 7, 8, 10) информатика (10) ОБЖ (8) и другие… - более 100 оригинальных вариантов в год Измерительные материалы Рабочие группы (коллектив педагогов по каждому предмету, разработчики, эксперты) Квалифицированные Тестологи Измерительные материалы ОУ, участвующие в апробации измерителей и оценочных мероприятиях Сотрудники ЦОКО (куратор, тех. поддержка) Разработка измерительных материалов - осуществляется творческой рабочей группой (ЦОКО организует деятельность рабочих групп) Рабочая группа является открытой, в её состав входят: - куратор (сотрудник ЦОКО, орг.-метод. обеспечение) - руководитель рабочей группы - разработчики - эксперты - тестологи - все заинтересованные педагоги Рабочие группы Деятельность регламентирована двумя документами*: 1. Положение о рабочих группах 2. Порядок разработки и экспертизы измерительных материалов * Эти документы разработаны специалистами ЦОКО и утверждены Экспертным советом ТОИПКРО Учителя → → → → → → → Разработчики Измерительные материалы Виды контроля Входной Итоговый Рубежный (Промежуточный) Цикл разработки измерительных материалов Кодификатор элементов содержания Кодификатор умений (требований) Спецификация Измерительные материалы задание задание задание задание задание задание Измерительные материалы Руководитель рабочей группы Предметная экспертиза Предметная экспертиза Тестологическая экспертиза Доработка измерителей и АПРОБАЦИЯ Выверка заданий, утверждение итоговых измерительных материалов и шкалы Разработчик (Авторсоставитель) Схемы разработки Разработка измерителя Разработка измерителя Тестологическая экспертиза Предметная экспертиза Доработка измерителя Доработка измерителя Тестологическая экспертиза Предметная экспертиза Доработка измерителя Тестологическая экспертиза Доработка измерителя и апробация Доработка измерителя и апробация Экспертиза Предметная - содержание - соответствие спецификации - трудность - валидность - параллельность - дидактические единицы - время выполнения заданий Тестологическая - соответствие тестологическим правилам - отсутствие громоздких формулировок - лаконичные формулировки - подбор дистракторов Фасетная разработка - по одному исходному оригинальному варианту разрабатывается несколько параллельных вариантов - позволяет производить 4 варианта и более из одного оригинального задания разрабатывается фасетный набор заданий Измерительные материалы Кодификатор элементов содержания Кодификатор требований (умений) -за основу были взяты кодификаторы ФИПИ, составленные на основе Обязательного минимума содержания основных образовательных программ и Требований к уровню подготовки выпускников основной и средней (полной) школы. Спецификация Измерительная работа (задания) Ключи (ответы) СПЕЦИФИКАЦИЯ контрольных измерительных материалов для проведения регионального мониторинга 1. Назначение работы 2. Содержание итоговой работы 3. Характеристика структуры и содержания экзаменационной работы Таблица 1. Распределение заданий по частям работы Число заданий Максимальный балл Тип заданий 16 16 Задания с выбором ответа 8 16 Задания с кратким ответом на основе текста 24 32 4. Время выполнения работы 5. Дополнительные материалы и оборудование 6. Система оценивания отдельных заданий и работы в целом 7. План работы План работы №№ задания Код и наименование раздела Код и наименование контролируемого элемента содержания Код (и наименование) контролируемого умения Максимальный бал за выполнение задания 1 6. Эволюция живой природы 6.3. Сходство человека с животными и отличия от них. Биологическая природа и социальная сущность человека. 1.1 2.4 1 2 2. Клетка – живая система 2.2 Строение клетки. Основные части и органоиды клетки, их функции. 1.1 4.5 5.4 1 3 3. Организм – живая система 3.1 Организм – единое целое. Одноклеточные и многоклеточные организмы. Ткани, органы, системы органов многоклеточных животных и растительных организмов. 1.1 4.5 6 2 Обсуждение и использование результатов в разработке - на заседаниях рабочих групп сразу после проведения оценочных мероприятий (веера ответов, решаемость, дистракторный анализ) - на ежегодном региональном семинаре с участием педагогов области, муниципальных координаторов и руководителей ОУ Решаемость Часть 1 Задание Макс. балл Вариант 1 Вариант 2 Вариант Все Всего: 1956 чел. Всего: 1890 чел. Всего: 3846 чел. Получили больше нуля, человек Решаемость задания, % Получили больше нуля, человек Решаемость задания, % Получили больше нуля, человек Решаемость задания, % 1 1 1209 61,81 1178 62,33 2387 62,06 2 1 1073 54,86 1119 59,21 2192 56,99 3 1 1666 85,17 1658 87,72 3324 86,43 4 1 1121 57,31 1047 55,4 2168 56,37 5 1 1388 70,96 1370 72,49 2758 71,71 6 1 1515 77,45 1454 76,93 2969 77,2 7 1 1648 84,25 1594 84,34 3242 84,3 Веер ответов Часть Задание 1 1 (2) 2 20 (2) Ответ Балл за ответ Кол-во чел. 1 1 1317 2 0 298 3 0 195 4 0 122 холодный 2 1433 прохладный 2 71 0 65 холодны 2 1 холодныйпрохладный 2 1 горячий 0 16 холодрый 2 1 Спасибо за внимание Булатова Устинья Анатольевна кандидат биологических наук, старший научный сотрудник ЦОКО ТОИПКРО ust@ege.tomsk.ru 8 (38 22) 42 01 65 rtc.imerae@gmail.com WWW.RTC-EDU.RU