Федеральный институт развития образования Центр профессионального образования Педагогические измерительные материалы для оценивания компетенций: проблемы составления кодификаторов и выбора формы тестовых заданий Дудырев Федор Феликсович dudyrev.fedor@yandex.ru «В настоящее время до сих пор нет однозначного ответа на вопрос о методологии оценивания компетенций и результатов обучения студентов в соответствии с требованиями ФГОС, отсутствует единство взглядов относительно разработки педагогических измерительных материалов для оценивания компетенций в рамках требований ФГОС ВПО». Резолюция III Всероссийской научно-практической конференции «Оценка компетенций и результатов обучения студентов в соответствии с требованиями ФГОС», 29-30 марта 2012, РЭУ им. Г.В. Плеханова Функции педагогических измерительных материалов 1. Обеспечение текущего контроля успеваемости и промежуточной аттестации п. 8.1 ФГОС ВПО: Высшее учебное заведение обязано обеспечивать гарантию качества подготовки, в т.ч. путем… разработки объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников п. 8.4 ФГОС ВПО: Для аттестации обучающихся на соответствие их персональных достижений поэтапным требованиям соответствующей ООП (текущий контроль успеваемости и промежуточная аттестация) создаются фонды оценочных средств, включающие типовые задания, контрольные работы, тесты и методы контроля, позволяющие оценить знания, умения и уровень приобретенных компетенций. Фонды оценочных средств разрабатываются и утверждаются вузом. Функции педагогических измерительных материалов 2. Установление соответствия содержания и качества подготовки обучающихся и выпускников ФГОС в рамках государственной аккредитации п. 4: При осуществлении государственной аккредитации организации проводится аккредитационная экспертиза следующих видов: а) экспертиза соответствия содержания и качества подготовки обучающихся и выпускников организации по заявленным для государственной аккредитации образовательным программам федеральным государственным образовательным стандартам или федеральным государственным требованиям. п. 8 Порядок разработки аккредитационных педагогических измерительных материалов устанавливается Федеральной службой по надзору в сфере образования и науки. Положение о государственной аккредитации образовательных учреждений и научных организаций (утв. пост. Правительства РФ от 21 марта 2011 г. № 184) Функции педагогических измерительных материалов 3. Установление соответствия содержания и (или) качества подготовки обучающихся и выпускников ФГОС в рамках государственного контроля качества образования п. 8: При осуществлении государственного контроля качества образования предметом плановых и внеплановых проверок является соответствие содержания и (или) качества подготовки обучающихся и выпускников организаций требованиям федеральных государственных образовательных стандартов или федеральным государственным требованиям. п. 10: В ходе проверки проводятся следующие мероприятия: в) экспертиза качества освоения обучающимися образовательных программ (при проведении выездных проверок). Положение о государственном контроле (надзоре) в сфере образования (утв. пост. Правительства РФ от 11 марта 2011 г. № 164) Функции педагогических измерительных материалов 4. Введение к 2017 г. ЕГЭ для бакалавров и специалистов Дальнейшее развитие получит стандартизованное тестирование для оценки качества освоения выпускниками образовательных программ, результаты которого должны учитываться в рейтингах образовательных учреждений. Планируется введение стандартизованного экзамена по разным предметам для выпускников бакалавриата и специалитета, который будет способствовать мобильности студентов внутри страны и станет индикатором качества подготовки бакалавров в вузе. «Стратегия инновационного развития Российской Федерации на период до 2020 года» (утв. распоряжением Правительства РФ от 8 декабря 2011 г. № 2227-р). Функции педагогических измерительных материалов 5. Формирование Общероссийской системы оценки качества образования Создание системы сбора и анализа информации об индивидуальных образовательных достижениях, обеспечивающих как выбор образовательных услуг их потребителями, так и корректировку содержания и технологий образования Российская Федерация будет на регулярной основе участвовать не менее чем в 7 международных сопоставительных исследованиях качества образования; Формирование культуры оценки качества образования через повышение квалификации кадров системы образования в области педагогических измерений, анализа и использования результатов оценочных процедур Подпрограмма 3 «Развитие системы оценки качества образования и информационной прозрачности системы образования» государственной программы Российской Федерации «Развитие образования» на 2013 – 2020 гг. Этапы разработки педагогических измерительных материалов Разработка общей структуры ПИМ Определение целей измерения Формулирование перечня оцениваемых компетенций и их группировка Описание признаков проявления компетенций (операционализация) Определение подхода к созданию ПИМ и интерпретации результатов измерения Определение содержания ПИМ и разработка его спецификации Планирование и разработка заданий Разработка оценочных рубрик Отбор заданий и их расположение в структуре измерительных материалов Проведение экспертного анализа качества измерительных материалов Экспертиза формы заданий и оценочных рубрик Переработка содержания и форм заданий по результатам экспертизы Апробация измерительных материалов Отбор специалистов и разработка инструкций Проведение апробационного тестирования Проведение чистки ПИМ и улучшение его характеристик (оптимизации трудности заданий, повышение их валидности и т.д. Модель педагогических измерительных материалов результаты образования знания, умения, общие и профессиональные компетенции техника измерения (формы заданий) содержание ПИМ (область профессиональной деятельности) Проблемы, связанные с определением содержания ПИМ профессионального образования 1. В отличие от ФГОС среднего (полного) общего образования, ФГОС НПО, СПО и ВПО не содержат обязательного минимума содержания основных образовательных программ. Перечень элементов содержания, проверяемых заданиями ПИМ, не может быть определен на основе ФГОС и должен устанавливаться на основе содержания примерных образовательных программ и (или) профессиональных стандартов. Проблемы, связанные с определением содержания ПИМ профессионального образования 2. Значительная диверсификация предметного содержания во ФГОС профессионального образования требует разработки ПИМ по 400 дисциплинам ГСЭ, математического и естественнонаучного, профессионального циклов (вместо 14 дисциплин в рамках ЕГЭ) Общее образование НПО, СПО, ВПО Ведущий вид деятельности Учебная деятельность Профессиональная деятельность Предмет оценивания Учебные умения и навыки, обобщенные способы учебной, познавательной, коммуникативной, практической, творческой деятельности Общие (общекультурные) и профессиональные компетенции, знания, умения, навыки 14 400 Дидактические единицы Проблемы, связанные с определением содержания ПИМ профессионального образования 3. Ограниченность дисциплинарного подхода при разработке ПИМ профессионального образования Все общие (общекультурные) и ряд профессиональных компетенций, умений и навыков формируются в результате прохождения ООП в целом или в процессе освоения нескольких учебных дисциплин (практик). Отсюда необходимость использования при формировании компетентностных ПИМ содержания, относящегося к разным предметным областям. Проблемы связанные с формированием перечня оцениваемых компетенций и их группировкой 1. Дробность результатов образования, подлежащих оцениванию Отдельные ФГОС ВПО включают до 70 профессиональных компетенций. Отсюда необходимость: - группировки (кластеризации) компетенций и разработки ПИМ, обеспечивающих оценку сформированности групп компетенций - иерархизации компетенций и разработки ПИМ, обеспечивающих оценку «конечных» компетенций. Проблемы связанные с формированием перечня оцениваемых компетенций и их группировкой 2. Необходимость выделения показателей (наблюдаемых признаков) проявления компетенции требует декомпозиции профессиональной деятельности, выделения отдельных ее этапов (процедур) и типовых задач, решаемых специалистом. Выделение признаков (операционализация) профессиональных компетенций Формулировка ФГОС ВПО 1. Владение навыками технико-экономического анализа, умение рассчитывать основные техникоэкономические показатели деятельности подразделения (организации) Виды экономических расчетов 1.1 Основной капитал и производственные мощности 1.2 Оборотные средства 1.3 Оплата труда 1.4 Издержки производства и обращения 1.5 Ценообразование 1.6 Прибыль и рентабельность Выделение признаков (операционализация) профессиональных компетенций Виды экономических расчетов 1.1 Основной капитал и производственные мощности Типовые задачи 1.1.1 Расчет стоимости основных фондов 1.1.2 Расчет фондоотдачи, фондовооруженности, фондоемкости предприятия 1.1.3 Расчет коэффициентов выбытия, замены, обновления 1.1.4 Расчет производственной мощности 1.1.5 Расчет коэффициента загрузки оборудования 1.1.6 ………………………….. Проблемы, связанные с выбором формы измерительных материалов 1. Межпредметный характер общих (общекультурных) и части профессиональных компетенций, умений и навыков требует использования гетерогенных и интегративных ПИМ (в отличие от гомогенных, используемых в ЕГЭ). Проблемы, связанные с выбором формы измерительных материалов 2. Оценка образовательных достижений по видам деятельности, относящихся к высоким квалификационным уровням (проектирование, научное исследование, экспертиза, принятие управленческих решений и т.д.), не может осуществляться на основе измерительных материалов традиционной формы (задания с множественным выбором, задания с конструируемым ответом, задания на установление соответствия, задания на установление правильной последовательности). Спасибо за внимание!