Критерии результативности деятельности ОЭП и оценки качества инновационной деятельности Автор презентации: Матина Г.О., доцент кафедры управления и экономики образования СПб АППО, к.психол.наук, galmatina@yandex.ru Что понимать под критериями? • Критерий - признак, на основании которого производится оценка, определение или классификация чего либо; мерило суждения, оценки. • Критерии оценки - это письменные нормативы того, как должна выполняться та или иная работа - норматив, предписание. • Критерии – динамические, конвенциональные нормы, позволяющие давать разноаспектную оценку – институционально-конвенциональные нормы. • Критерии оценки объектов и явлений • Критерии есть модель желаемого состояния, достижения целей – образ результата • Критерии могут выступать как основания для анализа или самоанализа деятельности (параметры анализа) • Критерии необходимы для эмпирической (относительной, динамической, экспертной) оценки уровня и степени анализируемого явления с целью принятия управленческих решений, стимулирования, объективации результатов и достижений Виды критериев при оценке качества • Критерии пригодности (необходимость чегото для решения проблемы или удовлетворения потребности, полезность) • Критерии оптимальности (соответствие необходимым требованиям для выполнения своего предназначения, пригодности) • Критерии превосходства (определение высших форм проявления качества) Виды критериев Глобальные Локальные мера оценки качества функционирования системы с позиции интересов надсистемы - системы верхнего уровня мера, характеризующая оптимальность функционирования рассматриваемой системы с позиций установленных для нее показателей Методы критериальной оценки • Метод аналогичных сопоставлений основан на сравнении параметров (критериев) качества оцениваемой работы и ее результатов с аналогичными. • Метод сопоставления запланированных и реальных результатов основан на сравнении плановых показателей с практически достигнутыми в результате реализации. • Метод анализа экспериментальных результатов – сравнение прошлых результатов и полученных в процессе эксперимента. • Метод нормативных сопоставлений – сравнение относительно стандартизированной или динамической нормы. О регулировании инновационной деятельности в системе образования Санкт-Петербурга, распоряжение КО СПб № 864р от 19.05.2010 3.2. Требования к качеству продукции, представляемой ОУ - экспериментальной площадкой: - соответствие потребностям развития образовательной системы Санкт-Петербурга; - новизна, достаточная степень детализации, практическая значимость для различных категорий педагогических работников (администрация, педагоги), технологичность, разноплановость (для подготовки педагогических кадров к нововведениям, для организации учебного процесса, внеурочной деятельности, работы с родителями учащихся и др.), востребованность, возможность использования в массовой практике. Качество инновационной деятельности Степень соответствия инновационн ой деятельности институцион альным нормам и правилам Качество содержания ИД, ОЭР Качество организации , используемых ресурсов и технологий Качество результатов Качество анализа процесса и результата (качество аналитиче ской деятельно сти) Степень соответствия инновационной деятельности институциональным нормам и правилам (п.3.1 Положения…) • Аналитическая справка о результатах инновационной деятельности по форме, утвержденной распоряжением КО; • материалы, указанные в п. IV, V проекта ОЭР (продукты ИД) • научно-методические материалы, разработанные в ходе эксперимента; • копии методических публикаций по теме эксперимента (методических пособий и рекомендаций, статей по теме исследования в методических журналах; материалов конференций, на которых представлялись результаты эксперимента, и др.); • статистические данные педагогической диагностики, подтверждающие положительную динамику результатов образовательной деятельности по итогам внедрения педагогического новшества в практику работы ОУ; • аналитические материалы, подтверждающие положительный социальный эффект нововведения (увеличение доли образовательных услуг, включая платные; признание значимости нововведения родителями, учащимися, педагогами и др.). Критерии и показатели 1. Степень соответствия материалов формальным требованиям Наличие всех отчетных материалов, перечисленных в Положении Соответствие заявленных в начале эксперимента материалов итоговым, предоставляемым как отчетные 2. Качество организации ИД и результатов на основе объемных показателей Масштабность изменений Интенсивность инновационной деятельности Наличие положительной динамики заявленных изменений Качество содержания Актуальность опыта Востребованность и значимость ИД для систем разного уровня Степень новизны Ясность и полнота изложения основной идеи и целесообразности проводимых изменений Концептуальность Системность описания Яркость, оригинальность педагогической идеи, нестандартность решения Возможность использования в практике образовательных учреждений (организаций) Качество организации ОЭР, используемых ресурсов и технологий Качество организационной составляющей Качество технологической составляющей Качество ресурсной составляющей Целесообразность планируемых действий Наличие описания педагогических, образовательных, управленческих технологий деятельности как механизмов инновационной деятельности Необходимость и достаточность привлекаемых ресурсов Последовательность и взаимосвязанность действий Разноуровневость организационных действий Обоснованность применения заявленных технологий Полнота (пошаговость) описания технологической составляющей Обоснованность использования ресурсов для организации ОЭР, ИД Наличие оценки влияния ресурсной составляющей на эффективность организации деятельности Оценка качества управления как фактора, влияющего на результат ИД (обобщенность анализа) • Значимость и обоснованность изменений в образовательной деятельности для решения конкретных проблем • Качество ресурсного обеспечения ИД • Универсальность, воспроизводимость (технологичность) решений • Качество анализа инновационной деятельности (замысел, процесс организации, мониторинг, результаты) Качество результатов Соответствие планируемых результатов полученным в процессе ОЭР, ИД Убедительность и значимость представленных результатов Положительная динамика тех образовательных результатов, на получение которых направлена ИД Весомость социально-педагогических эффектов Оценка результатов ИД • Качество образовательных достижений учащихся как результат ИД • Качество профессиональных достижений педагогов • Достижения образовательной организации (результаты участия в конкурсных, грантовых, научно-методических мероприятиях и программах) • Результативность и продуктивность реализации инновационных программ и проектов (соответствие заявленным целям, критериям и показателям оценки, подтвержденные внешней экспертизой, наличие инновационных продуктов) • Конкурентноспособность и социальное признание достижений образовательной организации (профессиональная и общественная экспертиза) Качество аналитической деятельности Полнота и глубина анализа результативности и эффективности ОЭР, ИД Структурированность и последовательность анализа Понимание и анализ причинно-следственных связей, факторов, условий Уровень обобщения и представления опыта Концептуальные, критериальные, логические основания для анализа и выводов Наличие критериальной и прогностической оценки Аналитическая справка Насколько полно представлено описание опыта (этапа ОЭР)? Соответствуют ли организационные действия целям и задачам деятельности? Достаточно ли отражены управленческие действия, вопросы ресурсного обеспечения, научно-методической поддержки и взаимодействия субъектов деятельности? Насколько значимы, обоснованы и обобщены результаты? Представлена ли оценка значимости результатов и перспектив развития ИД? Инновационные продукты Актуальность и востребованность ИП Степень инновационности Полнота и технологичность описания ИП Возможность распространения и внедрения в ОУ СанктПетербурга Влияние разработанного продукта на образовательную практику Общие показатели оценки эффективности инновационной деятельности (конференция 20.06.13 СПб АППО) Показатели Уровень (баллы) Уровень участия в инновационной деятельности, ведение экспериментальной работы (наличие статуса инновационной площадки) Организация и проведение на базе образовательного учреждения семинаров, совещаний, конференций и т.п. (программы проведенных мероприятий и список участников) Победы школы в конкурсах инновационной деятельности (подтверждение дипломами победителей и лауреатов) Наличие научно-методических публикаций ОУ по инновационной работе Наличие статуса с программой на районном уровне – 1 балл; на городском уровне – 2 балла; на федеральном уровне – 3 На районном уровне – 1 балл; на городском уровне – 2 балла; на федеральном уровне – 3 балла Результативность инновационной работы ОУ (ее вклад в развитие федеральной, городской и районной систем образования) Личное участие руководителя образовательного учреждения в профессиональных конкурсах, грантах, проектах, научно-практических конференциях, научной деятельности и их результативность Грамоты о признании заслуг ОУ на районном уровне – 1 балл; на городском уровне – 2 балла; на федеральном уровне – 3 балла На районном уровне – 1 балл; на городском уровне – 2 балла; на федеральном уровне – 3 балла На районном уровне – 1 балл; на городском уровне – 2 балла; на федеральном уровне – 3 балла На районном уровне – 1 балл; на городском уровне – 2 балла; на федеральном уровне – 3 балла Дополнительные качественные показатели • Вариативность реализуемых образовательных программ, инновационных программ и проектов • Качество сетевого взаимодействия (наличие сетевых программ, охват учащихся сетевыми программами, наличие совместно разработанных сетевых проектов) • Обобщенность опыта в виде инновационных разработок (инновационных продуктов) • Качество анализа результативности инновационной деятельности • Тиражируемость , распространение инновационных разработок Проблемы оценки эффективности • Критерии и показатели повторяют задачи деятельности и являются избыточными, излишне детализированными по отношению к оцениваемым явлениям • Предлагаемые критерии и показатели часто неоднозначны, то есть не имеют однозначного истолкования • Отсутствие системы показателей (россыпь) не позволяет отделять главное от второстепенного • Не все можно измерить (проблема единиц измерения и ценностей, разработанности процедур оценивания) Спасибо за внимание