Проект 09.03-002-п-Ф-192
реклама
Проект 09.03-002-п-Ф-192 Научно-исследовательская работа «РАЗРАБОТКА СТРУКТУРЫ И МЕТОДИКИ ФОРМИРОВАНИЯ ЕДИНОГО ФЕДЕРАЛЬНОГО БАНКА ИЗМЕРИТЕЛЬНЫХ МАТЕРИАЛОВ ДЛЯ ПРОЦЕДУР КОНТРОЛЯ И ОЦЕНКИ КАЧЕСТВА ВЫСШЕГО И СРЕДНЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ» проводимая в рамках Задачи 3 Мероприятия 9 Подмероприятия 9.3 Федеральной целевой программы развития образования на 2011-2015 годы Цель проекта Цель проекта - совершенствование процедур оценки качества высшего и среднего профессионального образования путем создания концепции и прототипа единого федерального банка измерительных материалов для комплексного обеспечения процедур оценки качества ВПО и СПО. Задачи проекта 1. 2. 3. 4. 5. 6. 7. 8. Анализ практики использования измерительных материалов для процедур контроля и оценки качества ВПО и СПО на федеральном и региональном уровнях Разработка типовых моделей проведения измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов Разработка типовых спецификаций КИМ для оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов Разработка моделей мониторинга и анализа на федеральном и региональном уровнях результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов Разработка концепции единого федерального банка измерительных материалов для оценки качества ВПО и СПО Разработка прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО Апробация концепции и прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО Доработка концепции и прототипа единого федерального банка измерительных материалов для оценки качества ВПО и СПО. В рамках этапа I.1 анализ практики использования измерительных материалов для процедур контроля и оценки качества ВПО и СПО на федеральном и региональном уровнях • Проанализирована практика использования измерительных материалов для процедур контроля и оценки качества образования на федеральном и региональном уровнях в системе высшего профессионального образования. • Проведен анализ практики использования измерительных материалов для процедур контроля и оценки качества образования на федеральном и региональном уровнях в системе среднего профессионального образования. I.1.1. Анализ практики использования измерительных материалов для процедур контроля и оценки качества образования на федеральном и региональном уровнях в системе высшего профессионального образования. • • • Были проанализированы процедуры контроля и оценки качества образования, проводимые в рамках осуществления государственного контроля качества ВПО на федеральном и региональном уровнях Проведен анализ: • нормативно-правовых аспектов проведения процедур контроля и оценки качества ВПО; • организационно-технологических моделей проведения процедур контроля и оценки качества ВПО; • практики использования контрольных измерительных материалов (КИМ) для проведения процедур контроля и оценки качества ВПО, в том числе, документы, регламентирующие содержание и порядок разработки КИМ, практика разработки КИМ на основе банков заданий; • методики обработки, анализа и мониторинга результатов процедур контроля и оценки качества ВПО; Выделены достоинства и недостатки анализируемых процедур контроля и оценки качества ВПО с учетом особенностей проведения процедур для разных направлений подготовки специалистов ВПО. I.1.2. Анализ практики использования измерительных материалов для процедур контроля и оценки качества образования на федеральном и региональном уровнях в системе среднего профессионального образования. • Проанализированы процедуры контроля и оценки качества образования, проводимые в рамках осуществления государственного контроля качества СПО на федеральном и региональном уровнях • Были проанализированы: • нормативно-правовые аспекты проведения процедур контроля и оценки качества СПО; • организационно-технологические модели проведения процедур контроля и оценки качества ВПО; • практика использования контрольных измерительных материалов (КИМ) для проведения процедур контроля и оценки качества СПО, в том числе, документы, регламентирующие содержание и порядок разработки КИМ, практика разработки КИМ на основе банков заданий; • методики обработки, анализа и мониторинга результатов процедур контроля и оценки качества СПО; • Выделены достоинства и недостатки анализируемых процедур контроля и оценки качества СПО с учетом особенностей проведения процедур для разных направлений подготовки специалистов СПО. В рамках этапа I.2 Разработка типовых моделей проведения измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов В частности были разработаны: • Описание научно-методических подходов к оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов • Типовые регламенты процедур оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов. I.2.1. Разработка научно-методических подходов к оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов. В ходе проведения исследований были разработаны научно-методические подходы к оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов. Описание каждого из подходов включает: • описание категорий участников процедур оценки качества ВПО и СПО (не менее 3 категорий – испытуемые, организаторы в аудитории, организаторы процедуры в целом); • описание порядка действий участников процедур оценки качества ВПО и СПО для каждой из категорий участников; • описание общего порядка проведения процедур оценки качества ВПО и СПО; • описание технологии проведения процедур оценки качества ВПО и СПО. Было описано не менее 3 различных регламентов – для оценки состояния системы образования, для оценки учреждения ВПО или СПО, для оценки индивидуальных достижений обучающихся. Типовые регламенты оценки качества ВПО и СПО были разработаны в соответствии с научно-методическими подходами к оценке качества ВПО и СПО, разработанными в соответствии с п. I.2.1. Типовые регламенты оценки качества ВПО и СПО разработаны в соответствии с законодательством Российской Федерации, в том числе, в соответствии с нормативными актами. I.2.2. Разработка типовых регламентов процедур оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов В разделе представлены 3 типовых регламента процедур оценки качества ВПО и СПО, которые были разработаны в соответствии с научно-методическими подходами к оценке качества ВПО и СПО, разработанными в соответствии с разделом I.2.1. Каждый типовой регламент процедур оценки качества ВПО и СПО включает: • описание категорий участников процедур оценки качества ВПО и СПО, в том числе испытуемых, организаторов в аудитории, организаторов процедуры в целом; • описание порядка действий участников процедур оценки качества ВПО и СПО для каждой из категорий участников; • описание общего порядка проведения процедур оценки качества ВПО и СПО; • описание технологии проведения процедур оценки качества ВПО и СПО. В рамках этапа I.3 Разработка типовых структур КИМ для оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов Были разработаны: • типовые кодификаторы КИМ для оценки качества ВПО и СПО • типовые спецификации КИМ для оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов I.3.1. Разработка типовых кодификаторов КИМ для оценки качества ВПО и СПО • Представленные в документе типовые кодификаторы сформированы на основе требований Федеральных государственных образовательных стандартов высшего и среднего профессионального образования и могут служить основой разработки спецификаций КИМ для оценки качества среднего и высшего профессионального образования. • Всего представлены материалы для разработки спецификаций КИМ по 10 дисциплинам высшего профессионального образования и 8 дисциплинам среднего профессионального образования. I.3.2. Разработка типовых спецификаций КИМ для оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов В разделе представлены типовые спецификации для разработки КИМ по 10 дисциплинам высшего профессионального образования и 8 дисциплинам среднего профессионального образования. Они были подготовлены на основе разработанных типовых кодификаторов элементов содержания и требований к результатам освоения соответствующих дисциплин I.4 Разработка моделей мониторинга и анализа на федеральном и региональном уровнях результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов В рамках исследования разработаны: • алгоритмы обработки и представления результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов; • регламенты мониторинга и анализа результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов. I.4.1. Разработка алгоритмов обработки и представления результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов • В рамках данного этапа были описаны алгоритмы обработки результатов, формы статистических отчетов для мониторинга и анализа результатов. • Описаны 4 группы форм статистических отчетов: • для оценки состояния системы образования, • для оценки учреждения ВПО или СПО, • для оценки индивидуальных достижений обучающихся, • для использования при разработке КИМ на основе единого федерального банка измерительных материалов). • Разработаны модели представления форм статистики на региональном и федеральном уровнях, позволяющая автономно проводить анализ и мониторинг результатов группам пользователей, описанным в п. I.2.1. • В формах статистических отчетов выделены оцениваемые параметры, описаны типовые критерии оценивания в соответствии с подходами к интерпретации результатов процедур оценки качества ВПО и СПО, описанными в п. I.2.1. • Информация о результатах оценивания визуализирована при представлении форм статистики. • Представлено более 30 статистических форм. I.4.2.Разработка регламентов мониторинга и анализа результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов • • • Представлены четыре типовых регламента мониторинга и анализа результатов измерительных процедур по оценке качества образования на основе единого федерального банка измерительных материалов: • для оценки состояния системы образования, • для оценки образовательных учреждений, • для оценки индивидуальных достижений обучающихся, • для формирования КИМ на основе единого федерального банка измерительных материалов. Регламенты разработаны с учетом алгоритмов обработки и представления результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов. Каждый регламент включает: • общие положения, в том числе описание целей и задач анализа и мониторинга результатов измерительных процедур по оценке качества образования на основе единого федерального банка измерительных материалов; • описание групп пользователей, осуществляющих анализ и мониторинг результатов; • описание порядка доступа групп пользователей к информационным ресурсам; • рекомендации для групп пользователей. В рамках этапа I.5 Разработка концепции единого федерального банка измерительных материалов для оценки качества ВПО и СПО Разработаны: • методика использования единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО; • техническое задание на разработку единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО. I.5.1. Разработка методики использования единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО Представлена методика использования единого федерального банка измерительных материалов для процедур контроля и оценки качества образования. Она была разработана в соответствии с: • описанием научно-методических подходов к оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов; • описанием регламентов процедур оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов; • описанием типовых структур проверяемых элементов для оценки качества обучающихся в ОУ ВПО и СПО; • описанием типовых спецификаций КИМ для оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов; • описанием алгоритмов обработки результатов, форм статистических отчетов для мониторинга и анализа результатов; • описанием регламентов мониторинга и анализа результатов измерительных процедур по оценке качества образования на основе единого федерального банка измерительных материалов. Описание методики использования единого федерального банка измерительных материалов для контроля и оценки качества образования включает: • описание групп пользователей, работающих с единым федеральным банком; • описание основных операций, выполняемых с использованием единого федерального банка, в том числе, операций хранения базы измерительных материалов, компоновки КИМ, обеспечения проведения процедур оценки качества образования, хранения, анализа и мониторинга результатов процедур оценки качества образования; • описание информационных потоков и типов данных, используемых при выполнении основных операций; • описание технических требований к оборудованию и каналам связи при использовании единого федерального банка измерительных материалов. I.5.2. Разработка технического задания на разработку единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО • Техническое задание на разработку единого федерального банка измерительных материалов для процедур контроля и оценки качества образования было разработано в соответствии с концепцией, разработанной в соответствии с п. I.5.1. и требованиями ГОСТ 34.602-89. Проектная документация разрабатывалась с учетом требований РД 50-34.698-90. • Техническое задание описывает программный комплекс, реализующий все элементы методики использования единого федерального банка, разработанной в соответствии с п. I.5.1. • В состав Технического задания в развернутом виде включены основные аспекты разработки единого федерального банка измерительных материалов для процедур контроля и оценки качества образования, в т.ч. требования к функциональным характеристикам, техническим средствам, требования к совместимости и другие требования. • Техническое задание на разработку единого федерального банка измерительных материалов для процедур контроля и оценки качества образования было направлено на утверждение в Рособрнадзор В рамках этапа I.6 Разработка прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО Разработаны: • прототип программного комплекса единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО • контент прототипа программного комплекса единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО I.6.1.Разработка прототипа программного комплекса единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО • • В автоматизированной системе единого федерального банка измерительных материалов для процедур контроля и оценки качества образования предусмотрены следующие функции: • хранение отдельных тестовых заданий и сопроводительных материалов к ним – ответов и решений, критериев оценивания, текстовых документов и графических элементов – в привязке к пунктам структурированного перечня (кодификатора); • хранение текстовых и числовых параметров каждого тестового задания (тестологических характеристик); • компоновка комплектов тестовых заданий (экзаменационных вариантов) в соответствии со спецификацией; • печать экзаменационных вариантов; • автоматизированное обновление тестологических характеристик тестовых заданий на основании данных о результатах тестирования; • поиск тестовых заданий по пунктам кодификатора и тестологическим характеристикам. Документация на автоматизированную систему единого федерального банка измерительных материалов для процедур контроля и оценки качества образования разработана в соответствии с перечнем наименований документов, определенном в техническом задании и требованиями РД 5034.698-90 и ГОСТ 34.201. 1.6.2. Разработка контента прототипа программного комплекса единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО • Контент (наполнение) прототипа программного комплекса единого федерального банка измерительных материалов представляет собой набор отдельных заданий и сопроводительных материалов к ним: ответы и решения, критерии оценивания; • Измерительные материалы равномерно распределены по разделам кодификаторов (п. I.3.1) и позволяет компоновку не менее 4 экзаменационных вариантов в соответствии с каждой из 6 типовых спецификаций, разработанных в соответствии с п. I.3.2. I.7 Апробация концепции и прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО • Разработка инструктивно-методических материалов и компоновка КИМ для проведения апробации • Проведение процедур оценки качества ВПО и СПО в апробационном режиме I.7.1. Разработка инструктивно-методических материалов и компоновка КИМ для проведения апробации • КИМ сформированы с использованием механизмов компоновки экзаменационных вариантов, обеспечиваемых прототипом программного комплекса единого федерального банка; • сформировано по 4 варианта КИМ в соответствии с каждой из 6 типовых спецификаций (всего 24 варианта КИМ); • составлен план апробации и инструктивные материалы для всех участников апробации, включающие: цели апробации; перечень функций и компонентов единого федерального банка измерительных материалов для процедур контроля и оценки качества образования, подлежащих апробации; условия проведения апробации; порядок действий пользователей единого федерального банка измерительных материалов для процедур контроля и оценки качества образования, участвующих в апробации; порядок регистрации результатов апробации и выявленных недостатков; указание о форме представления результатов апробации. I.7.2. Проведение процедур оценки качества ВПО и СПО в апробационном режиме В апробации концепции и прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО приняли участие образовательные учреждения высшего и среднего профессионального образования из 10 субъектов РФ(Краснодарский край, Красноярский край, Курганская область, Москва, Новосибирская область, Омская область, Пермский край, Ростовская область, Самарская область, Томская область; В том числе: 11 учреждений ВПО и 12 учреждений СПО. Общее количество участников – 413 в системе ВПО и 363 в системе СПО. На основе анализа замечаний и предложений, полученных от учреждений ВПО и СПО, участвовавших в апробации, составлен перечень предложений по доработке прототипа ЕФБИМ и методики использования ЕФБИМ, включенные в настоящий перечень. Заключительный этап I.8 Доработка концепции и прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО Предусматривал доработку: • методики использования единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО; • прототипа единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО. I.8.1. Доработка методики использования единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО По результатам апробации была проведена доработка методики использования единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО. I.8.2. Доработка прототипа единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО По результатам апробации концепции и прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО, проводившейся в субъектах РФ, был составлен перечень предложений по доработке. На основании перечня предложений по доработке была произведена доработка прототипа ЕФБИМ. Изменения коснулись описания функций при использовании ЕФБИМ, в состав которых включено проведение апробации тестовых заданий и вариантов КИМ. Изменения внесены: • в программные коды прототипа ЕФБИМ; • в документацию на прототип ЕФБИМ.
