Как оценить удовлетворённость качеством образования? Горшков Владимир Юрьевич, кандидат педагогических наук, главный специалист (психолог) государственного учреждения Ярославской области «Центр оценки и контроля качества образования» Удовлетворённость образованием и связанные с ней понятия Простота понятия «удовлетворённость образованием» обучающихся и их родителей явление кажущееся. На первый взгляд: спроси ученика — и он ответит. Но вот про что он ответит? И можно ли по его ответу будет судить о его удовлетворённости образованием? В чём сложность? Во-первых, в том, что для разных учащихся важными являются различные стороны образования. Для одних это глубокие знания по учебным предметам, другие делают акцент на переживания в связи с получением знаний, третьи больше обращают внимание на отношения с учителями и сверстниками, четвертые имеют в виду все перечисленное и т.д. В результате данное понятие приобретает неопределённый характер, поэтому сравнивать удовлетворённость образованием двух или нескольких субъектов — обучающихся, образовательных учреждений, муниципальных районов — будет некорректно. Во-вторых, само понятие «удовлетворённость» достаточно сложное. Однако подробное его теоретическое рассмотрение и различение с такими понятиями, как: отношение, оценка, аттитюд — увело бы нас далеко в сторону. Для наших целей достаточно привести рабочее определение удовлетворённости образованием, которого мы и будем придерживаться. Тогда правильнее будет оценивать не удовлетворённость образованием в целом, а удовлетворённость отдельными аспектами образования как в части образовательных результатов, так и в части образовательного процесса и его условий. Тогда удовлетворённость образованием в целом можно понимать как сумму (агрегацию) удовлетворённостей по каждому из аспектов оценивания. Процесс оценки и выводов об удовлетворённости чем-либо включает установление степени соответствия внутреннему эталону. На основании этого и делается вывод об удовлетворённости или неудовлетворённости. Внутренний эталон — это запрос обучающихся, «предъявляемый» образовательному учреждению. Его также можно назвать ожиданиями. Но как заглянуть «внутрь человека»? Нами сделана попытка внутренний эталон перевести во внешний план и учесть в оценке удовлетворённости образованием. Оценка и измерение удовлетворённости Имея в виду все вышеизложенное, нами был разработан инструмент (анкета) для измерения удовлетворённости. В настоящее время она используется для оценки и измерения удовлетворённости в общеобразовательных учреждениях, а также в учреждениях начального профессионального и среднего профессионального образования. Ключевой результат, который может быть получен в результате проведения исследований по данной анкете, это обнаружение величины неудовлетворённого запроса. Под удовлетворённостью образованием мы понимаем эмоционально-оценочное отношение учащегося к образовательным результатам, условиям и процессу предоставления образовательной услуги. Почему мы выбрали именно такие параметры? Для общеобразовательных учреждений большинство параметров были определены на основе социологических опросов, по результатам фокус-групп старшеклассников, студентов вузов, интервью с ними. Оценки проводятся уже несколько лет, некоторые параметры корректируются по результатам анализа предыдущих опросов. В число оцениваемых параметров было включено несколько таких, которые обучающиеся и выпускники не отметили как важные, но которые являются таковыми по нашим представлениям. Удовлетворённость можно измерить как разницу между запросом (ожиданием) по данному параметру (оценкой его «важности») и оценкой своей удовлетворённости по нему. В настоящее время в методике мы предлагаем для оценки обучающихся ООУ 13 параметров, шесть из которых отражают образовательные результаты, семь — образовательный процесс и его условия. Список параметров для оценки обучающихся ООУ 1. Знания, умения, навыки по преподаваемым в школе предметам 2. Умение общаться с разными людьми и работать с разнообразными текстами (коммуникативная компетентность) 3. Постоянная забота работников школы о здоровье обучающихся 4. Отношение педагогов к обучающимся 5. Построение обучения с учётом интересов и особенностей каждого ученика (индивидуализация образования) 6. Обеспечение личной безопасности обучающихся в школе 7. Помощь обучающимся в осознанном выборе будущей профессии 8. Понимание своих прав и умение отстаивать их в разных ситуациях 9. Умение организовывать свою деятельность 10. Устойчивые личностные черты: обязательность, добросовестность, аккуратность и др. 11. Чёткая организация учебных занятий и школьного досуга 12. Отсутствие вражды между одноклассниками и другими учениками школы 13. Возможность пользования школьными компьютерами и другой техникой во внеурочное время, наличие богатой библиотеки К предложенному обучающимися и выпускниками списку параметров мы добавили заботу о здоровье (параметр 3), индивидуализацию образования (параметр 5) и обеспечение безопасности (параметр 6). По результатам опроса строится график соотношения запроса и удовлетворённости по одним и тем же параметрам. На примере измерения удовлетворённости в реальной школе он выглядит следующим образом (см. с. 20). На графике по горизонтальной оси расположены параметры (под теми же номерами из списка, приведённого выше), по вертикальной — ранги значимости тех или иных параметров как по удовлетворённости, так и по запросу (ожиданиям). Величина удовлетворённости по каждому параметру определяется как разница рангов запроса (ожиданий) и удовлетворённости. Например, «знания, умения, навыки по преподаваемым в школе предметам», по мнению обучающихся, является самым важным из запросов (ранг № 1), разница рангов (-3), а удовлетворённость по этому параметру на четвертом месте (ранг № 4); ранг запроса такого параметра, как «обеспечение безопасности учащихся», на последнем месте (ранг № 12,5), а удовлетворённость по этому параметру на третьем месте (ранг № 3), разница рангов (+9,5). Рис. 1. Соотношение запроса (ожиданий) и удовлетворённости Удовлетворённость образованием в целом определяется как суммарная разница рангов всех параметров. В данном случае суммарная разница этой школы равна 21, в целом по региону — 26,3. Данное образовательное учреждение входит в число 20% лучших образовательных учреждений региона по удовлетворённости учащихся образованием. На графике это видно как расхождение линий. Удовлетворённость тем выше, чем ближе друг к другу будут линии, отражающие запросы и оценку удовлетворённости. В идеальном случае линии должны совпасть, слиться в одну. Разница может быть одинаковой или почти одинаковой, однако величина удовлетворённости различной. Например, в нашем случае разница по первому (приобретаемые в образовательном учреждении знания, умения и навыки) и двенадцатому параметру (отношения в ученических коллективах) одинаковая — (3 ранга). Запрос же (а следовательно, значимость) первого параметра является самым важным, а двенадцатого — на 6 месте по значимости. Логично предположить, что приобретение знаний, умений и навыков будет самым главным из запросов учащихся к образовательному учреждению, забота о здоровье должна уступать по важности приобретению знания. Чтобы учесть значимость параметра в подсчетах удовлетворённости, необходимо вводить дополнительные коэффициенты. Это можно делать экспертно, приписывая каждому параметру тот или иной коэффициент. Второй способ — уменьшение коэффициента в соответствии с уменьшением значимости запроса. Например, первому по запросу параметру приписывается коэффициент N, второму N-1, третьему N-2 и так далее. Однако использование коэффициента значимости ещё не до конца объективирует оценку удовлетворённости. Мы используем ранговую (порядковую) шкалу, которая «огрубляет» реальную оценку. Представим такую ситуацию: в спринтерском забеге на 100 метров победитель обогнал второго бегуна на 0,5 метра, второй третьего — на 10 метров, а третий и четвертый финишировали почти одновременно, и кто какое место занял, решил фотофиниш, то есть третий опередил четвёртого на величину, для глаза незаметную. Бегун, пришедший к финишу третьим, получит бронзовую медаль, а четвёртый никакой медали не получит. Но разница между бронзовой медалью и четвёртым местом ничтожна, а между серебряной и бронзовой для спринтерской стометровки — пропасть. На гистограмме на другом реальном примере в условных единицах представлена иллюстрация описанного применительно к удовлетворённости (данные 2009–2010 года). Рис. 2. Запросы и удовлетворённость по параметрам При не очень большой разнице рангов (-4,5) по первому параметру, разница значений весьма велика. По 14-му параметру разница рангов (-8), а разница значений на гистограмме незначительна. Рис. 3. Неудовлетворённый запрос Для соотнесения разноразмерных или разномасштабных шкал необходимы определённые математические преобразования (преобразование в z-оценки). После их осуществления и с учетом ранее описанных коэффициентов мы и получаем степень (величину) неудовлетворённого запроса. Этот показатель можно назвать общим, или интегральным, индексом удовлетворённости как по каждому параметру образования, так и образованием в целом. В нём учтены все описанные выше факторы, влияющие на величину удовлетворённости. Запрос не удовлетворён по тем параметрам, значение которых выше нуля. Результаты измерения запроса (ожиданий) и удовлетворённости обобщаются каждый год по региону. По тем параметрам, по которым запрос не удовлетворён, разрабатываются и реализуются программы изменения ситуации. Так, в настоящее время разрабатывается система оптимизации помощи обучающимся и выпускникам в профессиональном самоопределении, усиления роли школы в этом процессе. По запросу руководителей школ проводится их консультирование по результатам исследований — от простого информирования о результатах до совместного анализа ситуации и выработки идей её коррекции. Анкета размещена на сайте журнала в сети Интернет по адресу http://obr.direktor.ru © Журнал руководителя управления образованием №1, 2012.