Анкетирование выпускников о качестве и возможностях

Анкетирование выпускников
о качестве и возможностях
улучшения образовательной
программы
опыт МУНЦ ВШЕК
А.М. Перлов,
arkadiy.perlov@gmail.com
•
•
Цель: попробовать убедить в том, что
«обратная связь» стоит усилий по ее
организации. Какую пользу можно получить
от анкетирования/интервьюирования
выпускников и что стоит учесть при
организации анкетирования.
План:
1. «Механика» анкетирования выпускников (МУНЦ
ВШЕК – 2011).
2. «Было» - «сделали».
1. Потому что результаты анкеты помогли выявить
проблемные места и подсказали направление
изменений.
2. Потому что результаты анкеты помогли настаивать на
необходимости изменений.
«Прагматика» обратной связи
1.«Психологический» уровень.
просто посмотреть на себя и свою образовательную программу со стороны. «Скажите
(студенты) нам, что вы хотите», «Скажите нам, что мы хорошие». «Скажите нам, потому что
нам велели исследовать обратную связь».
2. Инструментальный уровень.
Прагматически есть смысл что-то исследовать, если в зависимости от результатов этих
исследований мы можем что-то поменять. Результаты обратной связи могут стать
инструментом изменений, рычагом для изменения образовательной программы.
Тогда вопрос: «что мы можем (и хотим) поменять?» должен иметь большое значение
для определения содержания анкеты. Надо выяснить мнение студентов (или,
допустим, реальные результаты образовательного процесса) в тех случаях, когда
организаторы программы колеблются: сделать так, сделать сяк или оставить как было.
И восприятие студентами или выпускниками поможет принять решение.
3. Еще одна плоскость: установление коммуникации с анкетируемым.
Допустим, входные анкеты по моим курсам – я не столько собираю информацию, сколько:
а) задаю студенту определенный уровень требовательности и языка;
б) чуть-чуть – сразу вступаю в личные отношения, чтобы потом иметь возможность сказать –
как сказала Маша…,
в) заставляю подумать над проблемами, мою монологическую интерпретацию которых часть
студентов пропустила бы мимо ушей.
Но это установление коммуникации в отношениях с выпускниками, с людьми, с которыми
мы прощаемся, уже не так важно или, по крайней мере, не имеет отношения к
образовательному процессу.
Опыт анкетирования во ВШЕК 2011 –
пожалуй, гибридный
• Когда составлял анкету – скорее, хотел получить данные по
всем параметрам. Что хорошо работает, что не очень, как нас
видят потенциальные абитуриенты, насколько их ожидания
сбываются и т.п.
• Когда анкеты была проведена и результаты получены, они в
первую очередь оказались применимы к следующим полям:
– Кто и зачем к нам приходит. Т.е. маркетинг, реклама. Однако за этим
следует концепция образования.
– Трудности, которые нас беспокоили. Занятость на работе (отвлекающая
от учебы); что мешает писать диссертацию и насколько можно
«насесть» на студентов, чтобы не скинули; понять, что происходит на
стажировке в Германии (и можно ли сделать так, чтобы студенты
работали там над диссертацией);
– Коррекция нестыковок, связанных с тем, что программа
международная. Прежде всего, кредитная система.
– Качество учебных курсов, студенческих нагрузок – модификация
учебного плана в сторону более нужного студентам и предъявляющего
к ним больше требований.
Устройство анкеты
http://www2.rsuh.ru/binary/2627966_57.1363599553.23249.doc //
http://uko.rggu.ru/news.html?id=2627966
I.
Общая часть (примеры вопросов)
2. Откуда Вы про нас узнали и как долго зрели с решением к нам
поступить?
3. Были ли у Вас искушения и поползновения уйти из ВШЕК? …
6. Назовите, если хотите, три главных плюса и три минуса ВШЕК.
–
–
ВШЕК и работа
Образовательный процесс во ВШЕК
11. На какие курсы, если бы была такая возможность, Вы бы выделили
дополнительное время, а от каких считали бы возможным
отказаться вовсе или существенно их сократить?
II. Итоговая аттестация и стажировка
III. Отдельные курсы
–
–
Перечень (21) курсов 2009 – 2011
Вопросы к выбранному Вами курсу
I. Общая часть
1. Помните ли Вы, по каким причинам Вы решили поступать именно во ВШЕК? Был ли у Вас
выбор и у каких альтернативных жизненных и образовательных стратегий ВШЕК
выиграл и почему?
2. Откуда Вы про нас узнали и как долго зрели с решением к нам поступить?
3. Были ли у Вас искушения и поползновения уйти из ВШЕК? Когда и почему, и что в итоге
удержало?
4. В какой мере ВШЕК оправдал возлагавшиеся на него ожидания? Чего не сделал, что дал
Вам того, на что Вы не рассчитывали?
5. Каких знаний или навыков Вам не хватает сейчас, когда Вы закончили ВШЕК (из тех, в
формировании которых, как Вы считаете, мы могли бы принять участие)?
6. Назовите, если хотите, три главных «облома» и три главных бонуса, три плюса и три
минуса ВШЕК. Или сколько и чего хотите :)
ВШЕК и работа
7. Работали ли Вы на момент поступления и зачисления? Меняли ли Вы места работы за
время обучения во ВШЕК; были ли какие-то важные карьерные изменения? Была ли
динамика Вашей работы как-то связана с получаемым образованием? Какой была
структура Вашей занятости? Возникали ли у Вас на работе какие-то трудности из-за того,
что вы учитесь?
8. Мог ли для Вас быть более удобен иной принцип составления расписания (допустим.
учиться по субботам, учиться утром, больший процент самостоятельных заданий и т.д.)?
Насколько совместимы с вашей работой или наоборот, травматичны, были
дополнительные занятия и прочие нарушения запланированного расписания?
9. Можете ли Вы говорить о том, что учеба во ВШЕК уже оказалась каким-либо образом
полезной или вредной для Вашей работы?
10. Что вы думаете о перспективах применения полученного Вами во ВШЕК образования в
развитии Вашей профессиональной карьеры?
Образовательный процесс во ВШЕК
11. На какие курсы, если бы была такая возможность, Вы бы выделили
дополнительное время, а от каких считали бы возможным отказаться вовсе или
существенно их сократить?
12. Насколько скоординированным являлось обучение во ВШЕКе? Казались ли
избыточными или, наоборот, недопродуманными, отсылки к одним и тем же текстам и
смыслам, к другим курсам? Насколько противоречивая или непротиворечивая картина
вырисовывается по итогам обучения, смущало ли то, что преподаватели думают
разные вещи по поводу одних и тех же людей, текстов или событий?
13. Насколько продуманной и удачной была во ВШЕКе система коммуникации?
Понимали ли Вы, чего, кто и когда от Вас хочет, и что Вы советовали бы, чтобы сделать
эту систему более прозрачной для следующих поколений студентов? Что может быть
улучшено в работе деканата и в системе информирования в целом?
14. Насколько справедлива и понятна система кредитов?
15. Насколько жестко, с Вашей точки зрения, преподавателям и администрации
следует настаивать на посещении занятий и обязательности отработок? В каком
учебном курсе понимание соотношения обязательности и свободы ближе всего, с
Вашей точки зрения, к образцовому?
16. Что бы Вы советовали нам изменить:
–
–
–
–
в образовательном процессе,
в системе его обеспечения и методической поддержки,
в рекламе и маркетинге,
в организации вступительных, аттестационных и текущих испытаний и экзаменов?
II. Итоговая аттестация
и стажировка
1. Что Вы думаете по поводу требований, применяемых во ВШЕКе к выпускной квалификационной работе
(диссертации, далее – ВКР)? Можно ли сделать ВКР более полезной для студента?
2. Приносит ли пользу госэкзамен, можно ли сделать его лучше? Если бы система отчетности зависела от Вас, что
Вы считали бы полезным проверить на госэкзамене?
3. Нужна ли курсовая? Когда надо реально требовать ее выполнения? Должны ли темы курсовой, как сейчас,
выбираться самостоятельно, или они должны (относительно) жестко назначаться преподавателями? Должен ли
быть руководителем один из штатных преподавателей ВШЕК или целесообразно, чтобы работу можно было
писать у любого преподавателя?
4. Если хотите, содержательно (но не только оптимистично/комплиментарно) прокомментируйте свою работу с
научным руководителем. Если не можете высказать никаких предложений по улучшению, оставьте этот пункт
незаполненным :)
5. Тот прессинг, который на Вас оказывался в связи с подготовкой ВКР – как в «интенсивных» формах (НИРМ), так и
в «экстенсивных» (курсовая) – было ли это вообще полезно? Что Вы советовали бы изменить?
6. Нужна ли интенсивная научно-педагогическая и научно-исследовательская практика? Что было бы полезно
делать в рамках такой практики?
7. Насколько связаны друг с другом в содержательном плане российская и германская части обучения, нужно ли
заботиться о том, чтобы эти части были теснее связаны друг с другом? Что Вы можете посоветовать в плане
лучшей состыковки этих частей между собой?
8. Почему не получилось наладить работу над магистерской диссертацией в Германии? Что можно было бы
сделать для того, чтобы работа над ВКР шла гораздо более интенсивно и во время стажировки?
9. Насколько (в целом; то, что связано с отдельными курсами, лучше отметить при заполнении III части анкеты)
справедливо оценивались Ваши достижения (или их недостаток)? Считаете ли Вы, что нам нужно быть строже или
мягче, пытаться придавать оценкам большее или меньшее значение?
10. Что Вы советовали бы нам поменять в области итоговой аттестации и в системе оценок в целом? Что стоит
изменить в части, связанной с курированием научно-исследовательской работы магистранта и с проведением
стажировки и практик?
III. Вопросы к выбранному Вами
курсу
1. Опишите в одном-двух предложениях, что этот курс Вам дал; чему Вы, с
Вашей точки зрения, научились.
2. Имеет ли этот курс отношение к работе и жизни? :)
3. Был ли он полезен для написания ВКР, для стажировки, еще для чего-нибудь?
4. С какими другими курсами этот был связан и чем?
5. Сколько времени у Вас ушло на «настройку»: осознание того, что нужно
преподавателю, что Вам, и какими усилиями это может быть достигнуто?
6. Насколько трудоемким было освоение именно этого предмета (например, это
можно оценить в количестве самостоятельной работы пропорционально к
аудиторной: в n раз больше, в n раз меньше, работали только в аудитории)?
7. Как бы Вы прокомментировали взаимодействие студентов и преподавателя
(воспользуйтесь подходящими вариантами из предложенных ниже или
напишите свой)?
…
8. Какие рекомендации Вы хотели бы дать преподавателю, который ведет этот
предмет?
9. О чем бы Вы считали нужным предупредить студентов, которые начинают
посещать этот курс?
К технологии анкеты
•
Фактически – не столько анкета, сколько письменное качественное глубинное
интервью.
–
С курсом 2011 (и 2010) – хорошие отношения.
1.
2.
3.
•
•
•
•
Надежда, что люди не пожалеют несколько часов/суток своего времени.
Психологически проще отдать себя им на оценку.
Признавая значение анонимности, важно понимать, чьему (какого типа студента) голосу
конкретная оценка принадлежит.
Почему «анкета», а не «интервью»? Если бы интервьюировал я – очень сильно
направлял бы и подсказывал ответы.
«О выборке: маленький УНЦ, маленькие потоки. 2011 год (5 выпускников +
1 - 2010: четверо написали (но с напоминаниями и упрашиваниями)
практически полностью, одна - промолчала, одна – очень выборочно).
В 2012 г. – добавились еще 3 анкеты, но понимая, что в них будет примерно то
же, уже не так стремился получить.
Один важный недостаток студенческого суждения: им не с чем сравнивать,
даже если человек где-то учился, он/а настроен/а предполагать, что
преподаватели «знают, как надо»; «в культурологической магистратуре так и
должно быть».
Думать над формулировками вопросов. Не «был ли курс NN хорошим или
плохим?», а «Что бы Вы советовали нам на стажировке делать иначе?», «Как
бы Вы советовали преподавателю улучшить этот курс?», «Что бы Вы
посоветовали начинающему ходить на курс студенту?», «Три преимущества и
три недостатка обучения во ВШЕКе» и т.д.
Коротко о результатах
анкетирования выпускников - 2011
1.
2.
3.
«Предсказуемые» – в области самопозиционирования,
самоидентификации МУНЦ. Как нам позиционировать себя
в рекламе = > как должна звучать наша концепция = > что
нам в себе поменять?
«Предсказуемые» – в смысле «где что плохо лежит».
Выявление несостыковок в образовательном процессе.
«Инвентаризация»: «здесь дует, здесь молоток, а здесь и
дощечка нашлась».
«Тоже предсказуемые, но оказавшиеся в 2011 году
непредсказанными».
В каком отношении важны «предсказуемые» результаты и зачем
было проводить анкетирование – разница, как между тем,
что тебе говорит зеркало, и тем, что говорят весы 
http://aperlov.narod.ru/anketa30072011results.doc
I. Предсказуемые в области
самопозиционирования
•
Мы знали, что наша программа не готовит выпускника к какой-то
конкретной профессии.
Отговорки на этот случай у нас были:
–
–
–
«Славные традиции» ИЕКа
Междисциплинарное понимание культурологии
Другие гуманитарные программы, может, и готовят к более конкретной
профессии, да только профессии эти (московскими студентами) не
слишком востребованы.
•
Но было довольно болезненно увидеть, что ВСЕ выпускники об этом
написали в главных недостатках.
Воспоследовавшие (и продолжающиеся) изменения в маркетинговой и
образовательной составляющей:
1.
2.
Педалирование в самовосприятии и рекламе международной
составляющей. «Мы учим учиться по-европейски», «С нашим немецким
дипломом Вы сможете продолжить учиться и работать в Европе».
Мы не даем конкретной замкнутой плоскости профессионального
знания, но мы всерьез относимся к формированию определенных
компетенций.
Программные компетенции ВШЕК
http://www.rggu.ru/vshek/study-and-2-diplomas-program/competencies/program-competencies/
•
Способность к аналитическому и проектному мышлению. (далее указаны компетенции по ФГОС
«Культурология», которым соответствует конкретная программная компетенция) ОК-4, ОК-5, ПК-1,
ПК-2, ПК-3, ПК-4, ПК-5, ПК-7, ПК-10, ПК-11, ПК-13, ПК-14, ПК-19, ПК-20, ПК-22, ПК-24, ПК-25
•
Умение работать с информацией. ПК-15, ПК-16
•
Способность к критической оценке; … способность устанавливать с коллегами и руководством
конструктивные коммуникативные отношения, построенные на взаимном уважении, умении
высказать свою точку зрения и услышать чужую. ОК-1, ОК-2, ОК-4, ОК-6, ПК-8, ПК-9, ПК-13, ПК-22,
ПК-24
•
Владение навыками межличностной и межкультурной коммуникации. ОК-3, ОК-4, ОК-5, ПК-3,
ПК-7, ПК-8, ПК-9, ПК-19, ПК-22, ПК-23, ПК-25
•
Умение понимать и объяснять (современную) (российскую) культуру (в широком смысле –
включая в нее аспекты политики, экономики и т.д.) как сложную и дифференцированную систему.
ПК-1, ПК-2, ПК-3, ПК-4, ПК-5, ПК-7, ПК-11, ПК-13, ПК-14
•
•
Интерес и способность к размышлению о месте и специфике русской культуры в общемировом
и европейском культурном пространстве…. умение применять аналитическое и критическое
мышление для проверки и деконструкции «навязываемых» и «подсказываемых» интерпретаций;
установка на развитие конструктивного рационального диалога различных мировых культур и их
представителей.
Пока это скорее мой идефикс, чем реально объединяющая преподавателей платформа
Итак, 6 пунктов, выражающих специфику ООП МУНЦ ВШЕК
«Русская культура» (в моем – А.П. - понимании)
1) Аналитическое и проектное мышление. Т.е. уметь расчленять
сложный синкретический предмет (объект культуры или план
действий) на взаимосвязь компонентов; видеть связь за
поверхностным.
2) уметь искать информацию и выдавать ее в товарных формах;
желательно – уметь делать это не только на русском языке.
3) будут уважать других и будут уважать себя ≈ знать о том, что ты
можешь ошибаться и слушать других полезно. Равно как и о том,
что другие могут ошибаться.
4) видеть культуру как систему, как взаимосвязь факторов
разного порядка;
5) видеть русскую культуру в диалоге с другими великими
европейскими культурами;
6) не верить (до перепроверки) ходовым, поверхностным и
выгодным культурным объяснениям.
II. «Предсказуемые» – инвентаризация
слабых мест в образовательном процессе
• Кредитная система (анкеты выявили, что в 2011 ни студенты, ни
преподаватели систему зачетных единиц не понимали и
воспринимали как дополнительное бюрократическое обременение
(особенно на фоне того, что в РГГУ и в Рурском университете разные
принципы оценки кредитной стоимости курса)).
– То, что ради соответствия бохумскому учебному плану студенты должны
написать 4 письменные работы – возможность поставить
дополнительные обязательства на службу написания диссертации.
– Написали памятку по кредитной системе и проводим специальное
объясняющее занятие. Студенты 2012-14, надеюсь, объяснят студентам
2013-15, что понимать принципы кредитной системы – лучше с самого
начала .
• Госэкзамен. Сложившийся естественным образом вариант
госэкзамена – фактически дублировал вступительный экзамен +, из-за
возможности выбрать билет, не представлял для студента никакой
трудности. Фактически проверялась исключительно способность «не
впасть в панику».
Из рассылки к одному из советов ВШЕК:
Решать про госэкзамен – что мы хотим на нем проверить. Варианты:
• Общая эрудиция в плане методологии изучения культуры и истории культуры;
• Общая эрудиция в плане истории русской культуры (получается повтор
вступительного экзамена);
• Выбрать пяток магистральных курсов и проверять их по своему (трех штатных
преподавателей и администрации) разумению;
• С относительно широкого круга преподавателей собрать по 3-4 вопроса и
сделать из этого общий список;
• Проверять работу над диссертацией: спрашивать или по соответствующей
эмпирике («политическая жизнь в 1990-х») или по методологии («методология
изучения прессы»);
• На экзамене предлагать студентам какой-то предметный кейс, аналогичный
тому, что они изучают в диссертации (допустим, человек изучает
конструирование памяти в Интернете – мы спрашиваем, как он будет изучать
гендер во французской прозе 1950-х, или как он будет проектировать выставку).
• Главный вопрос: давать ли студентам возможность
готовиться к конкретному билету, или они знают
только список, а билет получают на самом
экзамене.
• Это зависит от вопроса, хотим ли мы их проверять.
• А это, в свою очередь от вопроса, кого мы готовим.
Почему стоило реформировать госэкзамен, а не
оставить просто, как есть?
Грубо говоря, наши студенты по-любому тратят на
подготовку к нему как минимум неделю. Наверное,
нужно позаботиться о том, чтобы это проходило с
максимальной пользой.
II. «Предсказуемые» – подтверждение имевшихся
предположений
• Курсовая. Студенты довольно единодушно уверяли, что
курсовая нужна (хотя в учебном плане ее нет).
– Мы составили довольно жесткий календарь отчетности II курса.
Работал (в 2011-12 и 2012-13) плохо (хотя, возможно, если бы мы
не составили, было бы еще хуже).
– Намеревались ввести защиту курсовых не после, а по ходу 2
семестра. Не смогли.
– «Помогло несчастье». В 2013 г. Бохум не может принять на
стажировку всех наших студентов, и мы провели конкурс. Итог – в
январе 1 курса (7 человек) у нас 3 работы, которые могут стать
частями магистерских (от 30 до 50 страниц), еще 2 хорошие
работы, и 2 работы похуже.
– Студенческие анкеты, причитания по поводу того, как трудно
выбрать тему (и курсовых, и магистерских) и пожелания, чтобы
темы им назначались преподавателями, заставили нас
сформулировать темы для руководства. В итоге, отталкиваясь от
сформулированных преподавателями тем, студенты все равно
выбирают свои, но процесс выбора идет, кажется, быстрее и
успешнее.
II. «Предсказуемые» – подтверждение имевшихся
предположений. Учебный план.
• Летом 2012 года обновили примерно на 1/4 (иногда для
удобства сохраняя старые названия, но привлекая новых
преподавателей и ставя новое содержание).
Подчеркиваю: это невынужденные, не сверху пришедшие
изменения!
• Кое-какие курсы все-таки убрали (поменяли
преподавателей). Кстати, результаты оценки курса
студентами могут быть неплохим аргументом.
• Расширение предложений курсов по выбору за счет
курсов, уже читающихся в других подразделениях РГГУ.
• Какие-то требования к учебному плану: больше
иностранного языка, больше прикладных курсов, больше
времени курсу «История и методология изучения
культуры» – все-таки не можем, из-за требований
стандарта.
III. Результаты анкетирования, о
которых как-то «не думалось»
• В списке главных минусов – устаревший сайт. В 2012 г. начали переделывать
(кстати, не www.iek.edu.ru, а http://rsuh.ru/vshek/).
• Начали постепенно «отлаживать» стажировку (насколько это возможно):
– предварительная запись на курсы (процесс ограничивается Learning agreements,
но все равно можно записываться не только на курсы LIRSK).
– Встречи тех, кто едет на стажировку, и тех, кто с нее приехал.
– Январь 2013 г.: две скайп-конференции между Москвой и Бохумом (реально
необходима была одна)
– В долгосрочной перспективе – для того, чтобы немцы начали возиться у себя с
диссертациями московских студентов надо, чтобы мы что-то симметричное
могли бы бохумским коллегам предложить. Не работу с диссертациями. Но чтото сопоставимо важное.
• Необходимы, но пока не сделано:
– Концепция рекламной кампании и рекламные материалы. Студенты очень часто
писали, что у нас плохой PR.
– Библиотека электронных ресурсов.
– Эффективные практики
Это все в большой мере банальности, но нам
хотя бы «колет глаз» этими недостатками
• Я совершенно не хочу сказать, что у всех
образовательных программ те же ляпы, трудности
и слабости, что у ВШЕКа. Но я не исключаю, что у
каких-то из этих программ – эти слабости
сопоставимы. И обратная связь является
инструментом, во-первых, для обнаружения этих
слабостей, а, во-вторых, для того, чтобы как
следует этими дефектами проникнуться.
• Когда ты понимаешь, что эти дефекты – не твое
личное дело, а заметны всем и каждому, и что по
их поводу существует более или менее внятный
консенсус – можно найти больше воли эти
дефекты исправлять.
Стратегический вывод:
студентоцентрированность и
клиентоцентрированность
• Бессмысленная и беспощадная бюрократическая симуляция?
Требование времени? Самый справедливый порядок?
• «Выбирая между тем, что просто и тем, что правильно» (Дж.
Роулинг). Один из результатов интерпретации анкет: из любой
проблемы магистратуры – два выхода. Или постоянное
снижение требований – мы даем диплом за любое усилие или
даже просто так, потому что именно мы, преподаватели и
университеты, заинтересованы в том, чтобы выдавать дипломы.
Или мы боремся за репутацию, но значит – прикладываем
усилия, отчисляем, и не даем дипломы, потому что репутация
есть там, где нет уравниловки и полной снисходительности.
Первая стратегия проще, возможно даже – экономически
выгоднее, но ей трудно следовать сознательно; жестко
обозначить ее – сделать шаг в сторону работы на репутацию.
Три обязательных условия
эффективности обратной связи:
1. Количественные данные (по крайней мере, в таких
маленьких центрах как ВШЕК), вероятно, дадут не так
много. Результаты нужно будет интерпретировать, и это
нужно будет уметь и хотеть делать.
2. Анкетирование и интервьюирование стоит делать, если
его результаты будут на что-нибудь влиять (на изменение
учебного плана, в первую очередь; на изменение
принципов построения нагрузок и отчетности).
3. Студенты и даже выпускники должны увидеть, что их
усилие было предпринято не зря; что их голос на что-то
влияет. В большой мере мое сегодняшнее высказывание
адресовано студентам – критикуйте, а мы станем лучше!
Даже если нет возможности воплотить, надо дать
проанкетированным понять (а не просто сказать), что их
услышали.