Мониторинг в контексте ВСОКО - Социально

Мониторинг в контексте
ВСОКО
Мониторинг дает ответ на
вопрос:
• Насколько изменилось …..
(качество результатов,
качество процесса,
качество условий….) за …..
(определенный период)?
Виды мониторинга
•
Информационный - сбор, накопление, систематизация и, возможно,
распространение информации, не предусматривает проведение
специально организованного обследования на этапе сбора
информации.
• Базовый - (фоновый, бдительности, предусмотрительности)
выявление новых проблем и опасностей до того, как они станут
осознаваемыми на уровне управления. Аналог фонового мониторинга
в экологии, когда по небольшому количеству индикаторов
производится постоянное отслеживание состояния всей системы с
целью выявления отклонений, которые могут представлять опасность.
• Проблемный - выявление закономерностей, процессов, опасностей,
тех проблем, которые известны и насущны с точки зрения управления
(осуществляется по заказу органа управления).
• Управленческий - отслеживание и оценка эффективности,
последствий и вторичных эффектов, принятых в области управления
решения.
Требования к информации,
собираемой в ходе мониторинга
1.
2.
3.
4.
5.
6.
Объективность
Достаточность
Систематизированность
Оптимальность обобщения
Оперативность
Доступность
Модели мониторинга
Название модели
Модель «Вход – выход»
Ключевые особенности
производится на основе сравнения значений
начальных и конечных некоего перечня
признаков
Модель «От достигнутого»
производится на основе сравнения
результатов предыдущего и текущего этапа
Модель соответствия
нормам
производится на основе сопоставления
реальных результатов с существующими
нормами
производится на основе сопоставления
поставленной цели с достигнутыми
результатами
производится на конечном этапе работы
Модель «Цель-результат»
Модель «Выходного
контроля»
Модель с использованием
данных о процессе
производится оценка процесса (обучения,
воспитания и пр.)
Ключевые компоненты
мониторинга
1. Цель мониторинга (сформулированная диагностично)
2. Объект(ы) мониторинга
3. Показатели, на основе которых проводится сбор информации
4. Инструментарий (способ получения информации)
5. Статистические данные для сравнения (для некоторых
моделей мониторинга)
6. Способы обработки и хранения информации
7. Алгоритм анализа полученных данных
8. Организаторы и аналитики (внутренние, внешние)
9. Потребители информации
10. Перечень возможных управленческих решений по данным
мониторинга
11. Допустимые погрешности и отклонения (негативные
факторы)
Определение цели мониторинга
Проблема – как выявить нужную цель?
Цель мониторинга – отслеживание изменений во времени!
Решение – ответить на вопросы:
1. Какой информации у меня нет для принятия решения?
2. Нужно ли эту информацию получать периодически или
достаточно одного раза?
! На что обратить внимание – диагностично поставленная цель
Выявление объекта(ов) мониторинга
Проблема – как выявить нужные объекты?
Цель мониторинга определяет его вид и объекты
Решение – ответить на вопросы:
1. Изменения в чем буду отслеживать?
2. Что с чем буду сравнивать, собирая информацию?
! На что обратить внимание –
количество объектов не должно быть большим
Уточнение показателей, на основе
которых проводится сбор
информации
Проблема – как определить показатели для
мониторинга?
Решение – ответить на вопросы:
1. Какие цифры и факты будут свидетельствовать об
изменениях в объекте мониторинга?
2. Какими они должны быть, чтобы я мог(ла) ответить на свои
вопросы?
3. Насколько много их должно быть, чтобы полученная
информация была полной и достаточной?
! На что обратить внимание –
существуют готовые модели исследований,
описывающие системы показателей
Выбор инструментария
Проблема – где взять нужный инструмент для
получения информации?
Решение – ответить на вопросы:
1. Чем меня не устраивают имеющиеся методики (анкеты,
тесты и пр.)?
2. Что я могу в них изменить, адаптировать?
3. Что нужно сделать для разработки нового инструмента?
! На что обратить внимание –
Возможности и ограничения разных
способов получения информации
Каким может быть инструментарий?
1. Анкеты
2. Опросы устные (интервьюирование)
3. Тестирование
4. Исследование продуктов деятельности учащихся
5. Педагогическое наблюдение
6. Систематизация и анализ статистических
и иных данных
7. Психологическое тестирование/диагностирование
Отработка способов обработки и
хранения информации
Проблема – как систематизировать
информацию?
Решение – ответить на вопросы:
1. В каком виде должна храниться информация, чтобы ее при
необходимости можно было проанализировать еще раз,
возможно, в иных целях?
2. В каком виде информация будет легко используема в
практике?
! На что обратить внимание –
Форма хранения информации должна быть оптимальна
Разработка алгоритма анализа
полученных данных
Проблема – что делать с полученной
информацией?
Решение – ответить на вопросы:
1. На какие цифры и факты, полученные в ходе одного среза
мониторинга, необходимо обратить внимание, какие
выводы можно сделать на их основании?
2. Какие цифры и факты сравнивать по результатам
нескольким срезов мониторинга?
! На что обратить внимание –
Описание полученных результатов и анализ разные вещи
Определение организаторов и
аналитиков
Проблема – кто и по какой схеме будет проводить
исследование и анализировать результаты?
Решение – ответить на вопросы:
1. Сколько человек будут задействованы в процедуре сбора
информации, чему их необходимо научить?
2. Как будет организовано исследование (в какое время, место
и пр.)?
3. Кто и каким именно образом будет анализировать
полученные данные?
! На что обратить внимание –
Качество организации проведения мониторинговых процедур
определяет качество получаемых результатов
Уточнение целевых групп
потребителей информации
Проблема – кому будет интересна собранная
в ходе мониторинга информация?
Решение – ответить на вопросы:
1. Кого информировать о результатах мониторинга и зачем это
делать?
2. Все ли результаты надо распространять?
3. В каком виде представлять информацию для каждой группы
потребителей?
! На что обратить внимание –
Информация используется только тогда,
когда ее количество оптимально и понятно
Разработка перечня возможных
управленческих решений по данным
мониторинга
Проблема – какие решения я смогу принять
по результатам проведения мониторинга?
Решение – ответить на вопросы:
1. Какие решения будут приняты в области развития?
2. Какие решения будут приняты в области
функционирования?
3. Надо ли проводить дополнительные, уточняющие
исследования?
! На что обратить внимание –
Принятие управленческого решения –
это то, ради чего затевается все исследование
Прогнозирование допустимых
погрешностей и отклонений
Проблема – что и как может помешать
проведению исследования?
Решение – ответить на вопросы:
1. Какие сложности могут возникнуть в коллективе и как их
можно компенсировать?
2. Какие погрешности могут повлиять на результаты?
! На что обратить внимание –
Учет рисков и отклонений поможет избежать неверной информации,
и, как следствие, неправильного решения
Фактор
Как избежать погрешностей
Качество инструментария
(общие требования: надежность,
соответствие целям
исследования, корректность,
апробированность)
Профессионализм и
подготовленность людей
Пользоваться готовыми методиками
мониторинга, проверенными тестами, анкетами,
соответствующими целям мониторинга
При проведении мониторинга пригласить
специалистов по проведению подобных
исследований или заранее обучить коллектив
(участников мониторинга) основным
требованиям к проведению мониторинга.
Профессионализм (или его отсутствие) может
оказать влияние на любом этапе (от
теоретической разработки до распространения
информации)
Изменение людей в
процессе измерения
При многократном проведении одного и
того же исследования его участники могут
выработать определенные стереотипы,
которые будут оказывать влияние на
результаты
Цикличность процессов
Учет годовых, четвертных циклов при
планировании обследования позволит
избежать искажений, связанных с
усталостью, проведением аттестации и
т.п.
Нарушение в
информационных потоках
При исследовании мнения о чем-либо
важно точно знать, насколько люди,
мнение которых будет исследоваться,
осведомлены о предмете исследования
Различная мотивация
участников
При проведении опросов важно учитывать
ту мотивацию, с которой респонденты
отвечают на вопросы; здесь может сыграть
негативную роль желание показаться
лучше или, наоборот, показать все в более
мрачном свете, чем есть на самом деле
Эффект
повторного
измерения
Если для уточнения полученных результатов или по
каким-либо иным причинам дважды проводятся одни и
те же измерения, то искажения могут быть связаны с
запоминанием особо ярких и интересных вопросов, их
обсуждением и запоминанием ответов.
Необходимо по мере возможности избегать повторных
измерений, полностью дублирующих предыдущие
Групповая
Если участникам опроса известна цель его проведения, а
фальсификаци результаты личностно значимы, то возможна ситуация,
я результатов когда респонденты не сговариваясь дадут искаженный
результат.
При проведении мониторинга необходимо четко
проговаривать его цель – получение достоверной
информации. В случае, когда это может не
подействовать, необходимо изменить способ получения
информации на тот, который даст меньше искажений
Изменение группы в
процессе мониторинга
Поскольку мониторинг растянут во
времени, группа обследуемых людей
может изменяться (например, численный
состав класса и т.п.).
Это фактор, который нужно просто
учитывать
Джордж Каннинг – 23-й премьер-министр Великобритании
Спасибо за внимание!