Результаты работы по теме Инструменты оценки социальных

Результаты работы по теме:
«Инструменты оценки
социальных проектов и программ»
«Практические рекомендации
к оцениванию социальных результатов
проектов и программ в сфере защиты детства»
1. Необходимые условия для проведения внешней оценки программы
2. Основания для проведения внутренней оценки программ. Система
мониторинга и оценки.
3. Инструменты оценки
 Организационные и документальные средства оценки проектов и
программ
 Методы сбора и обработки информации
 Инструменты оценки, адаптированные для программ с участием
детей
 Профессиональная рефлексия как инструмент оценки
4. Ограничения применения подхода, основанного на оценке
деятельности по показателям
5. Стоимостная оценка программ
6. Сравнения эффективности социальных программ
2
Цель раздела 



предоставить основания для проведения, выбора
инструментов и процедур оценки социальных проектов и
программ всем заинтересованным сторонам,
вовлеченным в задачу оценивания программ в сфере
детства
предоставить основания для разработки внутренней
оценки, учитывающей специфику сферы детства
познакомить с подходами к проведению независимой
внешней оценки
дать представление о стандартах и требованиях к
проведению внешней независимой оценки программ
3
Зачем нужна оценка?



Принятие управленческого
решения по программе
Условия для
проведения оценки

Наличие предмета оценки

Лица, заинтересованные в
оценке

Потребность в информации

Доступность информации о
предмете оценки

Понимание использования
результатов
Недостаточно информации
о деятельности программы
Имеющаяся информация
нуждается в
подтверждении
4
Кто может проводить оценку программы?
Внутренняя
ОРГАНИЗАЦИЯ
Сотрудники
организации,
не принимающие
участия в программе
Внешняя
Независимые
специалисты
ПРОГРАММА
Участники
программы
Само-оценивание
5
Самооценивание: преимущества и недостатки
Преимущества:


Является неотъемлемой
частью жизни организации и
заложена в практику её
деятельности;
Недостатки:

Оценка требует времени, и ей
может быть отведена
вспомогательная роль;

Не все сотрудники организации
обладают навыками и
знаниями. Необходимыми для
проведения оценки, или не
желают развивать их;

Сложнее обеспечить
надежность данных и
объективность выводов, так как
все участники оценки являются
сотрудниками программы
Умение и навыки,
необходимые для проведения
самооценивания,
рассосредоточены между
всеми членами организации;

Большая вероятность
использования полученных
данных;

Процесс самооценивания
представляет развивающую
деятельность;

Рентабельность
6
Внутренняя оценка:
преимущества и недостатки
Недостатки:
Преимущества:

Хорошее знание ситуации;

Возможно проследить за
выполнением рекомендаций и
способствовать их
выполнению;

Знание культуры и атмосферы
организации, и её программ;

Относительно дешево;

Доверие участников
программы и, как следствие,
большая вероятность
получения качественных
данных.

Может восприниматься как
менее объективная;

Может свести к акции по
поддержке связей с
общественностью;

Может «увязнуть», собирая
массу мелких деталей и
учитывая все, что необходимо
отразить в отчете;

Может не хватить умения для
выполнения задания.
7
Внешняя оценка:
преимущества и недостатки
Преимущества:

Свежий взгляд, могут быть
заданы важные вопросы,
которые не всегда очевидня
для сотрудников;

Независимость и
объективность, повышающие
доверие результатам оценки;

Опыт проведения оценки
разных программ в разных
организациях и, как
следствие, больший набор
апробированных приемов и
методов проведения оценки;

Авторитет независимого
эксперта

Оценщик полностью
сосредоточен на задаче
проведения оценки.
Недостатки:

Отстраненность от программы
может привести к неправильно
поставленным акцентам и сбору
некачественных данных;

После завершения работы по
оценке организация теряет
много информации;

Может не хватить авторитета
для получения доступа к
соответствующей группе для
обсуждения и распространения
полученных данных;

Не несет ответственности за
использование результатов и
рекомендации, сделанных в ходе
оценки;

Стоит дороже.
8
Фокус исследования 


Осуществляемая деятельность – непосредственные продукты
(output)
Достижение целей программы – результаты деятельности
(outcome)
изменения в жизни ребенка (личностно значимые и социально
значимые)
Соответствие миссии – отсроченное воздействие программы
(impact)
4 типа программ:
1. Профилактика возникновения проблемы (показатели
производительности программы; целевые изменения участников)
2. Экстренная помощь в случае возникновения проблемы
(показатели технологичности, доступность и скорость услуг)
3. Помощь в решении проблемы (устойчивые личностные
изменения)
4. Сопровождение «хронической» ситуации (показатели снижения
9
вреда для целевой аудитории)
Типы индикаторов
Какие характеристики проекта
измеряются:
 количественные
 качественные
Что измеряют:
 вход,
 процесс,
 непосредственный
результат,
 общий результат,
 влияние
Виды индикаторов мониторинга

Индикаторы ресурса
Объем ресурсов

Индикаторы выхода (продукты)
Количество услуг

Индикаторы результатов
Выгоды для благополучателей

Индикаторы эффективности
Соотношение результатов и ресурсов

Индикаторы воздействия
Влияние на проблему проекта.
Что такое «хороший индикатор»?
(“10 steps”, page 68)
Ясный / Clear
Точный и определенный
Существенный
Relevant
Экономичный
Economic
Адекватный
Adequate
Относится к важным
характеристикам объекта
Проверяемый
Monitorable
Предполагает разумные затраты
Дает информацию,
соответствующую тому, что он
измеряет
Допускает независимую проверку
Формат описания индикатора
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
Этап проекта, к которому относится индикатор
Название индикатора
Определение индикатора
Исходное значение индикатора
Плановое значение индикатора
Когда должно быть достигнуто плановое
значение
Период использования индикатора
Частота измерения
Источник информации
Метод сбора данных
Комментарии
Результат «Повышение уровня образованности детей:
успеваемость в школе, количество читаемых книг»
1.
Этап проекта – «Результаты проекта»
2. Название индикатора - «Количество детей, успешно закончивших учебный год»
3. Определение индикатора – дети: участники проекта, школьники от 10 до 16 лет;
успешно закончившие учебный год – количество троек не больше трех.
4. Исходное значение индикатора – количество школьников от 10 до 16 лет на
начало реализации проекта; количество троек у каждого участника проекта (от 10
до 16 лет) на начало участия в проекте.
5. Плановое значение индикатора – 70 % участников проекта от 10 до 10 лет
закончили учебный год от 1 до 3х троек.
6. Плановое значение индикатора достигнуто - к июню 2010 г.
7. Период использования индикатора – в течении всего проекта
8. Частота измерения - в октябре 2009 г. (окончание 1й четверти); в начале июня
2010 г. (окончание 4й четверти)
9. Источник информации – участники проекта от 10 до 16 лет; родители данных
учащихся;, вожатые; педагоги данных учащихся; дневники; классные журналы
10.Метод сбора информации – изучение документов; интервью; наблюдение;
анкетирование
11.Комментарии – сбор информации, подготовка сводного отчета осуществляются
силами вожатых. Анализ поученной информации проводит руководитель проекта.
14