Slide 1 - Asian Development Bank
реклама
Не экспериментальные дизайны для оценки воздействия Оценка для разработки политик Октябрь, 2014 г., Сучджоу, Китай Presented by: Farzana Ahmed Asian Development Bank Based on the material prepared by: Professor Patricia Rogers RMIT University (Royal Melbourne Institute of Technology) Australia Patricia.Rogers@rmit.edu.au Стратегии для дизайнов казуальной атрибуции и оценки воздействия Экспериментал ьный Квазиэкспериментальный Не экспериментальный Случайное распределение в контрольную группу или группу для интервенции Созданная группа для сравнения Теоретические контрафактивные или неконтрафактивные стратегии Контрафактивное высказывание Проверка соответствия результатов теории Исключение альтернативных объяснений Когда необходимы не экспериментальные подходы • Интервенции фокусируются не на отдельном изменении, а на изменении системного уровня (напр., инициативы по борьбе с коррупцией) • Интервенции не могут расширяться постепенно, но имеют немедленное универсальное применение (напр., национальная политика) • Доступ к интервенции не может контролироваться или рандомизироваться (например, информационные кампании с большой утечкой информации и/или вторичная передача, или выборочные программы, такие как стипендии или продвинутое обучение) • Численность популяции слишком мала для адекватного размера выборки • Интервенция отвечает на потребность и адаптируется, таким образом, интервенция не является постоянной • Экспериментальный дизайн не был создан вначале и не может быть построена достоверная контрольная группа • Нет ресурсов для проведения экспериментальной оценки воздействия 3 “До и после” – не является не экспериментальным дизайном оценки воздействия Денежная стоимость сельскохозяйственного производства ДО программы Программа (обучение, улучшенная сельская инфраструктура) Денежная стоимость сельскохозяйственного производства ПОСЛЕ программы Другие факторы Какие могут быть другие факторы, которые могли вызвать увеличение денежной стоимости сельскохозяйственного производства? 4 Гипотетическое контрафактуальное высказывание 5 Гипотетические контрафактивные высказывания Пример: • До проекта: женщины тратили по нескольку часов в день, чтобы принести воды. • В рамках проекта в селе установлена колонка. • После проекта: женщины тратили намного меньше времени, чтобы принести воду, а вместо этого занимались деятельностью, приносящей доходы. • Было ли обосновано приписывать эти изменения проекту? • Дизайн слабый (только «до и после») – но является ли это достаточным в этом случае? • Гипотетическое контрафативное высказывание – если бы не было проекта, то время, которое они тратили на то, чтобы принести воды, осталось бы таким же. • Оценка усиливается за счет того, что предпринимается попытка определить (и исключить) альтернативные объяснения. 6 Большинство неэкспериментальных видов использования вторых и третьих стратегий Не экспериментальные дизайны Теоретические контрафактивные или не контрафактивные стратегии Контрафактивные высказывания Проверка соответствия результатов теории Исключение альтернативных объяснений Классические эпидемиологические примеры не экспериментального причинного следствия 8 КЛАССИЧЕСКИЙ ПРИМЕР: ХОЛЕРА В ЛОНДОНЕ • Проблема Четыре пандемии холеры в Лондоне в 1800-х годах 14 600 смертельных исходов в Лондоне (6,2 на 1 000 человек) • Альтернативные теории в отношении причины – Распространение болезни воздушно-капельным путем – Распространение болезни через воду Кох (2004 г.) Анализ Проведено картирование смертей от холеры в Сохо “Можно было отметить, что смерти были наиболее многочисленными рядом с колонкой на Брод Стрит”. Первоначальный анализ Составлена карта смертей от холеры в Сохо «Можно было отметить, что смерти были наиболее многочисленными рядом с колонкой на Брод Стрит» Из Коха (2004 г.) Первоначальная прослеживаемая схема в отношении домов, других жилищ и мест работы Рядом с колонкой на Брод Стрит Рядом с другими колонками Более высокая смертность Соответствует схеме Исключения (1) Более низкая смертность Исключения (2) Соответствует схеме 12 Поиск исключений (1) – смерти, которые произошли не рядом с колонкой на Брод Стрит • Смерти на улицах, которые расположены ближе к колонке на Брод Стрит – “некоторые улицы, которые ближе к ней на карте – это фактически хороший способ их исключить, учитывая то, что они ведут к ней (колонке) окружными путями”. Поиск исключений (1) – смерти, которые произошли не рядом с колонкой на Брод Стрит • Смерти 4 школьников, которые не живут рядом с колонкой на Брод Стрит – Пили из колонки на пути в школу • Смерти 2 взрослых, которые живут еще дальше – Один временно жил на Брод Стрит – Один ухаживал за умирающим другом с Брод Стрит Поиск исключений (2) – несколько смертей рядом с колонкой на Брод Стрит • Несколько смертей в работном доме рядом с колонкой на Брод Стрит: – Окружены домами со смертными случаями из-за холеры, но только 5 из 535 обитателей умерли от холеры – Имели собственную колонку на территории и “обитателей никогда не отправляли на Брод Стрит за водой” Поиск исключений (2) – несколько смертей, которые произошли рядом с колонкой на Брод Стрит • Несколько смертей среди рабочих пивоваренного завода рядом с эпицентром смертей от холеры – Нет холеры среди 70 рабочих – Имеют свой отдельный глубокий колодец на территории – Рабочие никогда не пили из колонки на Брод Стрит Извлечение уроков из примера для подражания • Ищите исключения и постарайтесь их объяснить • Два способа объяснения исключений * (i) Теория была неправильной, т.е. источником холеры была не вода, а воздух (ii)Теория была правильной, но нужно пояснить исключения. КЛАССИЧЕСКИЙ ПРИМЕР: РАК ЛЕГКИХ • Проблема С 1900 года увеличение уровня смертности от рака легких • Методы Ретроспективные исследования Перспективные исследования Исследования среди животных Первоначальная схема смертей от рака легких Курильщики Не-курильщики Более высокий уровень смертности Соответствовал схеме Исключения (1) Более низкий уровень смертности Исключения (2) Соответствовал схеме 19 Поиск исключений • Не все, у кого есть рак легких, курили Некоторые из них подвергались вторичным воздействиям курения – другой причинно-следственный способ, вызванный курением Поиск исключений • Не все кто курит, заболевает раком легких Теория факторов, инициирующих и способствующих раку – многие вещи могут инициировать рак, но курение является основным способствующим фактором Если рак легких уже начался, то курение будет способствовать его развитию Если рак легких не начался, то курение может и не оказывать влияния Стратегии для причинно-следствен. заключения* Сильные стороны Сильные взаимоотношения между переменными указывают на причинной связи – смертность от рака легких среди курящих выше, чем среди не курящих Последовательно сть: Повторные наблюдения в разных случаях – рак среди курящих чаще наблюдается в разных местах Конкретность Специфичная ассоциация – т.е. в общем, уровень рака такой же, но заболеваемость у курильщиков выше Изменение с течением времени Возникла ли причина до следствия – определить, когда появился рак легких – происходило ли больше после курения Уровень увеличения Высокий уровень причины связан с высоким уровнем следствия – уровень заболевания раком выше, курильщик курит больше Достоверность Есть достоверная причинная связь на основе информации Связанность Теория причины и следствия не противоречит общеизвестным фактам о том, что произойдет. Эксперимент Предусматриваются изменения и наблюдения, но необязательно с контрольной группой – удаление исключений Аналогия Смотрим на причину и следствие таким образом, что это совпадает с другими известными взаимоотношениями – асбест и 22 его воздействие на легкие Пример оценки воздействия 23 ОЦЕНКА ВОЗДЕЙСТВИЯ РЕФОРМИРОВАНИЯ ОБЩЕСТВЕННЫХ ИСПРАВИТЕЛЬНЫХ СЛУЖБ • Воздействие улучшения программы общественных служб • Основный индикатор итога – соотношение заключенных к правонарушителям Изначальный график временных рядов показывает, что воздействия нет Разделение по видам правонарушителей Разделение по видам правонарушителей и правонарушений Оспариваемое воздействие «CompStat» на преступность в Нью-Йорке “За пятилетний период в Нью-Йорке отмечен резкий спад краж со взломом (53%), снижение на 54% заявлений о кражах, и немыслимое снижение количества убийств на 67%. … Эти необычайные достижения были получены большей частью благодаря инновационной модели управления полицией, разработанной департаментом – известной под названием «CompStat»”. (О’Коннелл, 2001, стр.8) (Цитата приведена в Кусе и Рист, 2004, стр. 141) Сроки Если причиной была модель «CompStat», то ожидалось бы, что такое снижение будет отмечено в 1994 году, после того как была внедрена модель – и снижение не отмечалось бы в городах, где не проводилась интервенция Снизилась ли преступность в 1991 и 1994 гг.? Преступность начала снижаться в 1991 году, когда на улицах стало больше людей, поэтому это также необходимо учитывать. Лэнгдон и Дуроуз, 2004 Методы, процессы и стратегии для не экспериментального причинного следствия для оценки воздействия 30 Методы совместной отчетности по итогам (CORT) 1. Разработать программную теорию, определив предполагаемые воздействия и цепь непосредственных результатов, связывающих программу с этими воздействиями. 2. Собрать имеющиеся доказательства о реализации программы, достижении непосредственных результатов и конечных воздействий, и вкладе программы в них, и оценить качество этого доказательства. 3. Собрать дополнительные доказательства, чтобы устранить конкретные пробелы в имеющихся данных, охватывая ряд перспектив и осуществляя поиск важных непреднамеренных воздействий. 4. Привлечь панель экспертов из ряда уместных областей для анализа данных, с точки зрения их достоверности в отношении как описания воздействия, так и приписывания их (или же только их или в сочетании с другими факторами) программе. 5. Провести встречу, включая с представителями всех основных групп заинтересованных сторон с целью проведения обзора отчета по оценке воздействия и его пересмотра, в случае необходимости. 6. Опубликование полученных результатов – обобщающий отчет с основными полученными результатами и эпизодами, предоставляющими примеры воздействия, и подробный отчет с ссылками на все доказательства, на основе которых были сделаны выводы. Dart, J. (2008) ‘Report on outcomes and get everyone involved: The Participatory Performance Story Reporting Technique’. Paper presented at the 2008 Australasian 32 Evaluation Society conference, Perth. http://www.aes.asn.au/conferences/2008/papers/p100.pdf - Отчет по итогам и вовлечение всех: метод отчетности по оценке эффективности с участием. 31 Дальнейшие ресурсы 32
