Квази-экспериментальные методы ОВ: ДНР и Р-в-Р Джозеф Дж. Капуно Оценка для разработки политик

Оценка для разработки политик
APCoP - АБР- AFDC
27-31 октября 2014 года
Сучджоу, провинция Джиансу, КНР
Квази-экспериментальные
методы ОВ: ДНР и Р-в-Р
Джозеф Дж. Капуно
Университет Филиппин
Мотивация

Обычно охват или участие в программе не
рандомизируется или не может быть рандомизировано


Но участники будут иметь другие характеристики, по
сравнению с не-участниками (остальная часть
подходящей популяции)



Планирование семьи, субсидии на удобрения, обучение
навыкам для молодежи
Необъективность при включении в программу
Необъективность при самостоятельном отборе
Необъективная оценка воздействия

“Воздействие” = эффект интервенции + необъективность
отбора
Вопросы оценки


Как оценивать истинное воздействие интервенции,
имея только данные наблюдения?
Каков “эффект интервенции на тех, кто
подвергается ей”?


Воздействие интервенции на тех, кто фактически
участвовал в программе (т.е. подвергся интервенции).
Каково контрафактивное высказывание?


Каким бы был итог для участников, если бы они не
участвовали?
Как найти подходящее контрафактивное высказывание
(т.е. участник как “не-участник”)?
Квази-экспериментальные
методы


Допускать “вторую лучшую” ОВ, когда
возможность для проведения РКИ упущена
или ресурсы не позволяют провести РКИ.
Имитировать эксперимент при определении
единицы сравнения в качестве
контрафактивного высказывания
Дизайн непрерывности
регрессии (ДНР)
Характеристики некоторых программ


Использование непрерывной меры (или индекса
правомочности) для ранжирования целевой популяции
 Показатель бедности, баллы по тесту, возраст, z-балл
вес-к-росту, пр.
Установить предельный балл для определения
правомочности
 Пороговый показатель бедности - US$1,50/день
 Пенсионный возраст = 60 лет
 Прием в университет = баллы по тестам – как минимум
90%
 Недоедание, если z-балл < нормальный
Кратко об ДНР



Лица, находящиеся рядом с порогом (слева и справа),
скорее всего, будут иметь очень схожие характеристики
Но так как порог устанавливается экзогенно, то их
правомочность участвовать в программе является
случайной!
 По существу, 2 группы имеют сбалансированные
характеристики и только одна группа получает
интервенцию.
Оценка воздействия = средние итоги после интервенции
для участников и не-участников рядом с пороговым
значением.

Пример: Программа школьного
питания
Цель
Улучшить состояние питания, посещаемость и успеваемость
(баллы по тестам) недоедающих детей в государственных
школах
Интервенция
 Бесплатный завтрак в школе в течение 120 дней с начала
учебного года
Критерии правомочности (в начале школьного года)
 Поступление в государственные школы
 Возраст 7-10 лет
 Показатель z - вес к росту < z*
Вопрос оценки: Улучшила ли программа итоги для детей, которые
получали бесплатный завтрак?




Распределение детей по z-баллам и
баллам по тестам (по базовой линии)
Баллы по
тестам
z*
Балл z – вес к росту
Правомочность для участия в
программе
Баллы по
тестам
Неправомочны
Правомочны
z*
Балл z – вес к росту
Примеры оценки ДНР
Эти дети имеют схожие
характеристики
Баллы по
тестам
Правомочны
Неправомочны
z*
Балл z – вес к росту
Некоторые едят, некоторые - нет
z*
Итоги через 120 дней
Баллы по тестам
(после интервенции)
A
B
Оценка воздействия = (A-B)
Местное среднее влияние
вмешательства
z*
Балл z (по базовой линии)
Не оценивается воздействие для
Баллы по тестамдругих участников
(после интервенции)
ДЛЯ НИХ ОЦЕНКА
ВОЗДЕЙСТВИЯ НЕ
ПРОВОДИЛАСЬ
z*
Балл z (по базовой линии)
Применение ДНР

Социальная помощь и предложение рабочей силы в Канаде


Оплата за обучение и контингент учащихся в Колумбии


Выявлено, что программа социальной защиты для безработных
сократила уровень безработных примерно на 4,5% среди мужчин в
возрасте 25-39 лет, не имеющих детей.
Программа по сокращению оплаты за обучение увеличила на 3
процентных пункта уровень приема учащихся в начальные школы из
домохозяйств, находящихся ниже черты бедности.
Программы соцзащиты на основе показателя бедности в
Ямайке

Программа улучшения жизни населения посредством услуг в области
здравоохранения и образования увеличила уровень посещаемости
школ среди детей в возрасте 6-17 лет в среднем на 0,5 дня в месяц, по
сравнению с детьми из домохозяйств, находящихся немногим выше
черты бедности.
Ограничения и толкование ДНР




Оценки ДНР – это только местное среднее
значение, приближенное к установленному
предельному показателю для правомочности.
Оценки ДНР не могут быть генерализированы на
единицы, чьи баллы находятся дальше от
предельного балла.
Имеет низкую статистическую силу, так как только
можно использовать меньшее число наблюдений.
Может принять “непрерывность” за нелинейную
взаимосвязь между итогом балла правомочности
Различие в разности
(Р-в-Р)
Краткое введение – Различие
в разности


Сравнивает изменения итогов с течением
времени между группой с интервенцией и
группой для сравнения
Требуются как исходные данные, так и
данные после интервенции – как для группы
с интервенцией, так и для группы
сравнения.





Пример: Программа субсидий для
удобрений
Цель
 Повысить урожаи и доходы фермеров в селах, выращивающих рис
Интервенция
 Бесплатное предоставление удобрений в мешках на один участок за год
Критерии правомочности
 Фермеры, выращивающие рис в сельской местности
 Владельцы или лица, обрабатывающие небольшие участки земли
Реализация программы
 Не все фермеры могут получить субсидию. Составляется первоначальный
список бенефициаров.
 Данные по средней урожайности на ферму учитываются до и после
программы
Вопрос оценки: Улучшила ли программа итоги для фермеров, которые получили
бесплатные удобрения?
СЕВЕР
(с
субсидией
на
удобрения)
ЮГ
(без
субсидии на
удобрения)
Средняя урожайность до и после на
группу
Мешков
риска
на
участок
земли
Фермеры с
СЕВЕРА (Группа с
интервенцией)
B
D
A
C
ОЦЕНКА
ВОЗДЕЙСТВИЯ =
(B-A)-(D-C)
Фермеры с ЮГ
(Группа для сравнения)
Январь 2011 г.
(базовая линия)
Январь 2012 г.
(по окончанию)
Ср. число мешков риса на
участок
Группы
фермеров
До
(янв.
2011)
После
(янв.
2012)
Первое
различие
(До–
После)
СЕВЕР
(участники)
70
(A)
130
(B)
60
(B-A)
ЮГ
(неучастники)
50
(C)
70
(D)
20
(D-C)
Второе
различие
(с – без)
40
Примечания
Первое различие
исключает воздействие
другие факторов,
которые не изменяются
с течением временем,
но они различаются
между группами
(например, территория,
трудная работа)
Второе различие
исключает воздействие
факторов, которые
меняются с течением
времени (например,
благоприятный дождь)
Ср. число мешков риса на
участок
Группы
фермеров
До
(янв.
2011)
После
(янв.
2012)
Первое
различие
(До –
После)
СЕВЕР
(Участники)
70
130
60
ЮГ
(Неучастники)
50
70
20
Второе
различие
(с – без)
40
ФАКТИЧЕСКИ
КОНТРАФАКТУ
АЛЬНОЕ
ВЫСКАЗЫАНИЕ
ВОЗДЕЙСТВИЕ
(Вреднее
воздействие
вмешательства)
Применение Р-в-Р

Приватизация водоснабжения и детская смертность в Аргентине
 Галиани, Гертлер и Шаргродски (2005) разложили на компоненты
воздействие приватизации на уровень детской смертности по
причинам смерти и обнаружили, что приватизация услуг
водоснабжения взаимосвязана с сокращением смертельных
инфекций и паразитарных болезней, при этом не учитывая причины,
несвязанные с качеством воды, такими как несчастные случаи или
врожденные заболевания.
 Уровень детской смертности сократился примерно на 8 процентов в
районах, где приватизация осуществлена, и воздействие было еще
большим – примерно на 26 процентов – в наибеднейших районах.
 Регулируемый частный сектор оказался более успешным, чем
государственный сектор, в отношении улучшения индикаторов
доступа, обслуживания и, что наиболее важно, детской смертности.
Ограничения метода Р-в-Р


Обычно Р-в-Р менее обоснованный, чем РКИ.
Необходимо установить тенденции для двух
групп, даже еще до начала программы
 Даже при параллельных тенденциях в оценке
все еще может появиться необъективность.
 Р-в-Р приписывает интервенции любые
различия в тенденциях между группой с
интервенцией и группой для сравнения,
которые происходят со времени начала
интервенции.
Источники и ссылки






D. Evans (2010). Impact evaluation methods: Difference in difference & matching.
Africa Program for education impact evaluation and World Bank. – Методы оценки
воздействия: Разность в разности и сопоставление. Оценка воздействия
Африканской программы по образованию и Всемирный банк
P. Gertler et al. (2011). Impact evaluation in practice. Washington, DC: The World Bank.
– Оценка воздействия на практике. Вашингтон О.К.: Всемирный банк
S. Khandker et al. (2010). Handbook on impact evaluation. Washington, DC: The World
Bank. – Справочник по оценке воздействия. Вашингтон О.К.: Всемирный банк
A. Orbeta, Jr. and R. B. Mallari (2013). Impact evaluation training for DSWD Staff.
DSWD. – Обучение по оценке воздействия для сотрудников DSWD.
H. White (2009). Theory-based impact evaluation: principles and practice. 3ie working
paper 3. 3ie, New Delhi. – Оценка воздействия на основе теории: принципы и
практика. Рабочий документ 3ie - 3. 3ie, Нью-Дели
H. White (2012). Quality impact evaluation: An introductory workshop. 3ie, New Delhi.
Качественная оценка воздействия: Вводный семинар. 3ie, Нью-Дели.
Спасибо!