Оценка по итогам программы

ЗАЩИТА УЯЗВИМЫХ СЛОЕВ НАСЕЛЕНИЯ: Основные
принципы и создание эффективных систем
социальной защиты.
Вашингтон
Оценка политики социальной защиты
7 -го июнь 2004
Франсуа Бургиньон
1
Введение : необходимость оценки
• Инструменты социальной защиты :
- действенны ли они в снижении уровня
постоянной или временной бедности?
- насколько они улучшают благосостояние
человека в отдельности или семьи в целом?
- являются ли они общественно
рентабельными? Превышает ли полученная от
них общественная выгода общественные
издержки?
2
Введение : необходимость оценки
•Пример
Предоставление микрокредита в виде
субсидии людям, которые гарантируют
его погашение.
Бенефициары в этом случае
выигрывают. Однако ими не
обязательно являются те, на кого
ориентирована программа.
3
Введение : предварительная оценка и
оценка по итогам программы
Предварительная = создание
По итогам программы = проверка
предварительных гипотез + возможная
переориентация
В идеале :
поочередное применение обоих
подходов
На практике : смешанное применение обоих
подходов
4
Пример. Программа вовлечения в школьное образование:
предоставление единовременного пособия на ребенка
начального школьного возраста на основании
материального положения и при условии регулярного
посещения школы.
Предварительная оценка: Каковы критерии
материального положения? Каково предполагаемое
воздействие программы на посещаемость школы и
доходы? Издержки программы. Поиск оптимальной
политики.
Оценка по итогам программы: Эффективна ли
программа? Кого она затронула? Как изменилось
благосостояние участников программы?
5
Введение: основная трудность
Населенные пункты без медицинского центра :
частота заболеваний « X » = 10, рост детей в 5
лет = 1м, средний доход на человека = 100
Населенные пункты с медицинскими центрами :
частота заболеваний « X » = 5, рост детей в 5
лет = 1.05m, средний доход на человека = 150
Следует ли из этого, что создание медицинских
центров снижает частоту заболеваний Х в
два раза и повышает средний доход на 50% ??
6
Введение: основная трудность
Нет, совсем необязательно: вполне возможно,
что населенные пункты с медицинскими
центрами изначально были менее бедными, а
их обитатели более здоровыми!!
Как в этих условиях установить общественную
выгоду медицинского диспансера?
7
Введение : План презентации
I. Имеющиеся методы оценки
A Предварительная
B По итогам программы
II. Некоторые примеры применения
- трансферты
- программы общественных работ
8
I.A Метод предварительной оценки
Речь идет в основном о
микроэкономическом моделировании,
основанном на данных выборки так
называемых типичных домохозяйств.
9
I.A Метод предварительной оценки
Поскольку необходимо проводить поведенческую оценку,
метод предварительной оценки зачастую связан с
эконометрическим моделированием.
Желательно более широкое распространение метода.
Комплексное применение (см. модели микромоделирования перераспределения (налоговая система
и трансферты) в развитых странах)
10
1) Математические или численные модели
X = Характеристики домохозяйств,
Изучаемый инструмент вызывает полностью
контролируемое изменение X издержек c(X,
X)
Моделирование альтернативной политики, X =
P(X), где P( ) это правила вычисления.
Выбор наилучшей политики на основе издержек.
«Наилучшая политика» = максимизация функции
общественного благосостояния :  B(X+ X )
11
1) Математические или численные модели
(продолжение)
Примеры: трансферты на основании
материального положения, дотации,
школьное питание и проч.
Внимание: для применения некоторых
инструментов необходимы данные о пробной
выборке (домохозяйства, за которыми
наблюдают в течение длительного времени).
12
2) Модели на основе изучения поведения
Поведение домохозяйств чаще всего
оказывается под воздействием
рассматриваемого инструмента
социальной защиты, или их участие в
разрабатываемой программе эндогенно.
В этих условиях функция P( ) сочетает в
себе вычисление рассматриваемого
инструмента и поведение домохозяйств.
13
2) Модели на основе изучения поведения
(продолжение)
Теперь мы видим следующее:
a) эффект воздействия на поведение изменяет
показатели домохозяйства:
X’ = F[X, P( ) ]
b) Выведение инструмента
X = P(X’)
для цены c(X’, X)
c) Суммарный эффект :
P(X’) + (X’ – X)
14
2) Модели на основе изучения поведения
(продолжение)
Чтобы оценить альтернативные стратегии, надо
располагать правилами вычисления P( ), а
также оценкой функции поведения F ( ).
В некоторых случаях возможно эконометрически
оценить функцию поведения на базе
имеющихся данных (лонгитюдных или
панельных). В других случаях можно просто
провести калибровку данных.
15
2) Модели на основе изучения поведения
(окончание)
Примеры : вовлечённость в школьное
обучение, экономическая активность,
характеристики потребления,
характеристика производства, участие в
программе микро-кредитования и т.д.
16
I.B Метод оценки по итогам
программы
Сравнение тех, кто участвует в программе
социальной защиты с теми, кто не участвует:
правильно ли выбран целевой слой населения?
Насколько программа действенна?
Проблема : сравнение дает погрешность,
связанную с тем, что программа не экзогенна.
Как устранить или уменьшить эту погрешность?
17
I.B Метод оценки по итогам
программы
Способы, позволяющие уменьшить смещение выборки
1. Рандомизация. Случайным образом выбирают
участников программы, а затем сравнивают их с
теми, кто в программе не участвует. Логика
эксперимента : сравнение контрольных и
экспериментальных групп, проведение пробных
экспериментов. Осуществляется одновременно с
запуском программы или до ее начала.
18
Способы, позволяющие уменьшить смещение
выборки (продолжение)
2) Двойная разность. Перед началом программы
собирают данные о возможных участниках и о
тех, кто не участвует. Их сравнивают с помощью
интересующей нас переменной.
После окончания программы этих же людей
сравнивают снова.
Благодаря применению методики двойной
разности мы получаем оценку воздействия,
оказанного программой.
19
Способы, позволяющие уменьшить смещение
выборки (продолжение)
3) Отбор по подобию. Из участвующих в
программе и не участвующих составляют
пары в рамках более широкой выборки.
Пары подбираются исходя из подобия
определенных характеристик,
обуславливающих их возможное участие.
20
Способы, позволяющие уменьшить смещение
выборки (окончание)
4) Инструментальные переменные.
Переменные, которые оказывают влияние
на участие в программе (но не на факторы,
обуславливающие участие), используются
для определения вариативности
экзогенных переменных, отражающих
результаты программы.
21
I.B Метод оценки по итогам программы
(продолжение)
Трудности при использовании способов,
уменьшающих погрешность отбора
- Опросы занимают много времени, а программы
должны быть реализованы быстро.
- Недостаточно информации, чтобы сформировать
контрольную группу. И напротив, избыток
информации по экспериментальной группе.
- Недостаточно инструментальных переменных,
доступных наблюдению.
22
I.B Метод оценки по итогам программы
(окончание)
Мало хорошо спланированных экспериментов (мода на
эксперименты в «естественных» условиях)
Выбор метода оценки необходимо проводить
одновременно с выбором программы!!
Трудно удержаться от постоянного перескакивания с
методики предварительной оценки к методике
оценки по итогам программы.
23
II. Примеры использования:
трансферты.
1. Программы типа « Progresa »
Денежные трансферты, обусловленные
материальным положением и участием в
программе (посещение школы, прохождение
медицинских обследований)
В настоящее время эксперименты проводятся в
нескольких странах (в Мексике, Бразилии,
Бангладеш и др.)
24
Программы типа « Progresa »
(продолжение)
a) Разработка (Мексика)
Предварительное использование метода микромоделирования для определения ресурсов,
необходимых для начала программы.
Проведение дискриминантного анализа выборки
семей (до начала программы) по переменной,
отражающей уровень бедности.
Использование функции G(X), такой как :
« Бедный » ssi G(X) >a
дает наименьшую ошибку.
Именно эта функция и была применена на
практике (в комбинации с проверкой части
25
территориальных сообществ)
Программы типа « Progresa »
(продолжение)
a) Разработка (продолжение)
Осуществление математического анализа влияния
программы на распределение доходов.
С другой стороны, редко проводится
предварительный эконометрический анализ
влияния программы на посещение школы,
социальную уязвимость и т.д.
Вместо этого используется калибровка шкалы
трансфертов с целью сделать максимально
привлекательным посещение школы и
осуществление медицинского контроля (для
школьного образования шкала зависит от
26
уровня знаний и от пола ребенка).
Программы типа « Progresa »
(продолжение)
b) Значение программы Progresa в Мексике
- Программа стартовала в августе 1997
- По данным на конец 1999 года
программой охвачены 2.6 миллиона
семей
- Из них 40% в сельской местности
- Стоимость программы составляет 0.2%
от ВВП (примерно 2% от общего дохода
в сельской местности)
27
Программы типа « Progresa »
(продолжение)
c) Оценка
Реализация программы позволила проводить оценку по
типу рандомизация/эксперимент и двойной разности.
Выборка состоит из 186 контрольных и 320
экспериментальных населенных пунктов, всего 25.000
домохозяйств.
В экспериментальных населенных пунктах проводится
наблюдение за домохозяйствами, уже участвующими в
программе, а в контрольных населенных пунктах за
домохозяйствами, которые потенциально могут участвовать
в программе.
Двойная разность, полученная с течением времени =
влияние программы на посещение школы, питание,
здоровье, вариативность доходов и т.д.
28
Программы типа « Progresa »
(продолжение)
d) Результаты (Мексика)
- Через 2 года, существенные успехи в том,
что касается питания и посещения средней
школы
- Долгосрочное воздействие трудно оценить
так как «целевые» домохозяйства уже
участвуют в программе.
29
Программы типа « Progresa » (окончание)
d) Политэкономическое значение программы «Progresa»
- В начале - сделать более эффективной политику
помощи бедным (и сократить расходы на неё)
- Условие посещения школы как критерий
приемлемости программы
- Оценка как политическая составляющая программы
30
2. Программы общественных работ
1. Принцип.
Рабочие места с низкой оплатой труда, предлагаемые в
рамках программ создания локальных
инфраструктур, где требуется
неквалифицированный труд.
Самоотбор наиболее бедных индивидов и
домохозяйств в программе, или домохозяйств,
испытывающих временные трудности (роль
страхования дохода или на случай потери работы).
Условия функционирования: предлагаемая оплата
труда должна быть ниже рыночной.
Программы опробованы в Индии (Махараштра), Чили
(кризис 1980-х), Индонезии, Аргентине, Колумбии
и др.)
31
2. Оценка
-
-
Сложно проводить эксперимент (принцип
справедливости).
Сложно проводить предварительное
анкетирование, так как этот тип программ
реализуется в кризисных ситуациях.
Доступная информация получена в
результате анкетирования после программы,
частично охватывающем участников
программы.
32
3. Балльный метод (формирование пар)
В состав выборки входят участвующие и не
участвующие в программе. Общая информация по
обоим группам = X.
a) Модель участия в программе общественных работ
(Logit/Probit) оценивается на основе переменных Х:
Prob(участие) = Prob(X.b + u > 0) где u - логический
или нормальный коэффициент.
b) Вычисляются вероятности участия (баллы) для всех
индивидов (как участвующих, так и нет):
S = Pr( Xbˆ  u  0)
33
3. Балльный метод (формирование пар)
c) Для каждого участвующего подбирают не
участвующего с наиболее близким по
значению баллом. Затем сравнивают
интересующие переменные (доход) для
обоих индивидов или домохозяйств.
d) Наконец, подсчитывают среднюю разность
для всей группы участников.
34
3. Балльный метод (формирование пар)
Метод интересен тем, что помогает избежать
формирования пар по всем X
Основан на свойстве: E(YX) = E(YS(X)) где Y
интересующая переменная (доход)
Предполагается однако, что, в зависимости от
доступных наблюдению Х, участие и
интересующие переменные независимы.
35
4. Результаты (Аргентина, Равальон)
Вопросы :
- Каков уровень бедности участников?
- Каков чистый прирост дохода?
- Какие еще факторы помимо дохода влияют
на участие (социальный капитал)?
- Существуют ли смещения среди
участвующих (пол, возраст, …)
36
4. Результаты (Аргентина, Равальон)
Результаты регрессии Logit участия дают
основания говорить, что в программе чаще
всего участвуют следующие категории
людей:
- бедные (по качеству жилья, месту жительства,
уровню образования)
- женатые мужчины, главы семей
- долго проживающие на одном месте
- члены политических партий и объединений
37
4. Результаты (Аргентина, Равальон)
Выигрыш от аргентинской программы в среднем равен
почти половине от размера оплаты труда,
предложенной в рамках программы
Стандартный анализ воздействия (подразумевающий,
что альтернативная оплата труда равна нулю)
склонен к преувеличению размеров бедности в
отсутствие программы
Стандартный анализ воздействия предполагает, что без
осуществления программы 40% домохозяйств
относились бы к первому квинтилю. С учетом
альтернативной стоимости эта цифра составляет
всего 10%.
38
4. Результаты (Аргентина, Равальон)
При подсчете чистой выгоды от программы
нужно учитывать затраты на создание
инфраструктуры.
Важные моменты : a) чистая выгода не равна
сумме выплаченных зарплат; b) подход, при
котором программа нацелена на самых
бедных, не безупречен.
39
Заключение
- Эффективность расходов, когда речь идет о
социальной защите и борьбе с бедностью,
требует максимально точной оценки.
- Такая же оценка необходима для политической
прозрачности и приемлемости программ.
- Предварительная оценка и оценка по итогам
программы дополняют друг друга и обе
являются необходимыми.
40
Заключение
Спектр методов оценки очень широк: от самых
грубых до самых сложных.
Опыт показывает, что анкетирование
домохозяйств, проводимое с периодичностью в
2 – 3 года, иногда дополняемое специальными
разделами, позволяет ответить на многие
поставленные вопросы.
41
Список литературы
Равальон, Мартин (Martin Ravallion), «Загадка
исчезающих выгод: введение в методы
оценки», Экономический обзор Всемирного
банка (декабрь 2000)
Ялан Йотсна (Jalan Jyotsna) и Мартин Равальон
(Martin Ravallion), «Рост дохода благодаря
социальной программе общественных работ:
анализ оценочных показателей для программы
«Trabajar» в Аргентине», Всемирный банк.
42