ЧТО ВХОДИТ В ТЕХНИЧЕСКОЕ ЗАДАНИЕ (ТЗ) Источник: UNICEF Evaluation Technical Notes, выпуск № 2 (Май 2002) Техническое задание – это план или проект, в котором определены ключевые элементы: назначение, объем, процесс, продукты и действия, а также при необходимости – управленческие и технические моменты. Разработка ТЗ – это принципиальный этап любой оценки. В самом узком понимании ТЗ – это основа для заключения договора со сторонними консультантами. Если брать более широко, то поначалу ТЗ должен служить инструментом для определения ожиданий, ролей и ответственности различных заинтересованных сторон и для планирования работ в целом, включая последующее использование результатов. Время и силы, затраченные на разработку хорошего ТЗ, сторицей окупаются с точки зрения качества, нужности и полезности продукта. Конечно, глубина и подробность проработки ТЗ может меняться. ТЗ для оценки, проводимой сторонними оценщиками и при участии множества заинтересованных сторон, будет довольно подробным. А для внутренней оценки конкретной работы или экстренного быстрого ассесмента оно может быть достаточно кратким и простым. Часто ТЗ разрабатывают в несколько этапов. В случае оценки программ заинтересованные стороны сначала подробно обсуждают назначение и вопросы оценки. Более проработанная версия ТЗ, которую используют для найма сторонних консультантов, должна достаточно подробно описывать существующие источники информации, состав команды исполнителей и продукты, а вот описание методов и графика работ может быть более общими. Когда команда оценщиков готова к работе, ТЗ опять уточняют: внимательно изучают назначение и ключевые вопросы и разрабатывают соответствующую методику. Вы оцениваете ТЗ? Тогда вам нужно ответить на вопросы на желтых плашках. ТЗ имеют большое значение: Для всех заинтересованных сторон В ТЗ изложены согласованные ожидания относительно параметров и процесса работ и определена роль каждой заинтересованной стороны. Для команды исполнителей оценки и ассесмента ТЗ гарантируют четкое понимание ожиданий. Они позволяют проверить, были ли достигнуты цели. Сторонним исполнителям может потребоваться дополнительная информация об общем контексте и предполагаемых использовании и пользователях. Внутренним исполнителям может быть нужно уточнить параметры задания. Для менеджеров работ по мониторингу и оценке Именно в ТЗ определяют стандарты исполнения (например, конкретные политики и стандарты). С помощью ТЗ можно обеспечить использование лучших методов в процессе работ по мониторингу и оценке (например, включить такой метод, как консультации с заинтересованными сторонами). ТЗ дают возможность контролировать качество (например, посредством представления и обзора промежуточных результатов). ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке ТЗ – Техническое задание 1/6 ЧТО ВХОДИТ В ТЗ НА ПРОВЕДЕНИЕ ОЦЕНКИ ПРОГРАММЫ Эти элементы могут также входить в ТЗ на проведение оценки проекта или отдельных действий: Название Определите, что нужно оценить. Используйте соответствующие названия программ. Четко определите период времени, который охватывает оценка. Спросите себя: Зачем проводить оценку? Почему сейчас? Для кого? Условия Кратко опишите историю и современное состояние программы, в том числе цели, логику построения программы или цепь ожидаемых результатов, продолжительность, бюджет, действия. Опишите место оцениваемой программы в общей национальной программе организации, а также параллельные или связанные местные национальные программы. Назовите важные заинтересованные стороны, в том числе доноров, партнеров и агентства или организации-исполнители. Назначение оценки Объясните, почему проводится оценка программы. Опишите, каким образом будут использоваться процесс и результаты оценки, и что нового они дадут. Определите основных пользователей и целевые аудитории. Определите, каким образом сроки и цели оценки связаны с конкретным мероприятием по принятию решений (например, обзорным совещанием, консультацией, разработкой планов, национальной конференцией) или развитием программы. Объем и фокус Можно говорить о «задачах» или вопросах оценки. Если используют и Что оценивают? то, и другое, то обычно для решения одной задачи нужно ответить на несколько вопросов. Перечислите основные вопросы, на которые должна ответить оценка. Они должны быть связаны с назначением и точно сформулированы, чтобы оценщикам было понятно, какая информация нужна, и какие данные нужно собирать. Сгруппируйте вопросы и расставьте приоритеты. Вопросы должны быть реалистичными, и на них должно быть возможно ответить. Исходя из задач и объема оценки, определите ее критерии. В ходе оценки нужно использовать стандартные критерии OECD/DAC (нужность, эффективность, результативность, устойчивость и влияние), а также дополнительные критерии для оценки гуманитарных действий (охват, координация, согласованность и защита). Нужно объяснить, почему одни критерии было решено использовать, а от других – отказаться, и обсудить это с командой исполнителей. 1 При оценке программ, поддерживаемых ЮНИСЕФ, следует использовать еще два критерия: соблюдение прав человека и управление по результатам. Решите, нужно ли проводить анализ затрат на программу. Качественный анализ затрат помогает управлять по результатам и повышает практическую пользу оценки. 2 Назовите основные политики и стандарты или реперы исполнения, в том числе международные стандарты, которые нужно соблюдать при оценке программы. Источники информации Определите доступные источники необходимой информации, например, системы мониторинга и результаты предыдущих оценок. Оцените их качество и надежность. Более подробно эти критерии рассмотрены в разделе «Увязывание критериев оценки с вопросами оценки» 1 2 Более подробно тема анализа затрат рассмотрена в части 2 модуля 6. ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке ТЗ – Техническое задание 2/6 Процесс и методы оценки Как? Опишите общий ход процесса оценки – последовательность основных этапов. Опишите общий подход оценки и методы сбора данных, с помощью которых предлагается ответить на вопросы оценки. Первоначальное общее описание можно далее конкретизировать совместно с командой исполнителей. В итоге описание должно давать полный и объективный анализ. В окончательном варианте ТЗ должны быть определены: Источники информации для сбора новых данных; Подходы к проведению выборки для различных методов, в том числе географическая привязка и рассматриваемые группы населения, используемые процедуры и размер выборки (если будет проводиться опрос благополучателей программы, нужно опросить и тех, кто имел право получить помощь, но не получал ее); Необходимый уровень точности; Инструменты сбора данных; Виды анализа данных; Предполагаемые меры для обеспечения соблюдения правил этики в процессе оценки и защиты участников оценки, например, респондентов и источников. 3 Назовите все ожидаемые результаты процесса: например, укрепление сетей, создание механизмов диалога, достижение единого понимания ситуации рядом групп заинтересованных сторон. Определите все промежуточные задачи и мероприятия, которые должен реализовать оценщик, и предварительные сроки их реализации. Это могут быть: Встречи, консультации и семинары с различными группами заинтересованных сторон; Ключевые моменты взаимодействия с управляющим комитетом; Процесс верификации результатов у заинтересованных сторон; Презентация предварительных результатов и рекомендаций. Участие заинтересованных сторон Определите и обоснуйте, каким образом в оценке должны принимать участие заинтересованные стороны: внутренние заинтересованные стороны, партнеры по программе, представители донора и т.п. Заинтересованные стороны могут выполнять роли посредников, технических консультантов, наблюдателей и т.п. или более активно участвовать в разработке плана и проекта оценки, сборе и анализе данных, подготовке и распространении отчетов и реализации рекомендаций. Определите свои ожидания относительно участия заинтересованных сторон и консультаций с ними. Четко определите, в каких работах они будут участвовать: например, в разработке плана и проекта, сборе и анализе данных, подготовке и распространении отчетов и реализации рекомендаций. Ответственность Кто будет проводить оценку? Определите роли и обязанности руководителя и членов команды исполнителей оценки, а также остальных участвующих заинтересованных сторон и консультативных структур, например, управляющего комитета. В этом разделе нужно определить, кто будет отвечать за: Связь с командой исполнителей оценки; Техническое руководство; Координацию участия заинтересованных сторон; Выбор, ориентацию и тренинг участников команды исполнителей, и если нужно – помощников для сбора информации и переводчиков; Утверждение промежуточных и конечных продуктов; Развитие и укрепление национальных или иных заинтересованных сторон (это может быть одной из обязанностей команды оценщиков). 3 Более подробно управленческие вопросы, связанные с соблюдением норм этики и защитой участников мониторинга и оценки, рассмотрены в материале “Этические вопросы при проведении полевых исследований – работа с людьми” и “Участие детей в исследованиях и мониторингу и оценке: этика и ваши обязанности как менеджера” ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке ТЗ – Техническое задание 3/6 Определите все проблемы и ограничения, связанные с конфликтом интересов. Состав команды исполнителей оценки Определите состав и компетенции команды. Они должны вытекать из фокуса оценки и необходимых методов и видов анализа. Следует различать желательные и обязательные компетенции, а также, какими компетенциями должны обладать все исполнители, а какими – только отдельные члены команды. Часто команда должна включать представителей самых разных дисциплин. Нужно определить следующие аспекты квалификации исполнителей: Область специализации (сектор, тема); Владение языками; Опыт работы в стране и регионе; Владение методами оценки и сбора данных; Аналитические навыки и знание подходов, например, к гендерному анализу; Навыки управления процессом, например, посреднические навыки; Гендерный состав (не путать с умением проводить гендерный анализ). Процедуры и логистика Рассмотрите необходимые вопросы логистики, связанные с комплектацией штата и условиями работы: Доступность и получение услуг (переводчиков на местах, интервьюеров, обработчиков данных, водителей); Доступность и приобретение офисных помещений, автомобилей, ноутбуков, магнитофонов; процедуры организации встреч; требования относительно получения обратной связи; График работ (рабочее время, рабочие дни, выходные) и особые инструкции, например, на случай чрезвычайной ситуации (часто используют 7-дневную рабочую неделю с последующим перерывом для отдыха и восстановления сил); Специальные процедуры, например, для работы с прессой, обеспечения безопасности и эвакуации в случае чрезвычайной ситуации; Льготы и соцпакет, например, страховка (при работе в условиях чрезвычайно ситуации могут быть военные надбавки и страховка от рисков войны); Сезонные ограничения, транспортные ограничения и условия, социальные и культурные условия, которые могут повлиять на сбор данных; Обязательства по отчетности помимо представляемых продуктов (например, счета). Продукты В какой форме? Список продуктов с указанием, кому и когда они должны быть представлены. Это могут быть: Отчет об оценке; Полный набор данных (заполненные анкеты или опросные листы); Материалы для распространения (статьи для новостных бюллетеней, краткие изложения, презентационные материалы); В ЮНИСЕФ в обязанности консультантов по оценке нужно включить, что они должны предоставить всю информацию в определенном формате в национальный офис ЮНИСЕФ для внесения ее в базу данных оценки ЮНИСЕФ. Ассесмент методики оценки, включая обсуждение ограничений. Определите, в каком формате должны быть предоставлены продукты: компьютерная программа, число бумажных копий, переводы и структура отчета об оценке. (См. “UNICEF Evaluation Report Standards” http://www.unicef.org/evaldatabase/index.html и UNICEF Evaluation Technical Notes Series no. 3 “Writing a good Executive summary” http://www.unicef.org/evaluation/TechNote3_Exec_Sum.pdf). Необходимые ресурсы Какими средствами? Определите затраты и подготовьте подробный бюджет. Укажите источники средств. Увяжите бюджет с основными работами или фазами плана работ. Возможные статьи расходов: Поездки: зарубежные и внутри страны; Расходы на членов команды: зарплата, суточные и прочие расходы; ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке ТЗ – Техническое задание 4/6 Оплата услуг переводчиков, интервьюеров, обработчиков данных и секретарей. Отдельно определите предполагаемые затраты времени: Сотрудников (до, во время и после); Остальных заинтересованных сторон, в том числе и основных. ЧТО ВХОДИТ В ТЗ НА ПРОВЕДЕНИЕ ЭКСТРЕННОГО БЫСТРОГО АССЕСМЕНТА Назначение: почему? Чем вызвана необходимость ассесмента? Как будут использоваться процесс и результаты ассесмента? В чем его особая ценность? Кто ключевые пользователи и целевая аудитория? Есть ли целевое мероприятие по принятию решений (обзорное совещание, консультация, разработка планов, конференция)? Сводка имеющейся информации Если информации и ее источников мало, здесь можно даже попробовать обобщить их в первом приближении. Так как времени мало, информация, предоставляемая команде, должна быть краткой и сфокусированной. Назовите подходящие доступные источники информации, например системы мониторинга и результаты предыдущих оценок. Оцените их качество и надежность. Кратко обобщите имеющуюся информацию, определите, какие есть пробелы, вопросы и проблемы с верификацией. Объем и фокус На какие основные вопросы должен попытаться ответить ассесмент? Какие пробелы в информации нужно попытаться заполнить? Определите, относительно какой совокупности нужно попытаться собрать представительные данные. Опишите, как это будет сделано в ходе ассесмента. (Более подробно вопросы выборки можно рассмотреть в разделе, посвященном методам, но общие параметры можно привести здесь.) Процесс и методы ассесмента См. раздел «Процесс и методы оценки» ТЗ на проведение оценки программ. Ответственность Определите роли и обязанности руководителя и членов команды исполнителей ассесмента, а также остальных участвующих организаций и консультативных структур, например, управляющих комитетов очень крупных ассесментов. В этом разделе нужно определить, кто будет отвечать за: Ежедневную связь с командой исполнителей ассесмента; Техническое руководство; Непосредственный контроль и мониторинг; Заключение договоров; Выбор, ориентацию и тренинг участников команды исполнителей, и если нужно – помощников для сбора информации и переводчиков; Утверждение проекта и инструментов ассесмента; Утверждение изменений в проекте и инструментах по ходу работ; Помощь в решении организационных вопросов, описанных ниже; Привлечение различных заинтересованных сторон (например, доноров, местных властей, основных заинтересованных сторон) и координацию их участия и вклада на различных этапах (подготовки, сбора данных и анализа); Предоставление результатов ассесмента различным заинтересованным сторонам, в том числе населению, которое рассматривает ассесмент; Утверждение промежуточных и конечных продуктов; Распространение; Управление реализацией рекомендаций. ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке ТЗ – Техническое задание 5/6 Состав команды исполнителей См. ТЗ на проведение оценки программы. Процедуры и логистика См. ТЗ на проведение оценки программы. Продукты См. ТЗ на проведение оценки программы. Необходимые ресурсы См. ТЗ на проведение оценки программы. ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке ТЗ – Техническое задание 6/6