Мониторинг региональных интегрированных центров - партнеров EEN Россия, анализ эффективности по ключевым показателям (индикаторам) отчетности о результатах деятельности Конференция ENTERPRISE EUROPE NETWORK – РОССИЯ: СТАРТ ПРОЕКТА, 18-19 мая 2015 года Мониторинг и оценка – ключевые положения Деятельность в сети EEN направлена на конкретные результаты: Функция мониторинга – упреждение отклонений от намеченной траектории деятельности РИЦ, формирование корректирующих управленческих решений Функция оценки – подтверждение достижения целей/ результатов деятельности РИЦ в рамке сети EEN и Консорциума, выявление системных проблем и лучших практик, формирование корректирующих управленческих решений Мониторинг и оценка обеспечивают: координацию и контроль деятельности РИЦ в рамках задач EEN/ Консорциума, базы для принятия решений; выявление проблем; выявление лучших практик; необходимость поддержки РИЦ со стороны Консорциума; формирование пакета услуг Консорциума; информирование заинтересованных сторон (Консорциум, EEN, ФОИВ, МСП, общественность и т.д.); демонстрацию достижений 2 Рамка результативности EEN и заинтересованных сторон (инвесторов) Мероприятия (деятельность) Непосредственные результаты Конечный результат Международное взаимодействие в целях бизнес-кооперации, трансфера технологий, внедрения инноваций и проведения НИР: - (со-) организация брокерских мероприятий и «миссий компаний»; - инициирование и распространение предложений о сотрудничестве - количество организованных брокерских мероприятий и «миссий компаний» - количество СМП, принявших участие в указанных мероприятиях - количество деловых встреч/ переговоров на указанных мероприятиях -количество инициированных предложений о сотрудничестве - количество полученных выражений интереса - количество инициированных выражений интереса Количество соглашений о сотрудничестве: - коммерческие соглашения; - соглашения по трансферу технологий; - соглашения в сфере научных исследований Мероприятия по содержательной и информационно поддержке СМП (в рамках организации международного сотрудничества) Количество запросов, полученных от партнеров EEN 3 Рамка результативности EEN и заинтересованных сторон (инвесторов) Мероприятия (деятельность) Непосредственные результаты Продвижение услуг сети EEN/EENRussia, PR и коммуникации Количество СМП, зарегистрированных в официальной базе данных EEN Развитие и укрепление сети EEN Активный вклад в деятельность сети EEN (измеримые действия) Развитие сети инфраструктуры поддержки СМП/ инноваций Элементы поддержки СМП (нормативные правовые акты, финансирование, продвижение, консультирование и т.п.) Номенклатура разработанной/ производимой продукция Интеллектуальная собственность…. Конечный результат Контракты Конечный результат для EEN – партнёрские соглашения Необходимые направления деятельности указаны (декомпозированы) в соглашениях с РИЦ Результаты деятельности РИЦ измеряемы 4 Схема мониторинга Отчетность, представление интересов EEN Обмен данными, формирование решений «Инвесторы» (ФОИВ, РОИВ) Отчетность Решения, поручения, проверка Отчетность, заявки, запросы РИЦ Проверка, аудит Отчетность Эксперты МСП МСП 5 Консорциум Эксперты Оценка, решения, аудит, поддержка Выполнение соглашений с Консорциумом Ход формирования и реализации планов работ/ проектов РИЦ Выявление рисков и отклонений Формирование решений и управление поручениями 6 Стратегическое Оперативное Направления мониторинга и оценки Изменение среды (принятие решений, направленных на развитие инновационной инфраструктуры) Определение «точек прорыва» (приоритетность мероприятий РИЦ) Сокращение разрывов «цель - факт» Оценка хода реализации стратегии (деятельность РИЦ релевантна задачам EEN и Консорциума) Среда (онтология) деятельности РИЦ (пример) Какие услуги предоставить СМП? Как привлечь СМП? Что должны знать сотрудники? РИЦ Какие имеются точки роста? Возможно ли достижение антикризисных эффектов? 7 Чем СМП интересны партнёрам EEN? Чем партнёры EEN интересны СМП? Как ввести заявку в систему? И т.п. Результативность – эффективность: как видят деятельность РИЦ инвесторы и Консорциум Современные международные стандарты оценки эффективности программ и проектов предполагают оценку эффективности деятельности*, финансируемой из бюджета или организациями-донорами, по трем параметрам: экономичность, эффективность и результативность Цель Затраты Ресурсы Экономия (economy) Процесс Экономическая эффективность (Economically Efficient) Непосредс твенный результат (output) Конечный результат (outcome) Результативность (Effectiveness) Эффективность по конечному результату (Value for money) 1 Миссия Мониторинг и оценка эффективности *UN, 8 UNIDO, INTOSAI, World Bank, Счетная палата РФ, управление регионами (США) и т.д. Стратегич еский результат (воздейст вие – impact) Формирование и реализация плана деятельности РИЦ Этап планирования Этап реализации Ключевые вопросы: ЧТО ДЕЛАЕМ? ЧТО ДОСТИГАЕМ? Ключевые вопросы: КАК УПРАВЛЯЕМ? ЧТО ДОСТИГНУТО? 1. Логико-структурный анализ плана работы РИЦ 2. Формирование сетевого графика работы РИЦ и индикаторов (карты проекта) 3. Формирование дорожной карты (списка ключевых событий) 1. Содержательный мониторинг и оценка 2. Поддержка РИЦ и организация мероприятий Консорциума 3. Оценка, корректирующие решения 9 Логико-структурный подход (Logical Framework Approach) Ожидания заинтересованн ых сторон Логика проекта Объективно проверяемые индикаторы Источники/ методы верификации Допущения/ риски Цель 1 Подтверждение, пересмотр глобальных целей 2 Конечный результат Проверка допущений/ рисков Непосредствен ные результаты Мероприятия/ действия Цена Стоимость Ограничения 10 ЛСП-анализ – план действий (проект) - бюджет ЛСП-схема План действий и расходов, ориентированный на результат Карта проекта Бюджетирование Salaries Allowances Vehicle Op. Office Tel/Fax Seeds Fertiliser 11 5000 1250 3750 750 400 850 2300 5500 1750 4250 750 400 1100 3100 5500 1750 4250 750 400 1100 3100 5500 1750 4250 750 400 1100 3100 «Карта проекта» - план работ РИЦ Непосредствен ный результат и индикаторы Ключевые события Ответственный Финансирован ие Цель Задача 1 Мероприятие 1.1 Мероприятие 1.2 Задача 2 Мероприятие 2.1 …. Задача N Мероприятие N 12 Просрочено Возможны проблемы Все нормально Текущее состояние Периодичность мониторинга данные о достижении ключевых событий еженедельно (ежемесячно); данные о реализации сетевого графика в целом – ежемесячно (ежеквартально); развернутые описания ключевых событий, динамики реализации мероприятий, динамики достижения индикаторов результатов – по запросу; данные об экспертной оценке МСП – по запросу/ при подаче заявки на сотрудничество 13 «Дорожная карта» Дорожная карта («вехи») Текущая дата 1.12.2016 Ввод первой очереди Просрочено Возможны проблемы 15.04.2017 Получение первого экземпляра 10.01.2018 Запуск массового производства Все нормально Проект 1 Проект 2 Проект 3 Проект 4 2015 14 2016 Проект 5 2017 2018 Пример промежуточной оценки Ключевые события (в % к плану) Мероприятия (в % к плану) Кассовое исполнение в % к плану Индикаторы (в % к плану) Статус 1. Наименование 100 100 100 100 Выполняется 2. Наименование 100 100 100 100 3. Наименование 100 100 100 100 4. Наименование 100 100 100 100 5. Наименование 100 100 100 80 Выполняется с отставанием 6. Наименование 100 100 0 0 Необходимо вмешательство РИЦ 15 Выполняется Выполняется Выполняется Пример решений по результатам мониторинга и оценки Качество работы РИЦ Решение Лучшее Приемлемое Использовать лучшие практики/ как учебную базу Предоставление преимуществ PR Мотивировать на улучшения Использовать лучшие практики/ как учебную базу Предоставление преимуществ Мотивировать на улучшения Плохое Потребовать улучшений Наихудшее Осуществить программу ускоренных улучшений или исключить из сети EEN Хорошее 16 Возможное использование данных мониторинга и оценки информационная витрина мониторинга – доступность данных для лиц, принимающих решения информирование общественности и продвижение деятельности в сети EEN/ развитию регионов в сети интернет. Возможна поставка данных для информационного сайта госпрограмм programs.gov.ru PART (Program Assessment Rating Tool)*,– возможный инструмент аналитики успешности программ развития инфраструктуры поддержки СМП по предмету (направлению), региону, РИЦ * Порядок рейтингования и оценки программ, Административно-бюджетное управление при Президенте США, 2008 год 17 Методы верификации отчетности РИЦ получение обратной связи от МСП сопоставление отчетности, получаемой Консорциумом с официальной отчетностью по государственным (целевым) программам сопоставление затрат на схожие мероприятия РИЦ использование данных статистики экспертная оценка проведение тематической оценки (evaluation) результатов деятельности РИЦ и др. 18 ПРИЛОЖЕНИЯ 19 Результативность – эффективность: Экономичность характеризует выбор принципиального подхода к решению поставленной проблемы с точки зрения минимизации объема финансовых ресурсов, направляемого на приобретение проектных (материальных) ресурсов, необходимых для реализации проекта Эффективность характеризует соотношение между непосредственными результатами проекта (продукцией, услугами, получаемыми на выходе проекта) и проектными ресурсами Непосредственный результат (output) - продукция (услуги), полученные в результате деятельности Результативность характеризует степень достижения целей проекта и отражает соотношение между непосредственными результатами проекта и его целями, либо конечными результатами Конечный результат (outcome) - изменения в состоянии дел целевой группы проекта, что указывает на степень достижение определенной цели деятельности 20 Результативность – эффективность: пример использования при принятии решений Вопрос Показатели эффективности и другие оценочные параметры Правильное ли направление действий было результативность , соответствие проекта стратегии, выбрано? Правильным ли образом осуществлялись эффективность, результативность мероприятия? Какие результаты были достигнуты? Могли ли быть достигнуты результаты альтернативным путем? Как осуществлять деятельность в будущем экономичность, эффективность, результативность, воздействие на заинтересованные стороны экономичность, эффективность, результативность, воздействие на заинтересованные стороны эффективность, исполнительская дисциплина на лучшем уровне? Устойчивы ли достигнутые результаты? 21 потребность в дополнительных проектах Техника планирования и мониторинга Разнородность условий деятельности и приоритетных предметных областей РИЦ затрудняет универсальный подход к мониторингу. В этой связи предлагается использовать методику: логико-структурный подход (Logical Framework Approach)* или проектную матрицу (Project Design Matrix) при формировании планов деятельности РИЦ; стандартизованного описания проектов** - сетевых графиков (карт проекта), включая фиксацию: целей, задач, ресурсов, результатов и их индикаторов; фиксация и отслеживание ключевых событий («вех») на основе применения «дорожной карты» * Используется World Bank, USAID, UNIDO и т.п. ** На основе опыта Аналитического центра при Правительстве Российской Федерации 22 Планирование: базовые положения мероприятия РИЦ в интересах сети EEN однородны, так как известны типовые мероприятия EEN условия деятельности РИЦ в интересах сети EEN неоднородны, так как РИЦ находятся в разных регионах, имеют разную ресурсную обеспеченность, связи, приоритеты в развитии инфраструктуры поддержки МСП однородность мероприятий в рамках EEN дает возможность унифицировать планирование неоднородность условий деятельности РИЦ приводит к необходимости взвешенной разработки показателей результативности неоднородность условий деятельности РИЦ приводит к необходимости применения инструментария для учёта всех важных факторов влияния на целевые показатели РИЦ 23 Логико-структурный подход (Logical Framework Approach) цель – отражает среднесрочные и долгосрочные выгоды для МСП региона, а также самого региона в контексте EEN деятельность (мероприятия) описывают, что реально предпринимается для достижения результатов, лежит в основе плана работ РИЦ непосредственные результаты – итог реализации мероприятий, их показатели отражают эффективность ответственных за мероприятие лиц непосредственные результаты должны вести к достижению конечного результата 24 Объективно проверяемые индикаторы в LFA 1) 2) Для каждой цели и результата определяется индикатор, согласованный с индикаторами EEN Определение базовых (на момент начала проекта) и плановых значений индикаторов на период Количество Качество Целевая группа Time / period Место 25 Сколько ? Что? Кто? Время начала и продолжительность? Где? Пример индикаторов 26 Цель: рост количества вновь создаваемых ОИС в МСП, используемых в трансфере технологий Выбор индикатора: ОИС разработан, ОИС используется в производстве, ОИС предложено партнерам EEN, ОИС запрошено партнером EEN, ОИС заинтересовало партнера EEN Индикаторы: Количество: количество ОИС - N Качество: N% ОИС используются в промышленном производстве ... Целевые группы: партнеры EEN, МСП России Субъект РФ : ... Срок достижения: 2016 Формы развернутых описаний Развернутое описание мероприятий РИЦ Ответственный исполнитель: ____________________ п/п Наименование мероприятия Содержание мероприятия Тип мероприятия Непосредствен ые результаты мероприятия Конечные результаты мероприятия качественные и количественны е изменения 1 2 3 4 5 6 № 27 Конечное воздействие последствия и влияние мероприятия 7