Балышев А

Балышев А.В.1, Петровский А.Б.2, Ройзензон Г.В.2, Тихонов И.П.1
1 Москва, Российский фонд фундаментальных исследований
2 Москва, Институт системного анализа РАН
МЕТОДОЛОГИЧЕСКИЕ ПОДХОДЫ К МНОГОКРИТЕРИАЛЬНОЙ ОЦЕНКЕ
ЭКСПЕРТИЗЫ ПРОЕКТОВ В НАУЧНЫХ ФОНДАХ*
Государственные научные фонды являются важными элементами системы организации
науки любой страны, обладающей научно-исследовательским потенциалом. Научные фонды,
включая Российский фонд фундаментальных исследований (РФФИ), играют роль
координационных центров национальных научных сообществ, через которые ученые
получают возможность получить государственную поддержку развития своих дисциплин.
Фонды строят свою работу на сочетании ряда ключевых принципов:
- проведение открытых конкурсов, участники которых определяют тематику предлагаемых
ими исследований;
- использование независимой экспертизы и процедуры рецензирования (peer review) [6] в
качестве основного способа определения лучших проектов;
- публикация результатов выполненных проектов в признанных научных изданиях.
Механизм рецензирования заявок на выполнение исследований и полученных
результатов служит основным инструментом экспертизы проектов и в настоящее время
широко применяется в государственных и частных организациях, выделяющих гранты на
научные исследования. Этот механизм используется и в РФФИ. Вместе с тем, хотя в основе
процедур рецензирования лежат общие принципы, особенности этих процедур в конкретных
фондах оказывают влияние как на эффективность распределения бюджетных средств, так и
на общий характер взаимодействия фонда с научным сообществом.
В соответствии с действующим в РФФИ порядком экспертиза проектов проводится в
несколько этапов и сочетает в себе индивидуальную работу независимых экспертов и
последующее коллективное обсуждение заявок. Первоначально каждый проект
рассматривается, как правило, тремя экспертами, которые дают письменные
аргументированные заключения и многокритериальную оценку содержания заявки (при
проведении конкурсного отбора) и полученных результатов (при завершении проекта). В
разных видах конкурсов используются свои системы критериев, но во всех конкурсах шкалы
критериев имеют вербальные (качественные) градации. Такой подход позволяет получить от
экспертов более достоверную информацию и оперировать профессиональным языком с
использованием терминологии, в определенной степени унифицированной для
представителей разных областей знаний. В последующем заявки и отчеты проходят
экспертизу в экспертных советах, которые созданы по каждой из областей знаний.
Одним из важных направлений деятельности РФФИ в настоящее время является оценка
возможности практического применения результатов научных исследований в отраслях
народного хозяйства [3,4]. С этой целью необходимо формализовать понятие
«результативность проекта» применительно к целевым фундаментальным исследованиям,
выполняемым в интересах федеральных агентств и ведомств, на основе принятой в РФФИ
системы критериев. Анкета оценки отчета о выполнении проекта состоит из двух разделов:
оценка полученных результатов и ожидаемые результаты завершающей стадии проекта. Эти
аспекты играют существенную роль при формировании интегрального показателя
результативности проекта. Существуют различные методологические подходы,
позволяющие конструировать интегральные показатели на основании агрегирования
признаков, описывающих рассматриваемые объекты [5]. Однако, например, при
использовании методов, в которых проводится свертка многих критериев с весовыми
коэффициентами [2], нельзя по агрегированным критериям восстановить исходные данные,
поэтому фактически невозможно объяснить полученные решения. Кроме того, весьма
*
?????
затруднительно обосновать назначение весов критериев, особенно при наличии нескольких
экспертов. Во многих практических случаях разработку интегрального показателя
целесообразно свести к задаче многокритериальной порядковой классификации. Значения
интегрального показателя будут выступать в этом случае в качестве классов решений.
Именно такой подход принят для оценки результативности научных проектов. Для этого
использован метод вербального анализа решений ПАКС (Последовательное Агрегирование
Классифицируемых Состояний), который основан на последовательном снижении
размерности признакового пространства, образованного дискретными качественными
(вербальными) признаками [3]. Метод предоставляет в распоряжение лица, принимающего
решение (ЛПР), инструментарий, дающий возможности агрегировать большое число
исходных характеристик в небольшое число составных критериев, которые имеют
небольшие шкалы оценок, отражающих предпочтения ЛПР. При построении шкал составных
критериев применяются разные способы ранжирования и/или классификации многомерных
альтернатив исходя из предпочтений ЛПР.
Метод формирования интегрального показателя результативности научных проектов
был опробован в РФФИ при экспертной оценке выполнения проектов целевых
фундаментальных исследований. Были исследованы возможные подходы, позволяющие
различным образом формализовать понятие «результативность проекта». Предложено два
разных варианта агрегирования исходного множества комбинаций исходных экспертных
оценок результатов, полученных по проектам, в промежуточные составные критерии,
которые, в свою очередь, агрегировались в интегрированный критерий верхнего уровня.
Шкалы критериев каждого уровня иерархии конструировались с помощью различных
сочетаний методов вербального анализа решений, а именно: метода порядковой
классификации ОРКЛАСС [1] и метода стратификации кортежей. С геометрической точки
зрения метод стратификации кортежей состоит в «нарезке» многомерного параллелепипеда
или прямоугольника на несколько групп наборов исходных признаков, число которых
зависит от числа признаков, образующих составной критерий.
Апробация разработанной методики экспертного анализа результативности целевых
фундаментальных исследований была проведена на массиве данных экспертных оценок
отчетов по проектам, выполненным в интересах Федерального агентства по
промышленности в 2005-2006 годах. Предложенный методологический подход к
многокритериальной оценке результативности научных проектов может быть успешно
применен в различных областях, где необходимо получить интегральную оценку
деятельности на основе исходной слабо структурируемой качественной информации.
Практически невозможно априори назначить количественные шкалы оценок, сопоставив
качественным факторам какие-либо числа так, чтобы они «правильно» выражали плохо
формализуемые свойства объектов и одинаково понимались разными людьми. Числовые
оценки тем более неприменимы для измерения вербальных показателей, таких, например,
как участие в выполнении проекта молодых ученых или междисциплинарный характер
проекта. Важной особенностью разработанного подхода является возможность сформировать
разные наборы промежуточных составных критериев и воспользоваться разными способами
конструирования их шкал. Сопоставление результатов, получаемых для разных вариантов
классификации и иерархических систем критериев, позволяет сравнить их между собой и
выбрать как наиболее предпочтительную систему критериев, так и оценить качество сделанного
выбора. Подход дает возможность обосновать принятое решение и получить ощутимую
экономию времени и трудозатрат ЛПР.
Результаты апробации подтвердили эффективность предложенного подхода. Были
выявлены проекты целевых фундаментальных исследований, имеющие высокую
результативность, что обеспечивает расширение сферы практического применения
результатов законченных работ.
Разработанный методологический инструментарий может быть также использован при
совершенствовании самого механизма экспертизы в РФФИ. Это приобретает особое
значение в связи с вступлением в силу Федерального закона Российской Федерации N 249
«О внесении изменений в Федеральный закон «О науке и государственной научнотехнической политике»». Согласно этому закону государственные фонды должны
определить критерии оценки конкурсных заявок, критерии отбора проектов на конкурсной
основе; информировать участников конкурса о результатах экспертизы проектов и итогах
конкурса. До настоящего времени РФФИ не предоставлял заявителю информацию о
причинах, по которым проект не прошел по конкурсу. Отсутствие такой обратной связи с
Фондом подвергается научным сообществом наибольшей критике.
Литература
1. Ларичев О.И. Вербальный анализ решений / Под ред. А.Б. Петровского. – М.: Наука, 2006. – 181 с.
2. Петровский А.Б. Теория принятия решений. – М.: Издательский центр «Академия», 2009. – 400 с.
3. Петровский А.Б., Тихонов И.П. Фундаментальные исследования, ориентированные на практический
результат: подходы к оценке эффективности. // Вестник РАН, 2009. – Т.79. – №11. – С.1006-1011.
4. Петровский А.Б., Ройзензон Г.В. Интерактивная процедура снижения размерности признакового
пространства в задачах многокритериальной классификации // Поддержка принятия решений: Труды Института
системного анализа Российской академии наук / Под ред. А.Б. Петровского. – М.: Едиториал УРСС, 2008. –
Т.35. – С.43-53.
5. Прикладная статистика. Классификация и снижение размерности / С.А. Айвазян, В.М. Бухштабер, И.С.
Енюков, Л.Д. Мешалкин; Под ред. С.А. Айвазяна. – М.: Финансы и статистика, 1989. – 607 с.
6. Mallard G., Lamont M., Guetzkow J. Fairness as Appropriateness Negotiating Epistemological Differences in Peer
Review // Science, Technology, & Human Values.— 2009.—September. — Vol. 34, no. 5. — Pp. 573–606.