Практика научной экспертизы или рецензирования (peer review

УДК 007.52
ЭКСПЕРТИЗА ПРОЕКТОВ В НАУЧНЫХ ФОНДАХ:
СОВРЕМЕННЫЕ ТЕНДЕНЦИИ И ПОДХОДЫ К ЕЁ ОЦЕНКЕ
1
А.В. Балышев1, А.Б. Петровский1, Г.В. Ройзензон1, И.П. Тихонов2
Институт системного анализа РАН, Москва, Россия, abalyshev@yandex.ru, pab@isa.ru
2
Экспертно-аналитический центр Министерства образования и науки РФ,
Москва, Россия, igtikhonov@rambler.ru
В статье отражена практика экспертизы проектов в Российском фонде фундаментальных
исследований. Предложен новый подход к многокритериальной оценке результативности
научных проектов и описаны результаты апробации подхода.
Ключевые слова: групповое принятие решений, сортировка и упорядочение
многопризнаковых объектов, многокритериальная оценка, результативность проектов
PROJECT EXPERTISE IN SCIENCE FOUNDATIONS:
CURRENT TRENDS AND APPROACHES TO ITS EVALUATION
Alexander V. Balyshev1, Alexey B. Petrovsky1, Gregory V. Royzenson1, Igor P. Tikhonov2
1
Institute for Systems Analysis, Russian Academy of Sciences, Moscow, Russia,
abalyshev@yandex.ru, pab@isa.ru
2
Expert-Analytical Center, Ministry of Education and Science of the Russian Federation,
Moscow, Russia, igtikhonov@rambler.ru
The paper considers the practice of project expertise in the Russian Foundation for Basic
Research. A new approach to multi-criteria evaluation of the effectiveness of research projects is
suggested, and the results of testing the approach are described.
Key words: group decision making, sorting and ordering multi-attribute objects, multi-criteria
evaluation, effectiveness of projects
Государственные научные фонды являются важными элементами системы
организации науки любой страны, обладающей научно-исследовательским потенциалом.
Научные фонды, включая Российский фонд фундаментальных исследований (РФФИ),
играют роль координационных центров национальных научных сообществ, через которые
ученые получают возможность получить государственную поддержку развития своих
дисциплин. Фонды строят свою работу на сочетании ряда ключевых принципов:
- проведение открытых конкурсов, участники которых определяют тематику
предлагаемых ими исследований;
- использование независимой экспертизы и процедуры рецензирования (peer
review) в качестве основного способа определения лучших проектов;
- публикация результатов выполненных проектов в признанных научных изданиях.
Механизм рецензирования заявок на выполнение исследований и полученных
результатов служит основным инструментом экспертизы проектов и в настоящее время
широко применяется в государственных и частных организациях, выделяющих гранты на
научные исследования. Этот механизм используется и в РФФИ. Вместе с тем, хотя в
основе процедур рецензирования лежат общие принципы, особенности этих процедур в
конкретных фондах оказывают влияние как на эффективность распределения бюджетных
средств, так и на общий характер взаимодействия фонда с научным сообществом.
В соответствии с действующим в РФФИ порядком экспертиза проектов РФФИ
проводится в несколько этапов и сочетает в себе индивидуальную работу независимых
экспертов и последующее коллективное обсуждение заявок. Первоначально каждый
проект рассматривается, как правило, тремя экспертами, которые дают письменные
аргументированные заключения и многокритериальную оценку содержания заявки (при
проведении конкурсного отбора) и полученных результатов (при завершении проекта). В
разных видах конкурсов используются свои системы критериев, но во всех конкурсах
шкалы критериев имеют вербальные (качественные) градации. Такой подход позволяет
получить от экспертов более достоверную информацию и оперировать профессиональным
языком с использованием терминологии, в определенной степени унифицированной для
представителей разных областей знаний. В последующем заявки и отчеты проходят
экспертизу в экспертных советах, которые созданы по каждой из областей знаний.
Одним из важных направлений деятельности РФФИ в настоящее время является
оценка возможности практического применения результатов научных исследований в
отраслях народного хозяйства [4]. С этой целью необходимо формализовать понятие
«результативность проекта» применительно к целевым фундаментальным исследованиям,
выполняемым в интересах федеральных агентств и ведомств, на основе принятой в РФФИ
системы критериев. Анкета оценки отчета о выполнении проекта состоит из двух
разделов: оценка полученных результатов и ожидаемые результаты завершающей стадии
проекта. Эти аспекты играют существенную роль при формировании интегрального
показателя результативности проекта.
Существует различные методологические подходы, позволяющие конструировать
интегральные показатели на основании агрегирования признаков, описывающих
рассматриваемые объекты [5]. Однако, например, при использовании методов, в которых
проводится свертка многих критериев с весовыми коэффициентами [2], нельзя по
агрегированным критериям восстановить исходные данные, поэтому фактически
невозможно объяснить полученные решения. Кроме того, весьма затруднительно
обосновать назначение весов критериев, особенно при наличии нескольких экспертов.
Во многих практических случаях разработку интегрального показателя
целесообразно свести к задаче многокритериальной порядковой классификации. Значения
интегрального показателя будут выступать в этом случае в качестве классов решений.
Именно такой подход принят для оценки результативности научных проектов. Для этого
использован метод вербального анализа решений ПАКС (Последовательное
Агрегирование Классифицируемых Состояний), который основан на последовательном
снижении размерности признакового пространства, образованного дискретными
качественными (вербальными) признаками [3]. Метод предоставляет в распоряжение
лица, принимающего решение (ЛПР), инструментарий, дающий возможности
агрегировать большое число исходных характеристик в небольшое число составных
критериев, которые имеют небольшие шкалы оценок, отражающих предпочтения ЛПР.
При построении шкал составных критериев применяются разные способы ранжирования
и/или классификации многомерных альтернатив исходя из предпочтений ЛПР.
Метод формирования интегрального показателя результативности научных
проектов был опробован в РФФИ при экспертной оценке выполнения проектов целевых
фундаментальных исследований. Были исследованы возможные подходы, позволяющие
различным образом формализовать понятие «результативность проекта». Предложено два
разных варианта агрегирования исходного множества комбинаций исходных экспертных
оценок результатов, полученных по проектам, в промежуточные составные критерии,
которые, в свою очередь, агрегировались в интегрированный критерий верхнего уровня.
Шкалы критериев каждого уровня иерархии конструировались с помощью различных
сочетаний методов вербального анализа решений, а именно: метода порядковой
классификации ОРКЛАСС [1] и метода стратификации кортежей. С геометрической точки
зрения метод стратификации кортежей состоит в «нарезке» многомерного
параллелепипеда или прямоугольника на несколько групп наборов исходных признаков,
число которых зависит от числа признаков, образующих составной критерий.
Первый вариант формирования иерархической системы критериев опирается на
структуру анкеты отчета, в которой выделены разделы: Оценка полученных результатов и
Ожидаемые результаты завершающей стадии проекта. Разделам сопоставляются два
составных критерия AK1 и AK2, имеющие порядковые шкалы с четырьмя вербальными
градациями: высокая, хорошая, средняя, низкая. Эти градации оценок выступают как
классы решений первого уровня для исходных признаков (критериев). В таком случае
исходные признаки K1, K2, K3, K4 попадают в составной критерий AK1, а признаки K5, K6,
K7, K8 – в составной критерий AK2.
Наборы всех оценок по составным критериям рассматриваются далее как объекты
классификации следующего уровня, где классами решений D1,...,D5 являются градации
оценок шкалы составного критерия верхнего уровня иерархии Z={z1, z2, z3, z4, z5}. Здесь z1
– наивысший показатель результативности (класс D1), z2 – высокий показатель
результативности (класс D2), z3 – средний показатель результативности (класс D3), z4 –
низкий показатель результативности (класс D4), z5 – неудовлетворительный показатель
результативности (класс D5).
Другой возможный вариант формирования иерархической системы критериев
состоит во введении трех иных составных критериев: AK1. Оценка полученных
результатов, AK2. Ожидаемые результаты завершающей стадии проекта и AK3.
Возможности использования результатов в программах федеральных агентств и ведомств.
Составной критерий AK1 объединяет исходные признаки K1, K2 и K3; составной критерий
AK2 – признаки K5, K6 и K7; составной критерий AK3 – признаки K4 и K8.
Составные критерии AK1, AK2, AK3 имеют порядковые шкалы с тремя вербальными
градациями: высокая, средняя, низкая, которые определяются содержанием
соответствующего составного критерия и выступают как классы решений первого уровня.
Рассматривая наборы всех оценок по составным критериям как объекты классификации
следующего второго уровня, где классами решений D1,…,D5 являются градации оценок
шкалы Z={z1,z2,z3,z4,z5} составного критерия верхнего уровня иерархии, и агрегируя
показатели AK1, AK2, AK3, получим для шкалы Z оценки показателя результативности,
аналогичные представленным выше.
Таким образом, реальные альтернативы, имеющие оценки по исходным критериям,
непосредственно относятся при классификации к сформированным классам решений. В
первом варианте конструирования интегрального показателя результативности для
построения конечных классов решений D1,...,D5 потребовалось получить от ЛПР ответы
соответственно на 43 и 17 вопросов при формировании шкал составных критериев AK1 и
AK2 и ответы на 12 вопросов при формировании шкалы Z агрегированного критерия. Во
втором варианте конструирования интегрального показателя результативности для
построения конечных классов решений D1,…,D5 потребовалось получить от ЛПР ответы
на следующие числа вопросов: при формировании шкал составных критериев AK1, AK2,
AK3 – соответственно на 16, 6 и 7 вопросов, при формировании шкалы Z агрегированного
критерия – на 22 вопроса. Это существенно меньше, чем при использовании других
методов многокритериальной порядковой классификации.
Апробация разработанной методики экспертного анализа результативности
целевых фундаментальных исследований была проведена на массиве данных экспертных
оценок отчетов по проектам, выполненным в интересах Федерального агентства по
промышленности в 2005-2006 годах. Анализ результатов оценки результативности
показал следующее: наивысший показатель получили соответственно по I варианту 5
проектов, а по II варианту 6 проектов; высокий показатель – 54 и 26 проектов; средний
показатель – 9 и 46 проектов. Таким образом, I вариант агрегирования оценок по
критериям дает более высокое значение интегрального показателя результативности, чем
II вариант. В целом по двум вариантам значения интегрального показателя
результативности совпадают в 25 случаях из 78. В остальных случаях значения
интегрального показателя результативности отличались не более чем на одну градацию,
что может рассматриваться как свидетельство достаточно высокой устойчивости
результатов классификации альтернатив относительно исходных данных и выбранных
способов построения шкал составных критериев на всех уровнях иерархии.
Предложенный методологический подход к многокритериальной оценке
результативности научных проектов может быть успешно применен в различных
областях, где необходимо получить интегральную оценку деятельности на основе
исходной слабо структурируемой качественной информации. Практически невозможно
априори назначить количественные шкалы оценок, сопоставив качественным факторам
какие-либо числа так, чтобы они «правильно» выражали плохо формализуемые свойства
объектов и одинаково понимались разными людьми. Числовые оценки тем более
неприменимы для измерения вербальных показателей, таких, например, как участие в
выполнении проекта молодых ученых или междисциплинарный характер проекта.
Важной особенностью разработанного подхода является возможность сформировать
разные наборы промежуточных составных критериев и воспользоваться разными способами
конструирования их шкал. Сопоставление результатов, получаемых для разных вариантов
классификации и иерархических систем критериев, позволяет сравнить их между собой и
выбрать как наиболее предпочтительную систему критериев, так и оценить качество
сделанного выбора. Подход дает возможность обосновать принятое решение и получить
ощутимую экономию времени и трудозатрат ЛПР.
Результаты апробации подтвердили эффективность предложенного подхода. Были
выявлены проекты целевых фундаментальных исследований, имеющие высокую
результативность, что обеспечивает расширение сферы практического применения
результатов законченных работ.
Разработанный методологический инструментарий может быть также использован
при совершенствовании самого механизма экспертизы в РФФИ. Это приобретает особое
значение в связи с вступлением в силу Федерального закона Российской Федерации N 249
«О внесении изменений в Федеральный закон «О науке и государственной научнотехнической политике»». Согласно этому закону государственные фонды должны
определить критерии оценки конкурсных заявок, критерии отбора проектов на
конкурсной основе; информировать участников конкурса о результатах экспертизы
проектов и итогах конкурса. До настоящего времени РФФИ не предоставлял заявителю
информацию о причинах, по которым проект не прошел по конкурсу. Отсутствие такой
обратной связи с Фондом подвергается научным сообществом наибольшей критике.
Работа поддержана Российским фондом фундаментальных исследований (проекты
09-07-00009, 11-07-00398), Российским гуманитарным научным фондом (проект 11-0200131).
Литература
1. Ларичев О.И. Вербальный анализ решений / Под ред. А.Б. Петровского. – М.: Наука,
2006. – 181 с.
2. Петровский А.Б. Теория принятия решений. – М.: Издательский центр «Академия»,
2009. – 400 с.
3. Петровский А.Б., Ройзензон Г.В. Интерактивная процедура снижения размерности
признакового пространства в задачах многокритериальной классификации // Поддержка
принятия решений: Труды Института системного анализа Российской академии наук /
Под ред. А.Б. Петровского. – М.: Едиториал УРСС, 2008. – Т.35. – С.43-53.
4. Петровский А.Б., Тихонов И.П. Фундаментальные исследования, ориентированные на
практический результат: подходы к оценке эффективности. // Вестник РАН, 2009. – Т.79. –
№11. – С.1006-1011.
5. Прикладная статистика. Классификация и снижение размерности / С.А. Айвазян, В.М.
Бухштабер, И.С. Енюков, Л.Д. Мешалкин; Под ред. С.А. Айвазяна. – М.: Финансы и
статистика, 1989. – 607 с.