Методика оценки рейтинга экспертов Качество сетевой

Методика оценки
рейтинга экспертов
Качество
сетевой
групповой
экспертизы
определяется, прежде всего, компетентностью экспертов,
их умением оценить ситуацию, выявить недостающие
факторы и их взаимовлияния. Для оценки экспертов
используется рейтингование.
Обычно предполагается, что в наибольшей степени
должно учитываться мнение специалистов именно по тому
профилю, к которому имеет отношение анализируемый
вопрос. В то же время, согласно методике стратегического
анализа, в состав экспертов могут войти специалисты из
других проблемных областей. В любом случае возникает
необходимость определения весов значимости экспертов
при оценивании различных блоков показателей.
Для построения «Рейтинга экспертов» необходимо
обеспечить сбор, автоматизированную рейтинговую оценку
деятельности экспертов при условии сбора данных по
следующим трем блокам показателей (критерии):
индивидуальные характеристики экспертов,
−
отражающие
их
мотивации,
желания,
интересы,
потребности;
−
параметры
деятельности
экспертов,
отражающие их текущую экспертную активность, включая
групповую;
−
параметры оценки компетенции деятельности
экспертов (профессионализм).
В табл. 1 приведены критерии и показатели оценки,
а также определена возможность автоматизации их расчета
или экспертной оценки. Эта таблица отражает абсолютный
случай, когда имеется достаточный ресурс для определения
рейтинговых оценок. В реальной практике состав
показателей может быть существенно упрощен.
Таблица 1. Критерии и показатели, возможность
автоматизации их расчета и оценки
Критерии и показатели
1. Индивидуальные характеристики (критерий 1)
1.1. Ответственность в экспертной деятельности
1.2. Креативность, творческий подход
1.3. Уровень
удовлетворения
от
активных
индивидуальных экспертных действий и решения
проблем
от
групповой
экспертной
1.4. Удовольствие
деятельности, позитивность экспертной позиции.
1.5. Уровня
независимости
административной
и
экономической
1.6. Уровень
самодостаточности,
предпочтения
глубинному и сочувственному пониманию куратора,
коллег
1.7. Восприимчивость и адаптивность к внешней среде
(динамике рынка)
1.8. Характеристика
эмоционального
потенциала
эксперта, вычисляемая по специально разработанной
методике оценки EQ (коэффициент эмоциональности)
1.9. Характеристика интеллектуального потенциала
эксперта, вычисляемая по специально разработанной
методике оценки IQ (коэффициент интеллектуальности)
2. Параметры текущей деятельности экспертов
(критерий 2)
2.1. Количество тематических рубрик, разделов,
подразделов, по которым работает эксперт (кругозор)
2.2.
Частоты запросов эксперту и предоставления им
материалов
2.3. Соответствия
объемов
запрашиваемых
и
предоставляемых экспертом материалов
2.4. Времена задержки ответов эксперта на запросы
2.5. Заполненность
профиля
эксперта
и
индивидуальных характеристик экспертов
Критерии и показатели
2.6. Динамика взаимодействия эксперта с коллегами
для проведения
2.7. Характеристика
полноты
и
точности
предоставления ответов на запросы
2.8. Характеристика результативности экспертной
деятельности, вычисляемая по объему использованных в
официальных нормативных материалах, концептуальных
моделях, принятых решениях – текстов эксперта;
деятельности
эксперта
конечным
2.9. Оценка
пользователем, куратором, модератором
2.10. Взвешенная оценка эксперта другими экспертами.
3. Параметры оценки компетенции экспертов
(критерий 3)
3.1. Количество научных публикаций по тематике
3.2. Стаж (опыт) работы по заданной тематике
3.3. Образование, ученая степень, ученое звание
3.4. Опыт экспертизы, включая научно-техническую, за
последние 5 лет
3.5. Участие в работе ученых, научно-технических,
диссертационных советах
3.6. Дополнительная информация
3.7. Рекомендуемые эксперты
3.8. Характеристика интеллектуальной собственности,
полученной и зарегистрированной в процессе экспертной
деятельности (патенты).
Для получения интегральной оценки значения
рейтинга эксперта с учетом критериев и показателей,
приведенных в таблице, может быть использован метод
анализа иерархий и парных сравнений 1 , 2 . Иерархия
1 . Павлов А.Н. Решение многокритериальных задач
методом анализа иерархий: учебное пособие. – М.: РАГС, 2010, 116 с.
характеристик экспертов имеет 4-уровневое построение: на
верхнем уровне – интегральный показатель «Качество
эксперта», на втором уровне – три перечисленных выше
критерия,
на
третьем
уровне
–
показатели,
характеризующие каждый критерий (табл. 1), на четвертом
– сами эксперты.
Процедуру парных сравнений выполняют также
эксперты. Для каждой пары компонентов иерархии,
находящейся на одном уровне, определяется, насколько
один компонент пары сильнее (предпочтительнее) влияет,
чем другой, на вышестоящий компонент. Сила влияния
может быть оценена по балльной шкале.
Для снижения трудоемкости оценок из иерархии
может
быть
исключен
уровень
показателей,
детализирующих критерии. При этом наиболее значимые
показатели могут быть вынесены на уровень критериев.
Тогда в состав критериев могут войти, например:
Креативность,
Независимость,
Активность,
Опыт,
Профессионализм.
2. Саати Т. Принятие решений. Метод анализа иерархий/
пер. с англ. – М.: Радио и связь, 1993. – 278 с.