Методика экспертного оценивания рейтингового агентства

Методика экспертного оценивания
Игорь Т. Фаррахов
Описание подхода
Итоговая экспертная оценка определяется по формуле:
N
S (t )   Vi j (t  1) * (ri j (t )  R j (t )) 2 R
 min , где
j (t )
(1)
i 1
R j (t ) - текущая расчетная итоговая рейтинговая оценка j-го банка;
ri j (t ) - текущая рейтинговая оценка j-го банка, сделанная i-м экспертом (рейтинговая шкала
опроса экспертов, привязывается к числовой шкале. Например, шкала от 1 до 5 или от 1 до 9, с
шагом 1);
Vi j (t  1) - вес (компетентность) i-го эксперта при оценивании j-го банка, рассчитанная по
предыдущим результатам работы этого эксперта с этим банком (Вес может изменяться от 0 до 1);
N – количество экспертов, анализирующих j-й банк.
Смысл формулы (1) – необходимо найти такое значение итогового рейтинга R j (t ) , при
котором сумма квадратов ошибок экспертов, взвешенных с учетом компетентности каждого
эксперта, будет минимальна. Ошибка эксперта – разность между итоговой экспертной оценкой и
частной оценкой эксперта. Для расчета итогового рейтинга можно использовать оптимизационные
алгоритмы, но в данном случае задачу нахождения минимума S(t) будет проще решить простым
перебором значений рейтинга от минимально до максимального с нужным шагом.
Вес (компетентность) i-го эксперта, оценивающего j-й банк, определяется по следующей
формуле:
Vi j (t )  (1  E (t )) , где
(2)
E (t ) - усредненный вклад i-го эксперта в суммарный квадрат общей ошибки экспертной группы
S(t) по результатам предыдущей работы с j-м банком. Таким образом, если оценки эксперта
в среднем совпадают с итоговой экспертной оценкой, то его вес равен 1, в противном случае, его
вес может меняться, в том числе и до нуля. E(t) может рассчитывается c помощью формулы
экспоненциального среднего:
E (t )   * e(t )  (1   ) E (t  1) , где (3)

коэффициент экспоненциального сглаживания, определяющий влияние на среднюю
оценку предыдущих и вновь появляющихся значений временного ряда.
-
В экономике коэффициент сглаживания  определяют обычно по формуле 2/(N+1), где Nчисло значений временного ряда назад от текущего, после которого влиянием других членов этого
временного ряда можно уже пренебречь. В данном случае временные ряды образуют оценки,
сделанные экспертами. В данном случае, N предлагается принять равным 3 (т.е. оценки сделанные
экспертом более 3-х месяцев назад практически не должны влиять на его текущий вес), т.е.
предлагается сделать  =0.5;
e(t) – текущая доля (относительный вклад) ошибки i-го эксперта в сумму квадратов ошибок,
которая рассчитывается по формуле.
e(t ) 
(ri j (t )  R j (t )) 2
S (t )
, где (4)
S(е) – сумма квадратов ошибок экспертов формула (1).
Коэффициент е(t) лежит строго в диапазоне от 0 до 1. Причем, если все эксперты
единодушны, т.е. если S(t) = 0, е(t) каждого эксперта тоже равны нулю. Если при каком-либо
оценивании, для какого либо эксперта правая часть формулы (4) окажется больше 1 (это может
произойти, если вес эксперта близок к нулю, а его оценка значительно отличается от общей
итоговой), тогда e(t) все равно принимается равным 1.
Применение
В начале работы рейтингового агентства всем экспертам присваиваются веса равные
единице, т.е. их средняя ошибка E(0) = 0. По мере работы рейтингового агентства их веса начнут
меняться в соответствии с качеством их оценивания. Далее, если эксперт начинает пропускать или
отказывается делать какую-либо оценку, тогда его текущая ошибка e(t) признается равной 1
(100%) и, соответственно, уже через три месяца (если  =0.5) E(t) будет близка единице, а его вес
станет близким к нулевому.
В дальнейшем, при появлении новых экспертов предлагается считать, что их начальный вес
в общей оценке равен 0, т.е. E(0) для новичков равен 1 (средняя ошибка 100%). Далее, в
зависимости от результатов деятельности экспертов, их вес (оценка компетентности) будет
меняться.
Этот же подход предлагается применить также и для оценки тенденции изменения
финансового положения банков (опросная шкала: -, -=, =, =+, + В цифровом варианте от –2 до 2 с
шагом 1), хотя для простоты здесь можно использовать и простое среднее. Однако и в этом случае
все же желательно учитывать компетентность экспертов по предложенному выше алгоритму.
Оценка согласованности экспертов
Далее, пользователям, скорее всего, захочется узнать, насколько согласовано эксперты
высказываются относительно того или иного банка. Для этого проще всего использовать
специальный коэффициент ранговой корреляции, вычисляемый по следующей формуле:
K j  1
4
N ( Rmax  Rmin ) 2
N
V
i 1
i
j
(t  1) * (ri j (t )  R j (t )) 2 , где
K j - коэффициент согласованности экспертов при оценке j-го банка;
Rmax, Rmin – максимальное и минимальное значения рейтинговой шкалы;
N – количество экспертов
Чем ближе коэффициент к единице, тем согласованнее итоговая оценка.
(5)