Методы организации экспертизы мероприятий... С. В

Ìåòîäû îðãàíèçàöèè ýêñïåðòèçû ìåðîïðèÿòèé...
Ñ. Â. Íèêèôîðîâà
ÌÅÒÎÄÛ ÎÐÃÀÍÈÇÀÖÈÈ ÝÊÑÏÅÐÒÈÇÛ ÌÅÐÎÏÐÈßÒÈÉ Â
ÈÍÂÅÑÒÈÖÈÎÍÍÎÌ ÏÐÎÅÊÒÅ
Äëÿ îöåíêè âëèÿíèÿ âíåøíèõ ýôôåêòîâ íà èíâåñòèöèîííûé ïðîåêò
çàèíòåðåñîâàííûì â ýòîé îöåíêå þðèäè÷åñêèì èëè ôèçè÷åñêèì ëèöîì
íåîáõîäèìî íàçíà÷èòü ñïåöèàëèñòà (äàëåå ïî òåêñòó «àíàëèòèêà»),
êîòîðûé ÿâëÿåòñÿ îòâåòñòâåííûì çà ïðîâåäåíèå ýêñïåðòèçû. Â åãî çàäà÷ó
âõîäÿò ïðåäâàðèòåëüíîå êà÷åñòâåííîå îïèñàíèå ïåðå÷íÿ âîçìîæíûõ
âíåøíèõ ýôôåêòîâ è îïðåäåëåíèå ìíîæåñòâà äîïóñòèìûõ îöåíîê
êàæäîãî èç ýòèõ ýôôåêòîâ. Ýòî äàåò âîçìîæíîñòü ñôîðìóëèðîâàòü
âîïðîñû äëÿ ýêñïåðòîâ. Â çàäà÷ó «àíàëèòèêà» âõîäÿò òàêæå ïîäáîð ãðóïïû
ýêñïåðòîâ, îðãàíèçàöèÿ ïðîöåäóðû ïðîâåäåíèÿ ýêñïåðòèçû è îáðàáîòêà
ïîëó÷åííîé îò ýêñïåðòîâ èíôîðìàöèè.
 ñëó÷àå, êîãäà îöåíêà ìíîæåñòâà äîïóñòèìûõ âíåøíèõ ýôôåêòîâ
ïðîèçâîäèòñÿ âïåðâûå, åãî ôîðìèðîâàíèå, à òàêæå ôîðìèðîâàíèå
ìíîæåñòâà äîïóñòèìûõ îöåíîê ýòèõ ýôôåêòîâ ìîæåò ïðîèçâîäèòüñÿ
ñàìèìè ýêñïåðòàìè. Ïðè ýòîì «àíàëèòèê» äîëæåí ïîäãîòîâèòü
âñïîìîãàòåëüíûå âîïðîñû. Â çàäà÷ó «àíàëèòèêà» âõîäèò òàêæå
îáåñïå÷åíèå ýêñïåðòîâ âñåé äîñòóïíîé îáúåêòèâíîé èíôîðìàöèåé.
Âàæíîå çíà÷åíèå èìååò ïðàâèëüíàÿ ôîðìóëèðîâêà âîïðîñíèêîâ
(àíêåò), êîòîðàÿ äîëæíà îáåñïå÷èâàòü èõ åäèíñòâåííîå òîëêîâàíèå è
âûðàæåíèå îòâåòà íà êàæäûé âîïðîñ â âèäå êîëè÷åñòâåííîé îöåíêè. Â
ñëó÷àÿõ, êîãäà îòäåëüíûì êà÷åñòâåííûì ïðèçíàêàì òðóäíî ïðèïèñàòü
êîëè÷åñòâåííóþ îöåíêó, íóæíî îöåíèâàòü ñðàâíèòåëüíóþ èíòåíñèâíîñòü
ïðèçíàêà ñ ïîìîùüþ ìåòîäîâ óïîðÿäî÷åíèÿ.
 çàâèñèìîñòè îò õàðàêòåðà òðåáóþùåéñÿ èíôîðìàöèè, âîçìîæíîñòåé
åå ïîëó÷åíèÿ è èíòåðïðåòàöèè ñóùåñòâóþùèå ìåòîäû îïðîñà ìîæíî
ïîäðàçäåëèòü íà èíäèâèäóàëüíûå è ãðóïïîâûå; ëè÷íûå (î÷íûå) è çàî÷íûå;
îòêðûòûå è çàêðûòûå è ò. ä.
Ïîä ëè÷íûì (î÷íûì) ìåòîäîì îïðîñà ïîäðàçóìåâàåòñÿ ïðîöåäóðà, â
ïðîöåññå êîòîðîé «àíàëèòèê» îñóùåñòâëÿåò íåïîñðåäñòâåííûé (ëè÷íûé)
êîíòàêò ñ ýêñïåðòîì ïðè ïîäãîòîâêå îòâåòîâ íà âîïðîñû àíêåòû. Çàî÷íûé
îïðîñ îáû÷íî îñóùåñòâëÿåòñÿ ïóòåì ïåðåñûëêè àíêåòû ýêñïåðòó ïî ïî÷òå.
«Àíàëèòèêó» íåîáõîäèìî âûÿâèòü âîçìîæíûå ïîòåíöèàëüíûå öåëè
ýêñïåðòîâ, ïðîòèâîðå÷àùèå öåëÿì ýêñïåðòèçû, ò. å. íàëè÷èå ïðè÷èí,
êîòîðûå ìîãóò ñäåëàòü ýêñïåðòà ëè÷íî çàèíòåðåñîâàííûì â îïðåäåëåííûõ
ðåçóëüòàòàõ ýêñïåðòèçû. Îäíîé èç ïðîöåäóð, ñïîñîáíûõ ìèíèìèçèðîâàòü
93
Ñ. Â. Íèêèôîðîâà
èñêàæåíèÿ ðåçóëüòàòîâ ýêñïåðòèçû âñëåäñòâèå íåêîìïåòåíòíîñòè
îòîáðàííûõ ñïåöèàëèñòîâ èëè èõ íåæåëàíèÿ äàâàòü äîñòîâåðíóþ è
íàäåæíóþ èíôîðìàöèþ, ÿâëÿåòñÿ òàê íàçûâàåìûé ìåòîä Äåëüôû1. Ìåòîä
ïðåäñòàâëÿåò ñîáîé ðÿä ïîñëåäîâàòåëüíî îñóùåñòâëÿåìûõ ïðîöåäóð,
íàïðàâëåííûõ íà ôîðìèðîâàíèå ãðóïïîâîãî ìíåíèÿ ïî ïðîáëåìàì, ïî
êîòîðûì îùóùàåòñÿ íåäîñòàòîê èíôîðìàöèè. Ïðîöåäóðû, èñïîëüçóåìûå
â ìåòîäå Äåëüôû, õàðàêòåðèçóþòñÿ òðåìÿ îñíîâíûìè ÷åðòàìè:
àíîíèìíîñòüþ, ðåãóëèðóåìîé îáðàòíîé ñâÿçüþ è ãðóïïîâûì îòâåòîì.
Àíîíèìíîñòü äîñòèãàåòñÿ ïðèìåíåíèåì ñïåöèàëüíûõ âîïðîñíèêîâ
èëè äðóãèìè ñïîñîáàìè èíäèâèäóàëüíîãî îïðîñà, íàïðèìåð êîíòàêòîì
ýêñïåðòîâ ñ ÝÂÌ. Ðåãóëèðóåìàÿ îáðàòíàÿ ñâÿçü îñóùåñòâëÿåòñÿ çà ñ÷åò
ïðîâåäåíèÿ íåñêîëüêèõ òóðîâ îïðîñà, ïðè÷åì ðåçóëüòàòû êàæäîãî òóðà
îáðàáàòûâàþòñÿ ñ ïîìîùüþ ñòàòèñòè÷åñêèõ ìåòîäîâ è ñîîáùàþòñÿ
ýêñïåðòàì. Èñïîëüçîâàíèå ñòàòèñòè÷åñêèõ ìåòîäîâ äëÿ îïðåäåëåíèÿ
ãðóïïîâîãî îòâåòà îñóùåñòâëÿåòñÿ òàê, ÷òîáû óìåíüøèòü ñòàòèñòè÷å-ñêèé
ðàçáðîñ èíäèâèäóàëüíûõ îöåíîê è ïîëó÷èòü ãðóïïîâîé îòâåò, â êîòîðîì
ïðàâèëüíî îòðàæåíî ìíåíèå êàæäîãî ýêñïåðòà.
Àíîíèìíîñòü îïðîñà ÿâëÿåòñÿ ñïîñîáîì óìåíüøåíèÿ âëèÿíèÿ
îòäåëüíûõ «äîìèíèðóþùèõ» ýêñïåðòîâ. Ðåãóëèðóåìàÿ îáðàòíàÿ ñâÿçü
ïîçâîëÿåò ñíèçèòü «øóìû», ïîä êîòîðûìè ïîíèìàåòñÿ âëèÿíèå
èíäèâèäóàëüíûõ è ãðóïïîâûõ èíòåðåñîâ, íå ñâÿçàííûõ ñ ðåøàåìûìè
ïðîáëåìàìè. Êðîìå òîãî, ââåäåíèå îáðàòíîé ñâÿçè âíîñèò ýëåìåíò
îáúåêòèâíîñòè è äåëàåò îöåíêè áîëåå íàäåæíûìè.
 îñíîâó ìåòîäà Äåëüôû ïîëîæåíû ñëåäóþùèå ïðåäïîñûëêè:
- ïîñòàâëåííûå âîïðîñû äîëæíû äîïóñêàòü âîçìîæíîñòü âûðàæåíèÿ
îòâåòà â âèäå ÷èñëà;
- ýêñïåðòû äîëæíû ðàñïîëàãàòü äîñòàòî÷íîé èíôîðìàöèåé äëÿ òîãî,
÷òîáû äàòü îöåíêó;
- îòâåò íà êàæäûé èç âîïðîñîâ (îöåíêà) äîëæåí áûòü îáîñíîâàí
ýêñïåðòîì.
Îïðîñ ïðîâîäèòñÿ â ÷åòûðå òóðà. Âî âðåìÿ êàæäîãî òóðà ýêñïåðò
äîëæåí âûðàçèòü ñâîå ìíåíèå â âèäå ÷èñëà íà ïîäãîòîâëåííîé çàðàíåå
øêàëå îöåíîê. Âî âðåìÿ ïåðâîãî òóðà ýêñïåðòû äîëæíû äàòü îöåíêó
ñîáûòèÿì, ïåðå÷åíü êîòîðûõ ðàçðàáîòàí «àíàëèòèêîì». Ýêñïåðòû òàêæå
ìîãóò ïîïîëíèòü èëè ñîêðàòèòü ýòîò ïåðå÷åíü. Ïîñëå ïåðâîãî òóðà
îïðîñîâ «àíàëèòèê» ïðîèçâîäèò ñòàòèñòè÷åñêóþ îáðàáîòêó ïîëó÷åííûõ
Íàçâàíèå ïðîèñõîäèò îò ãðå÷åñêîãî ãîðîäà Äåëüôû è ìóäðåöîâ, ñëàâèâøèõñÿ â
äðåâíîñòè ïðåäñêàçàíèÿìè áóäóùåãî.
1
94
Ìåòîäû îðãàíèçàöèè ýêñïåðòèçû ìåðîïðèÿòèé...
îöåíîê, êîòîðàÿ çàêëþ÷àåòñÿ â óòî÷íåíèè ïåðå÷íÿ ñîáûòèé è àíàëèçå
õàðàêòåðèñòèê ïîëó÷åííîãî ðÿäà, ò. å. â ðàñ÷åòå ìåäèàíû è êâàðòèëåé.
Ïðè ýòîì çà ìåäèàíó ïðèíèìàåòñÿ ñðåäíèé ÷ëåí ðÿäà, ïî îòíîøåíèþ ê
êîòîðîìó ÷èñ-ëî îöåíîê ñ íà÷àëà è ñ êîíöà ðÿäà îäèíàêîâî. Çàòåì
îïðåäåëÿþòñÿ âåðõíèé è íèæíèé êâàðòèëè, ò. å. 25-ïðîöåíòíûå èíòåðâàëû
îò íà÷àëà è êîíöà ðÿäà.
Òàêèì îáðàçîì, ìåäèàíà è êâàðòèëè äåëÿò ðÿä îöåíîê íà ÷åòûðå
èíòåðâàëà. Áëèæàéøèå ê ìåäèàíå ñ÷èòàþòñÿ íàèáîëåå ïðåäïî÷òèòåëüíûìè.
Ìåäèàíà, êðîìå òîãî, ñëóæèò õàðàêòåðèñòèêîé ãðóïïîâîãî îòâåòà, à
ïðåäïî÷òèòåëüíûé äèàïàçîí êâàðòèëåé – ïîêàçàòåëåì ðàçáðîñà
èíäèâèäóàëüíûõ îöåíîê.
Ïîñëå ïåðâîãî òóðà êàæäîìó ýêñïåðòó ñîîáùàåòñÿ çíà÷åíèå ìåäèàíû
è ðàçìàõ ìåæäó êðàéíèìè êâàðòèëÿìè. Ýêñïåðòîâ, ÷üè îöåíêè îêàçàëèñü
â êðàéíèõ êâàðòèëÿõ, ïðîñÿò èõ ìîòèâèðîâàòü, ò. å. îáîñíîâàòü ïðè÷èíû
ðàñõîæäåíèÿ ñ ãðóïïîâûì ìíåíèåì. Ýêñïåðòû ìîãóò ïðèâîäèòü ëþáûå
àðãóìåíòû èëè âîçðàæåíèÿ, òàêèå æå, êàêèå îíè ïðèâîäÿò âî âðåìÿ
äèñêóññèè. Ðàçíèöà çàêëþ÷àåòñÿ ëèøü â òîì, ÷òî ýòè àðãóìåíòû àíîíèìíû.
Îíè ìîãóò ïåðåñìîòðåòü ñâîè ìíåíèÿ è ïðè æåëàíèè èñïðàâèòü îöåíêè.
Ñ ïîëó÷åííûìè îáîñíîâàíèÿìè çíàêîìÿò îñòàëüíûõ ýêñïåðòîâ, íå
óêàçûâàÿ ïðè ýòîì, ÷üè îíè. Òàêàÿ ïðîöåäóðà ïîçâîëÿåò âñåì ýêñïåðòàì
ïðèíÿòü â ðàñ÷åò îáñòîÿòåëüñòâà, êîòîðûå îíè ìîãëè ñëó÷àéíî
ïðîïóñòèòü èëè êîòîðûìè ïðåíåáðåãëè âî âðåìÿ ïåðâîãî òóðà îïðîñà.
Ïîñëå ïðîâåäåíèÿ âòîðîãî òóðà ïîâòîðÿåòñÿ ïðîöåäóðà ñòàòèñòè÷åñêîé
îáðàáîòêè îöåíîê, ðåçóëüòàòû êîòîðîé âíîâü ñîîáùàþòñÿ ýêñïåðòàì. Âñå
ó÷àñòíèêè ýêñïåðòèçû âî âðåìÿ âòîðîãî òóðà äîëæíû îáîñíîâàòü ñâîè
îöåíêè. Èõ ïðîñÿò ó÷åñòü âîçðàæåíèÿ è ïðîêîììåíòèðîâàòü èõ.
Ïîñëå òðåòüåãî òóðà îïðîñà è ñîîòâåòñòâóþùåé ñòàòèñòè÷åñêîé
îáðàáîòêè îöåíîê ýêñïåðòîâ, ÷üè îöåíêè âíîâü íå âîøëè â èíòåðâàë
ìåæäó êðàéíèìè êâàðòèëÿìè, ïðîñÿò âûäâèíóòü êîíòðàðãóìåíòû â ïîëüçó
ñâîèõ îöåíîê.
Íà ÷åòâåðòîì è ïîñëåäíåì ýòàïå ýêñïåðòèçû âñå ìîòèâèðîâêè âíîâü
äîâîäÿòñÿ äî ñâåäåíèÿ ó÷àñòíèêîâ ýêñïåðòèçû, èìåþùèõ ïîñëåäíþþ
âîçìîæíîñòü ïåðåñìîòðåòü ñâîè îòâåòû. Ìåäèàíà ýòèõ îêîí÷àòåëüíûõ
îòâåòîâ è ïðèíèìàåòñÿ çà îöåíêó, íàèáîëåå áëèçêóþ ê åäèíîìó ìíåíèþ
ãðóïïû. Åñëè îêàçûâàåòñÿ, ÷òî ýêñïåðòû ïðèõîäÿò ê ñîãëàñèþ ðàíüøå,
íàïðèìåð ïîñëå âòîðîãî òóðà, òî ïðîâîäèòü ÷åòûðå òóðà îïðîñîâ íåò
íåîáõîäèìîñòè.
Íàèáîëåå ÷àñòî ïðèìåíÿåìîé ôîðìîé îïðîñà ýêñïåðòîâ ÿâëÿåòñÿ
àíêåòèðîâàíèå. Àíêåòà – ýòî íàáîð âîïðîñîâ, íà êîòîðûå ïðåäëàãàåòñÿ
95
Ñ. Â. Íèêèôîðîâà
îòâåòèòü ýêñïåðòó. Âîïðîñû äîëæíû áûòü ñôîðìóëèðîâàíû òàê, ÷òîáû íå
äîïóñêàòü íåîäíîçíà÷íîãî òîëêîâàíèÿ. Ñëîæíûå âîïðîñû ðàçáèâàþòñÿ
íà áîëåå ïðîñòûå.
Îïûò ïîêàçûâàåò, ÷òî ÷åëîâåê ëó÷øå îòâå÷àåò íà êà÷åñòâåííûå
âîïðîñû (ëó÷øå–õóæå), ÷åì íà êîëè÷åñòâåííûå. Ïîýòîìó ïðè ñîñòàâëåíèè
âîïðîñîâ ñëåäóåò îòäàâàòü ïðåäïî÷òåíèå òàêèì, íà êîòîðûå îò ýêñïåðòà
òðåáóåòñÿ äàòü êà÷åñòâåííûé îòâåò. Âîïðîñû, âêëþ÷àåìûå â àíêåòû,
ñëåäóåò ñîñòàâëÿòü ïî íåêîòîðîé èåðàðõè÷åñêîé ñõåìå, ò. å. ñíà÷àëà
ôîðìóëèðîâàòü îáùèå âîïðîñû, à çàòåì – ÷àñòíûå. Ïîëåçíûìè äëÿ
èññëåäîâàòåëÿ ÿâëÿþòñÿ ôîðìàëèçîâàííûå ñâåäåíèÿ î õàðàêòåðå
èñòî÷íèêîâ àðãóìåíòàöèè, à òàêæå î ñòåïåíè âëèÿíèÿ êàæäîãî èç
èñòî÷íèêîâ íà îòâåò ýêñïåðòà. Òàêèå ñâåäåíèÿ ïðåäïîëàãàåòñÿ ïîëó÷èòü
ïóòåì çàïîëíåíèÿ òàáëèöû 1.
Òàáëèöà 1. Ñâåäåíèÿ îá ýêñïåðòå.
Источник аргументации
Степень влияния источника
Высокая
Средняя
Низкая
Проведенный теоретический
анализ
Производственный опыт
Обобщение отечественных работ
Обобщение зарубежных работ
Интуиция
 êàæäîé ñòðîêå ýêñïåðò äîëæåí óêàçàòü ñîîòâåòñòâóþùóþ ñòåïåíü
âëèÿíèÿ (íàïðèìåð, çâåçäî÷êîé).
Àíàëèòè÷åñêàÿ ôîðìà îïðîñà ïðåäïîëàãàåò äëèòåëüíóþ ñàìîñòîÿòåëüíóþ ðàáîòó ýêñïåðòà, íàïðàâëåííóþ íà àíàëèç õàðàêòåðíûõ ñâîéñòâ è
òåíäåíöèé èññëåäóåìîé ñèñòåìû. Òàêóþ ôîðìó íàçûâàþò ìåòîäîì äîêëàäíîé
çàïèñêè. Ýêñïåðò â ñâîáîäíîé ôîðìå èçëàãàåò ñâîå ìíåíèå. Òàêàÿ ôîðìà
îïðîñà ÿâëÿåòñÿ ïëîõî ôîðìàëèçóåìîé è òðóäîåìêîé äëÿ ýêñïåðòà, íî
ïîçâîëÿåò íàèáîëåå òî÷íî âûÿñíèòü åãî ìíåíèå. Ôîðìà äîêëàäíîé çàïèñêè
÷àñòî ïðèìåíÿåòñÿ êàê ïåðâûé ýòàï áîëåå ñëîæíîé ýêñïåðòèçû.
Ãðóïïîâàÿ îöåíêà ìîæåò ñ÷èòàòüñÿ äîñòàòî÷íî íàäåæíîé òîëüêî ïðè
óñëîâèè õîðîøåé ñîãëàñîâàííîñòè îòâåòîâ îïðàøèâàåìûõ ñïåöèàëèñòîâ.
Ïîýòîìó ñòàòèñòè÷åñêàÿ îáðàáîòêà èíôîðìàöèè, ïîëó÷åííîé îò
ýêñïåðòîâ, äîëæíà âêëþ÷àòü â ñåáÿ îöåíêó ñòåïåíè ñîãëàñîâàííîñòè
ìíåíèé ýêñïåðòîâ è âûÿâëåíèå ïðè÷èí íåîäíîðîäíîñòè.
 îáùåì ñëó÷àå ñòàòèñòè÷åñêèé àíàëèç ìàòåðèàëîâ îòâåòîâ,
ïîëó÷åííûõ îò ãðóïïû ýêñïåðòîâ, ïðåäïîëàãàåò:
96
Ìåòîäû îðãàíèçàöèè ýêñïåðòèçû ìåðîïðèÿòèé...
- îöåíêó ñòåïåíè ñîãëàñîâàííîñòè ýêñïåðòîâ ïî êàæäîìó ïðèçíàêó â
îòäåëüíîñòè è ïî âñåìó íàáîðó ïðèçíàêîâ â öåëîì;
- âûäåëåíèå ïîäãðóïï ýêñïåðòîâ ñ «áëèçêèì» ìíåíèåì â ñëó÷àå
ñóùåñòâåííûõ ðàñõîæäåíèé â îòâåòàõ;
- âûÿâëåíèå ïðè÷èí ðàçáðîñà ìíåíèé, îïðåäåëÿþùèõ âëèÿíèå
õàðàêòåðèñòèê ýêñïåðòîâ íà ñîäåðæàíèå îòâåòîâ, è îñóùåñòâëåíèå
ìåðîïðèÿòèé, ïîçâîëÿþùèõ ïîâûñèòü äîñòîâåðíîñòü îöåíîê ýêñïåðòîâ.
Ìåðîé ñîãëàñîâàííîñòè ìíåíèé ýêñïåðòîâ, îöåíèâàþùèõ ðàçëè÷íûå
âíåøíèå ýôôåêòû, ÿâëÿåòñÿ êîýôôèöèåíò âàðèàöèè. Ñïîñîá ðàñ÷åòà
êîýôôèöèåíòà âàðèàöèè èëëþñòðèðóåò ñëåäóþùèé ïðèìåð, ïîêàçàííûé
â òàáëèöå 2. Â òàáëèöå ïðèâåäåíû ïðåäâàðèòåëüíî îáðàáîòàííûå äàííûå
ðåçóëüòàòîâ ýêñïåðòíîãî îïðîñà î íàëè÷èè âíåøíåãî ýôôåêòà
íåêîòîðîãî ãèïîòåòè÷åñêîãî ïðîåêòà èíôîðìàòèçàöèè.  êàæäîé êëåòêå
òàáëèöû óêàçàíî êîëè÷åñòâî ýêñïåðòîâ, ïðèñâîèâøèõ äàííîìó âíåøíåìó
ýôôåêòó òî èëè èíîå ìåñòî.
Íàïðèìåð, 20 ýêñïåðòîâ ñî÷ëè, ÷òî âëèÿíèå ïðîåêòà íà áèçíåñ
ïðåäïðèÿòèé-ñìåæíèêîâ èìååò 1-å ìåñòî (ò. å. íàèáîëåå âàæíî), 2 ýêñïåðòà
– ÷òî 2-å ìåñòî è 1 ýêñïåðò – ÷òî 3-å. Ìåñòî, êîòîðîå ýêñïåðò j ïðèñâîèë
âíåøíåìó ýôôåêòó i, îáîçíà÷èì rij. Îáùåå ÷èñëî ýêñïåðòîâ îáîçíà÷èì N
(â ðàññìàòðèâàåìîì ïðèìåðå N=23).
Òàáëèöà 2. Ðàñ÷åò êîýôôèöèåíòà âàðèàöèè.
Внешний эффект
Место эффекта в упорядоченном ряду по
мере убывания важности, присвоенное
экспертами
1
2
3
4
5
6
7
20
2
1
1. Влияние на бизнес
предприятий-смежников
2. Влияние на бизнес
5
15
3
предприятий города
3. Социальное значение
5
8
1
2
5
2
для жителей региона
4. Информационная
5
2
6
3
1
4
безопасность для
государства
5. Информационная
2
7
1
9
1
1
безопасность бизнеса
Âûðàæåíèåì ñòåïåíè ñîãëàñîâàííîñòè ìíåíèé ýêñïåðòîâ ïî
îòäåëüíîìó ïðèçíàêó ìîæåò ñëóæèòü êîýôôèöèåíò âàðèàöèè
97
Ñ. Â. Íèêèôîðîâà
ñòàòèñòè÷åñêîãî ðÿäà, ïðåäñòàâëåííîãî ýêñïåðòíûìè îöåíêàìè äàííîãî
ïðèçíàêà. Â ðàññìàòðèâàåìîì ïðèìåðå 20 ýêñïåðòîâ 1-ìó âíåøíåìó
ýôôåêòó «Âëèÿíèå íà áèçíåñ ïðåäïðèÿòèé-ñìåæíèêîâ» ïðèñâîèëè 1-å
ìåñòî, 2 ýêñïåðòà – 2-å ìåñòî è 1 ýêñïåðò – 3-å ìåñòî. Ïîýòîìó ðÿä
ýêñïåðòíûõ îöåíîê èìååò âèä: 11111111111111111111223. Êîýôôèöèåíò
âàðèàöèè: si/xi, ãäå s2 – äèñïåðñèÿ, xi – ìàòåìàòè÷åñêîå îæèäàíèå ðÿäà i.
Òàê, íàïðèìåð, äëÿ âíåøíåãî ýôôåêòà «Âëèÿíèå íà áèçíåñ ïðåäïðèÿòèéñìåæíèêîâ» i=1 èìååì:
xi=Srij/N= (20*1+2*2+1*3)/23 ≈ 1,17.
s2i = Ì(rij-x1)2 = (20*(1-1,17)2+2*(2-1,17)2 +(3-1,17)2)/23 ≈
(0,578+1,3778+3,3489)/23 ≈ 0,23. s1 = Ö 0,23 ≈ 0,48.
Êîýôôèöèåíò âàðèàöèè = si/xi = 0,48/1,17 ≈ 0,41.
×åì ìåíüøå êîýôôèöèåíò âàðèàöèè, òåì áîëåå ñîãëàñîâàíû ìíåíèÿ
ýêñïåðòîâ ïî äàííîìó âíåøíåìó ýôôåêòó. Êîýôôèöèåíò âàðèàöèè
ïðèìåíèì ê àíàëèçó êà÷åñòâåííûõ ïðèçíàêîâ. Îí íå ó÷èòûâàåò
ïîñëåäîâàòåëüíîñòè ìåñò: ðàñõîæäåíèå âî ìíåíèè ýêñïåðòà íà îäíî
ìåñòî èìååò òàêîå æå âëèÿíèå, êàê è ðàñõîæäåíèå âî ìíåíèè íà 10 ìåñò.
Ñòåïåíü ñîãëàñîâàííîñòè ìíåíèé ýêñïåðòîâ ïî ìíîãèì âíåøíèì
ýôôåêòàì âûðàæàåòñÿ êîýôôèöèåíòîì êîíêîðäàöèè W. Ðàññìîòðèì äâà
êðàéíèõ ñëó÷àÿ. Ïåðâûé ñëó÷àé: ðàíæèðîâêè âñåõ N ýêñïåðòîâ ñîâïàäàþò.
Êàæäûé ïðèçíàê ïîëó÷èë îò âñåõ ýêñïåðòîâ îäèíàêîâûé ðàíã2, êîòîðûé
äëÿ i-ãî âíåøíåãî ýôôåêòà ðàâåí ri/N, ãäå ri = Sj=1…N(rij), ñóììà ïî âñåì
ýêñïåðòàì j. Âòîðîé ñëó÷àé: ïîëíàÿ íåñîãëàñîâàííîñòü ýêñïåðòîâ. Áóäåì
ïîíèìàòü ïîä íåñîãëàñîâàííîñòüþ ïðîòèâîïîëîæíîñòü ðàíæèðîâîê,
äàâàåìûõ ýêñïåðòàìè.  ñèëó ri = Srij ïîëó÷àåì:
Si=1…n(ri) =S i=1…nSj=1…N(rij)=S i=1…n[Sj=1…N(rij )].
Ñóììà ðàíãîâ, äàâàåìûõ êàæäûì ýêñïåðòîì (ò. å. âûðàæåíèå â êâàäðàòíûõ
ñêîáêàõ), âñåãäà ðàâíà n(n+1)/2 (ïðåäïîëàãàåòñÿ, ÷òî ýêñïåðò óïîðÿäî÷èâàåò
ïðèçíàêè ïî ñòåïåíè âàæíîñòè, òåì ñàìûì ïðèñâàèâàÿ êàæäîìó ïðèçíàêó
ðàçëè÷àþùèåñÿ áàëëû îò 1 äî n, ñòðîãîå ðàíæèðîâàíèå). Ïîýòîìó
Si=1…n(ri) = Nn(n+1)/2.
Çà ñðåäíèé ðàíã ïðèíèìàþò âåëè÷èíó
ri ñð = (Si=1…n(ri))/n = N(n+1)/2,
à çà ñòåïåíü ñîãëàñîâàííîñòè ìíåíèé – ñóììó êâàäðàòîâ îòêëîíåíèé
ri, îò ñðåäíåãî çíà÷åíèÿ riñð, ïðèâåäåííóþ ê äîëÿì åäèíèöû.  ÷àñòíîñòè,
ïðè ñòðîãîì ðàíæèðîâàíèè
W={12Si=1…n[ri –1/2N(n+1)]2}/[N2(n3-n)].
2
98
Òåðìèíû «ìåñòî» è «ðàíã» â äàííîì êîíòåêñòå ÿâëÿþòñÿ ñèíîíèìàìè.
Ìåòîäû îðãàíèçàöèè ýêñïåðòèçû ìåðîïðèÿòèé...
Äëÿ èëëþñòðàöèè ðàññìîòðèì ïðèìåð ðàñ÷åòà êîýôôèöèåíòà
êîíêîðäàöèè ïî äàííûì, ïðåäñòàâëåííûì â ñëåäóþùåé òàáëèöå:
Òàáëèöà 3. Ðàñ÷åò êîýôôèöèåíòà êîíêîðäàöèè.
Внешний эффект (i)
1. Влияние на бизнес
предприятий-смежников
2. Влияние на бизнес
предприятий города
3. Социальное значение
для жителей региона
4. Информационная
безопасность для
государства
5. Информационная
безопасность для бизнеса
6. Информационная
безопасность для
смежного бизнеса
1
6
2 3
1 6
Эксперты (j)
4 5 6 7 8
6 6 6 4 5
ri
9 10
6 6 52
4
5 4
5 5 3
5 6
4
5
46
2
2 2
3 3 2
1 1
1
2
19
1
4 3
2 2 4
3 3
3
3
28
3
3 1
1 1 1
2 2
2
1
17
5
6 5
4 4 5
6 4
5
4
48
ri ñð =(52+46+19+28+17+48)/6=35
W={12*[(52-35)2+(46-35)2+(19-35)2+(28-35)2+(17-35)2+(48-35)2}/
10 2 (6 3 -6)={12*[289+121+256+49+324+169}/21000=12*1208/
21000=0,69.
Ñâÿçü ìåæäó äâóìÿ ðàçëè÷íûìè ðàíæèðîâêàìè âûðàæàåòñÿ
êîýô-ôèöèåíòîì ðàíãîâîé êîððåëÿöèè Êåíäàëëà:
Ïóñòü <A1,…,An> è <B1,…,Bn> – äâå íåñòðîãèå ðàíæèðîâêè. Ïîëîæèì
0, åñëè As = At
0, åñëè Bs = Bt
ast = 1, åñëè As < At è bst = 1, åñëè Bs < Bt .
-1, åñëè As > At
-1, åñëè Bs > Bt
Êîýôôèöèåíòîì ðàíãîâîé êîððåëÿöèè Êåíäàëëà ÿâëÿåòñÿ âåëè÷èíà:
t’ = [ Ss=1,…,nSs=1,…,n(astbst) ] / [ n(n-1)/2 ].
Äëÿ ýêñïåðòèçû âíåøíèõ ýôôåêòîâ èñïîëüçóåòñÿ ñîîòâåòñòâóþùåå
ÏÎ: ïðîãðàììà «ÁÛÑÒÐÛÉ ÐÅÉÒÈÍû, ñîçäàííàÿ â ÀÎÇÒ
«ÂÍÅØÊÎÍÑÓËÜÒ ÈÍÂÅÑÒ ËÒÄ», ïðåäíàçíà÷åíà äëÿ îïòèìèçàöèè
ðåøåíèé ïðè ïðîâåäåíèè êîíêóðñîâ èíâåñòèöèîííûõ ïðîåêòîâ è
òåíäåðîâ, âûáîðå íàïðàâëåíèÿ ðàçâèòèÿ ïðè ñòðàòåãè÷åñêîì
ïëàíèðîâàíèè äåÿòåëüíîñòè ïðåäïðèÿòèÿ è áàíêà. Ïîòåíöèàëüíàÿ îáëàñòü
èñïîëüçîâàíèÿ: óïðàâëåí÷åñêàÿ, ýêîíîìè÷åñêàÿ, ôèíàíñîâàÿ è
{
{
99
Ñ. Â. Íèêèôîðîâà
ïðîèçâîäñòâåííàÿ äåÿòåëüíîñòü, ãäå òðåáóåòñÿ ó÷åò ìíîæåñòâà
ðàçíîðîäíûõ êðèòåðèåâ. Ýòà ïðîãðàììà îïèðàåòñÿ èñêëþ÷èòåëüíî è
òîëüêî íà ýêñïåðòíûå îöåíêè è ïî âîçìîæíîñòè ïûòàåòñÿ ó÷åñòü
ñóáúåêòèâíûé õàðàêòåð ìíåíèé ýêñïåðòîâ, íàïðèìåð â âèäå
ïðèïèñûâàíèÿ èì ñ ïîìîùüþ ñïåöèàëüíîé ïðîöåäóðû âåñîâ. Âàæíîå
çíà÷åíèå èìåþò ïðè ýòîì âûáîð è îöåíêà çíà÷èìîñòè êðèòåðèåâ.
Ðåçóëüòàòîì ðàáîòû ïðîãðàììû «ÁÛÑÒÐÛÉ ÐÅÉÒÈÍû ÿâëÿþòñÿ
ðåéòèíãè âàðèàíòîâ ðåøåíèé èëè îáúåêòîâ îöåíêè, êîòîðûå
îáåñïå÷èâàþò íàãëÿäíîñòü âûáîðà. Ðàñ÷åò ðåéòèíãîâ ïðîèçâîäèòñÿ íà
îñíîâå ïÿòèáàëëüíûõ îöåíîê ñ ó÷åòîì ðàíãîâ ýêñïåðòîâ, ðàíæèðîâêè
êðèòåðèåâ è ñòåïåíè ïðåâîñõîäñòâà ðàíãîâ. Ïðè îòðàæåíèè
èíòåãðàëüíîé îöåíêè âàðèàíòà åãî ðåéòèíãîì, áîëåå âûñîêèé ðåéòèíã
ñîîòâåòñòâóåò ëó÷øåìó âàðèàíòó.
Ïðîãðàììà, íàçâàííàÿ «Ìåòîä àíàëèçà èåðàðõèé», ðàçðàáîòàíà â ÌÃÒÓ
èì. Í. Ý. Áàóìàíà. Â íàçâàíèå ñèñòåìû âîøëî íàèìåíîâàíèå åå
îñíîâîïîëàãàþùåãî ìåòîäà – ìåòîäà àíàëèçà èåðàðõèé, ðàçðàáîòàííîãî
àìåðèêàíñêèì ìàòåìàòèêîì Ò. Ñààòè äëÿ ìàòåìàòè÷åñêîé îáðàáîòêè
ýêñïåðòíîé èíôîðìàöèè. Ñóòü ìåòîäà ñâîäèòñÿ ê òîìó, ÷òî ñëîæíûå
èåðàðõè÷åñêè îðãàíèçîâàííûå îáúåêòû ìîæíî èññëåäîâàòü ïóòåì
äåêîìïîçèöèè èåðàðõèè – ðàçáèåíèÿ åå íà óðîâíè è ïîñëåäîâàòåëüíîãî
ïîïàðíîãî ñðàâíåíèÿ ýëåìåíòîâ, ñîäåðæàùèõñÿ âíóòðè îäíîãî óðîâíÿ.
Ïðè ýòîì êàæäûé ýëåìåíò ñðàâíèâàåòñÿ ñî ñâîèì ñîáðàòîì ñêâîçü
ïðèçìó ýëåìåíòà âûøåëåæàùåãî óðîâíÿ. Äëÿ óäîáñòâà ïðîâåäåíèÿ
ïðîöåäóðû ñðàâíåíèÿ Ñààòè ïðåäëîæèë èñïîëüçîâàòü âåðáàëüíûå
(ñëîâåñíûå) îöåíêè èç êîãíèòèâíîé ïñèõîëîãèè. Ìàòåìàòè÷åñêàÿ
îáðàáîòêà ïîëó÷àåìûõ ïîäîáíûì îáðàçîì îöåíîê ïðèâîäèò ê òî÷íîìó
îïèñàíèþ âñåõ ýëåìåíòîâ èåðàðõèè, âêëþ÷àÿ ïîëó÷åíèå îöåíîê ïî
ýëåìåíòàì îäíîãî óðîâíÿ.
Àâòîìàòèçèðîâàííàÿ ñèñòåìà ýêñïåðòíîãî îöåíèâàíèÿ «ÂÛÁÎÐ
ÏÐÎÅÊÒÀ» ðàçðàáîòàíà â ÖÝÌÈ ÐÀÍ. Ñèñòåìà ïðåäñòàâëÿåò ñîáîé
ìåòîäè÷åñêîå è ïðîãðàììíîå îáåñïå÷åíèå òåõíîëîãèè ýêñïåðòèç. Åå
îñîáåííîñòü – îðèåíòàöèÿ íà ðàáîòó ñ ýêñïåðòàìè âûñîêîé
êâàëèôèêàöèè, âîçìîæíîñòü îáðàáîòêè íåïîëíûõ äàííûõ, ó÷åòà
èíäèâèäóàëüíûõ ïðåäïî÷òåíèé ýêñïåðòà.
Àâòîìàòèçèðîâàííàÿ ñèñòåìà ýêñïåðòíîãî îöåíèâàíèÿ
«ÏÐÈÎÐÈÒÅÒÍÎÑÒÜ ÔÈÍÀÍÑÈÐÎÂÀÍÈß» òàêæå ðàçðàáîòàíà â ÖÝÌÈ ÐÀÍ
è ïðåäíàçíà÷åíà äëÿ ñîïðîâîæäåíèÿ è ïîâûøåíèÿ ýôôåêòèâíîñòè
ðàáîòû âûñîêîêâàëèôèöèðîâàííûõ ñïåöèàëèñòîâ – ýêñïåðòîâ.
100
Ìåòîäû îðãàíèçàöèè ýêñïåðòèçû ìåðîïðèÿòèé...
Îáÿçàòåëüíûì ýëåìåíòîì ÿâëÿåòñÿ ïðè ýòîì îöåíî÷íàÿ ñèñòåìà, íàñòðàèâàåìàÿ íà êîíêðåòíûé îáúåêò ýêñïåðòèçû, êîòîðàÿ âêëþ÷àåò íàáîð
êðèòåðèåâ, èíôîðìàöèþ îá èõ ñðàâíèòåëüíîé âåñîìîñòè, øêàëàõ
çíà÷åíèé êðèòåðèåâ.  òî æå âðåìÿ îöåíî÷íàÿ ñèñòåìà íåîáõîäèìà è äëÿ
ó÷åòà ñóáúåêòèâíûõ ôàêòîðîâ ñàìîãî ýêñïåðòà.
Ïðîãðàììà «ÎÖÅÍÊÀ È ÂÛÁÎл, ðàçðàáîòàííàÿ Ä. Àáäðàõèìîâûì è
À. Èîôôèíîì, ïðåäíàçíà÷åíà äëÿ ðåøåíèÿ çàäà÷ ðàíæèðîâàíèÿ íà îñíîâå
ýêñïåðòíûõ îöåíîê. Êëþ÷åâàÿ ôóíêöèÿ ïðîãðàììû – ìíîãîêðèòåðèàëüíàÿ
îöåíêà ñòåïåíè ñîîòâåòñòâèÿ ëþáûõ îáúåêòîâ, â ÷àñòíîñòè âíåøíèõ
ýôôåêòîâ, êîìïëåêñó ïðåäúÿâëÿåìûõ òðåáîâàíèé è ïðåäïî÷òåíèé. Äëÿ
ïðèìåíåíèÿ ýòîé ñèñòåìû íåîáõîäèìî ðàçðàáîòàòü êîìïëåêñ òðåáîâàíèé
è ïðåäïî÷òåíèé ê ìåðîïðèÿòèÿì. Èñïîëüçîâàíèå ýòîé ñèñòåìû
ñòàíîâèòñÿ öåëåñîîáðàçíûì â ñèòóàöèÿõ, êîãäà îáúåì èíôîðìàöèè îá
àíàëèçèðóåìûõ îáúåêòàõ çíà÷èòåëåí è ïðåâûøàåò âîçìîæíîñòè ÷åëîâåêà
ïðîèçâîäèòü ïðÿìûå ñîïîñòàâëåíèÿ, ò. å. êîãäà èìååòñÿ ìíîãî
ìåðîïðèÿòèé è îíè èìåþò ìíîãî êîëè÷åñòâåííûõ è êà÷åñòâåííûõ
õàðàêòåðèñòèê. Ïðè ðåøåíèè îñîáî îòâåòñòâåííûõ âîïðîñîâ ïðîãðàììà
îáðàáàòûâàåò ìíåíèÿ ãðóïïû ýêñïåðòîâ ÷èñëåííîñòüþ äî 10 ÷åëîâåê.
Ðåçóëüòàòîì ðàáîòû ñèñòåìû ÿâëÿþòñÿ ðàíæèðîâêè è ðåéòèíãè
àíàëèçèðóåìûõ ìåðîïðèÿòèé. Ïðîãðàììà èñïîëüçîâàëàñü ïðè àíàëèçå
ñîöèàëüíî-ïîëèòè÷åñêîé, êðèìèíàëüíîé è çäðàâîîõðàíèòåëüíîé
îáñòàíîâêè â ðåãèîíàõ Ðîññèè, êîíêóðñíîì îòáîðå çàÿâîê íà
ãîñôèíàíñèðîâàíèå è îñíàùåíèå ðåãèîíîâ ñëîæíûìè òåõíè÷åñêèìè
ñèñòåìàìè, ïðè ïðîâåäåíèè òåíäåðîâ è âûáîðå ëó÷øèõ òåõíèêîêîììåð÷åñêèõ ïðåäëîæåíèé, îöåíêàõ êîíêóðåíòîñïîñîáíîñòè â
ìàðêåòèíãîâûõ èññëåäîâàíèÿõ, äëÿ àíàëèçà ðåçóëüòàòîâ ëè÷íîñòíîïñèõîëîãè÷åñêîãî òåñòèðîâàíèÿ, ïîäáîðà è ðàññòàíîâêè êàäðîâ, îöåíêè
ñòåïåíè ñîîòâåòñòâèÿ ÷åëîâåêà çàíèìàåìîé äîëæíîñòè. Îãðàíè÷åíèÿ äëÿ
ïðèìåíåíèÿ ýòîé ïðîãðàììû ñâÿçàíû ñ òåì, ÷òî îíà ïðåäíàçíà÷åíà
èñêëþ÷èòåëüíî è òîëüêî äëÿ îáðàáîòêè ýêñïåðòíîé èíôîðìàöèè.
Ïðåäïîëàãàåòñÿ òàêæå, ÷òî ìåðîïðèÿòèÿ ïî ñîâåðøåíñòâîâàíèþ
äîêóìåíòàöèîííîãî îáåñïå÷åíèÿ óïðàâëåíèÿ âñåñòîðîííå îïèñàíû è
ìîãóò áûòü îõàðàêòåðèçîâàíû äîñòàòî÷íî áîëüøèì ÷èñëîì ðàçíîîáðàçíûõ è àääèòèâíûõ, ýêñïåðòíî îöåíèâàåìûõ ïîêàçàòåëåé.
101