Методики оценки

Методы оценки эффективности
информационных систем
1. Социальный показатель эффективности ИТ.
2. Современные методики оценки эффективности
корпоративных систем.
3. Тестовые методики оценки эффективности ИТ.
4. Модели оценки качества и методологии
комплексной оценки системы.
5. Методология комплексной оценки фирмой –
разработчиком.
6. Критерии оценки пользователя.
Социальное время – универсальная
мера затрат общественного труда
(В.Г. Афанасьев).
Социальное время – показатель
количественной оценки любых видов
технологий (К.К. Колин).
Методики оценки:
Методика оценки получаемых выгод.
Методика CВ-90.
Методика обоснований капиталовложений.
Методика оценки индекса эффективности
ИТ.
Методика оценки выгод.
Оцениваются прямые и косвенные расходы. Эффект
подразделяется на исчисляемый и неисчисляемый.
Материальные затраты: сокращение трудозатрат,
снижение издержек на инфоресурсы; воздействие
инвестиций на стоимостную структуру бизнеса,
доходов и инвестиций; воздействие ИТ на
достижение целей.
Нематериальные: повышение качества обслуживания,
конкурентоспособности; ценность услуг ИТ;
встроенность в бизнес, повышение деловой
активности от использования ИТ.
Методика CВ-90 корпорации Oracle.
Оцениваются материальные и качественные
преимущества и риск, связанный с построением
информационной системы.
Определяются материальные и качественные выгоды, а
также факторы риска при инсталяции новой системы.
Методика обоснования
капиталовложений.
Формулируется технологическая стратегия достижения
улучшения показателей бизнеса при создании новой
информационной системы или модернизации
существующей.
Определяются основные направления требуемых
усовершенствований.
Методика оценки индекса
эффективности ИТ.
Выявляется совокупность показателей эффективности:
доля бюджета ИТ в средних доходах организации
(30%);
рыночная ценность – отношение текущей рыночной
стоимости оборудования к доходам организации (до
15%);
прибыль организации за последние 5 лет
использования ИТ (до 15%);
стоимость персонала ИТ и расход на обучение
персонала (до 20%);
доступ пользователя – число ПК/число сотрудников
(до 15%).
Тестовые методики
Группа контрольно-оценочных тестов TPC
(Transaction Processing Performance Council).
Разработана в 1988 г. фирмами IBM, Control
Data, Hewlett-Packard.
Оценивают производительность системы,
стоимость приобретения и характеристики
эксплуатации в течение 5 лет аппаратного и
программного обеспечения системы (цикл
морального устаревания).
Версии тестов:
TPC-A – дают оценку быстродействия системе в
локальной и сетевой конфигурациях.
TPC-B – оценивают возможность СУБД в
условиях интенсивной нагрузки.
TPC-C – оценивают эффективность системы
продажи и дистрибуции товаров.
Версии тестов:
TPC-D и TPC-E – оценивают
производительность систем принятия
решений.
TPC-F – оценивают производительность
систем клиент/сервер и систем
автоматизации документооборота.
TPC-H TCP-R – оценивают
производительность копоративных
информационных систем.
Процедура тестирования происходит
на основе делового анализа:
Оценка эффективности управления
системы.
Управление спросом и предложением на
рынке, изучение доли рынка.
Анализ прибыли и управление доходами.
Изучение удовлетворенности клиента.
Метрики оценки эффективности:
Цена-час – отношение стоимости системы к
производительности, измеряется как
стоимость пятилетней эксплуатации
системы, отнесенная к числу запросов,
обработанных в час.
$/QphH@Size
Метрики оценки эффективности:
Мощность вопроса –
Power@Size=(3600*SF)/24√∏ QI(i,0)*∏ RI(j,0)
QI(i,0) – интервал выбора времени в сек.
вопроса Qi в пределах одного потока
требований делового анализа.
RI(j,0) – интервал времени
Size – размер базы данных, выбранный для
измерения.
Метрики оценки эффективности:
Сложность работы – вводится для
метрической оценки параметра «вопрос в
час»
QphD@Size=√Power@Size*Troughput@Size
Вопрос в час@Фактор масштаба,
соотнесенный к десятичной цифре и
округленной на интервале [0, 1]
Модели оценки качества СMM и
COCOMO:
COCOMO (Constructive Cost Model) –
оценивает стоимость, затраты и график
планирования и развития программного
обеспечения.
Разработана Университетом Южная
Колифорния и 29 ведущими фирмамиразработчиками программного обеспечения
США.
Модели оценки качества СMM и
COCOMO.
COCOMO состоит из трех статистических
моделей:
 Базовой. Оценивает размерность затрат.
 Промежуточной. Генерирует уравнения,
регулирующие оценку затрат по 15
направлениям.
 Детализирующей. На основе уравнений
генерирует оценку затрат по 15
направлениям делового анализа.
Методология CALS (Continuous Acquisition
and Life Cycle Support)
Комплексная системная стратегия повышения
эффективности и конкурентоспособности
продукции.
CALS-технологии – это программные продукты,
применяемые на этапах жизненного цикла системы
в целях непрерывного усовершенствования качества
(PC Week/RE № 45, 98) и регламентирующие
создание моделей функционирования системы на
этапах жизненного цикла.
ARIS Toolset, Orgware, Q-Pulse
(www.gaelquality.co.uk)
Методология TCO (Total cost of ownership)
Методика совокупной стоимости владения
(ССВ). Модель, которая помогает в
масштабах КИС анализировать и управлять
прямыми (плановыми) и непрямыми
(неплановыми) затратами, связанными с
владением и использованием компонента ИТ
на протяжении всего срока службы.
Методология TCO (Total cost of ownership)
Затраты на
информационные системы
Бюджетные
Внебюджетные
АО и ПО
Пользовательские
Управление
Поддержка
Разработка
Телекоммуникации
Простои
Методика подсчет ССВ:
• Получение и анализ информации о бюждете
на ИТ предприятия.
• Сравнение показателей со средними
показателями по отрасли.
• Определение критических моментов в
затратах.
• Составление матрицы (модели).
Методология комплексной оценки
фирмой-разработчиком
ПО – рыночный продукт, который имеет свой
жизненный цикл разработки и функционирования
(ЖЦ).
Стандарт ЖЦ впервые разработан в 1985 г. (1988 г.)
для проектирования военных систем МО США –
стандарт DOD-STD-2167А.
Регламентирует 8 этапов и 250 требований.
MIL-STD-498 «Разработка и документирование
программного обеспечения». (1994 г.)
Методология комплексной оценки
фирмой-разработчиком
ISO 12207:1995 « Процессы жизненного цикла
программных средств»
ISO 9126 – система показателей.
Модель жизненного цикла:
Предложена фирмой SAP (Германия).
Группы требований:
К системе в целом по соответствию
стандартам и безопасности.
К аппаратной части и системному ПО.
К системе доступа к данным, СУБД,
инфохранилищам, аналитической обработки
данных.
К совместимости с другими ИС,
администрированию системы и т.п.
Критерии оценки пользователя
Выбор и внедрение КИС определяет
правильное решение на 5-7 лет вперед.
Окупаемость за 1,5-3 года.
15-25% увеличение производительности.
10-20% уменьшение складских запасов.
20-50% сокращение сроков выполнения
заказов
Критерии оценки пользователя
Стоимость КИС=(0.1-0.03)*(годовой оборот
компании) – для зарубежных КИС.
Стоимость КИС=(0.1-0.15)*(годовой оборот
компании) – для отечественных КИС.
Стоимость КИС:
•Стоимость АО и ПО.
•Стоимость внедрения.
•Стоимость сопровождения и подготовки
персонала.
Стоимость ПО – это стоимость приобретения,
внедрения и эксплуатации в течение ЖЦ.
Стоимость поддержки и сопровождения ПО и
СУБД – 15-20% от их суммарной полной
стоимости по контракту за годичный период
сопровождения.
Оценочные критерии оптимизации КИС:
•Система оценки измерения качественных
показателей КИС, технологии ее создания,
эксплуатации и развития.
•Размерность информационной технологии
(число уровней прикладных сервисов, число
объектов и функций, число основных
алгоритмов, сложность программирования и
т.п.).
•Сложность технологии
Общая оценка эффективности КИС по этапам
жизненного цикла:
F=f(Э, К, ТСО, У)
Выбор
Внедрение
Оценка Оценка
по
технологи
показате чности
лям
соотвест
вия
стратеги
ии
бизнеса
Интеграция
Расшире
ние
технологии
Анализ
Непретехнолог рывичнос-ти ность
изменен
ий
Интеграц
ия в
бизнеспроцессы
,
интеграц
ия
документ
ов,
пользоват
елей
Ввод
дополните
льных
документо
в, задач,
техники
Анализ
управляем
ости,
управлени
е
производи
тельность
Анализ
и
повторная
модифи
кация
Модерниз --//-ация,
масштаби
рование
Ресурсы
Системные, технические, человеческие, финансовые, внешние
факторы