Методика метрического анализа в системе менеджмента качества ISO 9000-2000 Измерения, анализ и улучшение Организация должна определить, спланировать и осуществлять деятельность по измерению и мониторингу, необходимую для гарантий соответствия и достижения улучшений. Она должна включать определение потребности и применение приемлемых методов, включая статистические методы. п.8.1 ISO 9001-2000 Роль измерений Когда вы можете измерить, то о чем вы говорите, и выразить это в числах, вы знаете кое-что об этом; но если вы не можете измерить это и выразить в числах, ваше знание скудно и неудовлетворительно. Лорд Кельвин When you can measure what you are speaking about and express it in numbers, you know something about it; but when you can not measure it, when you can not express it in numbers, your knowledge is of meager and unsatisfactory kind Lord Kelvin Принципы ISO 9000 1. Концентрация на потребностях заказчика (Customer focus) 2. Лидирующая роль руководства (Leadership) 3. Вовлечение исполнителей (Involvement of people) 4. Процессный подход (Process approach) 5. Системный подход к управлению (System approach to management) 6. Непрерывные улучшения (Continual improvement) 7. Принятие решений на основе фактов (Factual approach to decision making) 8. Взаимодействие с поставщиками на основе взаимной выгоды (Mutually beneficial supplier relationships) Цена качества Согласованная цена качества (conformance cost) Стоимость предупреждения (prevention cost) Стоимость экспертизы (appraisal cost) Несогласованная цена качества (non-conformance cost) Стоимость исправлений (rework cost) Убытки (loss) Затраты на качество Управление качеством процесса – перераспределение согласованной цены качества Управление качеством продукта – увеличение несогласованной цены качества Sedigh-Ali S., Ghafoor A., Paul R. A. Metrics-Guided Quality Management for Component-Based Software Systems, - Proceedings of the 25th Annual International Computer Software and Applications Conference Влияние процессов на качество Статистические исследования влияния процессов разработки на качество результирующего продукта показывают : Совершенствование процесса разработки и внедрения программного обеспечения значительно уменьшают относительную (в пересчете на единицу объема программного продукта) несогласованную стоимость качества при сохранении согласованной стоимости качества на прежнем уровне. Инвестиции в совершенствование процесса разработки программного продукта при условии раннего и адресного внедрения процедур улучшения качества ведут к значительному сокращению дефектов и дают высокий положительный экономический эффект. Slaughter S. A., Harter D. E., Krishnan M. S. Evaluating the Cost of Software Quality, - Communications of the ACM, August 1998/Vol. 41, No. 8. Качество на каждой стадии проекта возрастает: как прямое следствие зрелости процесса, вследствие использования промежуточного продукта более высокого качества, произведенного на предыдущей стадии Harter D. E., Slaughter S. A. PROCESS MATURITY AND SOFTWARE QUALITY: A FIELD STUDY, - Proceedings of the twenty first international conference on Information systems December 2000 Многомерность качества Stylianou A.C., Kumar R. L., An Integrative Framework for IS Quality Management, - COMMUNICATIONS OF THE ACM, Sept. 2000/V l. 43, N 9 Требования к метрикам Полнота (по ISO 9001-2000) Соответствие целям компании Монотонность Нормированность Структурированность Структура СМК 4. Система менеджмента качества 5. Ответственность руководства 7. Создание продукции 6. Менеджмент ресурсов 8. Измерение анализ и улучшения процессы Ландшафт процессов Внешние стандарты Требования владельцевЗак онодательство Обобщенная информация и рекомендации по улучшению Ситуация на рынке Решения руководства Док ументы СМК A1 Решения руководства Требования потребителей Предложения по договорным док ументам Информация о деятельности Коммерческая деятельность A2 Договорные док ументы Информация о ресурсах Производство Поставленная продукция и ок азанные услуги A3 Потребности в ресурсах Готовые продукты в архив Обеспечение ресурсами A4 Измерение и улучшение A5 Ресурсы Процессы Апланы (СМ К) - производство.bp1 Структура метрик Система Менеджмента Качества Процессы Организационное обеспечение Ресурсы Документация Производственный процесс Управление персоналом Коммерческий процесс Инфраструктура Процесс совершенствование KСМК =1 * KPROCESS + 2 * KHR + 3 * KCHIEF + 4* KDOC + 5 * KENV Метрики процессов Процесс совершенствования Коммерческий процесс Производственный процесс Value added processes KPROCESS = α1 * KMETHOD + α2 * KCOMERCE * KDEVELOP Оценка коммерческого процесса KCOMERCE = α1 * KCOST_COMERCE + α2 * KCONTRACT_COMERCE + α3 * KPLAN_COMERCE + α4 * KCUST_COMERCE KCUST_COMERCE KCOST_COMERCE KCONTRACT_COMERCE KPLAN_COMERCE - оценка результативности работы с потребителем в рамках коммерческого процесса - результативность выполнения предпроектов - обеспечение портфеля заказов - результативность контрактного планирования Оценка производственного процесса KDEVELOP = α1 * KPRODUCT + α2 * KACT_DEVELOP + α3 * KQUALITY K PRODUCT - оценка управления продуктом; KACT_DEVELOP - оценка управления проектами. KQUALITY - оценка управления качеством KPRODUCT = KPROCESS_DEVELOP * KBUG_DEVELOP KPROCESS_DEVELOP - оценка управления процессами ЖЦ KBUG_DEVELOP = оценка тестирования Оценка процесса совершенствования KMETHOD = α1 * KAUDIT + α2 * K IMPROVE KAUDIT = KAUDIT_CONFIDENCE * K AUDIT_INCONSITENCY K IMPROVE = (KCMK2 - KCMK1 ) / K CMK2 KAUDIT - оценка результатов аудита СМК K IMPROVE – оценка улучшения СМК KAUDIT_CONFIDENCE - полнота аудита K AUDIT_INCONSITENCY – оценка выявленных несоответствий Сбор данных Project Central Сбор данных Rational Clear Quest Сбор данных Relavis Over Quota Показатели результативности Параметр Описание KDOC Оценка управления документацией KCHIEF Оценка результативности организационного обеспечения KHR KENV KCUST_COMM Оценка результативности управления человеческими ресурсами Значение Порог результативности 0,90 0,70 0,87 0,70 0,72 0,70 0,92 0,70 0,91 0,70 Общая оценка инфраструктуры и производственной среды Оценка эффективности коммуникации с потребителями KCUST_SAT Оценка удовлетворенности потребителя 0,64 0,70 KPRODUCT Оценка качества продукции 0,79 0,70 KDEVELOP Оценка производственного процесса 0,81 0,70 KCOMERCE Оценка коммерческого процесса 0,59 0,70 KMETHOD Оценка процесса измерения и улучшения 0,86 0,70 KPROCESS Оценка результативности процессов 0,59 0,55 KСМК Оценка результативности СМК 0,77 0,65 Литература 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. Lantzy M. A., Application at Statistical Process Control to the Software Process, - Proceedings of the ninth Washington Ada symposium on Empowering software users and developers, July 1992. Olagunju A. O., Concepts of Operational Software Quality Metrics, - Proceedings of the 1992 ACM annual conference on Communications April 1992. Slaughter S. A., Harter D. E., Krishnan M. S. Evaluating the Cost of Software Quality,- Communications of the ACM, August 1998/Vol. 41, No. 8. Ogasawara H., Yamada A., Kojo M., Experiences of Software Quality Management Using Metrics through the LifeCycle,- Proceedings of the 18th international conference on Software engineering, May 1996. Furlonger J., ISO 9000 Is No Guarantee of Quality: Research Note,- Gartner Group, 4 August 2000 Drake T. Measuring Software Quality: a Case Study,- Computer, November 1996. Sedigh-Ali S., Ghafoor A., Paul R. A. Metrics-Guided Quality Management for Component-Based Software Systems,Proceedings of the 25th Annual International Computer Software and Applications Conference (COMPSAC’01) MOHANTY S. N. Models and Measurements for Quality Assessment of Software,- Computing Survey, VoL 11, No. 3, September 1979 Shen V. Using metrics in quality management,- “QUALITYTIME” July 1990, IEEE Software. Shen V. Applying customer oriented quality metrics, “QUALITYTIME” November 1989, IEEE Software. Royce W. Pragmatic Quality Metrics For Evolutionary Software Development Models,- Proceedings of the conference on TRI-ADA '90 December 1990 Harter D. E., Slaughter S. A. PROCESS MATURITY AND SOFTWARE QUALITY: A FIELD STUDY,- Proceedings of the twenty first international conference on Information systems December 2000 Liu K., Zhou S. Yang H., Quality Metrics of Object Oriented Design for Software Development and Re-development,Proceedings of the First Asia-Pacific Conference on Quality Software, 2000 IEEE Boehm B. W., Brown J. R., Lipow M. QUANTITATIVE EVALUATION OF SOFTWARE QUALITY Proceedings of the 2nd International Conference on Software Engineering on International conference on software engineering October 1976 Fenton N. Nell M. Software Metrics: Roadmap,- Proceedings of the conference on The future of Software engineering May 2000 Bevan N. Specifying and Measuring Quality in Use,- Proceedings of the 22nd international conference on Software engineering June 2000 Visaggio G. Structural Information as a Quality Metric in Software Systems Organization,- Proceedings of the 1997 International Conference on Software Maintenance (ICSM '97) 1061-1998 IEEE Standard for Software Quality Metrics Methodology