Убей своего дракона или управление качеством данных в АБС Докладчик: Газизов А.А. Вице-Президент,Директор Департамента Практик Прикладных Решений, Компания ОТР. История вопроса Diasoft MDM Офисы Бюджетная структура Подразделения (штатная структура) Сотрудники Территории Офисы Бюджетная структура Подразделения (штатная структура) Сотрудники Территории Офисы Бюджетная структура Подразделения (штатная структура) Сотрудники Территории Офисы Бюджетная структура Подразделения (штатная структура) Сотрудники Территории Бюджетная структура Территории 1С DWH Подразделения (штатная структура) Сотрудники Офисы Бюджетная структура Подразделения (штатная структура) Сотрудники Интербан к ФЛ Lotus Офисы Filenet (Кред. процесс) CRM ДКБ OmniTracker Сотрудники RS-bank Офисы Бюджетная структура Подразделения (штатная структура) Сотрудники Территории Офисы Сотрудники Life Service Подразделения (штатная структура) Бюджетная структура Сотрудники Бюджетная структура Подразделения (штатная структура) Сотрудники Бюджетная структура Подразделения (штатная структура) Сотрудники Сотрудники Территории Офисы ESB Офисы Бюджетная структура Офисы Бюджетная структура Бюджетная структура Подразделения (штатная структура) Сотрудники Территории Офисы Территории CRM ДМСБ Treasury Way4 Front Касса Front Demand Front SME Бюджетная структура Офисы Территории Бюджетная структура Офисы Территории Офисы Территории Front Dealing Collaboration Бюджетная структура Офисы Территории Офисы Офисы Офисы Территории Front Retail Front ДКБ Front ДЭК 2 Путь ОТР АСФК 3 Путь ОТР АСФК 4 Путь ОТР АСФК Реализованы все справочники для обеспечения бюджетного процесса РФ 133 сложносоставных справочника (примеры) Перечень участников бюджетного процесса Сводный перечень заказчиков Перечень государственных (муниципальных) учреждений Коды доходов бюджета, коды расходов и коды ИФДБ (ФБ) Коды глав (ФБ) ЕГРЮЛ Российские банки Коды субсидий 72Н Реализованы процедуры: Ведения справочников; Загрузки и обновления; Публикации; Маштабируемость и нагрузка: За месяц обрабатывается 20 млн документов 5 Путь ОТР ЭБ 6 Проблемное поле • Взаимодействие информационных систем • • отсутствие представления компании о всех клиентах проверки через Бюро Кредитных Историй не выявляют мошенников • высокие трудозатраты при подготовке отчетности в Агентство по Страхованию Вкладов, Федеральную Налоговую Службу, Пенсионный фонд и другие надзорные органы • ошибки в написании имен и фамилий при отправке клиентам персонализированных обращений • дополнительные трудности при сегментировании аудитории и индивидуализации маркетинговых материалов Отчетность Маркетинг невозможно обеспечить веб-доступ клиентов сразу ко всем их продуктам по причине того что различные продукты ведутся в разных системах 7 Потери от некачественных данных Прямые потери Косвенные потери Штрафы регуляторов за ошибки в отчетности Ошибки и простои интеграционных проектов Возвраты почтовых отправлений выписок, целевых предложений и других почтовых отправлении Потеря конкурентных преимуществ от ошибок в веб-доступе и в других сервисах для клиентов Дополнительные трудозатраты на формирование отчетности и проведение ошибочных операции Ошибки в BI исследованиях и формировании целевых предложений 8 Интеграция сервисов (как должно быть) АБС Кредитов АБС Вкладов АБС Карт АБС Ценных бумаг ФИО, паспорт ФИО, паспорт ФИО, паспорт ФИО, паспорт Кредиты Вклады Карты ЦБ СЕРВИСНАЯ ШИНА ФИО, паспорт Кредиты Вклады Карты ЦБ Web банк 9 Интеграция сервисов (как получается) АБС Кредитов АБС Вкладов АБС Карт АБС Ценных бумаг ФИО паспорт ФИО (девичья фамилия) ФИО загран. паспорт ФИО, ошибка в № паспорта Кредиты Вклады Карты ЦБ СЕРВИСНАЯ ШИНА ФИО, паспорт ? Карты Кредиты Вклады Web банк ЦБ 10 Откуда берутся плохие данные? Ошибки ввода Опытный оператор в среднем вводит от 1 до 3% ошибочных данных, неподготовленный оператор допускает ошибки в каждой пятой записи Устаревание персональных данных Изменение фамилий, телефонов, адресов приводят к ежегодной потере актуальности 1-3% данных Устаревание справочников Переподчинение регионов, замена телефонных кодов и другие изменения на федеральном уровне приводят к ежегодной потере актуальности 3-5% данных Использование старых БД Ошибки ПО Во многих организациях используются данные введенные с бумажных носителей 10-25 лет назад при запуске ИТ систем Неправильная структура БД, потери данных при передаче и миграции данных (более 50% ошибок в данных связано именно с системными решениями и технологическими ошибками) 11 Что делать? 12 Что делать? Ошибки ввода опытный оператор в среднем вводит от 1 до 3% ошибочных данных, Проверять неподготовленный полноту,оператор целостность допускает и корректность ошибки в каждой пятой записи Устаревание персональных данных Изменение фамилий, телефонов, адресов приводят к ежегодной Обновлять, актуализировать потере актуальности 1-3% данных Устаревание справочников Переподчинение регионов, замена телефонных кодов и другие Обновлять, актуализировать изменения на федеральном уровне приводят к ежегодной потере актуальности 3-5% данных Использование старых БД во многих организациях используются Приводить к единому формату, дедуплицировать, данные введенные с бумажных носителей 10-25 лет назад при обогащать запуске ИТ систем Ошибки ПО Неправильная структура БД, потери данных при передаче и Стандартизировать ввод, хранение и обмен миграции данных (более 50% ошибок в данных связано именно с системными решениями иинформацией технологическими ошибками) 13 Эффективность и стоимость ручного труда Среднее кол-во исправленных ошибок в час Без привлечения документов и контактов с клиентом 10-20 При работе с электронными архивами 7-15 При работе с бумажными документами 2-7 При телефонном контакте с клиентом 4-5 14 Эффективность и стоимость ручного труда Min Max Зарплата оператора исправляющего ошибки 10 000 40 000 Накладные затраты рабочего места 10 000 20 000 Кол-во исправленных ошибок (в месяц) 352 3520 Стоимость исправления 1 ошибки 5, 68 руб. 170,45 руб. 15 Ручной труд или автоматизация? Кол-во учетных записей Издержки До 500 000 Годовые прямые потери меньше стоимости автоматизации (но это зависит от эффективности контроля ввода данных, и количества критически важных полей в системах) От 500 000 Стоимость автоматизации сопоставима с годовыми прямыми потерями От 10 000 000 Ежемесячные прямые потери превышают стоимость автоматизации 16 Интеграция сервисов с помощью MDM АБС Кредитов АБС Вкладов АБС Карт АБС Ценных бумаг ФИО паспорт ФИО (девичья фамилия) ФИО загран паспорт ФИО, ошибка в№ паспорта Карты ЦБ MDM Кредиты Вклады СЕРВИСНАЯ ШИНА ID MDM Кредиты Вклады Карты ЦБ Web банк 17 С чего начать? Найди 2 отличия? DWH предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации MDM совокупность процессов и инструментов для постоянного определения и управления основными данными компании (в том числе справочными). 18 С чего начать? MDM Задачи Для реализации MDM и DWH решаются одинаковые, результат по MDM достижим, можно быстро измерить, сжатые сроки внедрения - Вывод MDM является пререквизитом, для внедрения современного DWH => сокращение сроков внедрения и стоимости* * Достигается при выборе одного вендора и исполнителя 19 Обследование ИС и текущих процессов управления справочными данными • Определение перечня систем входящих в рамки проекта, • Определение реестра справочников в системах, • Определение списка атрибутов справочников в системах, • Определение общих «знаменателей» для найденных справочников и атрибутов, • Определение возможностей использования единых справочников в различных бизнес процессах, • Определение перечня перекодировок для приведения к общим «знаменателям». 20 Качество данных и внедрение MDM-решения оступность остоверность одержательность воевременность тойчивость туальность презентативность оказатели качества информации очность Внедрение MDMрешения улучшает показатели качества информации Показатели качества Доступность Точность Достоверность Актуальность Своевреме 21 Обследование ИС и текущих процессов управления справочными данными К внедрению в составе MDM- решения по результатам обследования предложено включить 32 справочника Основные критерии отбора справочников для включения в MDM-решение Показатели качества Неполное и/или противоречивое описание объектов НСИ (нормативно-справочной информации), в том числе наличие дублей или неоднозначная классификация объектов НСИ Невозможность обеспечения бизнес процесса из-за отсутствия НСИ Сложность поддержки НСИ и/или множества интерфейсов репликации, влияние недостатков текущей архитектуры на планы развития ИС Доступность Точность Достоверность Актуальность Своевременность Отсутствие возможности развития в направлении анализа данных (analytical MDM) Средняя периодичность обновления данных справочника Использование справочника в двух и более системах Фаза 1. Этап 1 – Реестр справочников. Обследован 61 справочник (зафиксировано протоколами) Масштаб проекта - 32 справочника присутствуют в 239 копиях в 25 системах № п\п Названия справочников/Названия систем 1 БИК 2 Бюджетная структура 3 Валюты 4 Взаимосвязанные клиенты 5 Выходные дни 6 Группы операций по выплатам 7 Группы пользователей 8 Источники финансирования 9 Кассовые символы 10 КБК 11 КЛАДР 12 Клиенты 13 Контрагенты 14 Направления и задачи для управления отчетностью 15 Офисы 16 Подразделения (штатная структура) 17 Получатели 18 Продукты 19 Проекты, задачи 20 Регионы 21 Сотрудники 22 Ставки по депозитам и кредитам 23 Статьи УУ 24 Статьи финансового учета 25 Страны 26 Стратегии 27 Счета 28 Территории 29 Типы операций Фронт 30 Услуги 31 Участники группы Life 32 Форматы DWH Diasof t 1C Filenet Интер Интер Life Collab Front Front Front Lotus Filenet (Кред. RS- OmniT CRM CRM Treasu АСВК Front Front Front Front Front Way4 банк банк Servic oratio Dealin Dema Факто Notes (AXP) проце Bank racker ДКБ ДМСБ ry Б Касса SME ДКБ Retail ДЭК ЮЛ ФЛ e n g nd ринг сс) 23 Пример атрибутивного состава справочников Проведено сопоставление атрибутов во всех системах Составлен список атрибутов для MDM-системы по каждому справочнику Спроектированы уникальные ключи для MDM-системы Выделены первичные ключи для систем Банка Диасофт DWH Наименование атрибута Фамилия Имя Отчество Предыдущая фамилия Дата смены фамилии ФИО Первая буква имени Первая буква отчества Табельный номер Персональный код Пол Клиент Контрагент Телефон внутренний Телефон городской Телефон мобильный Факс Признак руководителя Подчиненные Тип данных Наличие в системе VARCHAR2(200) VARCHAR2(200) VARCHAR2(800) да да да VARCHAR2(4000) да ФИО непосредственного руководителя Персональный код непосредственного руководителя Телефон руководителя Наименование должности ЦФО1 ЦФО2 Дивизион ЦФО банка Код подразделения ИД бюджетного подразделения Подразделение Наименование подразделения VARCHAR2(640) VARCHAR2(255) VARCHAR2(255) VARCHAR2(255) VARCHAR2(255) VARCHAR2(20) VARCHAR2(25) да да да да да да да VARCHAR2(200) да 1C Тип данных Наличие в системе varchar(500) varchar(50) varchar(50) varchar(100) Lotus notes Тип данных Наличие в системе Тип данных Наличие в системе да да да да varchar(500) varchar(50) varchar(50) varchar(100) да да да да текст(20) текст(20) текст(20) текст(20) да да да да varchar(255) да varchar(255) да char(1) да char(1) да номер(20) числовой(20) выпадающий список да да да текст(20) текст(20) текст(20) общий(20) char(1) да да да да да char(1) да varchar(500) да varchar(500) да текст(100) да int(20) да int(20) да varchar(200) да varchar(200) да числовой(20) числовой(20) текс(100) да да да VARCHAR2(255) да текст(20) да Примерный перечень «знаменателей» для атрибутов клиента К данному списку должны быть приведены все значения описывающие данную область данных. Цель – гармонизация вариантов написания. Например, страна, краткое наименование «РОССИЯ» – правильное, а «РФ» не правильное. «Рос. Фед.» не правильное, а «Российская Федерация » правильное в полном наименовании. Содержание Виды экономической деятельности Виды риска Организационно правовых форм Офисов Пол Признаков резидента Семейных положений Статусы Стран Типов адресов Областей ответственности Типов документов физических лиц Типов документов организации Типов контактного лица Типов контакта Типов координат Типов групп взаимосвязанных Флагов Форм собственности БИК Тарифы Роли в договоре Типов лимитов Типов групп Адресный классификатор Гос. эталон ОКВЭД нет ОКОПФ нет нет нет нет нет ОКСМ нет нет нет нет нет нет нет нет нет ОКФС БИК нет нет нет нет КЛАДР / ФИАС Фаза 1. Этап 1 – Реестр справочников. Знаменатель – список значений описывающих все возможные варианты значения атрибута. 25 Пример «знаменателя» отсутствующего в государственных и мировых эталонах Код документа ИФНС Код документа ПФР 1 21 2 22 3 Краткое наименование Полное наименование ПАСПОРТ РОССИИ Паспорт гражданина РФ Паспорт гражданина Российской Федерации ЗГПАСПОРТ РФ Загранпаспорт гражданина РФ 4 УДОСТ ОФИЦЕРА Удостоверение личности офицера 4 7 ВОЕННЫЙ БИЛЕТ 5 10 6 1 7 8 Формат серии Формат номера Уникальност Возраст получения ь 9999 999999 Y 14 Загранпаспорт гражданина Российской Федерации 99 9999999 Y 14 Удостоверение личности офицера ББ 999999 N 18 Военный билет солдата Военный билет солдата (матроса, сержанта, старшины) ББ 999999 Y 18 ИНПАСПОРТ Иностранный паспорт Паспорт иностранного гражданина SSSSSSSSSS SSSSSSSSSSSS N 0 ПАСПОРТ Паспорт гражданина СССР R-ББ 999999 Y 16 2 ЗГПАСПОРТ Загранпаспорт гражданина СССР Загранпаспорт гражданина Союза Советских Социалистических Республик 99 990999999 N 16 9 ДИППАСПОРТ РФ Дип. Паспорт РФ Дипломатический паспорт гражданина Российской Федерации 99 9999999 Y 0 9 3 СВИД О РОЖД Свидетельство о рождении Свидетельство о рождении гражданина Российской Федерации R-ББ 999999 Y 0 10 27 ВОЕН БИЛЕТ ОЗ Военный билет офицера запаса Военный билет офицера запаса ББ 0999999 Y 18 11 6 ПАСПОРТ МОРФЛТ Паспорт Минморфлота Паспорт Минморфлота ББ 999999 Y 0 12 26 ПАСПОРТ МОРЯКА Паспорт моряка Паспорт моряка ББ 0999999 Y 0 13 14 ВРЕМ УДОСТ Врем. удост. личн. гражд. РФ Временное удостоверение личности гражданина Российской Федерации SSSSSSSSSS SSSSSSSSSSSS Y 0 14 12 ВИД НА ЖИТЕЛЬ Вид на жительство Вид на жительство на территории Российской федерации SSSSSSSSSS SSSSSSSSSSSS Y 0 15 13 УДОСТ БЕЖЕНЦА Удостоверение беженца в РФ Удостоверение беженца в Российской Федерации SSSSSSSSSS SSSSSSSSSSSS N 0 16 11 СВИД БЕЖЕНЦА Св-во о рег. ход-ва имигранта Свидетельство о регистрации ходатайства иммигранта о признании его беженцем SSSSSSSSSS SSSSSSSSSSSS N 0 17 5 СПРАВКА ОБ ОСВ Спр. об осв. из мест лиш. cв. Справка об освобождении из мест лишения свободы SSSSSSSSSS SSSSSSSSSSSS N 16 18 91 ПРОЧЕЕ Иные документы Иные документы удостоверяющие личность гражданина Российской Федерации SSSSSSSSSS SSSSSSSSSSSS N 0 19 15 Разрешение на врем. проживание Разрешение на временное проживание в Российской Федерации SSSSSSSSSS SSSSSSSSSSSS N 0 Св-во о рождении иностранное Свидетельство о рождении, выданное уполномоченным органом иностранного государства SSSSSSSSSS SSSSSSSSSSSS N 0 Удост-е работника прокуратуры Служебное удостоверение работника прокуратуры SSSSSSSSSS SSSSSSSSSSSS N 18 Служебный паспорт гражданина Российской Федерации SSSSSSSSSS SSSSSSSSSSSS N 0 Дипломатический паспорт иностранный SSSSSSSSSS SSSSSSSSSSSS N 0 Не определено SSSSSSSSSS SSSSSSSSSSSS N 0 Виза SSSSSSSSSS SSSSSSSSSSSS N 0 Миграционная карта SSSSSSSSSS SSSSSSSSSSSS N 0 9999999999 N 0 20 21 23 Паспорт гражданина Союза Советских Социалистических Республик 22 Служебный паспорт 23 Дип. Паспорт иностранный 24 Не определено 25 Виза 26 Миграционная карта 27 Пенсионное удостоверение 28 Свид. о регистрации 29 Лицензия 30 Водительское удостоверение 31 Полис медицинского страхования 32 ИНН 33 Карточка соц. страхования Карточка соц. страхования 34 Справка по инвалидности 35 Разрешение 36 Св-во о праве на наследство 37 Свидетельство о регистрации ТС 38 39 Пенсионное удостоверение Свидетельство о регистрации SSSSSSSSSS SSSSSSSSSSSS N 0 Лицензия SSSSSSSSSS SSSSSSSSSSSS N 0 Водительское удостоверение SSSSSSSSSS SSSSSSSSSSSS N 0 Полис медицинского страхования SSSSSSSSSS SSSSSSSSSSSS N 0 99999999999 или 9999999999 N 0 SSSSSSSSSS SSSSSSSSSSSS N 0 Справка по инвалидности SSSSSSSSSS SSSSSSSSSSSS N 0 Разрешение SSSSSSSSSS SSSSSSSSSSSS N 0 Свидетельство о праве на наследство SSSSSSSSSS SSSSSSSSSSSS N 0 Свидетельство о регистрации ТС SSSSSSSSSS SSSSSSSSSSSS N 0 Учетный код ФМС РФ Учетный код ФМС РФ SSSSSSSSSS SSSSSSSSSSSS N 0 Паспорт предыдущий Паспорт предыдущий SSSSSSSSSS SSSSSSSSSSSS N 0 ИНН Фаза 1. Этап 1 – Реестр справочников. id • Разработка схемы потоков данных между системами, • Разработка таблиц перекодировок, • Разработка методики решения неоднозначных преобразований при «свертке данных» на перекодировках, • Подготовка целевой архитектуры МДМ-системы, • Определение критериев качества значений атрибутов, кортежей, значений справочников. • Разработка условий автоматической дедубликации, • Разработка условий «выживания» значений при дедубликации, обновлении данных. Кортеж – набор значений атрибутов описывающих одну бизнес сущность. Например, Документ, удостоверяющий личность Значение справочника – набор кортежей, описывающий основную бизнес сущность справочника. Например. Значение справочника клиент. Описывает физическое лицо и его взаимоотношение с банком. Содержит кортежи. Перс. данные, документы, контакты, адреса, взаимоотношения и так далее. 27 Фаза 1. Этап 2 – Потоки данных справочников . Формирование целевой архитектуры Пример функциональной модели Бизнеспользователь MDM-система Разбор ошибочных ситуаций, коррекция целостности данных, дедубликация в системахисточниках Бизнеспользователь Получение и дистрибуция данных Системы-источники данных Бизнес-процессы Группы, связанные с использованием и изменением справочников. Ввод и изменение элементов справочников Согласование добавления и изменения справочников Ввод и изменение элементов справочников Бизнеспользователь Передача новых, измененных, удаленных элементов справочника в режиме онлайн Преобразование данных на входе к универсальному формату Проверка на уникальность Передача новых, измененных, удаленных элементов справочника в регламентном режиме Дедубликация Передача новых, измененных, удаленных элементов справочника в регламентном режиме Формирование перечня получателей Формирование или обновление «золотой записи», обогащение данных Проверки целостности и полноты Стандартизация Передача новых, измененных, удаленных элементов справочника в режиме онлайн Преобразование данных на выходе к формату получателя Настройка регламентов, правил обновления и рассылки данных Разбор ошибочных ситуаций, корректировка данных Журналирование, аудит Передача элемента справочника по запросу системыполучателя Передача уведомления об объединении/разъединении дубликатов Бизнес-процессы Группы, связанные с использованием справочников Разбор ошибочных ситуаций, коррекция целостности данных, дедубликация в системахполучателях Хранение исторических данных Data Steward Data Steward Построение отчетов о качестве данных Настройка метаданных Data Steward Data Steward Data Steward 28 Системы-получатели данных Data Steward Технолог MDM Технолог MDM Пример критериев качества Соответствие справочнику Фамилия – Пол Словесное описание: Определение корректности Пола и Фамилии. Если Фамилия и введенный Пол есть в справочнике, и нет альтернативного значения с той же Фамилией и другого Пола, то устанавливается валидность по наполнению гарантированная; Если Фамилия и введенный Пол есть в справочнике, но есть альтернативное значения с той же Фамилией и другого Пола, то устанавливается валидность по наполнению надежная; Если Фамилия отсутствует в справочнике, то устанавливается валидность по наполнению рискованная; Если Фамилия есть в справочнике, но имеет противоположный Пол, то устанавливается валидность по наполнению критическая; Блок схема: Ввод Фамилии Ввод пола Фамилия Запрос в справочник Запрос - ответ Справочник Фамилий-пол Список Фамилия-пол (0,1,2 значения) Критическая Ошибка Есть в справочнике Нет Рискованная Да Гарантированная Да Пол фамилии не имеет альтернатив Нет Надежная 29 Пример критериев качества Сопоставление сущностей Персона Условия кластеризации 1. Кластера по сущности Персона строятся по следующим условиям 2. Первые три буквы имени + первые три буквы фамилии + первые три буквы отчества 3. Город + улица 4. Серия+номер документа 5. Фамилия + дата рождения Условия гарантированного дубля 1. У сущностей совпадают Фамилия, Имя, Даты рождения, Место рождения. Остальные атрибуты или отсутствуют или не совпадают 2. У сущностей совпадают Серия+номер документа + тип, даты рождения, фамилии, имена, для граждан РФ - отчество. Остальные атрибуты или отсутствуют или не совпадают. 3. У сущностей совпадают Серия+номер документа + тип, адреса регистрации, даты рождения. Остальные атрибуты или отсутствуют или не совпадают. 4. У сущностей совпадают Серия+номер документа + тип, фамилии, имена. Остальные атрибуты или отсутствуют или не совпадают. 5. У сущностей совпадают Серия+номер документа + тип, имена, даты рождения, адреса регистрации. Остальные атрибуты или отсутствуют или не совпадают. 6. У сущностей совпадают Серия+номер документа + тип, дата рождения, адреса регистрации. Остальные атрибуты или отсутствуют или не совпадают. Нечеткая логика так же используется при определении критериев дублей 30 Пример критериев качества При объединении двух объектов справочника объединяемые объекты справочника деактивируются, и создается новый объект справочника на основе значений атрибутов объединяемых объектов. Деактивированные объекты справочника помечаются как родительские по отношению к созданному объекту. При объединении данных по объектам следует опираться на следующие критерии выбора значения атрибутов или кортежа для использования в результирующей записи: • Верифицированность • Валидность • Актуальность При выборе значения атрибута или кортежа устанавливается следующий набор приоритетов: 1. Приоритет доверенных систем над не доверенными 2. Приоритет верифицированных значений над не верифицированными 3. Если значение доверенности систем равное, то учитываются показатели валидности и актуальности 4. Приоритет актуальных значений над неактуальными 5. Приоритет валидных значений над невалидными 6. Приоритет заполненного значения атрибута над пустым 7. Приоритет показателя валидности над показателем актуальности 8. Равенство валидных значений атрибутов и значений атрибутов исключений. 9. В случае совпадения значений атрибутов или кортежей дата актуальности устанавливается в результирующую запись наиболее актуальная. 31 MDM – в Банки Отчеты по качеству данных Статистика DQ Потенциальные дубликаты Валидность атрибутов, кортежей атрибутов 32 Рекомендации по организации ЖЦ справочников в MDM-решении 1. Планирование изменений в данных 2. Выполнение изменений в данных Процедуры обработки ввода, редактирования и удаления данн Фрагмент жизненного цикла (ЖЦ) справочников 4. Устранение найденных ошибок в данных 3. Проверка изменений в данных, фиксация возможных ошибок Объекты для рекомендаций Стили ведения справочников Периоды доступности Логика обеспечения данных … в целостности MDM-системе Аудит данных, данных Процедуры ведениеочис жур «Coexistence style» для справочников «Transaction с одной style»идля более справочников, мастер-системами ведущихся в МDM системе 33 Процессы управления мастер-данными «to be» Пример. Справочник «Сотрудники», схема из проекта Вертикальные дорожки - системы Процессы управления данными справочника «Сотрудники» Diasoft (штатн.сотрудники), 1С (факторинговая компания), LN (внештатн.сотрудники) Запрос на изменение имеющегося элемента Запрос на создание нового элемента MDM Запрос на удаление имеющегося элемента Запрос на изменение элемента в MDM Запрос на назначение доступа I III 3 Модификация данных в мастер-системах V 2 4 Добавле н новый элемент Обяз.проверк и при изм. VII Изменен имеющи йся элемент 6 Online поиск изменяемого элемента в MDM XII 15 Изменение атрибутов, которые ведутся в MDM XIII VI Транзакция зафиксиров ана 12 Измене ний нет 21 XVI 61 36 Транзакция переноса отклонена да Загрузка новых элементов online Измене ний нет Стандартные преобразован ия 30 Новые элементы загружен ы нет Новые элементы загружен ы 63 Пр.обяз.прове рки при вводе 31 Изменен имеющи йся элемент XX 43 44 41 Новые элементы загружен ы Новые элементы загружен ы 45 42 61 46 Загрузка новых элементов online Загрузка новых элементов online Загрузка новых элементов Загрузка новых элементов online 62 47 Новые элементы загружен ы Новые элементы загружен ы 63 48 XVIII да 35 28 XV 40 62 Кл.II 34 Изменен имеющи йся элемент XVII Загрузка новых элементов online 39 38 33 26 Изменение адреса электронной почты Изменен имеющи йся элемент XIV нет Изменение атрибутов, которые ведутся в Life Service 24 VIII 32 Описание процессов управления данными справочников содержит: XIX 27 23 Изменен имеющи йся элемент Изменен имеющи йся элемент С.II II DWH, Filenet (АХР) Запрос на изменение имеющегося элемента Изменение атрибутов, которые ведутся в базе LN (телеф.книга) Поиск требуемого элемента XXI IV Omni Tracker, Filenet (Кред.процесс), CRM ДКБ, CRM ДМСБ, Collaboration, Front Факторинг 22 Создание адреса электронной почты 14 11 Проверка на уникальность Загрузка новых элементов Транзакция отклонена 20 да 10 Удален имеющи йся элемент Life Service Запрос на изменение имеющегося элемента Запрос на изменение доступа 25 7 Удаление элемента в системе первичного ввода Filenet -> MDM -> Diasoft Обновление измененных элементов нет 5 Изменение атрибутов, которые ведутся в системе первичного ввода Создание нового элемента в системе первичного ввода LN (телеф.книга) 13 29 Удаление элементов Горизонтальные дорожки - операции 9 1 LN (адрес.книга) 37 X Загрузка online новых элементов в MDM Систему. Транзакция зафиксирована. Новые элементы загружены XXII XI I. Создание новых элементов в Diasoft, в 1С и в Lotus Notes (внештатн. сотрудники). II. Перенос новых элементов из систем первичного ввода в MDM в режиме online. III. Изменение имеющихся элементов в системах первичного ввода. IV. Перенос обновлений для атрибутов имеющихся элементов из систем первичного ввода в MDM систему в режиме online. V. Удаление (пометка на удаление) имеющихся элементов в системах первичного ввода. VI. Удаление (пометка на удаление) имеющихся элементов в MDM системе в режиме online. VII. Изменение имеющихся элементов в MDM системе. VIII. Перенос необходимых изменений в атрибутах для имеющихся элементов в системы получатели в режиме online. IX. Удаление (пометка на удаление) имеющихся элементов в системах-получателях в режиме online. X. Перенос новых элементов из MDM системы в системы получатели в режиме online. XI. Перенос новых элементов в Diasoft, которые были первоначально внесены в Filenet, в режиме online. XII. Назначение доступа для вновь заведенной записи в LN (адрес.книга). XIII. Изменение доступа для имеющейся записи в MDM системе. XIV. Перенос назначений доступа в базу LN «Телеф.книга» в режиме online. XV. Перенос измененных значений доступа в базу LN «Телеф.книга» в режиме online. XVI. Изменение имеющихся элементов в базе LN (телеф.книга). XVII. Перенос изменений из LN (телеф.книга) в MDM в режиме online. XVIII. Перенос изменений из MDM в Life Service в режиме online. XIX. Изменение элемента в системе Life Service. XX. Перенос изменений из Life Service в MDM в режиме online. XXI. Перенос изменений из LN (адрес.книга) в MDM в режиме online. XXIV, Удаление (пометка на удаление) имеющихся элементов в системах-получателях в регламентном (ночном) режиме XXV. Перенос необходимых изменений в атрибутах для имеющихся элементов в системы получатели в режиме online. Кл.II. Создание нового клиента на основаниив случае заведения нового сотрудника в системе Диасофт Online поиск изменяемого элемента в MDM Обновление элемента online 21 49 26 23 20 Транзакция зафиксиров ана да 50 27 24 Обяз.проверк и при изм. Изменен имеющи йся элемент 51 нет 22 52 25 Online поиск изменяемых элементов Изменение адреса электронной почты Измененны е элементы обновлены 53 64 Поиск изменяемых элементов online Обновление элементов Обновление элементов online 55 Поиск изменяемых элементов 65 54 Измененны е элементы обновлены 66 Измененны е элементы обновлены схему каждого процесса; событие, инициирующее каждый процесс; системы, которые затрагивает процесс; взаимосвязи процессов (предшествующие, последующие); пояснения шагов процесса (шаги приведены на схеме). 67 56 XXV Транзакция отклонена Измене ний нет XXIII 32 35 Online поиск удаляемого элемента в MDM 57 38 68 Поиск удаляемых элементов online Транзакция зафиксиров ана Удаление элемента online 58 Поиск удаляемых элементов 69 да Удаление элементов online 33 Удаление элементов 39 36 Обяз.проверк и при уд. Имеющий ся элемент удален 59 70 Необходимы е элементы удалены Необходимы е элементы удалены нет 34 IX 37 Измене ний нет 60 71 Транзакция отклонена XXIV 34 Архитектура приложений, включая интеграцию MDM-системы В рамках проекта описаны: информационные системы и интерфейсы между ними; данные, передаваемые между системами; характеристики интерфейсов, режимы передачи данных (on-line или регламент), временные окна взаимодействия. Обмен данными между системами происходит через единую шину данных (ESB). 35 Интеграция с системами Заказчика • Проведение тестовых операций полного цикла (ввод в источнике, получение в МДМ, чистка, дедубликация, возврат в систему источник, распространение по системам получателям) • Проведение бизнес тестов, нагрузочных тестов • Реализация на стороне систем источников инкрементной и потоковой догрузки и получения данных после чистки. • Реализация на стороне систем получателей интерфейсов получения данных • Организация службы НСИ на стороне Заказчика, проведение обучения. • Тестирование обработки данных, тестирование интеграционных взаимодействий 36 Задачи «Подразделения MDM» Операционная деятельность при ведении справочников Взаимодействие подразделений Технологическая поддержка процессов MDM Развитие процессов MDM и MDM-системы, управление изменениями Для «Подразделения МДМ» в рамках проекта подготовлена документация Рекомендации по управлению MDM-решением; Описание взаимодействия подразделений Группы и подразделения, управляющего MDM; Должностная инструкция технолога (руководителя) группы поддержки процессов MDM; Ориентировочный бюджет технологического подразделения, отвечающего за ведение и развитие процессов MDM в Группе. 37 • «Чистовая» загрузка данных из систем источников и систем получателей, • Догрузка «дельты» после окончания загрузки пакетов данных и чистки, • Определение объема ручной обработки данных, • Оптимизация ручного труда средствами частичной автоматизации, • Изучение вопроса возможности подключения внешних источников валидации и обогащения данных. Фаза 3. Этап 6 – опытная эксплуатация Загрузка и чистка данных 38 Промышленная эксплуатация • Полная загрузка данных из всех систем; • Массовая чистка с применением полностью настроенных алгоритмов чистки и ведением истории изменений; • Запуск получения данных от систем источников в промышленную эксплуатацию; • Запуск тиражирования данных в системы получатели; • Проведение ручных чисток данных силами службы НСИ; • Контрольные испытания перед тиражированием. 39 Исполнение проекта 40 MDM – в Банки Продукт ОТР В 2013 году Компанией ОТР в ходе проекта внедрения MDM решения в Финансовой группе Life выполнена локализация функциональности и интеграция продуктов ORACLE c целью создания универсального MDM решения для кредитных и финансовых организаций. Решение содержит в себе продукты, задействованные в едином технологическом процессе обработки данных: Oracle Customer Hub (OCH) - универсальная платформа управления мастер данными, реализующая фоновые автоматизированные процессы обработки данных и работу пользователей; Oracle Enterprise Data Quality (EDQ) - система, реализующая процессы стандартизации, валидации, восстановления и дедубликации данных; Oracle Policy Automation (OPA) - реализация сложных правил выживания данных. => Выбор продуктов одного вендора позволит бесшовно интегрировать их с другими продуктами + использование СУБД Oracle 41 Модульный состав Название компонента Тип Назначение Siebel Applications Группа компонентов Реализация прикладной функциональности OCH Siebel Web Server Extensions Программная библиотека под управлением web-сервера MS IIS или Oracle HTTP Server Генерация пользовательских интерфейсов OCH, публикация стандартных web-сервисов OCH Siebel Gateway Server Программная библиотека Программный комплекс, обеспечивающий взаимодействие серверов OCH (хранение информации о запущенных компонентах Siebel Application Server) Siebel Application Server Программная библиотека Комплекс обеспечивающий работу пользовательских, системных и вспомогательных сервисов Siebel Repository (SRF) Файловая база данных Хранилище определений метаданных в OCH на файловой системе Siebel Management Agent Программная библиотека Процесс, отвечающий за выполнение задач, полученных от Siebel Management Server Siebel DB База данных БД, хранящая данные OCH, под управлением СУБД Oracle EDQ Applications Группа компонентов Реализация прикладной функциональности Oracle EDQ Oracle EDQ Программная библиотека Сервисы обеспечения качества данных под управлением сервера приложений Oracle WebLogic EDQ DB База данных БД, хранящая данные EDQ, под управлением СУБД Oracle Web services Программная библиотека Реализация web-сервисов на стороне MDM-системы в согласованном с Банком формате Load Balancer Инфраструктурный сервис ESB Active Directory LDAP Система Банка Инфраструктурный сервис Балансировщик нагрузки на web-серверы, поддерживающий балансировку HTTP-запросов (рекомендуется аппаратная реализация) Интеграционная шина Служба каталогов MS Active Directory Siebel Management Server (ADM) Программная библиотека Сервис управления Siebel Application Server Siebel Tools Программная библиотека Инструментарий разработки Siebel Enterprise Manager Grid Control Программная библиотека Инструментарий управления, содержащий модули управления СУБД Oracle и Siebel Application Server 42 MDM – в Банки Реализованные процессы обеспечения качества данных Сервисы EDQ Clean Кластеризация записи кандидата по заданным критериям и поиск дубликатов в кластерах мастер записей. Survivalship Engine OCH, Сервисы OPA Стандартизация данных (приведение данных к единым правилам представления) Валидация и восстановление данных (по справочникам и/или алгоритмически) , в т.ч. с использованием алгоритмов нечеткой логики Около 50 т.н. «опорных» справочников, Сервисы EDQ Cluster и Match При поступлении данных в MDM решение последовательно выполняются процедуры Data Quality, унифицированные для пакетной загрузки данных и on-line транзакций: в т.ч. справочников от регуляторов Объединение (merge) записи - кандидата и мастер записи с учетом выживания отдельных атрибутов или кортежей атрибутов из записей по критериям: Валидность атрибута (для атрибута, кортежа) Приоритет системы - источника данных (для атрибута, кортежа) Дата /время внесения изменения (для записи) 43 MDM – в Банки Настройка процессов Data Quality открыта пользователям EDQ Простое внесение изменений в процессы Data Quality MDM - в Банки Реализованные группы мастер данных Справочники, отражающие структуру Банка • Штатная структура • Бюджетная структура • Офисы • Территории • Сотрудники Клиенты • Клиенты ФЛ, ЮЛ и ИП • Группы взаимосвязанных клиентов Модель данных содержит общие структуры данных для всех справочников, избыточные для каждого справочника в отдельности, что позволяет создавать новые справочники и подключать новые мастер системы путем настроек Оперативные Банковские справочники • Продукты • Курсы валют • Контрагенты • Вспомогательные 45 MDM - в Банки Реализованная карточка клиента Кол-во бизнес атрибутов Кол-во атрибутов валидности Кол-во атрибутов актуальности Основная сущность физ лица 14 28 1 Документы физ лица 14 28 1 Адрес 32 64 1 Контакты телефоны 3 6 1 Контакты коммуникационные адреса 4 8 1 Место работы 1 2 1 Ответственные лица 47 94 1 Офис клиента 5 10 1 Флаги клиента 15 30 1 Итого 135 270 9 Кол-во бизнес атрибутов Кол-во атрибутов валидности Кол-во атрибутов актуальности 7 14 1 9 18 1 Адрес 32 64 1 Контакты телефоны Контакты коммуникационные адреса Ответственные лица 3 6 1 4 8 1 47 94 1 Офис клиента 5 10 1 Сущность Сущность Наименование организации Документы организации Флаги клиента 15 30 1 Итого 122 244 8 Физические лица Юридические лица 46 MDM - в Банки Бизнес атрибут Реализованная карточка клиента – значащий атрибут бизнес данных используемых в системах для проведения операций. Пример: Бизнес атрибуты документа физ лица • Статус документа • Серия документа • Тип документа • Номер документа • Фамилия • Дата выдачи документа • Имя • Планируемое окончание срока действия • Отчество • Кем выдан документ • Пол • Код подразделения, выдавшего документ • Дата рождения • Место рождения Атрибуты валидности – показатели качества данных содержащихся в бизнес атрибуте. По 2 на один бизнес атрибут по длине и по наполнению. Пример: Бизнес атрибут – Фамилия. Значение атрибута – Смирнов. Атрибут валидности по длине атрибута фамилия – Надежная (не пустое + выполняются условия МиниМакс) Атрибут валидности по наполнению атрибута фамилия – Гарантированная (допустимые символы, наличие в справочнике корректных фамилий и др) Возможные значения атрибута валидности: Атрибут актуальности • Критическая • Рискованная • Надежная • Гарантированная – значение «Дата + время» показывающее когда последний раз данная сущность была изменена. Позволяет избежать обновления более старыми данными при схеме «много источников обновления» 47 MDM – в Банки Интерфейсы Для всех справочников реализованы интерфейсы ведения данных с разграничением полномочий доступа по ролям (бизнес пользователь, владелец справочника, datasteward). При внедрении MDM может быть принято решение вести справочник в MDM системе, отказавшись от существующих мастер-систем. Некорректные данные, фигурирующие в отчетах Data Quality для ручного разбора могут быть исправлены пользователем с соответствующими полномочиями, объединены потенциальные дубликаты Изменение данных пользователем инициирует процессы Data Quality 48 MDM – в Банки Интерфейсы Визуализация исторической информации по элементам справочников в разрезе транзакций из систем источников и идентфикаторов элемента в системах 49 MDM – в Банки Легкая интеграция Реализовано Web сервисы на платформе Weblogic, реализующие бизнес API для передачи данных типовых справочников в MDM систему и запросов данных из MDM системы, инкапсулирующие сложный «технологический» API OCH, а также отслеживающие логическую целостность при интеграционных взаимодействиях (FIFO и др.). При этом сохраняется возможность использовать непосредственно сервисы OCH Механизм преобразования значений элементов опорных справочников в разрезе систем при входящих и исходящих интеграционных взаимодействиях (настраивается в OCH) . Механизм on-line и периодической публикации измененных данных в системы получатели в соответствии с настроенным регламентом (настраивается в OCH). Механизм публикации данных в отдельные системы получатели в зависимости от значений параметров бизнес объектов (настраивается в OCH). В результате реализуется вся логика интеграции и шина данных используется только как транспорт => уменьшение scope задач интеграции, стоимости и сроков внедрения 50 Основные решения реализованы в ходе масштабного проекта в внедрения MDM решения Стратегические цели внедрения: в Финансовой Группе Life Снижение операционных рисков (использование неверной информации при совершении операций); Снижение издержек на поддержание актуальных мастер - данных; Получение непротиворечивой отчетности, снижение подготовку управленческой и аналитической отчетности; издержек на Развитие анализа данных оперативных справочников на платформе MDM - решения в целях маркетинга в связи с наличием на одной платформе связанных справочников клиентов и продуктов; Снижение кредитных рисков; Упрощение процессов модернизации ИС (замена компонентов), включения новых бизнес структур в состав Группы при наличии единого центра консолидации дистрибуции мастер – данных. 51 Модульная архитектура Тонкий клиент Internet Explorer Вызов WebСервисов MDM WebServices Proxy WS Load Balancer WS Load Balancer WebLogic AS WebLogic AS Domain Domain Web Services Источники и Источники Источники и и получатели получатели получатели данных данных данных Active Directory LDAP ESB ESB Вызов WebСервисов ESB Siebel Applications Web WebServer Server Siebel SiebelWeb WebServer Server Extensions Extensions EDQ Applications WebLogic AS Domain Siebel Gateway Server Name Server Siebel SiebelApplication ApplicationServer Server Siebel SiebelRepository Repository (SRF) (SRF) Oracle EDQ Siebel DB EDQ DB Management tools Siebel Management Server (ADM) Siebel Siebel Management Management Agent Agent EDQ EDQDB DB Siebel DB Siebel DB Siebel Tools Enterprise Manager Grid Control 52 MDM – в Банки Бонус Документация* – решение полностью документировано Сервер Безопасности** В рамках проекта ФК был реализован отдельный сервер безопасности – сертифицирован ФСБ и ФСТЭК; * Сотрудники Заказчика должны быть обучены продуктам Oracle ** Отдельная позиция решения 53 Контактная информация Адрес: 127474, Россия, г. Москва, Дмитровское шоссе, 60А ФИО: Газизов Алексей Асхатович Тел: +7 (495) 223-07-99 (многоканальный) Сайт: E-mail: 54