Биометрическая система идентификации личности по изображению лица. Петрушан Михаил Викторович, м.н.с.

Инновационный проект
Биометрическая система идентификации личности
по изображению лица.
руководитель
Петрушан Михаил Викторович, м.н.с.
Государственное учреждение Научно-исследовательский институт нейрокибернетики им.
А.Б. Когана федерального государственного автономного образовательного учреждения
высшего профессионального образования
"Южный федеральный университет"
Аннотация.
Разработанная биометрическая система идентификации личности по изображению
лица предназначена для распознавания изображений лиц инвариантно к условиям
освещенности, размеру и ракурсу с целью ее использования при решении прикладных
задач (санкционированный доступ, поиск цели, поиск по фотобазам). Программно все
алгоритмы и процедуры реализованы в виде пакета программ, работающих в
операционных средах Windows 9х/NT/XP/Vista/7. Комплекс реализован в 2
модификациях: система контроля и управления доступом (СКУД) и система поиска по
фотобазе.
Назначение СКУД – контроль и управление доступом на ограниченную
территорию (полностью автоматическая система). В отличие от существующих аналогов,
система способна распознавать лица инвариантно к условиям освещенности, размеру и
ракурсу в режиме реального времени, «обучаясь» лучше распознавать авторизованных
пользователей в процессе эксплуатации. Биометрическая система способна формировать
эталонное описание по единственному предъявлению образа и дообучаться по мере
многократного прохождения идентифицируемых объектов в зоне контроля,
разработанные алгоритмы адаптации обеспечивают улучшение «узнавания» уже в
процессе реальной рабочей эксплуатации биометрической системы. Система работает в
автоматическом режиме, оптимизируя описания изображений лиц авторизованных
пользователей по мере работы с ними, что исключает возможность их «подделки» с
использованием макияжа и масок. В некоторых аспектах система имитирует процесс
осмотра сложных изображений человеком, выделяя уникальные особенности лиц
авторизованных пользователей. СКУД, построенная на базе разработанной методики
идентификации личности по изображению лица, может использоваться для обеспечения
безопасности на объектах, требующих ограниченного доступа, таких как атомные
электростанции, военные объекты, склады и т.д. Встраиваемость системы в имеющийся
на объекте программно-аппаратный комплекс позволяет использовать идентификацию по
изображению лица наряду с прочими методами защиты, такими как идентификация по
отпечатку пальца, по радужке глаза, вместе с магнитными карточками. Использование
технологии распознавания личности по изображению лица в офисных помещениях
позволит заменить механические средства защиты (замки + ключи) на биометрические,
которые невозможно утерять и сложнее подделать. В перспективе планируется перевести
ряд турникетных проходных Южного федерального университета в режим
биометрической идентификации, где на первом этапе планируется внедрить
разработанную систему контроля и управления доступом. На наш взгляд наиболее
подходящая ниша для подобных систем контроля и управления доступом - малые
офисные помещения (до 50 авторизованных человек) с повышенными требованиями к
защите информации или имущества.
Назначение системы поиска по фотобазе – ранжирование ряда фотоизображений в
соответствии с похожестью на предъявляемое изображение (финальное заключение
делает эксперт-оператор). Кроме того, она предназначена для организации баз данных,
содержащих сведения об антропометрических характеристиках лиц, являющихся
клиентами банков, посетителями офисов, торговых предприятий, социальных служб и др.
Система
позволяет
формировать
банки
данных,
поддерживающие
режим
многоэталонного инвариантного распознавания (борода/ без бороды, в очках/ без очков и
др.). Система работает в автоматизированном режиме, оптимизируя описания
изображений лиц авторизованных пользователей по мере работы с ними. В экспертном
режиме работы можно указать информативные области лица, по которым необходимо
вести сравнение, что позволяет проводить идентификацию по фрагменту лица. Подобная
система облегчит работу криминалистов по сравнению фотографий или фотороботов с
базой данных, выстроив все имеющиеся эталонные лица по степени похожести на
загруженное изображение. Использование технологии распознавания лиц в сфере
оказанию услуг позволит заранее распознать постоянного клиента, использовать
индивидуальный подход, адаптируя услуги с учетом предыдущих заказов. Система поиска
по фотобазе может применяться во всех сферах, где требуется автоматизация
распознавания большого объёма изображений лиц. Возможными заказчиками на такое
программное обеспечение могут выступать силовые ведомства, социальные и банковские
службы, организации, ведущие учёт своих клиентов. В настоящее время партнером и
заказчиком системы поиска по фотобазе является государственное автономное
учреждение социального обслуживания населения Ростовской области «Комплексный
социальный центр по оказанию помощи лицам без определенного места жительства».
Сторонние разработчики могут использовать в своих проектах ядро системы
распознавания изображений лиц (в виде библиотеки dll) для реализации механизмов
защиты информации или авторизации пользователей.
На данный момент разработано три рабочие модификации программных (или
программно-аппаратных) решений биометрического распознавания: СКУД, программа
фотопоиска и ядро распознавания. СКУД используется в течении четырех лет в НИИ
нейрокибернетики им.А.Б. Когана Южного федерального университета. Система поиска
по фотобазе на данный момент используется в трёх комплексных социальных центрах по
оказанию помощи лицам без определенного места жительства: города Ростова-на-Дону,
города Новочеркасска, города Шахты.
Информация о заявителе.
Название организации.
Государственное
учреждение
Научно-исследовательский
институт
нейрокибернетики им. А.Б. Когана федерального государственного автономного
образовательного учреждения высшего профессионального образования "Южный
федеральный университет".
Адрес.
НИИ нейрокибернетики им. А.Б.Когана Южного федерального университета, 344090
Ростов-на-Дону, пр. Стачки 194/1, оф. 606. Тел. (863) 243-35-88.
Сайт и e-mail.
www.krinc.ru
dima@nisms.krinc.ru - зам. директора НИИ НК ЮФУ, Шапошников Д.Г.
ФИО руководителя.
Проф. Кирой Валерий Николаевич, директор НИИ НК им.А.Б.Когана ЮФУ, тел. (863)
243-35-88; e-mail: Kiroy@sfedu.ru
Направления деятельности организации.
Основные направления:
- разработка математических и физических моделей и рекомендаций по созданию
новых более совершенных технических устройств и систем;
- исследование структурных и функциональных характеристик нейронов,
принципов их групповой организации и функционирования как систем обработки потоков
информации;
- исследование принципов организации основных центральных нервных процессов
и сложных систем аналитико-синтетической деятельности мозга, а также методов и
механизмов приспособительной деятельности и обеспечения высокой функциональной
надежности нервных механизмов мозга.
Основные инновационные проекты, реализованные за последние 7 лет.
Грант Британского Совета по программе научного сотрудничества для британских и
российских вузов (BRIDGE) "Head Motion Detection for Positron Emission Tomography (PET)
Imaging Scanning".
Совместный проект РГНФ — Академии Финляндии "Автоматический анализ лица в
социально-эмоциональном взаимодействии человека с машинными технологиями (Global
Face Analysis in Social-Emotional Human-Technology Interaction)".
Грант НИИ НК РГУ "Создание пользовательского программного пакета алгоритмов
идентификации лиц для задач санкционированного допуска".
Инновационный проект аспирантов и студентов по приоритетному направлению
«безопасность и противодействие терроризму», 2005 г. (г. Барнаул, Россия).
Инновационный проект аспирантов и студентов по приоритетному направлению развития
науки и техники «информационно-телекоммуникационные системы», 2006 г. (ФГУ
«Информика», г. Москва, Россия).
Государственный контракт № 02.512.11.2196 от 12.05.2008 г. «Создание методов
сопряжения сигналов мозга здорового и больного человека с компьютером для
обеспечения невербальной коммуникации».
Величина годового оборота за последние три календарных года.
~ 15 млн. р./ год.
Среднесписочная численность работающих ~90 человек.
Наличие производственных мощностей.
77 компьютеров, 7 серверов, 2 вычислительных кластера.
Руководитель проекта Петрушан Михаил Викторович, м.н.с НИИ НК им.А.Б.Когана
ЮФУ, drn@bk.ru,
Адрес.
НИИ нейрокибернетики им. А.Б.Когана, Южного федерального университета, 344090
Ростов-на-Дону, пр. Стачки 194/1, оф. 607. тел. 8918 540 53 46
Петрушан М.В. с 2003 г. сотрудник НИИ нейрокибернетики им. А.Б.Когана.
Область научных интересов – модели зрительного восприятия, активное зрение,
распознавание образов, анализ изображений.
Основные публикации.
M. V. Petrushan, A. I. Samarin, and D. G. Shaposhnikov. FOSFI: A System for Face Image
Recognition. // Pattern Recognition and Image Analysis, vol. 15, No. 2, April-June 2005, pp.
425-427.
Лампинен Ю., Шевченко М.А., Петрушан М.В., Самарин А.И. Модель формирования
карты местности в процессе активного взаимодействия робота со средой. // В мат. 7-й
Всероссийской научно-технической конференции Нейроинформатика 2005. – 155-164.
Калинин К.Б, Петрушан М.В, Самарин А.И., Шапошников Д.Г. Алгоритмы активного
рассматривания в системах распознавания лиц для санкционированного доступа. //
Известия ТРТУ. Информационная безопасность. - 2006. - т.62. - 7. -с.59-64.
M.V. Petrushan. The model of three-dimensional object-oriented visual perception and
environment perception in the process of active robot exploration. // in proc. of 8th int.
conference on pattern recognition and image analysis: new information technologies, YoshkarOla, 2007, 326-328.
М.В. Петрушан. Модель многоуровневой преднастройки зрительной системы при
распознавании трехмерных объектов.// Нейрокомпьютеры. Разработка и применение, № 2,
2010, стр. 47-51.
Современное состояние исследований и разработок в области
реализации проекта. Новизна предлагаемого подхода по сравнению с
известными.
В связи с необходимостью противодействия терроризму за последние годы сильно
возрос интерес к средствам обеспечения безопасности, в том числе к системам
биометрической идентификации. Кроме того, биометрические показатели признаются
экспертами одними из самых надежных и удобных для идентификации. На зарубежном и
российском рынках решения биометрической защиты представлены достаточно большим
спектром программных пакетов или программно-аппаратных комплексов. Как правило, в
основе работы таких систем лежат статистические методы распознавания, которые, в
большинстве своем, при добавлении нового эталона требуют построения новых
разделяющих правил (вычислительно трудоемкая процедура). В других системах,
основанных на нейросетевых технологиях, имеется схожая проблема глобального
переобучения сети при добавлении новой персоны в базу.
Разрабатываемая в НИИ НК им. А.Б. Когана ЮФУ система биометрической
идентификации основана на многолетних исследованиях особенностей зрительного
восприятия человека, в чём заключается одна из уникальных особенностей системы по
сравнению с аналогами. Система в некоторых аспектах имитирует процесс
рассматривания лица человеком, акцентируя «внимание» на наиболее уникальных
областях лица, отличающих его от остальных. В экспертном режиме существует
возможность идентификации по фрагменту лица. Универсальность подхода активного
осмотра позволяет легко переходить от частной задачи идентификации лица к общей
задаче распознавания произвольных объектов, что было успешно продемонстрировано на
выставке “робототехника”(ВДНХ, Москва, 2006). В процессе эксплуатации система может
дообучаться, находя уникальные отличительные и наиболее устойчивые черты лица
каждой персоны. Модульность, гибкость и универсальность делают программное решение
удобным для интеграции со сторонними проектами. Создана встраиваемая библиотека
процедур описания и распознавания изображений лиц с технической документацией,
позволяющая сторонним разработчикам легко интегрировать модуль биометрической
защиты в свои программы.
Несмотря на имеющиеся готовые программные и аппаратные решения, проект на
данный момент активно развивается. Дальнейшее направление НИОКР по проекту
связано с реализацией поддержки высокопроизводительных вычислений на графических
процессорах, что позволит вести задачу распознавания в плотном потоке в режиме
реального времени. Второе направление исследований связано с реализацией механизмов
активного распознавания человека и паттернов его поведения для задач обеспечения
взаимодействия человека с компьютером и для предотвращения чрезвычайных ситуаций,
заранее выявляя потенциально опасные поведенческие паттерны.
Система биометрической идентификации и связанные с ней разработки были
представлены на 7 и 8 международных конференциях по распознаванию образов и
анализу изображений в 2004 и 2007 гг. (г. Санкт-Петербург, г. Йошкар-Ола, Россия), на 14
и 15 международных конференциях по нейрокибернетике в 2005 и 2009 гг. (г. Ростов-наДону, Россия), на 8 международной конференции «Информационной безопасность» в
2006 г. (г. Таганрог, Россия), на 7 всероссийской конференции «Нейроинформатика» в
2005 г. (г. Москва, Россия), на выставке-ярмарке «ИННОВ-2005», 2005 г. (ЮРГТУ, г.
Новочеркасск, Россия), на выставке «Промышленный потенциал юга России», 2005г. (г.
Ростов-на-Дону, Россия), на конкурсе инновационных проектов аспирантов и студентов
по приоритетному направлению «безопасность и противодействие терроризму», 2005 г. (г.
Барнаул, Россия), на всероссийском конкурсе инновационных проектов, 2005 г. (МГУ, г.
Москва, Россия), на всероссийском конкурсе инновационных проектов аспирантов и
студентов по приоритетному направлению развития науки и техники «информационнотелекоммуникационные системы», 2006 г. (ФГУ «Информика», г. Москва, Россия).
Сущность предлагаемой разработки.
Специфика разработанной системы биометрической идентификации состоит в
использовании, наряду с классическими методами распознавания образов, бионических
принципов обработки визуальной информации. В частности, имитируются такие
механизмы биологического зрения, как пространственно-неоднородное представление
зрительной информации, идентификация перцептуально важных областей для детальной
обработки, контекстно-зависимое кодирование локальных признаков и ориентационная
избирательность корковых нейронов. Применяется иерархическая система признакового
описания связки локальных признаков в отдельных фрагментах для обеспечения
инвариантного к линейным и малым нелинейным трансформациям описания изображения
в целом.
Архитектура системы контроля и управления доступом представлена на рисунке 1.
Изображение лица фиксируется камерой с инфракрасной подсветкой при нажатии на
кнопку домофона, изображение поступает на вход ядру распознавания образов и
сравнивается с имеющимися эталонами, в качестве дополнительной идентифицирующей
информации может выступать номер мобильного телефона, с которого можно сделать
звонок на GSM терминал для дополнительной авторизации (по лицу и номеру телефона).
Если изображение лица соответствует авторизованной персоне, подаётся управляющий
сигнал на электромеханический замок, и дверь открывается, при этом GSM терминал
присылает уведомление администратору, и делается соответствующая запись в протоколе
работы системы. Активная ИК (инфракрасная) подсветка камеры формирует характерное
освещение объемной поверхности лица, что делает бесполезным предъявление системе
фотографий.
Рисунок 1. Компоненты системы контроля и управления доступом.
Технические характеристики СКУД.
Исходный материал – растровое изображение (линейный размер изображения лица – не
меньше 150х100 пикселей, не более 600х500 пикселей). Система может работать с
аналоговыми камерами, цифровыми (web) камерами, камерами с инфракрасной
подсветкой.
Масштабные преобразования относительно эталона - уменьшение/увеличение в 2 раза.
Повороты в плоскости изображения – до +/- 5 градусов.
Вариация освещения – в пределах 10 – 15% от среднего уровня яркости эталонных
изображений.
Дополнительные терминалы – GSM модуль, для авторизации пользователя по номеру
мобильного телефона с последующим подтверждением владельца по изображению лица
(отличительная особенность).
Дополнительные сервисы – система «Сторож» - запись всех движений в поле зрения
камеры с предысторией и постисторией, сервис автоматического контроля за состоянием
сервисов («Контроль») – внешний защитный сервис, отслеживающий стабильность
работы системы распознавания и «сторожа», сервис оповещения – оповещает выделенных
пользователей
о
проникновении
на
территорию
санкционированных
или
несанкционированных пользователей через смс или ммс (с передачей фотографии)
(отличительная особенность).
Поддержка многоэталонности (борода/ без бороды, в очках/ без очков) – есть.
Ошибка 1 рода (отказ в пропуске авторизованному пользователю) – 2% уменьшается в
процессе эксплуатации при дообучении системы (отличительная особенность)..
Ошибка 2 рода (возможность пропуска неавторизованного пользователя) – менее 0,01 % .
Время формирования описания ~ 1 c.
Время идентификации ~ 1 c (для базы в 150 эталонных изображений).
Общее время авторизации (при включённых службах «сторож» и «контроль» , компьютер
с процессором intel core 2 duo , 3 Ггц ) – 2сек.
Web интерфейс (защищенный паролем) – есть. Возможно удалённое управление и
контроль системы защиты(отличительная особенность).
Технические характеристики программы поиска по фотобазе.
Исходный материал – растровое изображение (линейный размер изображения лица – не
меньше 150Х100 пикселей, не более 1000Х800 пикселей).
Масштабные преобразования относительно эталона - уменьшение/увеличение в 6 раза.
Вариация освещения – в пределах 10 – 15% от среднего уровня яркости эталонного
изображения.
Описание инвариантно к фону.
Поддержка многоэталонности (борода/ без бороды, в очках/ без очков).
Вероятность появления искомой фотографии в первой пятерке рейтинга (при базе в 500
эталлонов) ~ 97%.
Время формирования описания ~ 1 c.
Время сравнения ~ 3 c (для базы в 5000 человек).
Web интерфейс (защищенный паролем) – есть. Возможно удалённое пользование
системой поиска через Интернет (отличительная особенность).
Права на интеллектуальную собственность.
Номер регистрационного свидетельства: 2007612636
Cтрана публикации: Россия
Год подачи заявки: 2007
Год публикации: 2007
Правообладатель: Южный федеральный университет
Наименование изобретения: Программа габитоскопической идентификации и учета лиц
без определенного места жительства.
Номер регистрационного свидетельства: 2008612460
Cтрана публикации: Россия
Год подачи заявки: 2008
Год публикации: 2008
Правообладатель: Южный федеральный университет
Наименование изобретения: Программа для детектирования опорных точек на
медицинских изображениях.
Конкурентные преимущества.
Некоторые из наиболее известных российских (и зарубежных) разработок в области
биометрической защиты представлены ниже:
Зарубежные – biobouncer, clubscan (СКУД).
Российские:
СКД (НПО «Информация»)
Источник информации - http://www.npo-inform.com/
Специфические особенности – распознавание по трёхмерному изображению лица.
«Face-Интеллект» - распознавание лица
Источник информации - http://www.itv.ru/index.php
Детекция лиц и формирование базы данных;
Идентификация личности;
Дополнительные опции.
Face-Инспектор.
Источник информации - http://www.iss.ru/
Автоматическая регистрация лиц всех людей, попавших в поле зрения видеокамеры;
Распознавание лиц в режиме реального времени;
Дополнительные опции.
Конкурентные преимущества предлагаемой системы:
- возможность идентификации по фрагменту лица
- универсальность распознавания (лица и произвольного объекта)
- модульность и интегрируемость в сторонние системы
- устойчивая работа в различных внешних условиях
- комплекс дополнительных модулей, гибко варьирующих уровень контроля на
территорию («Сторож», «оповещение», «контроль»)
Помимо перечисленных преимуществ необходимо отметить возможность сотрудничества
с разработчиками систем безопасности, что открывает новый рынок сбыта предлагаемой
продукции (в виде ядра распознавания).
Рынок сбыта.
В связи с необходимостью развития систем безопасности и противодействия
терроризму с каждым годом растёт число систем видеонаблюдения, включающих
интеллектуальный анализ изображений (распознавание или идентификация личности), что
показано в исследовании компании Acuity Market Intelligence (http://www.acuity-mi.com/)
(рисунок 2).
Рисунок 2. Рост оборота на рынке биометрической продукции.
Сегмент систем, основанных на распознавании изображений лица, занимает ~ 15 %
от общего количества биометрических систем идентификации личности и как минимум до
2017 года этот сегмент по прогнозам экспертов будет расти.
Разрабатываемый программно-аппаратный комплекс для распознавания лиц, как в
целом, так и только его программная часть, может быть тиражирован для использования в
системах информационной защиты и санкционированного допуска. На данный момент в
продолжении данной работы и в приобретении готовых программных решений
заинтересованы ряд коммерческих фирм и государственных организаций (Комплексные
социальные центр по оказанию помощи лицам без определенного места жительства,
Южный федеральный университет, г. Ростов-на-Дону, ЗАО фирма «ВиТаИ», г. Москва,
министерство транспорта Ростовской области и т.д.).
Порядок коммерциализации результатов разработки.
Кадровый
потенциал
разработчиков
включает
в
себя
трёх
высококвалифицированных
специалистов
в
области
компьютерного
зрения,
параллельного программирования, машинного обучения и робототехники. Кроме того, в
проекте задействованы студенты и аспиранты Южного федерального университета.
Тиражирование
разрабатываемых
проектов
предполагается
на
базе
НИИ
нейрокибернетики ЮФУ, для чего выделена специальная территория для разработки и
испытания систем биометрической идентификации.
В первую очередь предполагается оборудовать НИИ Нейрокибернетики ЮФУ
системой учета посетителей на основе технологии распознавания изображений лиц. Для
реализации этой
задачи предложен и одобрен проект службой проректора по
безопасности ЮФУ. Следующий этап предполагает тиражирование «интеллектуальной
проходной» в других структурных подразделениях ЮФУ.
Оценочный объем продаж и прибыли на три года представлен в таблице 1.
Годы
Предполагаемая
себестоимость
(тыс.руб)
Цена за
единицу
готового
изделия
(тыс.руб)
2012 200– стоимость разработки,
От
10 до 150, в
зависимости от
модификации
2013 Стоимость модификаций
От
от 50 до 100
10 до 150, в
зависимости от
модификации
2014 Стоимость модификаций
От
от 50 до 100
10 до 150, в
зависимости от
модификации
Таблица 1.
Объем реализации Прибыль (до
налогоВ
В
обложения)
штуках
стоимостном
(тыс.руб)
выражении
(тыс.руб)
5
От 50 до 750
От 250
15
От 150 до 2250
От 750
20
От 200 до 3000
От 1000
Состояние и источники инвестирования в реализацию проекта.
Основной источник инвестирования в реализацию и развитие проекта – внебюджетные
средства (прибыль от доходприносящей деятельности) НИИ НК им. А.Б. Когана ЮФУ.
Предстоящие затраты по проекту.
Для реализации всех запланированных работ по развитию проекта необходимо
ориентировочно 3 млн.руб., из которых:
2 млн.руб – расходы на проведение НИОКР, связанных с реализацией поддержки
высокопроизводительных вычислений на графических процессорах и распознаванием
поведенческих паттернов.
1 млн. руб – расходы, связанные с продвижением продукта на рынок систем безопасности,
рекламой и маркетинговыми исследованиями, формирующими направления дальнейших
разработок.