2011 ВЕСТНИК НОВГОРОДСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА №65 УДК 004.932 МОДЕЛИРОВАНИЕ ПРОЦЕССА ВЫДЕЛЕНИЯ И КЛАССИФИКАЦИИ ИЗОБРАЖЕНИЙ ДЛЯ СИСТЕМ АВТОМАТИЧЕСКОГО СОПРОВОЖДЕНИЯ ДВИЖУЩИХСЯ ВОЗДУШНЫХ ОБЪЕКТОВ И.О.Титов, Г.М.Емельянов Институт электронных и информационных систем НовГУ, TitovIlya@yandex.ru Рассматривается многоэтапный алгоритм выделения, сопровождения и оценки параметров движущегося воздушного объекта для автоматизированных систем технического зрения, работающих в режиме реального времени. Ключевые слова: классификация, локализация, распознавание, сегментация This article describes the multistep algorithm of the separation, tracking and estimations of the moving air object parameters for automatic systems of the artificial vision which working in real-time mode. Keywords: classification, localization, recognition, segmentation Введение Сегментация Одной из задач цифровой обработки изображений является задача классификации, распознавания и анализа движущихся объектов в системах технического зрения. Технологии автоматического выделения и оценки параметров воздушных объектов является важной задачей для таких приложений, как задачи обеспечения безопасности аэропортов и важных промышленных предприятий, контроль и мониторинг воздушного движения, астронавигация, системы анализа потока машин на автомагистрали и т.д. В настоящее время разработано множество алгоритмов выделения и оценки параметров объектов. Однако известные подходы зачастую обладают большой вычислительной сложностью и не в полной мере учитывают специфику рассматриваемой задачи и особенности применяемых на практике датчиков изображений. Таким образом, разработка эффективных алгоритмов выделения, обнаружения и оценки параметров для систем автоматического сопровождения воздушных объектов до настоящего времени остается весьма актуальной задачей. Для решения поставленной задачи предлагаться использовать многоэтапный алгоритм сегментирования, сопровождения, выделения и оценки параметров и классификации объекта. Алгоритмы ориентированны на их применение в системах реального времени. Сегментация является одним из наиболее важных этапов обработки и распознавания изображений, цель которого состоит в выделении на изображениях связных областей с примерно одинаковыми характеристиками яркости. Качество сегментации во многом определяет успех решения задачи распознавания изображений, интерпретации и идентификации визуально наблюдаемых объектов. Существующие решения не дают качественного результата, в первую очередь из-за их вычислительной сложности. Предлагается использовать новый подход. В рамках сегментации необходимо решить следующую задачу: обрабатывая последовательность изображений из одного видеопотока, получить маску движущихся объектов, в которой черный соответствует заднему плану, а белый — переднему плану. Алгоритм должен быть устойчив к движущимся теням, изменению освещения, динамическому заднему плану, наличию шума на изображении, к совпадению в одном видеопотоке цвета переднепланового объекта с цветом заднего плана. Кроме того он должен работать в реальном масштабе времени. Все эти ограничения приводят к тому, что методы с неадаптивным порогом практически неприемлемы для решения поставленной задачи, и необходимо использовать алгоритмы, основанные на вероятностных моделях [1,2]. С камеры поступают полутоновые изображения. Каждый пиксель заднего плана будет моделиро- 90 2011 ВЕСТНИК НОВГОРОДСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА ваться с помощью одномерной нормально распределенной случайной величины информации на верхних уровнях пирамиды [2]. Благодаря использованию сглаживающих функций при построении пирамиды удается эффективно бороться с различного рода шумами и, следовательно, повышать помехоустойчивость алгоритмов обработки. 2 B N ( x , μ, δ ). Оценку параметров модели проводим на основе первых n кадров, когда на изображении зафиксирован только задний план. Для каждого пикселя алгоритм производит оценку параметров модели μ и δ2, используя аппарат математической статистики, а потом, после того как обучение закончено, попиксельно использует вероятностный порог для того, чтобы определить, принадлежит ли значение пикселя заднему плану или переднему. μ1 n δ2 1 n-1 Контурный анализ Для классификации и распознавания объектов необходимо формирование вектора уникальных признаков. Он формируется на основе контурных характеристик объекта. Контуры являются областями с высокой концентрацией информации, слабо зависящей от цвета и яркости. Они устойчивы к смене типа датчика, формирующего изображение, к частотному диапазону, в котором он работает, не зависят от времени суток и года. Контур целиком определяет форму изображения и содержит всю необходимую информацию для распознавания изображений по их формам. Такой подход позволяет не рассматривать внутренние точки изображения и тем самым значительно сократить объем обрабатываемой информации за счет перехода от анализа функции двух переменных к функции одной переменной. Следствием этого является возможность обеспечения работы системы обработки в масштабе времени, более близком к реальному. Методы контурного анализа в большей степени, чем пространственные, дают возможность использовать модели, инвариантные к случайным переносам, поворотам и изменениям масштаба [3]. Для построения контура объекта из сегементированной области будем применять детектор границ Canny. Данный метод обладает такими важными особенностями, как хорошее обнаружение, правильное определение положения границы, единственный отклик на одну границу [4-6]. Алгоритм детектора границ Canny не ограничивается вычислением градиента сглаженного изображения. В контуре границы оставляются только точки максимума градиента изображения. Здесь используется информация о направлении границы для того, чтобы удалять точки именно рядом с границей и не разрывать саму границу вблизи локальных максимумов градиента. Если в контуре имеются разрывы, то для их устранения к полученному бинарному изображению можно применить операции математической морфологии. (О выделении границ объекта методом Canny см. нашу работу [7]). В результате формируется замкнутый контур, состоящий из множества точек γ(xn,yn), n = 0,1,...,k – 1, K = {γ(xn,yn)}0,k–1 = {γ(x0,y0), γ(x1,y1,....γ(xk–1,yk–1))}. n X , i i 1 n (X i №65 μ)2 , i 1 где X1,…,Xi — значение пикселя по первым n кадрам. Алгоритм создает попиксельную модель сцены, используя смесь нормальных распределений, и с поступлением каждого нового кадра обновляет модель и классифицирует каждый пиксель как принадлежащий к заднему или переднему плану. Каждый пиксель сцены представляет собой набор процессов, каждый из которых характеризуется параметрами нормального распределения и некоторым коэффициентом, называемым весом и являющимся показателем того, насколько часто данный процесс в данном пикселе попадал в поле зрения камеры. Рис.1. Пример сегментации воздушного объекта Алгоритм способен адаптироваться к изменениям заднего плана, так как через некоторое время после изменения вес созданного при изменении процесса превысит порог, и он начнет сегментироваться в задний план. К медленным изменениям освещения алгоритм способен адаптироваться благодаря системе оценки параметров, так как по мере плавного изменения цвета пикселей заднего плана алгоритм будет переобучаться на новые значения. К быстрым изменениям освещения алгоритм адаптируется так же, как он адаптируется к изменениям заднего плана. Для снижения объема обрабатываемой информации можно уменьшить объем исходных данных путем уменьшения размеров изображения. Для этого будем использовать пирамиду Гаусса. При пирамидальном подходе от уровня к уровню резко уменьшается объем информации на изображении с сохранением его глобальной структуры, что позволяет получать предварительные результаты обработки по малому объему Формирование признаков В результате контурного анализа из сегментированного фрагмента изображения получаем контур воздушного объекта. Следующий шаг состоит в задаче идентификации объекта, т. е. его распознавании. Результатом распознавания является набор характеристик, необходимых для реализации отображения: объект — номер класса. Первый этап в системе распознавания образов — это формирование признаков объекта, которые его 91 2011 ВЕСТНИК НОВГОРОДСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА Использование моментов второго и третьего порядков позволяет получить следующий набор из семи инвариантных моментов [4,8,9]: уникально идентифицируют. Основное требование при этом — эффективность процесса распознавания. Т. е. должен существовать алгоритм расчета признаков, и этот алгоритм должен быть вычислительно эффективен. Это требование достаточно типично для систем распознавания в реальном времени. Эффективность распознавания накладывает определенные требования на значения признаков. А именно, для объектов различных классов значения признаков должны отличаться сильнее, чем для объектов одного класса. Это требование также интерпретируется как требование компактности описания класса в пространстве признаков. Требование эффективности распознавания приводит к необходимости удовлетворения требованиям устойчивости описания образа к ряду возможных искажений объекта. На практике изменение изображения объекта влечет за собой изменение его образа в пространстве признаков, что в общем случае влияет на результаты классификации, а следовательно, и на эффективность системы в целом. Отсюда вытекает требование инвариантности объекта, в общем случае, к шумовым и динамическим искажениям, к яркостным искажениям, к изменению местоположения объекта, к изменению его масштаба, к повороту объекта в плоскости изображения, к произвольным аффинным преобразованиям. Для задачи распознавания контурного движущегося объекта нет необходимости рассчитывать характеристики, инвариантные к шумовым и динамическим искажениям, изменению яркости и контрастности. Достаточно остановится лишь на геометрических признаках объекта [3]. Для решения поставленной задачи используем метод, основанный на анализе моментов. Он используется на «поточечных» или растровых изображениях и позволяет рассчитывать характеристики, инвариантные к любым геометрическим искажениям. Метод очень ресурсоемкий, но если его применить к контурному изображению, то можно сократить вычислительную сложность в несколько раз. На базе моментных инвариантов формируются признаки, устойчивые к преобразованиям подобия. Рис.2. Исходное изображение №65 φ 1 η 20 η 02 ; 2 φ 2 (η 20 η 02 ) 2 4η 11 ; φ 3 (η 30 3η12 ) 2 (3η 221 η 03 ) 2 ; φ 4 (η 30 η12 ) 2 (η 21 η 03 ) 2 ; φ 5 (η 30 3η12 )(η 30 η12 )[(η 30 η12 ) 2 3(η 21 η 03 ) 2 ] (3η 21 η 03 )(η 21 η 03 )[3( η 30 η 12 ) 2 (η 21 η 03 ) 2 ]; φ 6 (η 20 η 02 )[(η 30 η12 ) 2 (η 21 η 03 ) 2 ] 4η11 (η 30 η 12 )(η 21 η 03 ); φ 7 (η 30 3η12 )(η 30 η 12 )[(η 30 η 12 ) 2 3(η 21 η 03 ) 2 ] (3η 21 η 03 )(η 21 η 03 )[3( η 30 η 12 ) 2 (η 21 η 03 ) 2 ]. Здесь η pq μ pq γ μ 00 (γ pq 1, p q 2, 3, ..., μ pq — 2 центральные моменты). С использованием моментов второго и третьего порядков получается набор из четырех аффинных моментных инвариантов [6,8,9]. 2 i1 14 (μ 20 μ 02 μ 11 ); μ 00 2 2 3 i 2 110 (μ 30 μ 03 6μ 30 μ 21μ 12 μ 03 4μ 30 μ 12 μ 00 2 4μ 03 μ 321 3μ 221μ 12 ); 2 i3 17 (μ 20 (μ 21μ 03 μ 12 ) μ 11 (μ 30 μ 03 μ 21μ 12 ) μ 00 μ 02 (μ 30 μ 12 μ 221 )); 2 i 4 111 (μ 320 μ 03 6μ 220 μ 11μ 12 μ 03 6μ 220 μ 02 μ 21μ 03 μ 00 6μ 20 μ 11μ 02 μ 30 μ 03 18μ 20 μ 11μ 02 μ 21μ 12 2 2 9μ 220 μ 02 μ 12 12μ 20 μ 11 μ 21μ 03 3 2 8μ 11μ 30 μ 30 6μ 20 μ 02 μ 30 μ 12 2 9μ 20 μ 202 μ 221 12μ 11 μ 02 μ 30 μ 12 2 2 6μ 11μ 02 μ 30 μ 21 μ 302 μ 30 ). o Рис.3. Уменьшенное в два раза Рис.4. Повернутое на 45 Рис.6. Перспективное искаже- Рис.7. Перспективное искаже- Рис.8. Другой контур объекта с ние 1 ние 2 той же видеопоследовательности 92 Рис.5. Уменьшенное в два o раза и повернутое на 45 Рис.9. Ложный контур 2011 ВЕСТНИК НОВГОРОДСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА №65 Значения инвариантных признаков для исходного изображения Инвариант φ1 Рис.2 –1,306 Рис.3 –1,279 Рис.4 –1,317 Рис.5 –1,305 Рис.6 –1,248 Рис.7 –1,132 Рис.8 –1,564 Рис.9 –1,774 φ2 –3,363 –3,221 –3,388 –3,283 –3,045 –2,678 –4,552 –8,864 φ3 –6,902 –6,884 –6,940 –7,003 –7,877 –7,187 –7,318 –13,172 φ4 –11,337 –10,794 –11,309 –10,834 –9,774 –8,009 –12,350 –14,863 φ5 20,471 19,692 20,434 19,856 –18,633 –15,638 –22,184 28,936 φ6 13,024 12,498 13,027 12,607 –11,463 –9,367 –14,840 –20,511 φ7 –22,243 20,727 –27,321 20,595 –19,981 –17,011 26,612 –30,010 i1 –4,639 –4,671 –4,659 –4,709 –4,744 –4,731 –4,790 –4,939 i1 18,049 18,081 18,131 18,333 20,643 21,681 18,831 –30,718 i1 11,171 11,222 11,229 11,380 12,346 12,339 11,723 17,915 i1 –13,606 –13,701 –13,691 –13,908 –14,797 –14,757 –14,373 –20,575 Заключение 4. В результате программной реализации алгоритмов сегментации, слежения, контуризации и оценки параметров объекта проведен анализ вычислительной сложности предложенных алгоритмов классификации воздушного объекта. Он показывает, что алгоритмы работают приближенно к реальному масштабу времени, что позволяет использовать методику в реальных системах слежения. В работе исследовалась возможность классификации движущегося воздушного объекта по средствам слежения камерой оптического диапазона в составе стенда теодолита, эффективность классификации таких объектов, как самолет Су-27, вертолет Ми-8, а также ракета, выпущенная с реактивной установки «Град». В целом результаты проведенных экспериментов свидетельствуют о целесообразности использования разработанных алгоритмов в составе систем автоматического слежения и классификации движущихся воздушных объектов. 5. 6. 7. 8. 9. Bibliography (Translitirated) 1. 2. 3. 4. 5. 1. 2. 3. Гонсалес Р., Вудс Р. Цифровая обработка информации. М.: Техносфера, 2005. С.957-961. Яне Б. Цифровая обработка информации. М.: Техносфера, 2007. С.515-517. Методы компьютерной обработки изображений / Под ред. В.А.Сойфера. М.: Физматлит, 2003. С.601-634. Титов И.О., Емельянов Г.М. Выделение контуров изображения движущегося объекта // Вестник НовГУ. Сер.: Техн. науки. 2010. №55. С.30. Heikkil Janne. Pattern matching with affine moment descriptors // Elsevier Science. March 2004. №3. Р.23-50. Voss K., Suesse H., Braeuer Ch. Affine Point Pattern Matching — http://www.inf-cv.uni-jena.de/uploads/media/dagm_2001.pdf 6. Гаганов В., Конушин А. Сегментация движущихся объектов в видеопотоке // Компьютерная графика и мультимедиа. 2004. №3. С.16-24. Плесков А.В., Писаревский В.Н. Эффективный алгоритм сегментации изображений на основе пирамиды Гаусса — http://iai.dn.ua/public/JournalAI_2000_2/2/418-423_PLESKO1.pdf Рейер И. Сравнение формы объектов с использованием морфинга контуров границы / Вычислительный центр РАН — http://www.graphicon.ru/2000/2D%20GRAPHICS/Reyer.pdf 7. 8. 9. 93 Gaganov V., Konushin A. Segmentacija dvizhushhikhsja ob"ektov v videopotoke // Komp'juternaja grafika i mul'timedia. 2004. №3. S.16-24. Pleskov A.V., Pisarevskijj V.N. Ehffektivnyjj algoritm segmentacii izobrazhenijj na osnove piramidy Gaussa — http://iai.dn.ua/public/JournalAI_2000_2/2/418-423_PLESKO1.pdf Rejjer I. Sravnenie formy ob"ektov s ispol'zovaniem morfinga konturov granicy / Vychislitel'nyjj centr RAN — http://www.graphicon.ru/2000/2D%20GRAPHICS/Reyer.pdf Gonsales R., Vuds R. Cifrovaja obrabotka informacii. M.: Tekhnosfera, 2005. S.957-961. Jane B. Cifrovaja obrabotka informacii. M.: Tekhnosfera, 2007. S.515-517. Metody komp'juternojj obrabotki izobrazhenijj / Pod red. V.A.Sojjfera. M.: Fizmatlit, 2003. S.601-634. Titov I.O., Emel'janov G.M. Vydelenie konturov izobrazhenija dvizhushhegosja ob"ekta // Vestnik NovGU. Ser.: Tekhn. nauki. 2010. №55. S.30. Heikkil Janne. Pattern matching with affine moment descriptors // Elsevier Science. March 2004. №3. R.23-50. Voss K., Suesse H., Braeuer Ch. Affine Point Pattern Matching — http://www.inf-cv.uni-jena.de/uploads/media/dagm_2001.pdf