ПОСТРОЕНИЕ СИСТЕМЫ ВИДЕОАНАЛИТИКИ

Известия ТулГУ. Технические науки. 2013. Вып. 9. Ч.1
CONTOUR ANALYSIS APPLICATION FOR IMAGE SUPERIMPOSITION
A.I. Novikov, V.A. Sablina, E.O. Goryachev
The research reveals a relatively high efficiency of contour analysis to solve problems of pattern recognition contours and their superimposition, as well as the possibility of its
application for image superimposition of different nature in the development of multispectral
computer vision system.
Key words: image, contour, contour analysis, complex plane, matrix of homography.
Novikov Anatoly Ivanovich, candidate of economical sciences, docent, docent of
Higher Mathematics Department, novikovanatoly@yandex.ru, Russia, Ryazan, Ryazan State
Radio Engineering University,
Sablina Victoria Alexandrovna, candidate of technical sciences, docent of Electronic
Computers Department, sablina.v.a@evm.rsreu.ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Goryachev Evgeny Olegovich, student, goryacheo@gmail.com, Russia, Ryazan, Ryazan State Radio Engineering University
УДК 004.932
ПОСТРОЕНИЕ СИСТЕМЫ ВИДЕОАНАЛИТИКИ
В.Л. Токарев, Д.А. Абрамов
Исследованы вопросы построения системы видеоаналитики для распознавания
нештатных ситуаций. Предложен метод выделения изображений с движущимися
объектами.
Ключевые слова: система видеоаналитики, выделение движущихся объектов.
В последние годы существенно возрос интерес к цифровой обработке видеоизображений, что связано с резким снижением цен на цифровые телекамеры, благодаря чему они стали доступными широкому классу
пользователей и начали внедряться во многих сферах человеческой деятельности для решения задач автоматического контроля и видеонаблюдения. Одним из важнейших направлений их применений в настоящее время
является создание систем видеоаналитики [1].
Одной из наиболее сложных и актуальных задач обработки видеоизображения является проблема выделения и распознавания движущихся
объектов при наличии различного рода помех и создание на этой основе
системы мониторинга. Главная задача таких систем - информировать чело270
Цифровые устройства и обработка сигналов
века о ситуации, сложившейся в поле зрения камеры, и по возможности
предпринять какие-либо заранее предусмотренные и программно заложенные действия.
Такие системы подразумевают наличие в своем составе интеллектуальных видеодетекторов движения, способных отличить движущегося человека от собаки, машины или дерева, раскачивающегося на ветру. На
данный момент лишь немногие системы безопасности могут похвастаться
такими возможностями. Привлекая внимание к определенному монитору и
автоматически регистрируя произошедшее событие, такие системы значительно повышают уровень безопасности наблюдаемых объектов.
Процесс построения указанных систем представляет собой сложную технологическую цепочку, включающую получение цифрового изображения, его обработку с целью выделения значимой информации и анализ этой информации для решения определенной задачи. Конечно, идеальным представляется создание универсальной самообучающейся системы,
которая в условиях возможных ограничений обеспечивала бы эффективный мониторинг объекта.
В статье рассматривается задача, сформулированная следующим
образом.
Требуется в потоке Ω k , состоящего из последовательности изображений I k наблюдаемой сцены Ω k = {I k , k = 1,2,...} , выделить множество
движущихся объектов A = {a } ⊆ Ω , идентифицировать каждый ai , опk
i
k
ределить траекторию движения ai ( x, y, k ) в наблюдаемой сцене, определить параметры движения ci ( x, y, k ) по этим траекториям и путем сравне-
ния их с допустимыми значениями c∗ ( x, y, k ) определить угрозу возникновения нештатной ситуации с выдачей соответствующего сообщения.
Предполагается, что: 1) геометрических параметров изображений
объектов (например, отношение квадрата периметра контура к общему
числу пикселей), достаточно для классификации надежной объектов; 2)
для установления факта наличия аномалии достаточно оценивать траекторию и скорость движения выделенных объектов.
Основным требованием является минимум ошибок распознавания
ситуаций. То есть, решающее правило должно обеспечивать минимум
пропуска нештатных ситуаций при ограничении на выдачу ложных тревожных сообщений.
Условно обработку видеоизображений в подобных системах можно
разделить на следующие этапы:
1) выделение переднего плана;
2) выделение и классификация движущихся объектов;
3) отслеживание траектории движения найденных объектов;
4) распознавание и анализ действий объектов, представляющих ин271
Известия ТулГУ. Технические науки. 2013. Вып. 9. Ч.1
терес.
Процесс выделения переднего плана заключается в отделении движущихся фрагментов изображения от неподвижных, которые называют
фоновыми или принадлежащими заднему плану. От того, насколько аккуратно и корректно решена эта задача, зависят все последующие этапы обработки информации, а также требуемые вычислительные ресурсы. Именно поэтому этапу выделения переднепланового изображения и применяемым для этого методам уделено особое внимание разработчиков.
Сложность этой задачи обуславливается большим количеством разнообразных факторов, таких как собственные шумы камеры, внезапное
изменение освещенности сцены, падающие тени, движение ветвей деревьев на ветру и др.
На втором этапе выделения и классификации сначала производится
сегментация изображения переднего плана, т. е. находятся компактные области, движущиеся с одинаковой скоростью, которые считаются движущимися объектами. Далее они соотносятся с заранее определенными классами: автомобили, люди, животные и т. п.
После этого может выполняться следующий этап - отслеживание
траектории каждого движущегося объекта. Этап выделения траекторий
получил название трекинг. Для осуществления трекинга нужно установить
взаимно-однозначное соответствие между обнаруженными объектами на
последовательных кадрах. При этом обеспечивается временная идентификация выделенных областей изображения и выдается соответствующая
информация об объектах в наблюдаемой зоне, а именно: траектория, скорость и направление движения.
На заключительном этапе проводится распознавание и анализ действий выделенных объектов. В идеальном случае система должна выдавать
сообщения об обнаружении нештатной ситуации типа: «расстояние между
автомобилями сокращается слишком быстро», «на перекрестке образовался затор» и т. п.
Этап построения переднего плана является наиболее важным, поскольку именно он определяет дальнейшее качество системы в целом и позволяет значительно сократить объем вычислений путем обработки только
тех пикселей, которые относятся к переднему плану. В принятой терминологии считается, что движущиеся объекты принадлежат «переднему плану», а стационарные - к «заднему плану», который также называют фоном.
Для построения переднего плана наиболее часто используются методы,
основанные на вычитании фона, вероятностные методы, методы временной разности и оптического потока [2].
Методы вычитания фона являются самыми простыми и наиболее
часто применяемыми для детектирования движущихся объектов. Суть их
заключается в нахождении попиксельной разности между текущим кадром
и некой моделью фона. В принципе, модель фона должна представлять со272
Цифровые устройства и обработка сигналов
бой сцену без движущихся объектов. При этом необходимо ее регулярное
обновление, для того чтобы учитывать изменение условий освещенности и
настроек камеры, таких как поворот, наклон и изменение фокусного расстояния. Главным недостатком методов вычитания фона является возможная классификация фоновых пикселей как переднеплановых. Это может
происходить, например, для листьев деревьев, колышущихся на ветру, падающих снега и дождя, теней, отбрасываемых движущимися объектами и
др.
В вероятностных методах задний план формируется в результате
моделирования стохастического «пиксельного процесса», т. е. для каждого
пикселя изменение его интенсивности от кадра к кадру рассматривается
как временной ряд, состоящий из скалярных величин для полутоновых
изображений, и векторов - для цветных. В результате фон представляет собой гауссову смесь, т. е. линейную комбинацию одномерных, нормально
распределенных случайных величин. Алгоритмы, реализующие эти методы, создают попиксельную модель всей сцены, в которой используются
отдельно гауссовы смеси для фона, переднего плана и теней. Основываясь
на времени существования и дисперсии каждого гауссиана в смеси, можно
определить, какие из них относятся к фону. Пиксели, значения которых не
укладываются в фоновые распределения, считаются переднеплановыми до
тех пор, пока не появится гауссиан, позволяющий с достаточной точностью отнести их к фону. Такой подход позволяет учитывать медленные
изменения освещенности путем подстройки параметров гауссианов. Однако быстрые изменения фона и освещенности данные алгоритмы описать не
могут.
Методы временной разности отделяют передний план от фона при
помощи попиксельного вычитания двух или более последовательных кадров. Такие методы хорошо определяют динамические изменения сцены, но
обычно не могут выделить целиком все однородные пиксели одного объекта, что приводит к фрагментированности выделенных объектов: внутри
них часто образуются пустоты. Кроме того, этим методам не удается обнаруживать остановившиеся объекты.
Выделение фона, основывающееся на вычислении оптического потока, использует характеристики вектора потока движущихся объектов для
нахождения тех областей видеопоследовательности, в которых происходят
изменения. Понятие потока обычно используется для описания когерентного движения точек или характерных признаков между последовательными кадрами. С помощью оптического потока можно получить информацию о расположении, размерах и некоторых других параметрах таких областей. Алгоритмы данного класса являются слишком ресурсоемкими и,
кроме того, чрезвычайно чувствительны к шуму.
Известны также методы построения заднего плана, основанные на
применении искусственных нейронных сетей. Эти методы используют
273
Известия ТулГУ. Технические науки. 2013. Вып. 9. Ч.1
свойство нейронной сети адаптироваться к входным данным за счет введения настраиваемых обратных связей. Каждый пиксель фона управляется
своей нейронной сетью, в результате чего через некоторое время, требуемое для настройки (обучения) нейронной сети, формируется модель фона,
способная заданным образом подстраиваться к изменениям входного изображения.
Анализ указанных методов позволил сделать вывод: наиболее перспективными методами выделения переднего плана для построения системы видеоаналитики, способной обнаруживать аномалии в движении выделенных объектов в реальном времени являются методы временной разности совместно с методами вычитания фона, что позволит им достаточно
устойчиво отделять передний план от фона за небольшое время.
Модель фона предлагается представить в виде
Bk ( x, y ) = Bk ( x, y ) + Vk ( x, y )
(1)
n
где Bk ( x, y ) = ∑ I k ( x, y ) − I k − j ( x, y ) - относительно постоянная часть фоj =1
на, n – окно фильтрации, I k – множество пикселов изображения сцены,
зафиксированного камерой в k-й момент времени, Ω k = {I k }- последовательность изображений, упорядоченная во времени (видеоряд).
Постоянная часть фона может быть вычислена рекуррентно:
Bk ( x, y ) = Bk −1 ( x, y ) + I k ( x, y ) − I k − n −1 ( x, y ) .
(2)
Этот алгоритм требует только сохранения значения I k − n −1 ( x, y ) .
Избавиться от этого небольшого недостатка можно воспользовавшись аппроксимацией формулы (2) вида:
Bk ( x, y ) = (1 − α(n) )Bk −1 ( x, y ) + α(n) I k ( x, y ) ,
(3)
где значение α(n) ∈[0.05,…,0.2] подбирается, также как и величина n, исходя из особенности наблюдаемой сцены. Изменение Bk ( x, y ) во времени
позволяет учитывать изменение освещенности сцены
Другая составляющая модели (1) Vk ( x, y ) - вариативная часть фона,
вызванная шумовой составляющей видео сигнала, характеризуемая матри-
{
}
цей ковариации Rk ( x, y ) = M Vk ( x, y ) ⋅ Vkт ( x, y ) .
Устранение погрешности оценки Bk ( x, y ) предлагается устранить
методом фильтрации Калмана. Тогда выражение (1) принимает вид:
B€k ( x, y ) = Bk ( x, y ) + K k ( x, y ) I k ( x, y ) − B€k −1 ( x, y ) ,
(4)
[
]
K k ( x, y ) = Pk ( x, y )[Pk ( x, y ) + Rk ( x, y )]−1 ,
Pk ( x, y ) = Pk −1 ( x, y ) − K k ( x, y )[Pk −1 ( x, y ) + Rk −1 ( x, y )]K kт ( x, y ) ,
274
Цифровые устройства и обработка сигналов
(
)(
)
т
где Pk ( x, y ) = M  B€k ( x, y ) − Bk ( x, y ) ⋅ B€k ( x, y ) − Bk ( x, y )  - матрица ко

вариации ошибок получаемой оценки B€k ( x, y ) , значение P0 ( x, y ) задается,
исходя из особенностей сцены.
Тогда изображение сцены, содержащей только движущиеся объекты, определяется простым вычитанием
I k′ ( x, y ) = I k ( x, y ) − B€k ( x, y ) .
(5)
Предложенный метод при сравнительно простой реализации позволяет получить отделение потока изображений, содержащих только движущиеся объекты от фона с минимальной погрешностью, и, кроме того, предоставляет возможности простой подстройки по результатам наблюдений,
изменяя значения α(n) , Rk ( x, y ) и P0 ( x, y ) .
Применение предложенного метода позволяет также упростить задачу следующего этапа - выделения и классификации движущихся объектов ai ∈ Ak ⊆ Ω k . На видеоизображении могут присутствовать различные
движущиеся объекты: автомобили, автобусы, мотоциклы, люди, группы
людей, животные и т. п. Так как видеонаблюдение и анализ ведутся в масштабе реального времени, алгоритмы классификации должны быть также
относительно быстрыми, эффективными и инвариантными к изменяющимся условиям освещения.
Основной интерес для предлагаемой системы видеоаналитики
представляют транспортные средства, так как целью работы является создание системы, работающей в режиме реального времени и позволяющей
автоматизировать процесс обнаружения и идентификации аномалий в их
движении по результатам видеонаблюдений - их недопустимого сближения, движения со случайно изменяющейся скоростью (включая остановку), а так же пересечение объектом определённых границ. При этом вероятность ложной тревоги и время реакции системы не должны превышать
допустимых пределов.
Список литературы
1. Липтон А. Видеоаналитика: мифы и реальность /Computerworld
Россия №22, Изд-во «Открытые системы», 2008.
2. Лукьяница А., Шишкин Р. Цифровая обработка видеоизображений / Москва: «Ай -Эс -Эс», 2009. 518 с.
Токарев Вячеслав Леонидович. д-р техн. наук, доц. tokarev22@yandex.ru,
Россия, Тула, Тульский государственный университет,
Абрамов Дмитрий Александрович асп., sipai-dima@mail.ru, Россия, Тула,
Тульский государственный университет.
275
Известия ТулГУ. Технические науки. 2013. Вып. 9. Ч.1
CREATION OF SYSTEM OF VIDEO ANALYTICS
V.L. Tokarev, D.A. Abramov
Questions of creation of system of video analytics for recognition of emergency
situations are investigated. The method of allocation of images with moving objects is offered.
Key words: video analytics system, allocation of moving objects.
Tokarev Vyacheslav Leonidovich doctor of
tokarev22@yandex.ru, Russia, Tula, Tula State University,
technical
science,
docent,
Abramov Dmitry Alexandorovich, postgraduate, sipai-dima@mail.ru, Russia, Tula,
Tula State University.
УДК 681.7.06
ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА СИГНАЛОВ ТЕПЛОВИЗОРОМ
Е.В. Филиппова, Т.А. Акименко, А.Ю. Смирнов
Определен спектр сигнала на выходе тепловизора с известными конструктивными параметрами тепловизора с параллельным сканированием и параллельной обработкой сигналов
Ключевые слова: тепловизор, обработка сигналов, параллельное сканирование,
модулятор.
Тепловизионные приборы, предназначенные для наблюдения объектов по их собственному излучению, для преобразования оптического
сигнала ИК-диапазона в электрический сигнал используют принцип оптико-механического сканирования (ОМС) или электронное сканирование. В
тепловизорах первого типа используются одноэлементные или многоэлементные ИК приемники излучения (ПИ) мгновенного действия, а в тепловизорах второго типа в качестве ПИ используются ИК видиконы, пириконы, и матричные приемники излучения (фокальные матрицы), работающие
в режиме накопления зарядов и основанные на различных физических
принципах.
При параллельной обработке сигнала необходимо задать характеристики полезного сигнала, и фона и определить сигнал или спектр сигнала на выходе тепловизора с известными функциональной схемой и конструктивными параметрами и характеристиками. [1,2] В качестве примера
рассмотрим тепловизор с параллельным сканированием и параллельной
276