Построение карт дальности объектов по стереопаре

А.Ш. ЯКУБОВ, Н.В. КОРОБКОВ
Московский инженерно-физический институт (государственный университет)
ПОСТРОЕНИЕ КАРТ ДАЛЬНОСТИ ОБЪЕКТОВ
ПО СТЕРЕОПАРЕ
Рассматриваются принципы построения карт дальности (disparity map) объектов по стереопаре.
В фотографии содержится довольно много информации, однако сведения о глубине точки сцены и соответствующем луче проекции по единственному изображению получить нельзя. В то же время, при наличии
как минимум двух изображений, глубину можно измерить посредством триангуляции.
Для получения карты дальностей центральным является алгоритм стереосовмещения двух кадров, полученных от стереокамеры.
В случае с одним источником изображения информация о дальности объектов получается вследствие
либо движения камеры либо движения объектов – используется разница в скорости движения объектов в
поле зрения камеры.
Полученная карта дальностей может являться источником дополнительных данных для формирования
управляющего сигнала для компьютера при реализации человеко-машинных интерфейсов. Также карты
дальности могут использоваться для постобработки видео, для добавления искусственных элементов, учитывающих трехмерную структуру сцены, и в приложении к другим областям.
Для стереосовмещения необходимо найти проекции точек объектов на каждом из изображений, чтобы
дальше применить к ним триангуляцию, чтобы в свою очередь найти расстояние до интересующих объектов.
Интересующими точками обычно являются легко выделяемые признаки (углы, контрастные области),
присутствующие на обоих изображениях (не перекрывающиеся), либо могут использоваться цветовые признаки.
Для построения карт дальностей с пиксельной точностью необходимо для каждого интересующего пикселя найти соответствующий ему пиксель на втором изображении данной стереопары.
Поиск соответствующих пикселей на паре изображений осуществляется на границах, высококонтрастных областях. Поиск по всем пикселям приводит к увеличению времени работы алгоритма и к некорректной
обработке нетекстурированных поверхностей, т.к. суждение о корреляции двух участков изображений производится во многом по шуму на изображении.
Для последовательности кадров, можно строить карту дальности инкрементально. Т.е. строится полная
карта дальностей для первого кадра (стереопары), а обновление карты происходит только для изменившихся
пикселей на последующих кадрах, которые находятся путем вычитания изображений.
Для сравнения различных областей изображений – ищется корреляция этих областей в некоторой
окрестности (МНК).
Сами изображения представляются/конвертируются в различные цветовые системы (RGB, HSV) в зависимости от потребностей, например, для стереосовмещения удобно использовать освещенность (luminance).
Одним из важных моментов является выравнивание изображений, т.е. замена исходных изображений
двумя эквивалентными с общей плоскостью изображения, параллельной базовой линии, соединяющей два
оптических центра. Для выровненных стереопар качество карты дальности получается гораздо выше.
Список литературы
1. Russ, John C. The image processing handbook / by John C.Russ. 5 th ed. NY, Taylor & Francis Group 2007. – 817 p.
2. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход.: Пер. с англ. – М.: Вильямс, 2004. – 928 с.: ил.
3. S.Birchfield, C.Tomasi, A pixel dissimilarity measure that is insensitive to image sampling. IEEE Transactions on Pattern Analysis and
Machine Intelligence, 20(4): 401-406, 1998.
4. John Krumm, Steve Harris, Brian Mayers, Multi-Camera Multi-Person Tracking for EasyLiving. Microsoft Research Vision Technology
Group. Third IEEE International Workshop on Visual Surveillance, July 1, 2000.
5. Andrew Wilson, Nuria Oliver, GWindows: Robust stereo vision for gesture-based control of Windows. Microsof Research, Redmond,
WA. 2003.
6. A. Blake, P.H.S. Torr, I.J. Cox and A. Criminisi, Estimating uncertainty in dense stereo disparity maps, Technical Report MSR-TR2003-93, 2003.
7. Jahne, Bernd, Digital image processing, Springer, 2002 – 585 p.