исследование и разработка методов улучшения подводных

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ УЛУЧШЕНИЯ
ПОДВОДНЫХ ИЗОБРАЖЕНИЙ
Т. Ю. Фисенко, В. Т. Фисенко
Филиал ОАО “Корпорация “Комета” – “Научно-проектный
Центр оптоэлектронных комплексов наблюдения ”, Санкт-Петербург
Исследованы и разработаны методы улучшения подводных изображений и
видеопоследовательностей, позволяющие подавить аддитивные шумы, компенсировать
мультипликативную помеху, повысить цветовой контраст изображения и четкость
изображения. Эти методы в совокупности позволяют повысить качество подводных
изображений, и как следствие этого – повысить дальность наблюдения объектов под водой.
Введение Интерес к подводным наблюдениям обусловлен выполнением широкого круга
задач: управление движением подводных аппаратов, поиск полезных ископаемых на дне
океана, проникновение в недоступные для человека места, проведение аварийно –
спасательных работ, строительство новых и ремонт старых сооружений, прокладка
коммуникаций, очистка акваторий, рыбный промысел, океанологические исследования.
Цифровые телевизионные камеры цветного изображения являются составной частью обзорно–
поисковых аппаратов. Особенности формирования подводного изображения, как его
регулярной (полезной) составляющей, так и шумов изображения, описываются теорией
подводного видения [1]. Проблемы обработки подводных изображений вызваны
особенностями распространения света в водной среде. При прохождении светового излучения в
водной среде часть его энергии рассеивается на флюктуациях плотности и на частицах взвеси
на большие углы. Часть потока, не дошедшая до объекта, попадая на камеру, создает помеху
обратного рассеяния, понижая контраст изображения. Часть потока, отраженная от объекта и
рассеянная в водной среде, приводит к размыванию и потере информации о мелких деталях на
изображении. Показатель рассеяния медленно уменьшается с увеличением длины волны
излучения. Кроме того, он изменяется, в зависимости от глубины, достигая максимума в слоях
повышенной мутности. Поглощение света обусловлено пигментами фитопланктона и желтым
веществом, показатель поглощения существенно зависит от длины волны. Минимальное
значение показателя поглощения в различных районах Мирового океана соответствует
спектральному диапазону [470,570] нм. Поглощение и рассеяние света определяют ослабление
излучения, а показатель ослабления вычисляется как сумма показателей рассеяния и
поглощения. Вследствие этих факторов в системах подводного видения при обработке
изображений необходимо учитывать низкую освещенность, помеху обратного рассеяния,
низкий контраст, размытие изображения, уменьшение диапазона воспроизводимых цветов.
Предварительная обработка подводных изображений Качество подводных
изображений может быть улучшено за счет методов предварительной обработки изображений.
При формировании сигнала на выходе приемника ПЗС необходимо использовать методы,
позволяющие повысить контраст и четкость изображения [2]. При формировании
видеопоследовательностей для подавления шумов и повышения контраста следует применять
методы динамического накопления сигнала [3] для подавления аддитивного шума.
На основании особенностей распространения света в водной среде, простая модель
формирования подводного изображения может быть представлена в виде произведения
мультипликативного компонента на функцию отражения, характеризующую идеальное
изображение сцены, и аддитивного компонента светового излучения, принимаемого камерой:
f ( x, y ) = сm (x, y )r ( x, y ) + ca ( x, y ) ,
(1)
где f ( x, y ) – изображение, зарегистрированное камерой, r ( x, y ) – относительная доля
светового потока, отраженного от объектов сцены (коэффициент отражения).
Мультипликативный и аддитивный компоненты характеризуется медленными
изменениями в пространственной области (низкочастотная (НЧ) составляющая), а
коэффициенты отражения ассоциируются с высокочастотными (ВЧ) компонентами.
294
Если допустить, что аддитивный компонент незначителен, то для улучшения
изображения можно применить гомоморфную фильтрацию. Гомоморфная фильтрация
основана на логарифмировании изображения, позволяющем представить изображение в виде
суммы двух составляющих:
g ( x, y ) = ln ( f (x, y )) = ln (cm ( x, y )) + ln (r ( x, y )) .
(2)
Двумерное Фурье-преобразование (ДФП) от g ( x, y ) равно сумме ДФП компонентов:
G (u , v ) = Fm (u , v ) + Fr (u, v ) .
Для подавления НЧ составляющей и усиления ВЧ составляющей выполняется ВЧ фильтрация:
Z (u , v ) = H (u , v )G (u , v ) = H (u , v )Fm (u , v ) + H (u , v )Fr (u , v ) .
Выполнение обратного ДФП позволяет перейти в пространственную область:
z ( x, y ) = F −1(H (u, v )Fm (u, v )) + F −1(H (u , v )Fr (u, v )) = c'm ( x, y ) + r ' ( x, y ) .
Чтобы
получить
улучшенное
изображение
необходимо
выполнить
обратную
логарифмированию операцию взятием экспоненты от каждого компонента и сформировать
произведение этих экспонент:
f ' ( x, y ) = exp( z ( x, y )) = exp(c'm ( x, y )) exp(r ' ( x, y )) .
В результате такой обработки происходит сжатие динамического диапазона и усиление
контраста изображения. В качестве ВЧ фильтра можно использовать фильтр Баттерворта c
параметрами k=1, r0=256.
Можно показать, что гомоморфную фильтрацию можно выполнить с использованием НЧ
фильтра в пространственной области. Для этого необходимо выполнить логарифмирование (2),
НЧ фильтрацию полученного изображения g ( x, y ) . Поскольку второе слагаемое в уравнении
(2) представляет ВЧ компонент, то можно полагать, что на выходе НЧ фильтра получим:
z (x, y ) ≈ ln (cm ( x, y )) . Чтобы получить улучшенное изображение необходимо выполнить
вычитание:
z ' ( x, y ) = g ( x, y ) − z ( x, y ) ≈ ln (r ( x, y ))
И последующее взятие экспоненты:
f ' ( x, y ) = exp( z ' ( x, y )) ≈ r ( x, y ) .
Если учитывать влияние аддитивного компонента, то для улучшения изображения
необходимо применить компенсацию неравномерности освещенности в пространственной
области путем НЧ фильтрации и вычитания НЧ составляющей из исходного изображения, что
также позволяет ослабить НЧ компонент и усилить ВЧ составляющую.
Повышение цветового контраста При обработке подводных изображений решается
задача повышения цветового контраста. При этом не формируются требования к правильной
цветопередаче. Для повышения контраста изображения применяется адаптивная эквализация
гистограммы c ограничением (CLAHE) [4]. Первоначально изображение разбивается на
прямоугольные области (блоки). В каждом блоке вычисляется гистограмма распределения
яркости. Чтобы избежать перенасыщения монотонных участков изображения, ограничивается
наклон функции распределения яркости путем введения ограничения на максимальное
значение частоты яркости. Пусть M– число строк в блоке, N– число столбцов в блоке, α –
параметр, задающий ограничение. Предельное значение гистограммы вычисляется в
соответствии с формулой:
histlim = hist min + α( MN − hist min ) ,
где hist min = MN / (L + 1) , L– максимальное значение яркости.
После ограничения для каждой области формируется своя LUT (функция преобразования
яркости) на основании эквализации гистограммы распределения яркости. Для входного
изображения вычисляется значение яркостей выходного изображения в соответствии с
формулой:
k
( )
k
LUT (k ) = ∑ pr r j = ∑ n j n ,
j =0
j =0
295
где LUT (k ) - значение яркости выходного изображения, соответствующее яркости rk
входного изображения, k ∈ [0, L ]; r j – яркость элемента входного изображения, n j –
число элементов входного изображения со значением r j , n– общее число элементов
изображения; pr r j – вероятность появления элемента входного изображения с
( )
яркостью r j .
Такое преобразование позволяет равномернее распределить уровни яркости по частоте, в
основе преобразования лежит предположение, что в контрастных черно–белых изображениях
значения яркости распределены равномерно. Чтобы разрушить блочную структуру
полученного изображения, выходное изображение формируется путем билинейной
интерполяции по четырем ближайшим LUT. На рис. 1а показано изображение, разбитое на
блоки. Условно цифрами обозначены номера блоков 1–4. Каждому блоку соответствует своя
LUTi . На рис. 1б блоки 1–4 заштрихованы.
1
2
3
4
1
а)
2
3
4
б)
Рис.1. Формирование блоков изображения для локальной эквализации гистограммы и
билинейной интерполяции элементов изображения.
При выполнении билинейной интерполяции формируется новое разбиение изображения
на блоки, как показано на рис. 1б. Для каждого элемента нового блока формируются значения в
соответствии с LUT, ближайшими к блоку. На рис. 1б выделен блок, для которого
интерполяция выполняется по LUT, вычисленным для блоков 1-4. Пусть M– число строк в
блоке, N– число столбцов в блоке, y– номер строки в блоке, x– номер столбца в блоке. Тогда
значение отсчета с координатами (x,y), с точностью до привязки начальных координат блока в
изображении, вычисляется по формуле:
g ( x, y ) = [(M − y + 1)( N − x + 1)LUT1 ( f ( x, y )) + (M − y + 1)( x − 1)LUT2 ( f ( x, y )) + ...
( y − 1)(N − x + 1)LUT3 ( f (x, y )) + ( y − 1)(x − 1)LUT4 ( f (x, y ))] / (MN ) ,
где x ∈ [1, N ] , y ∈ [1, M ] .
Дальнейшее повышение контраста производится в цветовом пространстве – тон, яркость,
насыщенность [5], обеспечивающем декорреляцию сигналов красного, зеленого и синего.
Выполняется контрастирование яркостного компонента.
Повышение четкости изображения производится по методу ВЧ коррекции, которое
выполняется для яркостного компонента. Затем выполняется обратное преобразование в
пространство RGB.
Эти методы в совокупности позволяют улучшить качество подводных изображений, и
как следствие этого – повысить дальность наблюдения объектов под водой.
Экспериментальные исследования методов улучшения подводных изображений
Выполнены экспериментальные исследования по оценке эффективности алгоритмов
улучшения цветных подводных изображений. В качестве тестовых использованы реальные
изображения собственные и из баз данных [9, 10].
296
На рис. 2 приведен пример компенсации неравномерности освещенности по методу
гомоморфной фильтрации. В качестве НЧ фильтра использован усредняющий фильтр с
равными весами, размер фильтра 64x64.
а) б)
в) г
Рис. 2 Пример гомоморфной фильтрации для компенсации НЧ компонента: а) исходное
изображение, б) изображение после фильтрации, в) осциллограмма 322 строки исходного
изображения, г) осциллограмма 322 строки обработанного изображения.
На рис. 3 представлены изображения в процессе выполнения дальнейшей обработки
изображения.
1.
2.
3.
4.
5.
6.
7.
Выводы.
Разработан метод улучшения подводных изображений
Для улучшения подводных изображений необходимо выполнить нелинейную
фильтрацию. Производится компенсация неравномерности освещенности в
пространственной области путем НЧ фильтрации изображения и вычитания НЧ
составляющей из исходного изображения, что является аналогом гомоморфной
фильтрации.
Решается задача повышения цветового контраста. При этом не формируются
требования к правильной цветопередаче. Для повышения контраста изображения
применяется метод адаптивной эквализации гистограммы с ограничением
CLAHE.
Декорреляция сигналов красного, зеленого и синего производится за счет
перехода в цветовое пространство – тон, яркость, насыщенность [3].
Дальнейшее повышение контраста достигается контрастированием яркостного
компонента.
Повышение четкости изображения производится по методу ВЧ коррекции
яркостного компонента.
Получены оценки эффективности алгоритма при различных условиях
формирования изображений. Показано, что эти методы в совокупности позволяют
297
улучшить качество подводных изображений, и как следствие этого – повысить
дальность наблюдения объектов под водой.
а) б)
в) г)
Рис.3 Изображения яркостных компонентов: а) исходного изображения, б)
изображения после гомоморфной фильтрации, в) после контрастирования яркости, г)
после ВЧ коррекции.
1.
2.
3.
4.
5.
ЛИТЕРАТУРА
Долин Л.С., Левин И.М. Справочник по теории подводного видения. Ленинград:
Гидрометеоиздат, 1991, с. 230.
Fissenko T.Y., Fissenko V.T., Rogatchev K.S., Sushchev G.A. An Interpolation Method for
Color Image Reconstruction in Deep UnderWater Observation// Proceedings of D.S.
Rozhdestvensky Optical Society. Proc. of the Intern. Conf. “Current Problems in Optics of
Natural Waters” (ONW’2001) St. Petersburg. Russia, Sept. 25-29, 2001. P.113-118.
Fissenko V.T., Mojeiko V.I., Zelentsov V.N. Dynamic Accumulation Technique Increases the
Underwater viewing Distance// Proc. of D.S. Rozhdestvensky Optical Society. Proc. of the
Intern. Conf. “Current Problems in Optics of Natural Waters” (ONW’2001) St. Petersburg.
Russia. Sept. 25-29, 2001. P. 119-121.
Zuiderveld K. Contrast limited adaptive histogram equalization// Graphics Gems Iv, Paul
Heckbert, Ed., vol. IV. Academic Press, Boston. 1994. P. 474-485.
Фисенко В.Т., Фисенко Т.Ю. Метод многомасштабной сегментации цветных текстурных
изображений// Международная конференция. Прикладная оптика -2010, С.-Пб., Россия,.
Сборник трудов, том 3, 18-22 октября 2010 г. C.249-253.
298