Зеленский - ХАИ, Кафедра 504 "Приема, передачи и

1
Автоматизация обработки
многоканальных данных дистанционного
зондирования
Национальный аэрокосмический университет им. Н.Е.
Жуковского «ХАИ», Харьков, Украина
Кафедра приема, передачи и обработки сигналов,
Тел. +380577884504
E-mail lukin@ai.kharkov.com
http://k504.xai.edu.ua/
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
Структура доклада
1) Многоканальные средства формирования изображений и их
особенности
2) Источники и типы помех в многоканальных изображениях, их
модели
3) Задачи обработки изображений, решаемые с учетом помех
4) Критерии качества
5) Возможные подходы к фильтрации и типы фильтров
6) Фильтрация изображений на основе ДКП
7) Когда фильтрация необходима? Автоматизация принятия
решения
8) Сжатие в окрестности оптимальной рабочей точки.
Предсказание существования ОРТ.
9) Предсказание степени сжатия.
10) Достигаемые результаты и примеры, практические
рекомендации
11) Выводы
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
2
Многоканальные средства
формирования изображений и их
особенности
Многоканальные изображения (МКИ) формируются:
-мульти- и гиперспектральными системами оптического и инфракрасного
диапазонов;
-многочастотными и многополяризационными радиолокационными
системами;
-при неоднократном зондировании участка местности в различные моменты
времени.
Цель: получить данные с высокими степенями информативности и
избыточности для решения широкого класса конечных задач с надежностью
более высокой, чем при использовании одноканальных систем или систем с
малым количеством каналов.
Проблемы: резкое увеличение объема данных, сложность их хранения,
визуализации, передачи, обработки, извлечения полезной информации,
обеспечения приемлемого быстродействия и оперативности, автоматизация
обработки.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
3
Многоканальные средства
формирования изображений и их
особенности
Количество каналов – до нескольких сотен, представление
данных 16-битными целыми числами, спектральное
разрешение – единицы нанометров.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
4
5
Свойства многоканальных изображений и
присутствующих на них помех
Характерные особенности для гиперспектральных изображений:
- высокая межканальная корреляция,
- существенно различные отношения сигнал-шум и динамический диапазон
1.1
50
45
0.9
40
35
0.7
30
25
0.5
20
15
0.3
10
0.1
5
0
0
50
100
150
200
250
-0.1 0
50
100
150
200
250
50
100
150
200
250
1.1
45
40
0.9
35
0.7
30
25
0.5
20
15
0.3
10
0.1
5
0
0
50
100
150
200
250
ПОСШ для каналов (данные AVIRIS)
Национальный Аэрокосмический Университет «ХАИ»
-0.1 0
Зависимости коэффициента межканальной
корреляции
Отчет о выполнении НИР Г 504-9/2006
Задачи обработки изображений,
решаемые с учетом помех
1) Фильтрация изображений с целью повышения качества или
эффективности решения конечных задач:
-
обнаружения объектов и их распознавания;
-
классификации;
-
сегментации и т.д.
2) Восстановление (устранение смаза и дефокусировки)
3) Обнаружение границ и малоразмерных объектов (при
выборе детекторов и установке порогов)
4) Сжатие с потерями (при выборе кодеров и установке их
параметров).
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
6
Типы помех и их модели
1) Аддитивные (пространственно-некоррелированные и
коррелированные, (  a2  Const ) – оценивать необходимо
дисперсию и пространственный спектр (для
коррелированных);
2) Мультипликативные (пространственно-некоррелированные и
коррелированные,  2  Const ) – оценивать необходимо
относительную дисперсию, иногда ПРВ и пространственный
спектр (для коррелированных);
2
3) Сигнально-зависимые простого вида (  loc  kI loc ) – оценивать
необходимо параметр k;
2
 kI loc   a2 - оценивать необходимо
4) Смешанные вида  loc
параметры k и  a2 ;
2
 f ( I loc ) –
5) Сигнально-зависимые сложного вида (  loc
необходимо определиться с аппроксимацией функции f ( I loc )
и оценить параметры аппроксимирующей функции (например
полинома какой-либо степени)
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
7
Требования к методам определения
характеристик помех вслепую
• Обеспечение приемлемой точности для изображений с
различной степенью сложности (текстурности), степень
сложности можно характеризовать вероятностью р
принадлежности скользящего окна (блока) однородному
участку;
• Обеспечение несмещенности (приемлемой смещенности)
оценок при различных уровнях помех;
• Применимость для изображений, искаженных как
пространственно-некоррелированными, так и
коррелированными помехами;
• Приемлемое для практики быстродействие (обработка одного
изображения с размером до миллиона пикселей в течение
долей или единиц секунд).
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
8
Возможные подходы к оцениванию,
основные группы методов
Большинство известных методов получения оценок можно отнести к одной из
трех групп:
1) работающие в пространственной области;
2) выполняющие оценивание в спектральной области;
3) использующие метод максимального правдоподобия (МП) для
одновременного оценивания характеристик изображений и помех.
Фактически для всех групп разработчики методов стремятся так или иначе
разделить истинное изображение и помеху, но разными способами.
Метод МП позволяет рассчитать потенциальную точность оценивания
дисперсии помех для данного изображения. При оценивании дисперсии
аддитивного шума по изображениям различного содержания
1,5 / 2 N    15 / 2 N
где N – общее количество пикселей.
Нижний предел достигается для более простых изображений.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
9
Автоматизация обработки
гиперспектральных данных ДЗ
10
Зависимости оценок параметров компонент сигнально-зависимых помех от номера канала
для сенсора Гиперион
Для примерно 15-20% компонентных изображений гиперспектральных данных
наблюдается малый динамический диапазон данных и малое отношение сигналшум; поэтому эти изображения часто не используют при анализе, хотя после
обработки эти данные могут быть полезны.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
Вклад компонент сигнальнозависимого шума для данных
сенсора Hyperion
11
5
10
Variance of SI component
Equivalent variance of SD component
4
10
3
10
2
10
1
10
0
10
-1
10
50
100
150
200
n
В большинстве зон видимого и ближнего
ИК диапазонов сигнально-зависимая
компонента является превалирующей.
В ИК диапазоне вклады сравнимы.
Такие
свойства
шума
желательно
Hyperion
EO1H2010262004157110KP
учитывать при обработке.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
Требования к методам фильтрации
МКИ
1)
Эффективное подавление известного или установленного типа;
2)
Сохранение полезной информации, которая может содержаться в:
-
положении границ объектов, их форме;
-
текстурных признаках;
-
цветовых, поляризационных или спектральных признаках;
3) Обеспечение приемлемой простоты и быстродействия программноалгоритмической реализации;
4) Автоматизация обработки, облегчение интерактивной обработки МКИ
(автоматизация может предусматривать принятие решения о
необходимости фильтрации и выбор параметров фильтра);
5) Устойчивость (робастность) фильтрации, в том числе способность
успешно функционировать при ограниченных априорных сведениях о
характеристиках помех или их неточном оценивании
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
12
Критерии (метрики) качества и
группы фильтров
Основные группы критериев качества (эффективности) фильтрации:
-
традиционные глобальные критерии (СКОш или ПОСШ);
-
учитывающие визуальное качество (PSNR-HVS-M, MSSIM и др.)
-
учитывающие эффективность решения конечных задач (вероятность
правильной классификации или обнаружения объектов)
Основные группы фильтров:
1)
Пространственные (в скользящем окне), неадаптивные и адаптивные;
2)
На основе ортогональных преобразований;
3)
Нелокальные;
4)
Гибридные
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
13
Фильтрация изображений на основе
ДКП
14
Этапы фильтрации изображения на основе ДКП
Разбиваем изображение на перекрывающиеся блоки размером M x M; s – параметр
взаимного сдвига блоков в одном направлении (по горизонтали или вертикали)
между двумя перекрывающимися блоками.
Для каждого блока с левым верхним углом в ij-м пикселе
x(m, l )  I n (i  m, j  l ),
m, l  0,
M  1.
i. Рассчитываем ДКП-коэффициенты как
 (2m  1) p 
 (2l  1)q 
D  p, q   c  p  c  q    x(m, l )cos 
cos

 2M

2M

m 0 l 0
M 1 M 1
гле
 2
, 1  p  M 1

 M
c p  
,
1

,
p0
 M
Национальный Аэрокосмический Университет «ХАИ»
 2
, 1  q  M 1

 M
cq  
,
1

,
q0
 M
Отчет о выполнении НИР Г 504-9/2006
Фильтрация изображений на основе ДКП
15
Выполняем пороговую операцию с ДКП-коэффициентами D[ p, q] в соответствии с
принятым типом порогов (жесткий, мягкий и т.д. ) и получаем Dth [ p, q ]
Получаем оценки отфильтрованного изображения для каждого блока, применяя
обратное ДКП в блоке к ДКП-коэффициентам после пороговой обработки
 (2m  1) p 
 (2l  1)q 
x f (m, l )  c  p  c  q    Dth  p, q  cos 
cos

 2M 
p 0 q 0
2M

M 1 M 1
Получаем отфильтрованные значения в блоке изображения
Iˆ(i  m, j  l )  x f ( m, l ),
m, l  0,...M  1.
Получаем итоговую оценку I ijf для ij-го пикселя путем усреднения всех оценок для
перекрывающихся блоков, захватывающих данный пиксель.
В отличие от фильтрации в скользящем окне, значения
получают для всех отсчетов в блоке одновременно.
Национальный Аэрокосмический Университет «ХАИ»
Iˆ(i  m, j  l ), m, l  0,...M  1
Отчет о выполнении НИР Г 504-9/2006
Адаптация к характеристикам помех
16
Адаптация к аддитивным коррелированным помехам:
Пороги устанавливаются частотно-зависимыми
T ( k , l )   Wˆ norm ( k , l )
Адаптация к мультипликативным помехам:
Пороги устанавливаются частотно-зависимыми и пропорциональными среднему или
медианному значению в каждом nm-м блоке
T ( k , l , n, m)    Wˆ norm ( k , l ) I ( n, m)
Обобщенный случай сигнально-зависимого шума:
Пороги частотно-зависимые и учитывают заранее известную или установленную
зависимость локального СКО от локального среднего, для каждого nm-го блока
пороги индивидуальны
T ( k , l , n, m)   Wˆ norm ( k , l ) loc ( I ( n, m))
Может быть реализована трехмерная фильтрация при условии применения
предварительных вариационно-стабилизирующих преобразований
Национальный Аэрокосмический Университет «ХАИ»
Vladimir Lukin lukin@xai.kharkov.ua
Отчет о +38
выполнении
057 7074841
НИР Г 504-9/2006
Фильтрация с учетом сигнальной
зависимости помех
Пример для гиперспектральных МКИ
300
250
200
150
100
50
0
40
50
60
70
80
90
100
110
120
Исходное компонентное изображение (221-й канал, Cuprite Mine, слева),
скаттерограма локальных оценок дисперсии, подтверждающая сигнальнозависимый характер помех, и результат фильтрации локально-адаптивным
фильтром на основе ДКП, сигма-фильтра и квазиразмаха (справа)
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
17
Прогнозирование эффективности
фильтрации
Разработаны процедуры быстрого
прогнозирования эффективности
фильтрации для метрик PSNR и PSNRHVS-M в зависимости от параметров,
характеризующих ДКП-коэффициенты
в блоках (средней вероятности, что
амплитуды ДКП-коэффициентов не
превышают определенный порог).
Это позволяет автоматически
принимать решение о
целесообразности или
нецелесообразности применении
фильтрации для конкретного
изображения (или группы каналов,
фильтруемых совместно) – при
IPSNR≤1 дБ применение фильтрации
не имеет смысла
Национальный Аэрокосмический Университет «ХАИ»
Разработаны процедуры прогнозирования для
случаев аддитивного, пространственнокоррелированного и сигнально-зависимого
шума, которые являются достаточно
универсальными
Отчет о выполнении НИР Г 504-9/2006
18
Пример сжатия с потерями
Фрагмент исходного (слева) и сжатого (справа) изображения в 145-м канале
гиперспектральных данных
Предложенные методы сжатия в окрестности оптимальной рабочей точки (ОРТ)
приводят либо к частичному подавлению помех, либо к визуальной незаметности
внесенных искажений
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
19
20
Пример сжатия с потерями
IJ
c t
r
u
e
2
M
S
E

(
I

I
/
(
I
J
)
,
k

1
,
.
.
.
,
K


k
i
j
k
i
j)
c
k
i

1
j

1
c
2
c
P
S
N
R

1
0
l
o
g
(/
D
S
E
)
,
k

1
,
.
.
.
,
K
k
1
0
kM
k

P
S
N
R

P
S
N
R
P
S
N
R
k
O
O
P
k
i
n
p
k
Рассмотрен метод сжатия на основе ДКП (AGU), для которого параметром,
управляющим сжатием, является шаг квантования (ШК)
На графиках приведены зависимости ПОСШ (PSNR) lот ШК для двух изображений,
искаженных аддитивным шумом с дисперсией 100, которые показывают, что ОРТ
может существовать (максимум ПОСШ), в этом случае параметр δPSNR является
положительным. Значение этого параметра можно предсказывать и, соответственно,
делать вывод о наличии ОРТ.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006
Прогнозирование эффективности
фильтрации и сжатия
Разработаны процедуры быстрого прогнозирования
эффективности сжатия зашумленных изображений
в окрестности оптимальной рабочей точки (ОРТ)
для метрик PSNR и PSNR-HVS-M. Основой
предсказания служит тот же статистический
параметр, что и при предсказании эффективности
фильтрации. Возможность предсказания позволяет
автоматически принимать решение о выборе
желательных параметров сжатия
Национальный Аэрокосмический Университет «ХАИ»
21
Разработаны процедуры
прогнозирования значений
коэффициента сжатия для кодеров,
управляемых шагом квантования,
который устанавливается
пропорциональным СКО помех. Это
позволяет существенно ускорить
процедуру сжатия.
Отчет о выполнении НИР Г 504-9/2006
Выводы и направления дальнейших
исследований
22
1. Рассмотрены несколько подходов к автоматизации обработки МКИ.
2. Учтен тот факт, что различные метрики взаимосвязаны, традиционные
метрики (СКОш) коррелированны с вероятностью правильной классификации
площадных объектов, визуальные – с вероятностью правильной классификации
текстур и малоразмерных объектов.
3. Разработаны автоматические методы оценивания параметров различных
типов помех, применение которых для гиперспектральных данных показало
превалирующее влияние сигнально-зависимой компоненты.
4. Показано, что фильтрацию проводить целесообразно не всегда, определены
условия, когда это делать не имеет особого смысла.
5. Предложены методы прогнозирования эффективности фильтрации,
позволяющие быстро принять решение. .
6. Предложены методы прогнозирования наличия ОРТ при сжатии с потерями и
принятия решения о параметрах сжатия.
7. Для кодеров на основе ДКП разработан метод прогнозирования значения КС.
Планируется усовершенствовать этот метод для автоматического выбора шага
квантования.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-9/2006