На правах рукописи Потапов Владимир Николаевич Метод и алгоритмы обработки информации с гиперспектрометров при дешифровке наземных объектов Специальность: 05.13.01 – Системный анализ, управление и обработка информации (приборостроение) АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук. Москва – 2013 2 Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский государственный университет леса» (ФГБОУ ВПО «МГУЛ») Научный руководитель: доктор технических наук, профессор, Полуэктов Николай Павлович Официальные оппоненты: Степанов Игорь Михайлович доктор технических наук, профессор ФГБОУ ВПО Московского государственного университета леса, профессор кафедры вычислительной техники Марчуков Владимир Семенович доктор технических наук, профессор ФГБОУ ВПО Московского государственного университета геодезии и картографии, профессор кафедры космического мониторинга Ведущая организация: ФГАОУ ВПО Московский физикотехнический институт (государственный университет) Защита состоится «20» декабря 2013 г. в 14 часов 00 минут на заседании диссертационного совета Д 212.146.04 при Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский государственный университет леса» по адресу: 141005, Московская область, г. Мытищи, ул. Институтская, д. 1, МГУЛ. С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «МГУЛ» Автореферат разослан « » ноября 2013г. Ученый секретарь диссертационного совета кандидат технических наук, доцент Тарасенко П.А. 3 Общая характеристика работы. Актуальность работы. Достижения в области технологий аэрокосмического мониторинга леса в первую очередь обязаны достижениям космической техники и космического приборостроения. Для мониторинга лесов широко используются спутниковые данные низкого, среднего и высокого разрешения. Лесные службы используют снимки с зарубежных КА: TERRA, Landsat (ETM), SPOT, IRS, ERS(SAR), ENVISAT(ASAR) и снимки с российских КА: «Ресурс-01», «Метеор-3М», «Монитор-Э». Все более широко используются данные детального разрешения зарубежных КА: IKONOS, Quick-Bird, ALOS; российские потребители начали работы с данными КА «Ресурс-ДК». Помимо оптических данных для районов, покрытых облачностью большую часть года, используются радиолокационные данные. Поставкой космических снимков для отечественного рынка занимаются как государственные (ФГУП НЦ КМЗ, Госцентр «Природа»), так и коммерческие организации (ИТЦ Сканэкс, Совзонд и др.). Большой вклад в создание методов обработки космических снимков лесов внесли организации Рослесхоза (ВНИИЛМ, «Авиалесохрана», «Центрлеспроект», «Севзаплеспроект», «Запсиблеспроект»), академические институты: ИКИ РАН, ИРЭ РАН, ЦЭПЛ РАН, ИЛ СО РАН; научные центры: ЦПАМ «АЭРОКОСМОС»; вузы: МГУЛ, СПбЛТА, МарГТУ. Однако в настоящее время отчетливо проявился ряд факторов, сдерживающих мониторинга развитие леса. и Уровень внедрение технологий методических аэрокосмического разработок, практического применения и данных дистанционного зондирования в лесном хозяйстве остается недостаточным. Отсутствует координация научно-исследовательских и методических работ на отраслевом, межотраслевом и международном уровнях. Производственные организации, выполняющие лесоинвентаризационные работы, в недостаточной степени используют информацию аэрокосмических снимков. 4 Кроме того, данных, полученных со снимков, состоящих из малого числа спектральных каналов (3-30 в зависимости от спутника), зачастую недостаточно для дешифровки с производственной точностью. По данным отечественных и зарубежных исследований с каждым годом в мире все большим спросом пользуются гиперспектральные снимки с количеством каналов от 80 и выше. Это отчетливо видно на рис.1 Рис. 1 Оценка спроса на различные типы данных. Поэтому наиболее перспективным направлением является использование именно таких снимков и совершенствование технологии их обработки. Теоретические предпосылки к решению этой проблемы созданы трудами отечественных и зарубежных ученых: Сухих В.И., Кондранин Т.В., Родионов И.Д., Козодеров В.В., Галкин Ю.С. и др., Means J.E., Hudak A.T. Данная работа находится в русле дальнейшего перечисленными учеными. развития технологий, разработанных 5 Цель работы. Целью данной диссертационной работы является разработка метода и алгоритмов обработки информации с гиперспектрального снимка при дистанционной дешифровке объектов (на примере растительности) с уменьшением влияния внешних и субъективных факторов. Задачи исследования. Для достижения поставленной цели в работе были решены следующие задачи: 1) выполнить анализ современного состояния технических средств и существующих методов обработки информации дистанционного зондирования Земли в мире и России. 2) провести разработку автоматизированного метода обработки гиперспектральных снимков, который позволил бы решить проблему влияния внешних факторов (шум, облачность, тень, дождь и т.д.) и субъективности восприятия оператора; 3) разработка математического, алгоритмического и программного обеспечения обработки информации с гиперспектральных снимков на основе полученного метода и алгоритмов; 4) провести экспериментальную проверку применимости предложенного метода на основе модельного снимка; 5) провести экспериментальную проверку применимости предложенного метода в реальных условиях. Методы представлении исследований процессов основаны получения и на цифровом преобразования компьютерном информации с аэрокосмических снимков, корректном использовании положений теории о nмерных пространствах, а также с учетом существующих математических методов обработки космической информации. Положения, выносимые на защиту. На защиту выносятся: 1) метод и алгоритмы обработки гиперспектральных данных с учетом внешнего воздействия среды; 2) компьютерная модель реализации метода и алгоритмов обработки информации с гиперспектрометров; 6 3) результаты экспериментальной проверки эффективности разработанных метода и алгоритмов на модели космического снимка; 4) результаты экспериментальной проверки эффективности разработанных метода и алгоритмов в реальных условиях. Научная новизна. Предложен новый подход в структурировании и предварительной обработке гиперспектральных данных, а также автоматическому дешифрированию гиперспектральных снимков. К новым результатам относятся: 1) метод получения дополнительной информации независимой от влияния внешних воздействий при дистанционной дешифровке объектов; 2) теоретическое обоснование эффективности предложенного метода и алгоритмов на основе математического евклидового пространства; 3) разработан алгоритм по структурированию и предварительному представлению гиперспектральной информации; 4) разработанные алгоритмы по автоматизированной обработке гиперспектральных снимков, независящие от внешних факторов среды и субъективного восприятия дешифровщика; 5) разработанное программное обеспечения, реализующее вышеописанные метод и алгоритмы. Практическое значение результатов работы. Теоретические и модельные исследования завершены созданием на их основе математического, алгоритмического и программного обеспечения автоматизированной обработки информации космических гиперспектральных снимков, которое позволит решить следующие практические задачи: 1) оптимизацию гиперспектральных данных при дешифровке без потери информации при структурировании и представлении; 2) уменьшение влияния внешних факторов среды (шум, облачность, тень, дождь и т.д.) на конечный результат обработки при съемке территории; 3) устранение зависимости результата обработки гиерспектральных снимков от квалификации дешифровщика. аэрокосмических 7 Достоверность строгостью результатов, применения изложенных математического в работе, аппарата, обоснована сопоставлением результатов численного моделирования с данными из независимых источников, а также с данными, полученными в результате экспериментальных исследований на модельном и реальном снимках. Апробация работы. Результаты диссертации прошли апробацию на научных конференциях: 1) международная конференции посвященная 50-летнему юбилею факультета электроники и системотехники, которая состоялась 3 февраля 2009 года в Центре управления полетами в городе Королеве; 2) 5 международная конференция - "Космическая съёмка - на пике высоких технологий", проводимая компанией «Совзонд» 13-15 апреля 2011 года в Москве; 3) отчетная аспирантская научно-техническая конференция в Московском государственном университете леса 12 мая 2011 года. 4) научно-техническая конференция в Московском государственном университете леса 25 января 2012 года. Публикации. Результаты диссертации изложены в 5 печатных работах. Все работы опубликованы в журналах, входящих в «Перечень российских рецензируемых журналов, и рекомендованных для публикации основных научных результатов диссертации на соискание ученой степени доктора и кандидата наук в редакции 2013 года». Структура и содержание диссертационной работы Диссертационная работа состоит из введения, трех глав с выводами, заключения, списка литературы. Общий объем диссертации 138 страниц, в том числе 74 рисунков, 14 таблиц, список литературы состоит из 131 наименований (из них 26 иностранных источников). Содержание работы Во введении диссертации обоснована актуальность темы, сформулированы основная цель и задачи исследований, раскрыта научная и 8 практическая ценность работы, приведены результаты реализации и апробации работы, а также основные положения, выносимые на защиту. В первой главе дается краткий обзор состояния дистанционного зондирования Земли из космоса и анализ существующих методов обработки данных (методов исследований в оптическом диапазоне, геоинформационных, автоматизированных, алгоритмических и статистических методов). В качестве вывода приводятся наиболее перспективные направления для дальнейшей модернизации и развития. Бурное развитие систем дистанционного зондирования Земли как в плане интенсивного роста числа спутников, оснащенных съемочной аппаратурой, так и в смысле качественного совершенствования сенсоров и другой бортовой революционными аппаратуры скачками в идет неравномерно, одних направлениях сопровождается и отставанием, информационным дефицитом – в других. Только за последние несколько лет запущено 11 коммерчески доступных спутников дистанционного зондирования Земли, причем темпы явно нарастают: 2004 г. – 1 запуск (Formosat-2), 2005 г. – 2 (IRS P5 и Монитор-Э), 2006 г. – 4 (Ресурс-ДК, Kompsat2, EROS-B, ALOS). В 2007 г. уже осуществлен успешный запуск 4 аппаратов (Cartosat-2, TerraSAR-X, CosmoSkyMed-1, WorldWiew-1) и планируется запуск еще трех аппаратов (GeoEye-1, RADAR-SAT-2, CosmoSkyMed-2). Используемые в настоящее время дистанционные методы, как правило, являются косвенными, т. е. измеряются не интересующие параметры объектов, а некоторые связанные с ними величины. Широта охвата является характерной чертой спутниковых методов исследования Земли. К тому же эти методы, как правило, позволяют получить результат за сравнительно короткий интервал времени. Для Сибири с её просторами спутниковые методы в настоящее время являются наиболее предпочтительными. Основные области применения спутниковых данных дистанционного зондирования – получение объективной оперативной информации о состояния 9 окружающей среды и о природопользовании, мониторинг природных и техногенных опасных ситуаций и катастроф. Определен предмет исследований – разработка новых метода и алгоритмов дешифрирования космических изображений высокого разрешения с большим числом каналов, направленных на автоматизацию обработки данных дистанционного зондирования земли, повышения ее информативности и выделению новых признаков обработки. Во второй главе приводится теоретическое обоснование метода представления гиперспектральных данных и их обработки, а также краткое описание самого метода. Метод представления основанный на пространстве и и статистических цифровом обработки методах представлении гиперспектральных обработки данных, отражательных данных, n-мерном способностей предметов. Как показывает практика, для работы с таким большим массивом данных, как гиперспектральные снимки, необходимо проводить первичную обработку данных и их структурирование, и представление. Анализ существующих методов обработки гиперспектральных снимков позволяет выявить их особенности и специфику. Визуализация является малоэффективным алгоритмом в анализе данных гиперспектрального снимка. Эти данные не только обширные, но и многомерные в диапазоне от 400 до 2400 нм. Такое представление имеет существенный недостаток. Так как человеческий глаз видит в диапазоне от 200 до 600 нм, то визуализация гиперспектральных данных ведет к большой потере информации. Таким образом, вся информация, не вошедшая в этот диапазон, будет при такой работе представление. утеряна. Подобное Более информативным представление позволяет будет невизуальное определить кривую спектральной яркости объекта в чисто цифровом виде и дает возможность 10 выделить объект, не прибегая к визуальному представлению изображения, а используя его как иллюстрацию. 46 43.7 41.4 39.1 36.8 34.5 32.2 ydata 29.9 y1data27.6 y2data25.3 y3data 23 y4data20.7 18.4 16.1 13.8 11.5 9.2 6.9 4.6 2.3 400 435 470 505 540 575 610 645 680 715 750 785 820 855 890 925 960 xdata xdata xdata xdata xdata Рис.2 Невизуальное представление гиперкуба. 995 1030 1065 1100 Реализация этого подхода в работе осуществляется путем построения невизуальной версии гиперкуба. При построении и описании невизуального представления данных были использованы статистического анализа и определения методы многомерного свойств линейного n-мерного пространства. Каждый канал гиперспектрального снимка представляется как массив пикселей (1). (1) 11 С учетом количества каналов образуется n-мерное пространство таких массивов, где n количество каналов снимка. Эти массивы связанные между собой, представляют трехмерный куб. Каналы гиперспектрального снимка представляют информацию о снимке в диапазоне от 0 до 2400 нм с шагом от 10 до 20 нм в зависимости от характеристик гиперспектрометра. Следовательно, каждый пиксель на снимке характеризует спектральную яркость объекта на данной длине волны. По этим данным можно построить кривую отражательной способности объекта. Ниже приведен пример кривой отражательной способности сосны, где по оси Y отложена отражательная способность, по оси X длина волны. (Рис.3) 46 43.7 41.4 39.1 36.8 34.5 32.2 ydata 29.9 y1data27.6 y2data25.3 y3data 23 y4data20.7 18.4 16.1 13.8 11.5 9.2 6.9 4.6 2.3 400 435 470 505 540 575 610 645 680 715 750 785 820 855 890 925 960 995 1030 1065 1100 xdata xdata xdata xdata xdata Рис.3 Кривая отражательной способности сосны. Данная кривая характеризует отражательную способность объекта в конкретной точке снимка. Совокупность кривых для всех пикселей, всех точек снимка позволяет получить представление гиперспктрального снимка как массива кривых отражательных способностей объектов в каждой точке снимка. Указанное представление исходной информации позволило предложить формализованный метод уменьшения зависимости результатов дешифровки от внешних факторов при съемке (спектральные тренды, недостаток освещения, угол съемки, задымленность и другие шумовые характеристики). Суть метода состоит в создании разностной матрицы на основе сдвинутых матриц одного и того же гиперспектрального представления пикселей (рис.4,5). 12 Рис.4 Кривые отражательных способностей сосны (красный) и ольхи (зеленый), построенные по данным спектров лесных пород. Рис.5 Кривые отражательных способностей сосны (красный) и ольхи (зеленый), построенные по данным разностных матриц спектров лесных пород. Для реализации предложенного метода в диссертации разработан алгоритм, который представлен следующей последовательностью операций: 1) из исходного гиперспектрального изображения создают и записывают матрицу интенсивностей всех спектральных каналов для определяемого пиксела; 2) сдвигают матрицу по оси частот (по номерам каналов) и записывают ее; 3) матрицы вычитают (из второй первую) и записывают разностную матрицу; 4) указанные действия повторяют для всех пикселов изображения. В результате будет трехмерная матрица по координатам пикселов и длинам волн (или номеров каналов). 13 Кривые разностных матриц приведенные на рис. 3 образуют набор информативных признаков, относящихся к каждому исходному спектру. Такими признаками могут являться, в зависимости от конкретной задачи положительная и отрицательная амплитуды, расстояния между нулями положительной и отрицательной полуволн и комбинации (например, суммы и разности соответствующих параметров) и т.д. В таблице 1 приведена разрешающая способность новых признаков и существующих, для оценки преимуществ. Таблица 1 разрешающая способность новых и существующих признаков сосна 51% 136% 132% 30% ольха 136% 45% 132% 23% (Max-min)/среднее по y (Max-min)/среднее по x (Разница полуволн)/среднее Разрешающая способность(NDVI) Разрешающая способность методов 35% 25% кластерного анализа Разрешающая способность статистических 25% 20% методов Для реализации этого алгоритма было разработано программное обеспечение DESH, с использованием которого была построена математическая модель процесса обработки информации с гиперспектрометра на основе предложенного метода. В третьей главе проводится апробация и экспериментальная проверка разработанных метода и алгоритмов на модели космических снимков с помощью разработанного программного обеспечения DESH. Описывается программное обеспечение DESH, принцип построения и расчета шумовых характеристик для кривых отражательных способностей и статистический анализ и проверка эффективности разработанных методов на модели космических снимков. Программное обеспечение DESH реализует две функции: 1. Создает модель космического гиперспектрального снимка с определенным количеством объектов на нем (в том числе лесных и сельхоз пород). 14 2. Проверяет работу разработанных метода и алгоритмов. Для описания программы нам будет достаточно смоделировать снимок состоящий из 25 пикселей (5*5). Программа направлена на определение пяти (сосна, ель, береза, осина, ольха), которые пород растительности в случайном порядке регенерируются при работе программы в поле матрицы Входные данные 5 на 5. Каждому полю матрицы соответствует пиксель с одной из пород растительности. Каждая порода в свою очередь задается при помощи кривой из сорока точек в двумерном пространстве. Программа DESH включает в себя библиотеку эталонов вышеуказанных пород растительности. В поле “Эталон” появляется матрица пикселей эталонов пород растительности и шумовых пикселей. В поле “Входные” появляется матрица пикселей неклассифицированных пород, заданных с помощью библиотеки и шумовой характеристики, которая изменяет координаты точек каждой из кривой библиотеки эталонов. Далее над матрицей «Входные данные» проводят преобразования, приведенные в алгоритме, по всем признакам и полученный результат попиксельно сравнивают с библиотекой эталонов. Классифицированную матрицу записывают в поле “Выходные данные” (рис.6). Рис. 6 Пример работы программы DESH 15 Далее в 3 главе приводится статическая оценка эффективности метода с учетом смоделированных внешних факторов (шумов) на примере модельного снимка в 5625 пикселей (75*75). Для моделирования внешних факторов проделаны следующие операции: точки эталонного графика сдвигаются вверх или вниз по оси y, то есть изменяется отражательная способность каналов (для достоверности программа изменяет случайное количество точек, но не менее 70%, случайным образом, но не менее чем на 2 единицы). Далее приводится статистический анализ на модельном снимке с помощью разработанного программного обеспечения. На каждом этапе будем увеличивать пороговую погрешность, а так же минимальное количество необходимых совпадений. Для простоты сравнения в правом нижнем углу находится окно «Количество определенных пород», в котором приведена таблица, показывающая эталонный набор пород на снимке (колонка «Эталон») и количество определенных пород (колонка «Выходные данные»), в количественных и процентных показателях от всего снимка. К примеру «Сосна: 1873 – 37%», означает, что на снимке 1873 сосновых породы, что составляет 37% от всего количества пород на снимке. Для достоверности модельного снимка, 2% и эталонного и обрабатываемого снимка, будут заполняться породами с кривыми отражательных способностей, задаваемыми в абсолютно произвольном порядке и даже близко не подпадающие ни под один из эталонов. В окне «Количество определенных пород» такие породы обозначены как «Другое»1,2,3. (Рис. 7) 16 Рис. 7 Результат работы программы (для всех пород) Увеличим погрешность на 15 процентов. (Рис.8) После увеличения погрешности до 15% правильность определения пород снизилась: сосна – 97%, ель – 100%, береза – 70%, осина – 69%, ольха – 77%, другое (в целом) – 11%. Ниже приведена сводная таблица 2 разрешающих способностей объектов, наглядно иллюстрирующая преимущества новых дешифровочных признаков. Рис. 8 Результат работы программы при отклонении в 15 единиц 17 Таблица 2 Разрешающая способность дешифровки по каждой породе сосна 51% 136% 132% 30% ель береза 50% 136% 45% 45% 44% 132% 32% 23% осина 147% 91% 58% 24% ольха 114% 182% 132% 23% Сумма амплитуд Период переколибаний Разница полуволн Дешифровка по NDVI Дешифровка методами 35% 35% 25% 30% 25% кластерного анализа Дешифровка 25% 25% 20% 20% 20% статистическими методами Далее в диссертации приводится описание проверки эффективности разработанных метода и алгоритма на натурном снимке. Для проверки эффективности разработанных метода и алгоритмов в реальных условиях были взяты гиперспектральные и наземные данные, предоставленные одной из ведущих в России организацией по разработке технического и программного обеспечения для гиперспектральных измерений. Для проверки был предоставлен гиперспектральный снимок, состоящий из 287 каналов в диапазоне от 300 до 900 нм, с пространственным разрешением 1,8 м. Для оценки полученных результатов были также предоставлены наземные (априорные) данные того же участка, который изображен на снимке с подробным описанием количественных и качественных характеристик пород и объектов на снимке. Для определения на снимке были взяты следующие 7 пород: лен, лен с сорняками, лежь, рожь, рижик, пшеница, крапива. Также в отдельный класс была выделена лесополоса, точный данных по которой предоставлено не было. Из гиперспектрального снимка была выделена спектральная яркость каждой породы. Далее, используя наземные (априорные) данные и гиперспектральный снимок, был создан и занесен в программное обеспечение эталонный образец дешифровки. Гиперспектральный снимок был введен в программное обеспечение, проведена его обработка и сравнение результатов с эталоном (Рис.9). 18 Рис. 9 Результат обработки гиперспектрального снимка с помощью программного обеспечения DESH. После сравнения результатов видно, что расхождение при определении пород составило лишь один процент, лен и лен с сорняками определились стопроцентно. Наибольшее расхождение получилось при определении лесополосы, но это произошло из-за того, что данных о породах, попавших в лесополосу, предоставлено не было. Для сравнения результатов данный снимок был обработан тремя наиболее распространенными методами. Результаты обработки этих методов и полученного метода представлены ниже в таблице 3. Таблица 3 Результат обработки новым и существующими методами дешифровки Количество правильно определенных пород % 95 Разрешающая способность(DESH)% Разрешающая 37 способность(NDVI)% Разрешающая способность методов 59 кластерного анализа Разрешающая способность 35 статистических методов % Таким образом, данные таблицы №3 показывают, что эффективность разработанных методов и алгоритмов превосходит существующие методы. 19 Заключение. К основным результатам работы можно отнести следующее: 1. Проведен анализ состояния текущих технических средств и существующих методов дистанционного зондирования земли из космоса в мире, и России в частности, с выявлением конкретных недостатков. 2. Предложен новый способ представления гиперспектральных данных на основе n-мерного пространства и новый способ обработки гиперспектральных снимков, применение которых, обеспечивает: - Использование всей информации гиперспектральных данных, поступающих со снимка. - Устранение негативного влияния внешних факторов при обработке снимка. - Создание автоматизированной системы дешифрирования и устранение зависимости процесса обработки от квалификации дешифровщика. - Разработаны структурированию метод и гиперспектральных алгоритмы данных по с оптимизации целью и повышения информативности. - Разработаны алгоритмы для решения проблемы негативного влияния среды при обработке гиперспектральных снимков. 3. На основе разработанных метода, алгоритмов и исследований создано программное обеспечение. 4. Проведена статистическая оценка качества алгоритмов, метода и программного обеспечения на основе оценки допустимой погрешности и устойчивости метода к внешним изменениям на модельном снимке. 5. Проведена проверка алгоритмов на натурном снимке. эффективности разработанных метода и 20 ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ 1. *Галкин Ю.С., Шалаев В.С., Батырев Ю.П., Потапов В.Н., Семенова В.П., Эсаналиев Ч.Д. Определение по космическим снимкам биометрических и продукционных характеристик растительности // Вестник Московского государственного университета леса - Лесной вестник. - 2009 № 6(69) с.20-24. 2. *Галкин Ю.С., Шалаев В.С., Батырев Ю.П., Потапов В.Н., Семенова В.П., Эсеналиев Ч.Д. Особенности применения лесотаксационной информации при тестировании космических снимков // Вестник Московского государственного университета леса - Лесной вестник. – 2010 № 7(76) с. 37-39. 3. *Галкин Ю.С., Шалаев В.С., Батырев Ю.П., Потапов В.Н., Эсеналиев Ч.Д. Метод Обработки информации с гиперспектрометров для оперделения породы растительности при дистанционном мониторинге // Вестник Московского государственного университета леса - Лесной вестник. – 2011 №7(83) с. 79-82 4. *Галкин Ю.С., Шалаев В.С., Батырев Ю.П., Потапов В.Н., Эсеналиев Ч.Д. Методы определении амплитудной породного селекции состава спектральных лесов // максимумов Вестник при Московского государственного университета леса - Лесной вестник. – 2011 №7(83) с. 83-86. 5. *Галкин Ю.С., Потапов В.Н. Обработка модели гиперспектрального снимка с использованием дополнительных дешифровочных признаков. // Вестник Московского государственного университета леса - Лесной вестник. – 2012 №7 (90) с.41-45. * Научная работа, опубликована в ведущем рецензируемом журнале, определенном ВАК.