ИНТЕГРИРОВАННАЯ ИНФОРМАЦИОННАЯ СИСТЕМА ТЕМАТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ М.В. Энгель, В. В. Белов Институт оптики атмосферы им. В.Е. Зуева СО РАН Новороссийск, 21-26 сентября 2015 Center for International Earth Science Information Network National Oak Ridge Snow and Ice Data National Laboratory Center Marshall Space Flight Center Goddard Space Flight Center Langley Jet Propulsion Research Laboratory Center EROS Data Center Alaska Satellite Facility EOSDIS Data Warehouse ЦКН ИКИ РАН Росавиакосмос НИЦ "Планета" ИСЗФ РАН Системы архивации и долговременного хранения спутниковых данных ИСДМ Рослесхоз Cервис ВЕГА Динамический каталог данных НИЦ «Планета»: Европейский, НЦ ОМЗ Технология GEOSMIS Сибирский и Дальневосточный РЦПОДы 2 Интеграция распределенных данных на примере информационной системы атмосферной коррекции спутниковых изображений Типы данных о состоянии атмосферы 1. Среднеклиматические и региональные метео- и оптические модели; 2. данные радиозондирования; 3. наземные данные об аэрозоле и влагосодержании: AERONET, AEROSibNET; 4. прогностические данные: вертикальные профили температуры и влажности атмосферы; 5. спутниковые данные об оптико−метеорологических параметрах атмосферы: MODIS/EOS Условия использования данных при атмосферной коррекции: точностные характеристики; достаточное пространственное и временное разрешение; наличие сетевых ресурсов MODIS/EOS 4 ОПТИКО-МЕТЕОРОЛОГИЧЕСКАЯ ИНФОРМАЦИЯ Требования к источникам данных об атмосфере o Наличие метаданных для описания данных. o Использование унифицированного формата для записи данных. o Доступ к данным по стандартным сетевым протоколам. Возможные источники метеоданных o The Level 1 and Atmosphere Archive and Distribution System, Goddard Space Flight Center, NASA LAADS Web [http://ladsweb.nascom.nasa.gov/] o Электронные архивы ИОА СО РАН o Электронные архивы ЦКП ДДЗ СО РАН Спутниковые данные: тематические продукты MODIS (HDF) облачная маска; параметры аэрозоля; параметры облачности; профили температуры и водяного пара. Прогностические модели (GRIB) 5 Функциональная модель информационной системы атмосферной коррекции спутниковых данных НАСТРОЙКА ДАННЫХ НА РАБОТУ С АЛГОРИТМАМИ ОБРАБОТКИ Спутниковые данные: тематические продукты MODIS (формат HDF) Прогностические модели: профили температуры и влажности (формат GRIB) Ожидание ввода задания Задание введено Проверка наличия нового задания q0 Задание есть Определение ключей для поиска метеоданных q1 q 2 Поиск спутниковых метеоданных в локальных источниках Данные найдены Поиск спутниковых метеоданных в удаленных источниках Поиск прогностических метеоданных в локальных источниках Данные не найдены Данные найдены Данные не найдены Копирование метеоданных в рабочую папку q3 Проверка релевантности спутниковых метеоданных Аварийное завершение q4 q7 Данные не релевантные Данные релевантные Проведение расчета Диаграмма состояний системы Определение маски для поиска прогностических данных Определение маски для поиска спутниковых данных Передача результатов расчета пользователю q5 Нормальное завершение q6 8 База данных Признаки состояний Параметры расчета Инфологическая структура данных Служебная информация Общий Объект Управления Системой Параметры инфологической структуры метеоданных: URL Тип данных Приоритет Сетевой протокол Параметры авторизации 9 Оценка релевантности спутниковой оптикометеорологической информации Имя файла: ESDT.AYYYYDDD.HHMM.CCC.YYYYDDDHHMMSS.hdf ESDT — имя продукта (MOD /Terra, MYD /Aqua) Метаданные: имя файла типа (MxD03); MODIS/AQUA MODIS/TERRA MODIS/AQUA + – начало измерений; MODIS/TERRA – + номер коллекции; ASTER/ TERRA – + географические координаты; LANDSAT + + NOAA + + угловые значения. 10 Метод автоматической оценки релевантности спутниковой информации MODIS Получение файлов MxD07_L2 Профили температуры и влажности Восстановление температуры поверхности (канал 31) Качество хорошее Значения радиационной температуры Восстановление температуры поверхности (канал 32) Сравнение температур (ΔТs) [ΔТs>1K] [ΔТs< =1K] Запись состояния в БД Качество неудовлетворительное 11 Диаграмма деятельности системы Задание параметров расчета Задание типа информации (спутниковая, прогностическая) Задание географических и временных параметров Определение ключей для поиска данных Обработка метаданных Определение маски файла Получение данных Определение источника данных (локальный, удаленный) Получение файлов с данными [данные не [данные получены] получены] Аварийное завершение Расчеты Определение релевантности спутниковых метеоданных [не релевант ные] [релевант ные] Расчет атмосферных поправок Предоставление результатов Формирование директории с результатами расчетов Предоставление доступа к результатам по ftp-протоколу Формирование сообщения пользователю Нормальное завершение 12 Программная реализация системы Интерфейс к распределенным данным Обработка метаданных Оценка релевантности спутниковых данных Подготовка и проведение расчета Почтовый сервер АОУ0 АОУ1 АОУ2 Интерфейс БД БД АОУ3 АОУ4 13 «устройство» :web-сервер {ОС Линукс} {web-сервер=apache} {framework=Django} http/ LAN «среда выполнения» :БД {СУБД PostgreSQL} «устройство» :компьютер пользователя :данные пользователя :параметры задания «среда выполнения» :браузер «среда выполнения» :почтовый клиент «устройство» :сервер БД {ОС Линукс} :состояния http/ Internet :служебные данные «устройство» :сервер приложения {ОС Линукс} {сценарии=Python} Программа АОУ0 Программа АОУ0 Inter net ftp/Internet Daemon_Process_0.py «устройство» :сервер приложения {ОС Линукс} {сценарии=Python} Программа АОУ0 Программа АОУ1 Daemon_Process_1.py «среда выполнения» :файловая система «устройство» :почтовый сервер {ОС Линукс} {email сервер=smpt} {сценарии=Python} Программа АОУ4 Daemon_Process_4.py ftp/Internet «устройство» :файловый сервер {ОС Линукс} «среда выполнения» :файловая система :папки с результатами расчетов «среда выполнения» :ftp-сервер :папки с результатами расчетов «устройство» :сервер приложения {ОС Линукс} {сценарии=Python} Программа Программы АОУ0 АОУ2, АОУ3 Daemon_Process_2.py Daemon_Process_3.py Modtran.exe Диаграмма развертывания 14 Используемые программные технологии Трехуровневая архитектура Linux WEB-сервер (Приложения среднего звена) Клиент 1 (браузер) Клиент 2 (браузер) Сервер БД (Управление данными) Python Django C++ и FORTRAN PostgreSQL MODTRAN Клиент n (браузер) 15 Перспективы Расширение диапазона спектральных каналов для проведения атмосферной коррекции; расширение типов оптико-метеорологической информации (спутниковая система VIIRS/ NPP); добавление алгоритмов тематической обработки данных ДЗЗ. 16 Заключение В ИОА СО РАН на основе использования автоматной модели и инфологической схемы данных создан прототип интегрированной информационной системы тематической обработки данных ДЗЗ. На первом этапе разработки в системе реализован алгоритм расчета корректирующих атмосферных поправок. В качестве распределенных источников оптико-метеорологической информации рассматриваются ресурс LAADS Web, а также распределенная инфраструктура ЦКП ДЗЗ СО РАН и электронные архивы спутниковых данных ИОА СО РАН. Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 15-07-06811 А. 17 Благодарю за внимание! 18 Математическая модель спутниковых измерений Lλ=B(λ, Tλ) = ↑ ↑ ↓ ↓ ελB(λ, Ts) Pλ+L TRM +L SOL+ rλ(L TRM +L SOL) Lλ – интенсивность восходящего излучения (эквивалентна радиационной температуре Tλ); Pλ – функция пропускания атмосферы; L↑TRM – интенсивность собственного теплового излучения атмосферы; L↑SOL– интенсивность: рассеянное аэрозолем (облачностью) солнечное излучение; L↓TRM, L↓SOL – интенсивности падающих на поверхность потоков теплового излучения атмосферы и солнечного излучения; B(λ,TS) – функция Планка; ελ – излучательная способность поверхности; rλ=1–ελ – коэффициент отражения поверхности. Чандрасекар С. Перенос лучистой энергии. – М.: Изд-во иностр. лит., 1953. 368 с. 19 Схема атмосферной коррекции Информация о метеорологическом и оптическом состоянии атмосферы Измеренная прибором интенсивность излучения, LS Излучательная способность поверхности, ελ ΔICOR(x,y) = LATM+LRFL+LSCT+LADJ Модель переноса излучения Искажающие характеристики LATM , LRFL , LSCT , LADJ , Pλ Атмосферная коррекция Bλ[TSRF]=(Lλ–ΔICOR)/(Pλ ελS ) Bλ[TSRF]→TSRF(x,y) Температура поверхности Земли (TSRF) Радиационная модель (MODTRAN) Информация о состоянии атмосферы 20 Автоматная модель системы φ z1 a\q q q 0 a1 a1 0 a \ q q q5 5 a6 1 q b6 6 q b 7 a1 z6 Z={A,B,Q, φ,} q b 1 a6 7 q b6 7 q b 7 z1 φ 8 z2 z3 z4 z5 z6 21