О создании распределенной информационно-аналитической системы на основе Web и GRID-технологий для поддержки Программы ДВО РАН «Биологическая безопасность дальневосточных морей России» Программа ДВО РАН «Биологическая безопасность Дальневосточных морей России Актуальность разработки РИАС для поддержки Программы «Биобезопасность» • Программа «Биобезопасность» посвящена решению научной задачи, имеющей большое фундаментальное и прикладное значение • В рамках Программы предполагается объединить усилия специалистов разных научных направлений (биологов, физиков, химиков, океанологов) из нескольких учреждений Российской академии наук • В подобных случаях для координации работы всех исследователей, для совместного использования территориально разнесенных информационных, аналитических и вычислительных ресурсов рекомендуют создавать и применять распределенные информационно-аналитические системы на основе технологии GRID Grid - новая ИТ-технология для поддержки научных исследований, развиваемая с конца 1990-х годов Grid (Грид) – географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения Базовые идеи концепции GRID : • Объединение географически распределённых разнородных ресурсов: ▫ вычислительные ресурсы ▫ хранилища данных • Виртуальная организация – объединение нескольких предприятий и/или отдельных специалистов для совместного решения задач с использованием обобщённых ресурсов • Применение стандартных, открытых протоколов - OGSA Авторы концепции GRID - Ian Foster, Karl Kesselman Текущее состояние проблематики GRID • На сегодняшний день в мире успешно действуют несколько сотен научных GRID-проектов • Несколько научных GRID-проектов разрабатываются в России, кроме этого многие российские организации и специалисты участвуют в международных GRID-проектах • В перечне программ фундаментальных исследований Президиума РАН есть программа "Разработка фундаментальных основ создания научной распределенной информационно-вычислительной среды на основе технологий GRID" • Существует мнение, что в 21 веке изменится парадигма процесса научного познания – основные научные прорывы будут все чаще осуществляться большими интердисциплинарными научными коллективами, специально создаваемыми для решения больших научных задач. При этом GRID будет базовой технологией для поддержки эффективной и согласованной работы территориально разнесенных участников таких интердисциплинарных коллективов. Что даст разработка и применение распределенной информационно-аналитической GRID-системы Программы «Биологическая безопасность ДВ-морей России» ? • Повышение общей эффективности работ по Программе, поскольку: • Увеличится эффективность работ на каждом рабочем месте участника Программы, куда будут оперативно предоставляться все необходимые для успешной работы ресурсы: данные, средства из визуализации и анализа, высокопроизводительные вычислительные ресурсы • Увеличится координация между всеми участниками Программы, поскольку они будут работать с едиными информационными и аналитическими ресурсами, смогут видеть результаты работы своих коллег, возможно, предлагать проведение совместных исследований, полезных для решения задач Программы • Повысится управляемость процессом исследований, поскольку руководители Программы и отдельных НИР смогут оперативно оценивать текущее состояние работ и своевременно предпринимать необходимые управляющие действия. • В ДВО РАН будет получен первый опыт реализации полнофункционального междисциплинарного GRID-проекта Как будет реализована GRID-поддержка Программы «Биобезопасность» ? Так же, как она реализована во многих известных научных GRIDпроектах Будут использоваться: - П О «среднего уровня», поддерживающее базовые GRID сервисы ОGSA - портальная надстройка (GRID-портал), обеспечивающая единую точку входа всех пользователей и удобный интерфейс с ПО среднего уровня ПО среднего уровня будет реализовано на базе Globus Toolkit Портальная надстройка – на базе технологии GridSphere Аналоги : GRID-портал для моделирования атмосферы • Lead Gateway Portal (https://portal.leadproject.org) GRID-портал национальной вычислительной сети США • TeraGrid User Portal (http://portal.teragrid.org) GRID-портал РИАС «Биобезопасность ДВ-морей», начальная страница (адрес: http://ibm-81.poi.dvo.ru/) Пользователь прошел авторизацию. В интерфейсе появились закладки портлетов, к которым ему открыт доступ. В приветственном портлете эти права подробно разъясняются. Организационные портлеты институтов-участников Программы координируют деятельность отдельных исполнителей. Пример: портлет ТОИ ДВО РАН, раздел - Форум Организационный портлет всей Программы. Координирует работу организаций-соисполнителей. Отображена страница «Публичные документы» с перечнем технических заданий и отчетов по НИР Еще есть портлеты общего назначения – архив данных, архив программ, картографический сервис и т.д. Проблемно-ориентированные портлеты поддерживают важные научные задачи, решаемые в рамках Программы. Пример: портлет «Биоразнообразие» (участвуют ИБМ, ТОИ, ИПМТ) Ролевые функции – технический редактор, эксперт-биолог, пользователь Задача: организация системы непрерывного контроля параметров состояния морского биоразнообразия на основе данных подводной фото и видеосъемки. Для выбора района исследований можно использовать картографический сервис (пример: карта морского полигона вблизи о-ва Пелис) Альтернативный способ навигации: по каталогу видеоизображений. Можно уточнить полигон, время съемки, используемый аппарат и т.д. Пользователь в роли «Технический редактор» может редактировать технические параметры фотоизображения Пользователь в роли «Эксперт-биолог» может составлять биоописания изображений (составлять перечень всех присутствующих на изображении морских объектов с указанием их биологического вида, местоположения, среднего размера, площади, вытянутости, ориентации). В данном случае применена методика ручного распознавания, описаны 4 звезды, 7 ежей, 2 асцидии Для распознавание некоторых видов «Эксперт-биолог» может применять процедуры автоматического распознавания, но при этом он должен контролировать результат их примения. Пример автоматическое распознавание офиур. В случае затруднений «Эксперт-биолог» может вызвать справочную систему по всем зарегистрированным в системе биологическим видам. Пользователь в роли «Пользователь» может лишь запрашивать и просматривать изображения вместе с экспертными биоописаниями. Помимо стандартных фильтров (полигон, аппарат, время) он может использовать «биофильтр». В приведенном примере будут выбраны сцены, где присутствуют более одной амурской звезды с размером (максимальным диаметром) больше 15 см и больше двух офиур с размером менее 10 см. Просмотр «пользователем» биоописания запрошенной сцены После того, как экспертами будут составлены биоописания по достаточно большой совокупности изображений, в портлете «Биоразнообразие » будут реализованы средства статистического анализ показателей биоразнообразия В частности, предполагается обеспечить 1. Анализ временной динамики популяций различных видов в заданных полигонах 2. Анализ пространственной динамики показателей биоразнообразия Основные направления дальнейшего развития РИАС Программы «Биобезопасность ДВ-морей» 1. Совершенствование организационных портлетов GRIDпортала с целью улучшения технологий взаимодействия участников Программы и повышения общей управляемости работами по Программе «Биобезопасность» 2. Совершенствование проблемно-ориентированного портлета «Биоразнообразие» в части автоматизации процесса составления биоописаний и статистического анализа. Активизация работы экспертов по составлению биоописаний массивов изображений полученных в период с 2004 по 2008 годы. Основные направления дальнейшего развития РИАС Программы «Биобезопасность ДВ-морей» (продолжение 1) 3. 4. Разработка новых проблемно-ориентированных портлетов. В частности, портлета для автоматизации процесса описания растительных сообществ по данным микроскопических исследований Организовать взаимодействие РИАС «Биобезопасность» с Океанологической информационно-аналитической системой ДВО РАН. Это позволит при анализе биологических параметров состояния ДВ-морей использовать информацию об оказывающих на них существенной влияние гидрологических, гидрохимических, геофизических, метеорологических и иных параметрах состояния природной среды. Кроме этого будет возможно использовать сопровождающие ОИАС программы аналитической обработки данных, моделирования и прогноза гидродинамических и биогеохимических процессов в прибрежных акваториях и морях дальневосточного региона. Для справки: Океанологическая Информационно-Аналитическая Система ДВО РАН Разрабатывается в ТОИ ДВО РАН с 2001 года на основе Web, ГИС и GRID технологий. Назначение : накопление и предоставление ученым ДВО РАН в совместное использование 1 – всех потенциально доступных данных по состоянию Дальневосточных морей 2 – эффективных средств визуализации и аналитической обработки данных 3 – высокопроизводительных вычислительных ресурсов для поддержки трудоемких задач ОИАС предоставляет зарегистрированным пользователям данные о состоянии морского дна, толщи водной среды, поверхности и атмосферы Вместе с данными предоставляются аналитические средства для их обработки Для решения вычислительно трудоемких задач в ОИАС организована поддержка технологий распределенных и суперкомпьютерных вычислений на базе средств Condor и Globus Toolkit ТОИ ДВО РАН ИАПУ ДВО РАН ClassAd ClassAd MPI Condor GRAM GridFTP GSI HTTP SOAP HTTP ГИС - сервер GRAM GridFTP GSI Вычислительный кластер Globus Основные направления дальнейшего развития РИАС Программы «Биобезопасность ДВ-морей» (продолжение 2) 5. Для создания на базе РИАС системы непрерывного комплексного оперативного мониторинга состоянии биоразнообразия на базовых полигонах в з. Петра Великого целесообразно взять за основу ранее созданную при поддержке Телекоммуникационной комиссии ДВО РАН GRIDинфраструктуру научного мониторинга залива. При этом крайне важно пополнить телекоммуникационную инфраструктуру новыми узловыми точками в МБС «з. Восток» и на кордоне ДВГМЗ на о. Фуругельма. Для справки: Информационно-телекоммуникационная инфраструктура оперативного научного мониторинга побережья и акваторий залива Петра Великого Разворачивается специалистами ТОИ и ИАПУ при поддержке ТК ДВО РАН Данные удаленных экспериментов по телекоммуникационным каналам поступают в ОИАС ДВО РАН, где обрабатываются и предоставляются пользователям Телекоммуникационная инфраструктура состоит из двух частей Первая: базовая сеть залива Петра Великого, включающая несколько узловых точек, соединенных цифровыми радиоканалами (красным цветом отмечены действующие узлы и каналы , синим - планируемые) Вторая часть: зоны покрытия акваторий и территорий локальными IPрадиоканалами (красные – действующие, синие - планируемые). Обеспечивают возможность передачи данных удаленных экспериментов сначала в береговые центры приема данных, затем в основные БД ОИАС. Актуальные задачи в части развертывания системы биологического мониторинга акваторий: 1 - подключение к телекоммуникационной сети Залива Петра Великого новых узловых точек на МБС «з. Восток» и кордоне ДВГМЗ на о-ве Фуругельма 2 - развертывание локальных систем IP-телеметрии акваторий около МБС «з. Восток», о. Большой Пелис и о. Фуругельма 3 - развертывания систем сбора информации о состоянии биотических и абиотических параметров состояния морских экосистем на полигонах, традиционно используемых в исследованиях по Программе «Биобезопасноость» Основные направление развития РИАС Программы «Биобезопасность ДВ-морей» (продолжение 3) 5. Развертывание на морских биологических станциях и кордонах систем видеомониторинга морских акваторий, подобных используемым в ОИАС ДВО РАН . Для справки: Подсистема видеомониторинга акваторий в составе ОИАС ДВО РАН 1. Используются 4 IP-камеры (1 на о. Попова, 2 на м.Шульца. 1 на о. Б.Пелис) и оптико-поляризационный комплекс О.Г. Константинова 2. Фиксируется информация трех видов: моментальные снимки, обзорные панорамы, короткие видеозаписи 3. Вся видеоинформация сохраняется в БД ОИАС 4. Пользователям ОИАС предоставляются удобные средства для поиска и отображения нужной видеоинформации 5. Также предоставляются программы, позволяющие извлекать полезную океанологическую информацию из изображений и видео акваторий. Пример: визуализация процесса выноса льда из Амурского залива 28 января 2010 г. по данным обзорных панорам акваторий около о. Попова Основные направление развития РИАС Программы «Биобезопасность ДВ-морей» (продолжение 4) 6. Развертывание на морских биологических станциях и кордонах систем подводного видеомониторинга для долговременного наблюдения за жизненным циклом некоторых видов морских биологических объектов 7. Реализация в РИАС специальных портлетов для представления результатов выполнения работ по Программе «Биологическая безопасность ДВ-морей» заинтересованным научным специалистам ДВО РАН, преподавателям и студентам дальневосточных вузов, органам управления территориями . Для этого в РИАС должны быть реализованы соответствующие интерфейсы. Благодарю за внимание