Ю У р Г МехМат С П GRID история развития, технологии и стандарты (GTK, OGSA, WSRF, GPE) Радченко Глеб Игоревич ЮУрГУ, кафедра системного программирования 1 У Ю Введение У р Г МехМат С Содержание доклада: – история развития и становления Grid; – что такое Grid; – основные современные технологии Grid. 2 П У Ю Развитие Grid Первый этап. Середина 1990-х – становление и развитие систем распределенных вычислений. Второй этап. 1998 г. – определение термина Grid (Грид) в рамках книги "Грид. Новая инфраструктура вычислений" . Развитие распределенных систем, ориентированных на массивные объемы передачи информации и вычислительные затраты. Третий этап. 2001 г. – уклон в сторону “Виртуальных организаций”. Развитие сервисно-оринентированных подходов, автоматизация методов управления ресурсами. У р Г МехМат С 3 П У Общая тенденция развития Grid Ю У р Г МехМат С П Стандартизация Отдельные методов формирования высокопроизводительные GRID-сред; приложения, отсутствие виртуальные стандартизации организации; сервиснопредоставления ресурсов ориентированный Разработка методов подход управления распределенными вычислительными ресурсами, создания GRID-сред, P2P 4 У Первый этап. Этап становления Grid Ю У р Г МехМат С П Первые проекты по распределенным вычислениям (начало 1990-х) основывались на объединении вычислительных ресурсов суперкомпьютеров. Проект FAFNER: Factoring via Network-Enabled Recursion (Сетевое разложение на множители посредством рекурсии). Проект I-WAY: Information Wide Area Year (Год Информации Глобальных Сетей) – экспериментальная высокопроизводительная сеть, которая объединяла множество высокопроизводительных компьютеров и передовые средства визуализации. Прообраз Globus. 5 У Второй этап. Развитие средств создания Grid Ю У р Г МехМат С П Ближе к концу 1990-х годов наблюдается бурное развитие Grid-систем, начинаются разработки средств создания и управления Grid-сетями и вычислительными ресурсами. В ходе исследований систем распределенных вычислений, Ян Фостер вывел 3 основных требования, которым они должны удовлетворять. • Гетерогенность. • Масштабируемость. • Адаптируемость. Основные проекты: Globus, SETI@home (P2P)… 6 У Третий этап. Развитие виртуальных организаций Ю У р Г МехМат С П Развитие технологий в начале 21-го века приводит к переосмыслению понятия Grid. Теперь оно неразрывно связано с понятием “Виртуальной организации”. ВО - это ряд людей и/или организаций, объединенных общими правилами коллективного доступа к определенным вычислительным ресурсам. Развитие сервисно-ориентированных подходов позволяет гибко использовать одни и те же вычислительные ресурсы многими пользователями. Основные проекты и технологии: Globus, OGSA, WSRF…7 У Сопоставление кластера, Grid, P2P Характеристика Собственники Кластер commodity PC компьютеры один Обнаружение службы членства Распределение/ планирование/ управление централизованное Интероперабельность на базе VIA Образ одной системы Масштабируемость да 100 Возможности гарантированы Пропускная способность средняя Популяция Ю У р Г У МехМат С П Грид P2P профессиональные сетевые концы компьютеры (настольные PC) многие многие централизованный индекс и децентрализовано децентрализованная информация децентрализовано более развитое (например, WSRF) нет 1000 переменны, но высоки высокая децентрализовано стандартов нет нет миллионы переменны очень высокая Ю Что такое Grid? У р Г МехМат С Grid – как электросеть: 1) координирует ресурсы, не подчиняющиеся централизованному контролю… 2) …используя стандартные, открытые протоколы и интерфейсы общего назначения … 3) …чтобы предоставить возможность работы с нетривиальными свойствами служб. 9 П У Пример Grid как совокупности ВО ВО, занимающаяся моделированием сложных 3D объектов Ю У р Г МехМат С ВО, занимающаяся анализом данных, полученных со спутника 10 П У Современные технологии и стандарты Grid • • • • Ю У р Г МехМат С Open Grid Services Architecture (OGSA). Web-сервисы, WSRF. Globus, Globus Tool Kit (GTK). GPE. 11 П У Ю OGSA У р Г У МехМат С П Грид-приложение состоит из множества компонент: – – – – сервис управления ВО; сервис поиска и управления ресурсами; сервис управления заданиями; ... Для обеспечения взаимодействия данных сервисов необходима стандартизация, определение стандартных интерфейсов данных сервисов. Open Grid Services Architecture (OGSA) определяет открытый стандарт для Грид-приложений. 12 Ю OGSA. Базовые интерфейсы У р Г МехМат С П • Поиск: механизмы для поиска сервисов, предоставляющих те или иные возможности или ресурсы (Registry, HandleMap). • Динамическое создание сервисов: стандартные механизмы динамического создания сервисов (Factory). • Управление временем жизни: механизмы, производящие автоматическое завершение работы сервиса и высвобождение занимаемых ресурсов. • Уведомление: универсальный механизм, позволяющий сервисам обмениваться информацией об изменении состояния. • Управление: механизмы для управления ходом работы сервиса (GridService). 13 У Ю Web-сервисы У р Г У МехМат С П Web-сервисы – это основанная на XML платформенно-независимая технология разработки распределенных приложений. Процесс работы с Web-сервисами заключается в обмене между клиентом и сервером XMLсообщениями. Add(5,10) 15 Клиент Div(15,3) 5 Webсервис 14 Ю WS-ресурсы, WSRF У р Г МехМат С П Для разработки Grid не получилось применить “чистые” Webсервисы, т.к. они не обладали “состоянием”. WSRF является попыткой решить указанную архитектурную проблему с помощью введения понятия «состояние» в Web-сервисы, превратив их в Web-ресурсы, и указав механизмы использования этого понятия. Add(5) используя ресурс B Ресурсы 4 15 Клиент Div(3), используя ресурс B 5 Webсервис ID: A 10 15 5 ID: B 15 У Web-сервис + Ресурс = WS-ресурс Ю У р МехМат С Ресурсы Filename: “install.xml” Size: 250 Descriptors: {“install”} ID: 0xF5412AB Webсервис Filename : “readme.txt” Size: 120 Descriptors: {“info”} ID: 0x14DC1A9 Filename: “app.exe” Size: 1056 Descriptors: {“application”} ID: 0xFF42123 Г 16 П У Ю Спецификации WSRF У р Г У МехМат С П Базовые спецификации: • WS-ResourceProperties – свойства WS-ресурса; • WS-ResourceLifetime – время жизни WS-ресурса; • WS-ServiceGroup – группы Web-сервисов и WSресурсов; • WS-BaseFaults – обработка ошибок; Близкие спецификации: • WS-Notification – обработка извещений; • WS-Addressing – адресация; 17 Ю Проект Globus У р Г МехМат С Globus – это проект по разработке и предоставлению инфраструктуры для грид-вычислений. В процессе развития, основной акцент был перенесен с поддержки высокопроизводительных вычислений в сторону сервисов поддержки виртуальных организаций. Цель его создания – предоставление возможности приложениям работать с распределенными разнородными вычислительными ресурсами как с единой виртуальной машиной. 18 П У Globus Tool Kit 4.0 Компоненты WS Ю У р МехМат С П Коллективный планировщик Групповая Авторизация Репликация данных Протокол удаленного управления Grid WebMDS Pyton WS Core Делегирование OGSA-DAI Управление рабочим пространством Index C WS Core Авторизация и аутентификация Надежная передача файлов Управление и распределение ресурсов Grid Trigger Java WS Core Не-WS авторизация и аутентификация GridFTP Не-WS методы управления и распределения ресурсов Управление доступом Размещение реплик Библиотеки C eXtensible IO (XIO) Компоненты не-WS Безопасность Управление данными Руководство исполнением Информационные сервисы Г Общие библиотеки 19 У Архитектура и взаимодействия между компонентами GTK Внешний клиент на С Внешний клиент на Pyton Сервер ... Сервисы Java, библиотеки GT Telecontrol Trigger Data access Контейнер Java File Transfer Внешний сервис на Java GRAM Взаимодействие посредством открытого SOAP – протокола обмена сообщениями; WSRF-сервисы Внешний клиент на Java Внешний клиент на С У р С Внешний клиент на Pyton Взаимодействие посредством других методов Внешний сервис на Pyton Внешний сервис на С Контейнер Pyton Контейнер С Сервисы Pyton, библиотеки GT ... Сервисы C, библиотеки GT Г МехМат MyProxy Внешний клиент на Java GridFTP Клиент Ю П У GTK4: взаимодействие WSRF и OGSA Ю У р МехМат С GTK 4.0 реализует Высокоуровневые сервисы для Grid-приложений соответствуют требованиям реализует реализованы посредством OGSA Другие пакеты (WSRF.NET) реализуют WSRF требует определяет Web-сервисы с состоянием расширяют Webсервисы Г 21 П У Ю GPE У р Г МехМат С GPE (Grid Programming Environment) – архитектура разработки и исполнения распределенных Gridприложений, предложенная компанией Intel. Мотивация разработки: • стандартизация подхода к разработке gridприложений; • создание высокоуровнего инструментария разработки Grid-приложений; • облегчение переноса приложений в Grid-среду. 22 П У Ю Приложения Application Client Web portals Expert Client GridBeans Remote File Manager У р МехМат Уровень создания приложений С П Интерфейс grid-приложений (WSRF - Web Services Resource Framework; ...) Workflow Engine Database Access Target System Registry Scheduler / Broker Admin Client Уровень связующего ПО grid Интерфейс grid-платформ (WSRF; JSDL; WSDM - Web Services Distributed Management; ...) Target System Factory Target System Service Job Management Service Storage Management Service File Transfer Services ... MRTE (Managed Runtime Environment) Service OS Создание и управление Платформа grid Target System Interface Target System Interface OS Виртуальная машина OS Виртуальная машина Г Платформа grid Интерфейс аппаратного обеспечения 23 У Ю GridBean У р Г МехМат С GridBean – это одно из основных понятий GPE. Функции, которые возлагаются на GridBean: – описание задания для grid-сервисов; – организация GUI для ввода и вывода пользовательских данных; – организация GUI для взаимодействия с gridсервисами. 24 П У Ю Спасибо за внимание! У р Г МехМат С 25 П У