Что такое Grid?

NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
What are Grids?
(Что такое Grid?)
Vadim Petukhov
(IHEP, Protvino)
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
The Grid Vision (Взгляд на GRID)
Пользователи используют
ресурсы, общаются с
коллегами, имеют доступ к
данным независимо от
своего местоположения.
The Grid: Объединенные
сетью центры обработки
данных и соответствующее
программное обеспечение
”middleware” как элемент
связующий ресурсы
Научные инструменты и
эксперименты поставляют
огромные массивы данных
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Основные понятия GRID- вычислений
• GRID и распределенные вычисления
-однотипные ресурсы, локальные или специализированные
компьютерные сети; однородные задачи
- разнородные ресурсы, динамическое подключение и удаление
ресурсов; большие коллективы
• Факторы способствовавшие появлению GRID
-Интернет, высокоскоростные сети, Петабайты данных (1PB=10**15 B)
• Понятие Виртуальной Организации (VO)
-много организаций объединяются для решения проблем в режиме
скоординированного распределения своих ресурсов
• GRID и WWW
-в случае www организуется доступ к распределенным
информационным ресурсам (незначительных вычислительные)
-GRID – инфраструктура для доступа к распределенным значительным
вычислительным ресурсам и данным
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Сравнение уровневых моделей GRID и Internet
(По материалам: I. Foster, C. Kesselman, S. Tuecke
The Anatomy of the GRID: Enabling Scalable Virtual
Organizations.)
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Fabric ( Ресурсы)
• Вычислительные ресурсы: Включают механизмы запуска
программ, мониторинга, управления завершением программ;
функции определения типа Hardware и Software; состояния загрузки
процессоров, очередей и т.п.
• Ресурсы файловой памяти: Механизмы приема/передачи
файлов (включая возможности компрессии); средства резервирования
и освобождения файлового пространства; функции определения типа
Hardware и Software; мониторинг доступного пространства и скоростей
обмена.
• Сетевые ресурсы: Механизмы определения и назначения
ресурсов
(включая запросы на приоритеты и резервацию).
• Хранилище кодов: Специализированный
ресурс для работы с
различными версиями исходных и объектных кодов.
• Каталоги: Специализированный ресурс для работы с порядком
доступа и обновлением каталогов (например, реляционные базы
данных).
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Connectivity (Быстрое и безопасное соединение)
• Коммуникационные протоколы для обмена данными между
ресурсами (транспортировка, маршрутизация, работа с
именами). Интернет (IP и ICMP), Транспорт (TCP, UDP),
Прикладные (DNS, OSPF, RSVP, и т.д.).
• Средства аутентикации пользователей и ресурсов должны
поддерживать:
- одноразовая проверка подлинности;
- делегирование прав (условных и безусловных)
- взаимодействие с локальными средствами
безопасности (в т.ч. Unix, Kerberos и т.п.)
- доверительные отношения пользователей (А+Б=АБ)
Гибкость политики безопасности (контроль за защитными
механизмами с возможностью в критических случаях снимать
или ограничивать делегированные права).
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Resource (Распределение одиночных ресурсов)
• Этот уровень обслуживает только локальные ресурсы. Глобальными
ресурсами занят другой уровень.
• Средства (протоколы) для операций с доступом к индивидуальным
ресурсам:
- информационные протоколы определения состояния
ресурсов (конфигурация, текущая загрузка, политика –
например, стоимость)
- управляющие протоколы определяющие условия доступа к
ресурсам, включая качество обслуживания, резервирование,
формы оплаты и т.д.
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Collective (Координация глобальных ресурсов)
•
Большое разнообразие протоколов необходимо для:
Обслуживание директорий (определение участниками доступных
ресурсов VO и/или их свойств)
Службы приписки, планировки и выделения ресурсов
Службы мониторинга и диагностики ресурсов
Службы репликации данных (обеспечение наивысшей
производительности при доступе к данным – время реакции,
надежность, стоимость)
Средства контроля и корректировки загрузки ресурсов
Службы определения и выбора оптимальных версий Software для
различных вычислительных платформ
Серверы авторизации (проведение политики выделения ресурсов и
политики безопасности)
Службы подсчета потребленных ресурсов (в т.ч. для оплаты)
•
Службы поддержки больших коллабораций
•
•
•
•
•
•
•
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Applications (Приложения)
• Прикладной уровень для каждого класса задач имеет свои
особенности и предполагает взаимодействие с другими
уровнями модели с использованием либо стандартных либо
собственных средств и сервисов (например, на основе наборов
SDKs и интерфейсов APIs)
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Virtual Data Toolkit
–Grid
Middleware components from several projects
Packaged and tested together
Foundation of EGEE/ LCG
Globus Toolkit
Condor
Chimera
EDG & LCG tools
NCSA Tools
Other Tools
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Globus Toolkit
Grid Security Infrastructure (GSL)
–X.509 authentication with delegates and single sign-on
Grid Resource Allocation Mgmt (GRAM)
Remote allocation, reservation, monitoring, control of compute resources
GridFTP protocol (FTP extensions)
High-performance data access & transport
Grid Resource Information Service (GRIS) +
Monitoring and Discovery Service (MDS)
Access to structure & state information
XIO
TCP, UDP, IP multicast, and file I/O
Others…
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
DataGrid (CERN, ...)
EuroGrid (Unicore)
DataTag (CERN,…)
Astrophysical Virtual
Observatory
GRIP (Globus/Unicore)
GRIA (Industrial applications)
GridLab (Cactus Toolkit)
CrossGrid (Infrastructure
Components)
EGSO (Solar Physics)
UK – OGSA-DAI, RealityGrid,
GeoDise, Comb-e-Chem,
DiscoveryNet, DAME,
AstroGrid, GridPP, MyGrid,
GOLD, eDiamond, Integrative
Biology, …
Netherlands – VLAM,
PolderGrid
Germany – UNICORE, Grid
proposal
France – Grid funding
approved
Italy – INFN Grid
Eire – Grid proposals
Switzerland - Network/Grid
proposal
Hungary – DemoGrid, Grid
proposal
Norway, Sweden - NorduGrid
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Полезные ссылки:
European DataGrid (EDG)
www.edg.org
LHC Computing GRID (LCG) cern.ch/lcg
CrossGRID
www.crossgrid.org
DataTAG
www.datatag.org
GridLab
www.gridlab.org
EUROGRID
www.eurogrid.org
EGEE
public.eu-egee.org
RDIG
www.egee-rdig.ru
Performance per Dollar Spent
NA3 Induction Courses,
Дубна, 28 июня, 2004 г.
Optical Fibre
Doubling Time
9 12
Gilder’s Law
(32X in 4 yrs)
(bits per second)
(months)
18
Data Storage
Storage Law
(16X in 4yrs)
(bits per sq. inch)
Chip capacity
(# transistors)
0
1
2
Moore’s Law
(5X in 4yrs)
3
4
5
Number of Years
Triumph of Light – Scientific American. George Stix, January 2001