Коваленко В.Н., Корягин Д.А. Полигон Грид в ИПМ РАН и

Keldysh Institute of Applied Mathematics
Russian Academy of Sciences
ПОЛИГОН ГРИД В ИПМ РАН И РАЗРАБОТКА МЕТОДОВ
УПРАВЛЕНИЯ
РЕСУРСАМИ В ГЛОБАЛЬНОЙ СРЕДЕ
Коваленко В.Н., Корягин Д.А.
Институт прикладной математики им. М.В.Келдыша РАН
kvn@keldysh.ru, koryagin@keldysh.ru
1
1
Ключевые точки развития Грид





Catlett, C. and Smarr, L. Metacomputing.
Communications of the ACM, 35 (6). 44--52.1992.
Ian Foster, Carl Kesselman, Globus: A
Metacomputing Infrastructure Toolkit, International
Journal of Supercomputer Applications, 11(2): 115128, 1997.
The DataGrid Project, 2000.
Foster I., Kesselman C., Tuecke S. The Anatomy of
the Grid: Enabling Scalable Virtual Organizations.
International Journal of High Performance Computing
Applications, 15 (3). 200-222. 2001.
Ian Foster, Carl Kesselman, Jeffrey M. Nick, Steven
Tuecke. The Physiology of the Grid: An Open Grid
Services Architecture for Distributed Systems
Integration.
2
2
Вычислительный узел №1 (Миусская площадь)
Рабочие места пользователей
. . .
Рабочие места
. . .
. . .
Рабочая
станция
С-180
Локальный интерфейс
Глобальный интерфейс
К -server
D -server
Доступ через
Internet
CONVEX
1600
Рабочая
станция
С-180
Ленточный робот
RAID
Сетевой кластер
PBS
NFS
Локальная сеть
3
Глобальная сеть
3
Вычислительный узел №.2 (Калужская)
Рабочие места
пользователей
Рабочие места пользователей
. . .
. . .
. . .
Рабочая
станция
Локальный интерфейс
Fire
Глобальный интерфейс
Доступ через
Internet
Рабочая
станция
Рабочая
станция
Рабочая
станция
Рабочая
станция
Fire03
Fire02
Fire01
Fire
(2 CPU)
(2 CPU)
(2 CPU)
(2 CPU)
Сетевой кластер
PBS
NFS
Локальная сеть
4
Глобальная сеть
4
• Пользователь находится в точке А, но может считать на
процессорах в точке B и, возможно, С. Программа для счета
хранится на файл-сервере в точке E, а данные должны браться
из базы, размещенной в точке E1.
5
Globus Toolkit 2.x
Управление заданиями (протокол Gram)
 Передача файлов (GridFTP)
Информационное обслуживание (GIS)
Безопасность (SSL)
6
5
Протокол GridFTP:
 глобальная безопасность, основанная на протоколе
SSL
 частичное чтение/запись файлов
 возобновляемая передача
 параллельная многопотоковая передача
7
6
Многоуровневая распределенная информационная служба
ИПМ РАН
Вычислительный узел №.1
Информационная база
ресурсов
Вычислительный узел №.2
GRIS
GRIS
Информационная база
ресурсов
GIIS
GIIS
Russian DataGrid (SINP MSU)
GII S
( CERN )
8
8
Грид:
“Грид
является
согласованной,
открытой и стандартизованной средой,
которая обеспечивает гибкое, безопасное,
скоординированное разделение ресурсов
в рамках виртуальной организации – то
есть
динамически
формирующейся
совокупности
независимых
пользователей, учреждений и ресурсов.
Среда
Грид
должна
обеспечивать
определенный гарантированный уровень
обслуживания (QoS)“
9
9
Globus Toolkit 3.0
Open Grid Service Architecture
(OGSA):
Архитектура Грид: взамодействующие
между
собой
сетевые
службы
со
стандарти-зированными
интерфейсами.
Грид
становится
открытым
и
расширяемым.
Службы Грид строятся на основе Webсервисов.
10
10
Слои архитектуры Grid:

Связи

Управления ресурсами

Удаленного доступа к ресурсам
 Кооперации
 Координации
11
11
Запуск заданий
через Globus
Запуск заданий
через
Метадиспетчер
Broker
12
12
Задача планирования для Грид
Решается на двух динамических
множествах: 1) множестве заданий и
2) множестве ресурсов.
Результаты планирования:
- Время запуска каждой задачи
- Место, где должна выполняться
задача
13
13
Специфика планирования в Грид
большое количество объектов планирования
(заданий и ресурсов);
глобальная распределенность этих объектов;
отсутствие прямого доступа к ресурсам: ими
управляют локальные диспетчеры.
Кроме того, организация Грид основана на
принципе автономии, согласно которому владельцы
ресурсов выделяют для использования в Грид
только их часть, оставляя остальные для внутренних
(локальных) заданий.
-
14
14
Два уровня управления – локальный и глобальный,
каждый с собственными объектами: задание,
очередь, и система управления – Локальный
монитор ресурсов (LRM) и Метадиспетчер.
Global
Config.
queue
job
MetaDispatcher
job
Config. file
job
Local
queue
job
LRM
Local level
Global level
15
15
Расписание
Resource
Running job
priority3
Running job
Running job
priority1
priority2
priority4
Future
Time
Локальное расписание – это план занятия ресурсов локальными
заданиями на определенный период времени в будущем.
16
16
Программная архитектура планирования
Data Base
Agent
Global
queue
LRM
Agent
job
Scheduler
job
Agent
job
LRM
job
Queue
LRM
17
17
 Грид имеет перспективу
 Чтобы ее реализовать на практике, можно
работать в трех областях:
• Определение и разработка сервисов,
поддерживающих функционирование Грид
• Применения Грид
• Создание адекватной телекоммуникационной
инфраструктуры
18
18
Вопрос: Будет ли Грид полезен
для Интернет?
1.
2.
3.
4.
Новые типы распределенных приложений
Новые способы создания приложений
Общие службы – на всех уровнях и, в том числе на
уровнях кооперации и координации
Активное управление телекоммуникациями
19
19
Литература
1.
2.
3.
4.
5.
6.
7.
Catlett, C. and Smarr, L. Metacomputing. Communications of the ACM, 35
(6). 44--52.1992.
Ian Foster, Carl Kesselman, Globus: A Metacomputing Infrastructure
Toolkit, International Journal of Supercomputer Applications, 11(2): 115128, 1997. http://www.globus.org
The DataGrid Project: http://eu-datagrid.web.cern.ch/eu-datagrid/
Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling
Scalable Virtual Organizations. International Journal of High Performance
Computing Applications, 15 (3). 200-222. 2001.
www.globus.org/research/papers/anatomy.pdf.
Ian Foster, Carl Kesselman, Jeffrey M. Nick, Steven Tuecke. The
Physiology of the Grid: An Open Grid Services Architecture for Distributed
Systems Integration. http://www.globus.org/research/papers/ogsa.pdf
С.А.Богданов, В.Н.Коваленко, Е.В.Хухлаев, О.Н.Шорин,
“Метадиспетчер: реализация средствами метакомпьютерной системы
Globus”. Препринт ИПМ РАН, № 30, стр. 1-23, Москва, 2001
V.N.Kovalenko, E.I.Kovalenko, D.A.Koryagin, E.Z.Ljubimskii, A.V.Orlov,
E.V.Huhlaev, “Resource Manager for Grid with global job queue and with
planning based on local schedules”, VIII International Workshop on
Advanced Computing and Analysis Techniques in Physics Research,
ACAT’2002 Book of Abstracts, 24-28 June, 2002, Moscow, p. 31.
20
20
Список трудов
1.
2.
3.
4.
5.
Коваленко В.Н., Корягин Д.А. Вычислительная
инфраструктура будущего. Открытые системы, № 11-12
(1999), стр. 45-52, http://www.osp.ru/os/1999/11-12/045.htm
Хухлаев Е.В. “Metamake – средство подготовки программ в
сетевой гетерогенной среде”. Препринт ИПМ РАН, № 28, стр.
1-32, Москва, 1999
Коваленко Коваленко В.Н. Проблемы сетевых файловых
систем. Открытые системы, №3 (1999), стр. 9-15,
http://www.osp.ru/os/1999/03/03.htm
В.Н., Коваленко Е.И. Пакетная обработка заданий в
компьютерных сетях. Открытые системы, № 7-8 (2000), стр.
1-19
М.К. Валиев, Е.Л. Китаев, М.И.Слепенков. « Служба
директорий LDAP как инструментальное средство для
создания распределенных информационных систем».
Препринт ИПМ РАН, № 23, стр. 1-22, Москва, 2000
21
21
6.
7.
8.
9.
10.
Коваленко В.Н., Коваленко Е.И., Корягин Д.А, Любимский
Э.З., Хухлаев Е.В., Управление заданиями в распределенной
вычислительной среде. Открытые системы, № 5-6 (2001),
стр. 22-28, http://www.osp.ru/os/2001/05-06/022.htm
С.А.Богданов, В.Н.Коваленко, Е.В.Хухлаев, О.Н.Шорин,
“Метадиспетчер: реализация средствами метакомпьютерной
системы Globus”. Препринт ИПМ РАН, № 30, стр. 1-23,
Москва, 2001
В.Н.Коваленко, А.В.Орлов, “Управление заданиями в
распределенной среде и протокол резервирования
ресурсов”. Препринт ИПМ РАН, № 1, стр. 1-25, Москва, 2002
В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З.
Любимский, А.В. Орлов, Е.В. Хухлаев, “ Структура и
проблемы развития программного обеспечения среды
распределенных вычислений Грид ”. Препринт ИПМ РАН, №
22, стр. 1-23, Москва, 2002
V.N.Kovalenko, E.I.Kovalenko, D.A.Koryagin, E.Z.Ljubimskii,
A.V.Orlov, E.V.Huhlaev, Resource manager for GRID with global
job queue and with planning based on local schedules, Nuclear
Inst. and Methods in Physics Research, A, vol. 502/2-3, pp 411 –
414, Elsevier Science, 2003
22
22