(Enabling Grids for E-sciencE).

Enabling Grids for E-sciencE
A short introduction to the
LCG/EGEE Projects
Краткая информация о
проектах LCG и EGEE
Elena Tikhonenko, JINR, Dubna
The training courses
“CMS user analysis using EGEE/LCG infrastructure
Dubna, JINR, January 19, 2007
“
Contents
Содержание
Enabling Grids for E-sciencE
•
•
•
•
•
•
Специфика приложений ФВЭ
Проект LCG
Проект EGEE
Как стать пользователем среды LCG/EGEE
GRID User Interface
Основные понятия и команды для запуска задач
пользователя
• Инструментальные средства запуска задач
пользователей CMS в среде LCG/EGEE
• Заключение и полезные ссылки
2
Эксперименты на LHC
Enabling Grids for E-sciencE
ATLAS
CMS
При ожидаемой скорости записи сырых данных
потребуются ресурсы для хранения данных
порядка десятков и сотен ПБ.
ALICE
Для обработки данных потребуются
LHCb
LHCb
сотни тысяч персональных
компьютеров
(максимальной на текущий момент производительности)
3
Enabling Grids for E-sciencE
Обработка данных и вычисления в
физике высоких энергий
Отбор событий
и первичная
Триггер 1-го уровня реконструкция
детектор
обработанные
данные
суммарные
данные по событиям
«сырые»
данные
Реконструкция
событий
Пакетная
обработка
данных
объекты для физического анализа
(выделенные по физическим каналам)
моделирование
физических
событий
интерактивный
физический
анализ
4
Специфика приложений ФВЭ
Enabling Grids for E-sciencE
Требования по данным
Колоссальные объемы данных (десятки и сотни Петабайт)
Данные типа WORM (писать единожды, читать многократно)
Структуризация данных с последующим извлечением информации из данных (data
mining)
Продолжительное время хранения данных, а также необходимость создания копий
данных в разных странах мира
Требования к обработке данных
Обработка данных подразделяется на 2 типа – регулярное производство данных и
«нерегулярный» анализ данных
Производство (моделирование ) данных происходит систематически; при этом
производятся наборы данных порядка ~ 10**9 физических событий.
Анализ физических данных (на наборах данных порядка 10**7 событий) проводится
произвольным образом и в индивидуальном порядке многими сотнями отдельных
пользователей
Высокий уровень параллелизма обработки на уровне событий, который может
быть описан ориентированным графом с указанием последовательности
обработки
Поскольку интерактивная работа очень важна при анализе данных, необходимо
предусмотреть возможность спасения сессий с сохранением информации об
источнике данных («проверяемость», provenance)
Необходимость глобального доступа к базам данных экспериментов для
получения значений констант, условий работы и т.д.
5
Требования к компьютингу для LHC
Enabling Grids for E-sciencE
Необходимо обеспечить прозрачный доступ к данным
и вычислительным ресурсам для ~5000 ученых в
~500 институтах, расположенных по всему миру
• Надежное и безопасное хранение данных (ежегодно будет
производиться ~15 Петабайт данных)
• Скоростная сеть с малыми задержками и высокой
пропускной способностью
• Управление разделением ресурсов между экспериментами,
анализом и производством данных, различными группами
анализа и индивидуальными пользователями, т.е.
необходимость выработки общих правил (common policies)
• Поддержка и обучение пользователей
6
Проект LCG
Enabling Grids for E-sciencE
Проект LCG – the LHC Computing Grid Project
(http://lcg.web.cern.ch/LCG/ ) – был организован для создания
компьютерной инфраструктуры, необходимой для моделирования,
обработки и анализа данных cтроящихся на LHC экспериментов.
Проект был принят ЦЕРН в 2001 году и включает в себя 2 этапа:
1-й этап – 2002-05 (разработка общего прототипа мат.обеспечения и
запуск пилотного вычислительного сервиса для LHC). 2-й этап – 200608 (оснащение и ввод в эксплуатацию вычислительного сервиса для
LHC). В проект вовлечены эксперименты LHC, GRID-проекты в
Европе и США, региональные и национальные компьютерные
центры.
7
Applications
Area
Enabling Grids for
E-sciencE
Направления работ в LCG
Библиотеки и инструментальные средства
Управление данными
Middleware Area
Distributed Analysis
Распределенный анализ данных
Разработка, тестирование, интеграция
и поддержка промежуточного
программного обеспечения
Grid Deployment Area
Установка и управление сервисами грид
(сертификация, безопасность и т.д.).
Service Challenges
CERN Fabric Area
Управление кластерами и данными
Сети (глобальные и локальные)
Вычислительный сервис в ЦЕРН
8
LHC computing Grid Service
Enabling Grids for E-sciencE
LCG real time monitor
http://gridportal.hep.ph.ic.ac.uk/rtm/applet.html
(June, 2006) 32840 задач
9
LHC computing Grid Service
Enabling Grids for E-sciencE
LCG real time monitor
(January, 2007) 36680 задач
10
Enabling Grids for E-sciencE
LCG основывается на 2-х основных
структурах грид в сфере науки
EGEE-II:
(с апреля 2006 года)
LCG-инфраструктура реализована и успешно функционирует
на базе 2-х инфрастуктур, обеспечиваемых проектами:
EGEE
OSG
- Enabling Grids for E-Science
- US Open Science Grid
90 институтов
из
32стран
> 20,000 CPU
11
Что такое EGEE?
Enabling Grids for E-sciencE
EGEE – это крупнейшая
инфраструктура грид в Европе:
•
•
•
•
90 ведущих научно-исследовательских
институтов 32 странах, объединенные
в региональные федерации грид
расширяяет национальные и
региональные работы по грид
EGEE-I начат в апреле 2004
Активизирует международное научное
сотрудничество
Цель EGEE: создать глобальную
инфраструктуру грид-сервисов,
круглосуточно доступную для
ученых и специалистов
LCG и EGEE – различные
проекты
Но именно тесное
сотрудничество
обеспечивает разделение, а
не дублирование работ
12
РДИГ – Российский грид для интенсивных
операций с данными
Enabling Grids for E-sciencE
http://www.egee-rdig.ru/
13
Среда LCG-2/EGEE
Enabling Grids for E-sciencE
Cреда LCG-2 /EGEE– инфраструктура, промежуточное
математическое обеспечение (middleware) которой может
рассматриваться как логическое продолжение и развитие
достижений таких grid – проектов, как Сondor, Globus, DataGrid,
DataTag, GriPhyn, iVDGL и EGEE (Enabling Grids for E-sciencE).
Под middleware понимается совокупность Grid-сервисов,
независимых от ресурсов и приложений и обеспечивающих
аутентификацию, авторизацию, размещение и
распределение ресурсов, получение результатов
выполнения задач, статистику и служебную информацию,
удаленный доступ к данным, стратегию и способы
обнаружения неисправностей.
14
Последовательность действий для осуществления
возможности работать в среде LCG-2/EGEE
Enabling Grids for E-sciencE
Для возможности работы в инфраструктуре LCG/EGEE надо получить сертификат и
зарегистрироваться в соответствующей виртуальной организации; вся необходимая
последовательность действий описана на странице:
http://lcg-registrar.cern.ch/


Во-первых, следует ознакомиться с Правилами использования
ресурсов LCG/EGEE
Затем получить персональный цифровой сертификат –
для организаций на территории России – в Сертификационном центре в Курчатовском
институте (http://ca.grid.kiae.ru/RDIG/ ).
По завершению процесса регистрации Вы получите по электронной почте свой цифровой
сертификат, который следует сохранить в файле usercert.pem

Загрузить персональный сертификат в браузер
См. https://lcg-registrar.cern.ch/load_certificates.html

Зарегистрироваться в соответствующей виртуальной организации
по адресу:
https://lcg-voms.cern.ch:8443/vo/cms/vomrs
virtual organization (VO) – виртуальная организация - объединение
пользователей, организаций и ресурсов (компьютеров, ПО и данных) в новый
административный домен в рамках grid-инфраструктуры
15
Что такое UI, CE, WN, SE, RB?
Enabling Grids for E-sciencE
•
•
•
•
•
UI (User Interface) – cервис, обеспечивающий доступ к ресурсам Grid;
c UI-компьютера пользователь может запускать или прерывать свои
задачи, получать информацию о статусе выполняемых задач, находить
ресурсы, необходимые для исполнения конкретной задачи, получать
учетную информацию о своей задаче: а также копировать,
реплицировать или уничтожать файлы в инфрастуктуре Grid.
CE (Computing Element) – очередь в системе пакетной обработки
инфраструктуры Grid
WN (Working Node) – вычислительный узел фермы в инфраструктуре
Grid
SE (Storage Element) –cервис, обеспечивающий унифицированный
доступ к ресурсам памяти инфраструктуры Grid (ресурсами памяти при
этом могут быть как простые дисковые серверы, так и дисковые
массивы или системы массовой памяти (MSS)).
RB (Resource Broker) : сервис поиска “наилучших” ресурсов в среде
GRID для запуска конкретной задачи
16
Job Description Language (JDL)
Язык описания задачи
Enabling Grids for E-sciencE
• JDL – расширяемый язык, предназначенный для описания
задач пользователя с помощью задания значений для
“атрибутов” и появившияся еще при создании системы
распределенных вычислений CONDOR
• Пользователь для запуска свой задачи в инфраструктуре grid
должен сформировать файл (job_definition.jdl)
• Некоторые из атрибутов описываются пользователем, а
некотрые атрибуты автоматически формируются UI до запуска
задания в инфрастуктуру grid
• Атрибуты подразделяются на атрибуты описания задачи,
атрибуты ресурсов и атрибуты описания данных.
17
Команды запуска задачи
Enabling Grids for E-sciencE
• Выполняем команду voms-proxy-init –voms cms
– вводим в процессе выполнения данной команды свой пароль на
гридовский сертификат
– получаем в результате proxy – временный сертификат, дающий
право доступа к сервисам и ресурсам Grid в рамках VO VMS
• Выполняем команду:
edg-job-submit
myjob1.jdl
и получаем в результате уникальный идентификатор задачи (Job
Identifier), JobId
• По выполнению команды:
edg-job-status JobId
получаем статусную информацию о ходе выполнения задачи
• После завершения выполнения задачи можно выполнить
команду
edg-job-get-output JobId
в результате чего получаем имя временнго каталога на машине UI,
где находятся результаты выполнения задачи.
18
Некоторые полезные команды
UI
Enabling Grids for E-sciencE
• edg-job-list-match
Получение списка ресурсов, соответствующих описанию задачи
(запуск задачи при этом не требуется)
• edg-job-cancel
прекращение выполнения задачи
• edg-job-get-logging-info
получение информации о прохождении задачи
полезно при отладке программы
Подробнее об атрибутах задачи и процессе запуска задач в среде
LCG/EGEE см.http://rdms-cms.jinr.ru/docs/rdms_1/september_6/LCG-induction-for-cms-users.ppt
19
UI в ОИЯИ и в CERN
Enabling Grids for E-sciencE
•
В ОИЯИ UI-cервис доступен с lxpub03.jinr.ru, т.е. не требуется
делать никаких специальных настроек по вхождению в сеанс для
возможности работать с командами, обеспечивающими данный
сервис.
•
В CERN при вхождении на lxplus.cern.ch следует выполнить скрипт
cms_ui_env.csh командой
source /afs/cern.ch/cms/LCG/LCG-2/UI/cms_ui_env.csh
в результате чего установятся переменные окружения, необходимые
для доступа к сервису UI.
А при работе на lxplus.cern.ch с ASAP для доступа к сервису UI
достаточно выполнить команду
source /afs/cern.ch/sw/arda/install/CMS/asap3/setup.csh
20
Инструментальные средства
запуска задач пользоватлей
Enabling Grids for E-sciencE
Инструментальные средства, облегчающие пользователю
запуск заданий в среде грид, должны «скрывать» от
пользователя всю сложность работы в распределенной
среде, обеспечивая ему простой и удобный интерфейс.
На данный момент подобные решения существуют в CMS.
Это системы CRAB и ASAP .
21
Заключение и полезные ссылки
Enabling Grids for E-sciencE
Близок запуск LHC. Без умения работать в среде грид
физикам уже не обойтись!
полезная документация
•
The LCG-2 User Guide
https://edms.cern.ch/file/454439/1/LCG-2-UserGuide.pdf
https://edms.cern.ch/file/454439/1/LCG-2-UserGuide.html
•
LCG-2 User Scenario
https://edms.cern.ch/document/498081/1.0
•
ClassAd language
https://www.cs.wisc.edu/condor/classad
•
LCG-2 Frequently Asked Questions
https://edms.cern.ch/document/495216/
•
CRAB Tutorial
http://indico.cern.ch/conferenceDisplay.py?confId=8814#17
•
ASAP User Guide
https://lxarda13.cern.ch/docs/index.html
22