Планы развития и модернизации Российского сегмента РДИГ глобальной грид инфраструктуры WLCG на 2014-2019 5 февраля 2014, РГ ЦЕРН, НИИЯФ МГУ Участие России и ОИЯИ в создании глобальной грид инфраструктуры WLCG зафиксировано в Меморандуме о Взаимопонимании (WLCG MoU), подписанном Роснаукой в 2007 году: 1) создание центров Tier2 для всех 4-х экспериментов БАК 2) суммарный уровень ресурсов Tier2 – 5% от суммарной мощности Tier2 WLCG, что было включено в планируемые до 2009 года ресурсные таблицы ы Приложении к WLCG MoU 3) ресурсы предоставляемые странами в WLCG указываются странами и принимаются на осенней сессии CERN RRB. 2013 год – российский сегмент Tier2 РДИГ, примерно 3% от Tier2 WLCG: 1) CPU – 7500 ядер 2) DISC – 5.8 Петабайт Ресурсы Tier2 РДИГ закуплены в 2008-2009 гг. Планы развития и модернизации российского сегмента РДИГ WLCG на 2014-2019 годы подготовлены и будут обсуждаться весной 2014 года и согласованы в WLCG и ЦЕРН. 2011 год – инициатива Министра А.А. Фурсенко (письмо Директору CERN R. Heur) о создании центров уровня Tier1 в НИЦ КИ и ОИЯИ: 1) ALICE, ATLAS, LHCb – НИЦ КИ CMS - ОИЯИ 2) Ресурсы (CPU, DISC, TAPE) на уровне 10% от Tier1 WLCG 3) Старт к началу второго рабочего сеанса БАК в 2015 Предложение и рабочие планы по созданию Tier1s в НИЦ КИ и ОИЯИ были приняты на заседании наблюдательного Совета WLCG осенью 2011 года. Подготовлено соответствующее дополнение к WLCG MoU и согласовано с WLCG и ЦЕРН. 2014-2019 развитие и модернизация российского сегмента Tier2 РДИГ – основные направления работ: 1) Ежегодное увеличение ресурсов на 25% 2) Перевод Tier2 центров в участвующих институтах на модель – Tier2 for Experiment 3) Модернизация Tier2 сегментов РДИГ по mesh модели с учетом появления уровня Tier1 - ATLAS/CMS: динамическая модель WorkLoad DataManagement - ALICE: организация облачной инфраструктуры российского сегмента WLCG - LHCb: только Tier1 (НИЦ КИ) – организация анализа данных 4) Создание core middleware WorkLoad DataManagement (совместно с ЦЕРН) 2014-2015 – развитие и модернизация российского сегмента Tier1/Tier2 РДИГ (млн.руб): 2014 2015 2014-2019 Tier1: НИЦ КИ 207 105 730 ОИЯИ 237 122 797 Tier2/Tier2D 170 ОИЯИ, ИФВЭ, ИТЭФ, ПИЯФ, ИЯИ РАН, СПбГУ, НИИЯФ МГУ Создание базового ПО WLCG НИЦ КИ, ОИЯИ, ПИЯФ, ИТЭФ, НИИЯФ МГУ 71 190 670 71 475 LHC Computing Grid (LCG-2), 21 September 2004 RuTier-2 CPU resources usage in Oct.2012 • Total CPU time consumed by all 4 LHC VOs in RuTier-2 is equal to 253 M HEPSpec06-hours (200 in 2011) • About 4% of all CPU time consumed in all LHC Tiers-2 8 CPU time consumed by CMS VO at all CMS sites and at RDMS CMS sites (August 2011-July 2012) 4% = 10,697,384 kSI2K 267,434,620 kSI2K All CMS sites RDMS CMS sites 11% - consumed by Russian CMS users CPU time consumed by CMS VO at all CMS sites and at RDMS CMS sites (October 2012- September 2013) 3% = 14,013,499 kSI2K 467,116,662 kSI2K All CMS sites RDMS CMS sites 23% - consumed by Russian CMS users ALICE usage of RuTier2 storage resources Today allocated 1 PB This space is highly load. At 4 sites disks loaded more than 90% including Most powerful sites NRCKI and JINR RDIG sites are operating very effectively with 5% of resources its produced > 8% of DONE jobs, what is more 4.6 ml. jobs Number of jobs at CMS sites in Russia and at all CMS sites: Oct.2011- Sept.2012 2 981 731 jobs were submitted to Russian CMS sites Total number of CMS jobs by country 3% 94 860 754 jobs 12 RuTier1 proposal September 2012 – WLCG Overview Board accepted the JINR and NRC KI proposal to create the LCG Tier1 centers: - for all four experiments ALICE, ATLAS, CMS and LHCb - ~10% of the summary Tier1 (without CERN) resources - two sites: CMS ATLAS, ALICE, LHCb at JINR at NRC KI - production start in autumn 2014 - production testbed autumn 2013 – autumn 2014 RDMS CMS T2 association Now Future interest Analysis Groups Exotica: T2_RU_JINR Exotica: T2_RU_INR HI: T2_RU_SINP QCD: T2_RU_PNPI Beyond the 2nd Generation (B2G): T2_UA_KIPT Top: T2_RU_SINP FWD: T2_RU_IHEP Object/Performance Groups Muon: T2_RU_JINR e-gamma-ECAL: T2_RU_INR JetMET-HCAL: T2_RU_ITEP H-like Z0Z0 22e Data transfer volumes and rates (October 2012 – September 2013) ~ 600TB 200 TB To Russian CMS sites From Russian CMS sites 15 Resources for Run II (from 2013) • Resources ~stable during LHC shutdown (2013-14) • Rump-up for LHC Run2 from 2015 (~25%/year) • Conform to expected flat budget Big Data Has Arrived at an Almost Unimaginable Scale Business e-mails sent per year 3000 PBytes ATLAS Annual Data Volume 30 PBytes Library of congres Content Uploaded to Facebook each year. 182 PBytes Climate LHC Annual Google search index 15 PBytes 98 PBytes Nasdaq US census Youtube 15 PBytes Health Record 30 PBytes http://www.wired.com/magazine/2013/04/bigd ata8/6/13 Big Data Workshop 17 Tier-1 project at RRC-KI 24/09/2013 A.Minaenko 18 Tier-1 project at RRC-KI 24/09/2013 A.Minaenko 19