Подходы к построению облачных платформ для
реклама
Подходы к построению облачных платформ для университетских центров Дмитрий Семынин, департамент инфраструктуры информационных систем, AMT Group 1 Университетские сети сегодня Университетские сети предоставляют исследовательскому сообществу доступ к новейшим технологиям и выступают своеобразными точками кристаллизации исследовательской мысли. Как наиболее эффекивно объединить сети различных университетов с использованием современных технологий облачных вычислений? 2 Dell в образовании • Используется в более чем в 400 тыс учебных классов в мире • Обслуживает 60% классов в США • Свыше 14 тыс колледжей и университетов используют решения Dell в своей инфраструктуре 3 Опыт построения межуниверситетского облака на основе технологий Dell и ПО С ОТКРЫТЫМ КОДОМ ANU/NCI Openstack HPC Cloud 4 Задачи проекта • Предоставить исследовательскому сообществу суперкомпьютерный ресурс на основе облачных технологий • Обеспечить доступ к ресурсу на базе одного университета внутри всей национальной сети • Использовать технологии на основе ПО с открытым кодом • Обеспечить мировой уровень производительности и использование передовых технологий 5 Характеристики проекта NATIONAL COMPUTATIONAL INFRASTRUCTURE • Dell Openstack HPC Cloud - крупнейший проект в рамках программы NeCTAR • 200 компьютерных узлов (C8000) на процессорах Intel • Блочное и объектно-ориентированное хранилище по технологии Ceph, на основе референсной архитектуры «C8000 Ceph Reference architecture». • Высокопроизводительная коммутация Infiniband с возможностью реализации10/40 гигабитного Ethernet на отдельных портах при необходимости. • В перспективе первое в мире “настоящее” облако супервычислительных ресурсов. Заказчик серьезно инвестировал в уникальные программные разработки для переноса низколатентных параллельных коммуникаций Infiniband в виртуальную среду. 6 О проекте: NCI и NeCTAR NATIONAL COMPUTATIONAL INFRASTRUCTURE • 7 NCI - национальная суперкомпьютерная инфраструктура для исследовательского сообщества Австралии. – Входит в top50 достаточно давно – Серьезные инвестиции в Lustre и Infiniband – Глубокая техническая экспертиза («HPC в чистом виде») – Консорциум на базе Австралийского Национального Университета (ANU) в Канберре. • NeCTAR – федеральная правительственная программа по развитию облачных технологических ресурсов для исследовательских целей в Австралии. – – Основывается на Openstack как на ключевой технологии Финансирует инфраструктуру и развивает практики Dell: Мы верим в: трансформацию приложений и инфраструктуры через облака Для этого мы: Предоставляем выбор технологий для построения, использования и администрирования многооблачных сред, ориентированных на гибкость, эффективность и качество услуг 8 Red Hat Enterprise Linux OpenStack Platform RED HAT ENTERPRISE LINUX Dell Server, Storage, Networking Dell ProSupport, Dell Professional Services 9 Элементы решения Dell для облака на OpenStack Архитектуры решений RHEL OSP v4, Openstack Havana, RHEL 6.5, Dell PowerEdge, Dell Storage, Dell Networking Сертификация Профессиональные сервисы Поддержка Сообщество OpenStack 10 • • • • Dell Dell Dell Dell RHEL OpenStack Platform Ref. Arch. POC configuration Pilot/Pilot HA configuration Production configuration • Joint solution certification • Dell services staff certifications • Customer staff certifications • • • • Dell Assessment Services Dell Consulting Services Dell Implementation Services Red Hat Training and Certification services • Dell ProSupport • Red Hat Support & Updates (RHEL OSP) • Joint code contributions • OpenStack Foundation Board membership • Active community engagements Архитектура Вычислители Nova Управляющие узлы Swift C8220 Intel Xeon E52670 CPUs 128 GB RAM Mellanox CX-3 Mezz Intel SSDs C8220X & C8220XD Intel CPUs & Mellanox Mezz LSI Controllers Ceph Intel SSDs 3.5” NL SAS HDDs Mellanox Высокопроизво дительная сеть коммутации Intel CPUs & FDR IB LSI Controllers Intel SSDs 3.5” NL SAS HDDs 11 Архитектура Вычислители Nova Управляющие узлы Swift C8220 Intel Xeon E52670 CPUs 128 GB RAM Mellanox CX-3 Mezz Intel SSDs C8220X & C8220XD Intel CPUs & Mellanox Mezz LSI Controllers Ceph Intel SSDs 3.5” NL SAS HDDs Mellanox Высокопроизво дительная сеть коммутации Intel CPUs & FDR IB LSI Controllers Intel SSDs 3.5” NL SAS HDDs 12 Единая модель шасси C8000 с различными типами модулей в нем. В проекте задействованы все возможные варианты модулей C8000 (GPUs, CPUs и Storage), причем практически «plug’n’play». Это также означает, что небольшой комплект запасных элементов на объекте может обеспечить быстрое восстановление в случае выхода из строя каких-либо элементов. Результат – снижение затрат и возможность при использовании более экономичной поддержки 9x5 NBD обеспечить доступность, приближенную к 24x7x4. Архитектура Вычислители Nova Управляющие узлы Swift C8220 Intel Xeon E52670 CPUs 128 GB RAM Mellanox CX-3 Mezz Intel SSDs C8220X & C8220XD Intel CPUs & Mellanox Mezz LSI Controllers Ceph Intel SSDs 3.5” NL SAS HDDs Mellanox Высокопроизво дительная сеть коммутации Intel CPUs & FDR IB LSI Controllers Intel SSDs 3.5” NL SAS HDDs 13 Текущая дистрибуция ПО Openstack, используемая проектом NeCTAR, не может (пока) использовать Infiniband, поэтому период эксплуатации в виде кластера на 10-гигабитном ethernet был неизбежен. Двухпротокольные коммутаторы и карты “VPI” от Mellanox гарантируют, что заказчику не придется выбрасывать построенную 10-гигабитную сеть и заменять ее на Infiniband позже, когда программный стэк будет доработан. Все, что потребуется – это простое программное переключение на уровне отдельных портов или шасси по мере внедрения возможностей для Infiniband. Архитектура Вычислители Nova Управляющие узлы Swift C8220 Intel Xeon E52670 CPUs 128 GB RAM Mellanox CX-3 Mezz Intel SSDs C8220X & C8220XD Intel CPUs & Mellanox Mezz LSI Controllers Ceph Intel SSDs 3.5” NL SAS HDDs Mellanox Высокопроизво дительная сеть коммутации Intel CPUs & FDR IB LSI Controllers Intel SSDs 3.5” NL SAS HDDs 14 Партнерство Dell с Inktank, основным поставщиком услуг и поддержки для Ceph, обеспечивает Dell доступом к самой передовой экспертизе в области разработки и систем хранения Ceph и реализации их на аппаратном обеспечении Dell. У Dell есть детально проработанная референстная архитектура Ceph Reference Architecture на основе C8000, снижающая риски внедрения для заказчиков. Помимо того, производительность была ключевым фактором в этом проекте. Узлы RADOS содержат диски SSD для журналирования и распределяют нагрузку на модули хранения C8220XD, содержащие каждый по 12 x 3.5” NL SAS дисков. RAID-контроллеры LSI обеспечивают требуемую производительность. Конфигурация RADOS OSD Server Шасси C8000 с двумя OSD-серверами • • • 1:1 SAS Expansion via Mini-SAS Cable Шасси C8000 A/C – Два модуля питания, 2 x 1400Вт БП в каждом (2+2) – Две пары “C8220X (DWC) + C8000XD (DWS)” DWS DWC C8220X – вычислитель двойной ширины (DWC) – 2x E5-2630L (2.0GHz, 6C, 60W) – 1x 48GB Memory Option (6x 8GB 1333MHz LV DIMMs) – 1x Mellanox CX3 SP FDR in Mezz – 1x LSI 9265-8i in PCIe slot – 1x LSI 9202-16e in PCIe slot – 2x 2.5" SATA 500GB, 7.2K RPM – 6x 2.5” Intel DCS3700 200GB SSD – 2x 1G Base-T LOM for Mgmt. Mezzanine Slot C8000XD модуль хранения двлйной ширины (DWS) – 15 12x 3.5” 3TB NL SAS HDD 7.2K PCIe Slots P W R P W R DWS DWC Infiniband: Топология Fat Tree Core switches 36p 36p 36p Fabric cables Edge switches 18 nodes for every IB switch. -> Typically 72 nodes per rack. 16 36p 36p 36p 36p Размещение ресурсов в стойках Очень плотное размещение. Оптимально для проекта оказалось размещение 72 вычислительных узлов на стойку: • Задействованы все порты ToR - коммутатора Infiniband. • Заполнение шкафов 42 U целиком, без пустых мест. 17 Размещение вычислительных ресурсов 18 Коммутация кабелей Cable management is king in large installations, and these customers know it. Our ability to take a position on cable management issues was important because it showed that we had done it before. The Dell HPC Solution Foundation Book #3 is a great primer on this topic. 19 20 АМТ Group краткая справка 20 лет на российском рынке системной интеграции. Техническая экспертиза, привнесение лучших мировых практик и предложение эффективных продуктовых решений делают АМТ-ГРУП одним из технологических лидеров этого рынка. АМТ-ГРУП осуществляет проектирование, внедрение и техническую поддержку сложных инфраструктурных и ИТ-систем, а также выполняет консалтинговые проекты и проводит обучение персонала заказчиков. Партнеры – более 50 ключевых мировых производителей оборудования и ПО. Сервисная поддержка — партнерская сеть во всех регионах России и странах СНГ. Полный комплект лицензий на проведение работ и оказание услуг. Более 400 сотрудников, среди которых 150 инженеров-проектировщиков и инженеров технической поддержки различных специализаций. 21 22
