Методы построения и программное обеспечение вычислительных кластеров Дмитрий Лайком гр. 8ВМ23 АППАРАТНОЕ ОБЕСПЕЧЕНИЕ ВЫЧИСЛИТЕЛЬНЫХ КЛАСТЕРОВ Требования к аппаратному обеспечению 1. 2. 3. 4. 5. Высокая готовность. Высокое быстродействие. Масштабирование. Общий доступ к ресурсам. Удобство обслуживания. АППАРАТНОЕ ОБЕСПЕЧЕНИЕ ВЫЧИСЛИТЕЛЬНЫХ КЛАСТЕРОВ Пути достижения параллелизма Под параллельными вычислениями понимаются процессы обработки данных, в которых одновременно могут выполняться нескольких машинных операций режим разделения времени(Псевдопараллельная работа) параллельное выполнение(Конвеерные и векторные устройства) распределенные вычисления МЕТОДЫ ПОСТРОЕНИЯ ВЫЧИСЛИТЕЛЬНЫХ КЛАСТЕРОВ По физической реали • • Кластеры специальной разработки Кластеры, которые строятся на базе уже имеющихся локальных сетей По способу представления вычислительных узлов • • Кластер расположен в виртуальной среде Кластер на основе физических серверов По однородности вычислительных узлов кластеры • • Однородными Смешанного типа МЕТОДЫ ПОСТРОЕНИЯ ВЫЧИСЛИТЕЛЬНЫХ КЛАСТЕРОВ • Вычислительная сеть и коммутация вычислительного кластера. канальный адаптер главного узла (обеспечивают соединение центрального процессора главного узла со структурой InfiniBand ) канальный адаптер целевого узла (обеспечивают соединение структуры InfiniBand с другими устройствами ввода/вывода типа Ethernet, Fibre Channel) Коммутатор маршрутизатор ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ВЫЧИСЛИТЕЛЬНЫХ КЛАСТЕРОВ Операционная система Система управления задачами кластера Система мониторинга кластера Интерфейс MPI, как основная среда межпроцессорной передачи данных Message Passing Interface (MPI, интерфейс передачи сообщений) — программный интерфейс (API) для передачи информации, который позволяет обмениваться сообщениями между процессами, выполняющими одну задачу. MPI.NET — реализация MPI для Windows. MPICH — самая распространённая бесплатная реализация, работает на UNIX-системах и Windows NT. MPI/PRO for Windows NT — коммерческая реализация для Windows NT. Intel MPI — коммерческая реализация для Windows / Linux. Microsoft MPI входит в состав Compute Cluster Pack SDK. Основан на MPICH2, но включает дополнительные средства управления заданиями. Поддерживается спецификация MPI2. HP-MPI — коммерческая реализация от HP. SGI MPT — платная библиотека MPI от SGI. Mvapich — бесплатная реализация MPI для Infiniband. Open MPI — бесплатная реализация MPI, наследник LAM/MPI. Oracle HPC ClusterTools — бесплатная реализация для Solaris SPARC/x86 и Linux на основе Open MPI. MPJ — MPI for Java. Система мониторинга кластера Уровень загрузки процессоров вычислительного кластера. Уровень загрузки память на узлах. Контроль трафика по сети Ethernet. Контроль трафика по сети InfiniBand. Уровень загрузки жестких дисков на вычислительных узлах. Уровень загрузки кластера каждым из пользователей. Доступность узлов вычислительного кластера. Отчеты по температурным и другим показателям. СОВРЕМЕННЫЕ НАПРАВЛЕНИЕ РАЗВИТИЯ ВЫЧИСЛИТЕЛЬНЫХ КЛАСТЕРОВ Высокоскоростная среда передачи данных Многосокетные вычислительные узлы Надежная дисковая подсистема Бездисковые серверы Гибридные кластеры с использованием GPU