MNSK_2005_Lobachev - Учебная лаборатория НГУ

Сбор статистики с использованием SNMP
(Определение топологии связей между задачами
в кластере MPI)
И.В. Лобачёв
Новосибирский Государственный Университет
Совместная лаборатория НГУ, МФТИ, SWsoft
lobachev@ccfit.nsu.ru
Научный руководитель: доцент Д.В. Иртегов
Применение
Балансировка загрузки в кластере MPI
Система наблюдения и управления
кластером
Архитектура
Main Server
Локальный сборщик
Глобальный сборщик
Взаимодействие через
SNMP
SNMP
Local Machines
Локальный сборщик
Устанавливается на каждый узел кластера
Опрашивает параметры узла кластера
Помещает полученную информацию в специальный
модуль расширения SNMP
Получение информации о связях
(соединениях TCP)
Псевдо-файловая система proc
Неудобная структура данных
 Большое потребление ресурсов (загрузка
процессора до 20%)

Ядро операционной системы (/dev/kmem)
Малая нагрузка на процессор (загрузка
процессора < 5%)
 Возможность получить практически любую
информацию

Глобальный сборщик
Устанавливается на один из узлов кластера,
либо на компьютер вне кластера
Опрашивает узлы кластера и получает
информацию о текущем состоянии каждого
узла
Анализирует и обрабатывает полученную
информацию
Выдает отчёт о текущем состоянии системы в
виде xml-файла
Пример xml-отчёта
Топология связей в системе наблюдения и
управления кластером (Ковалёв Дмитрий)
Модуль расширения SNMP
Динамически подгружаемый в SNMP модуль
Обеспечивает получение, добавление и хранение информации об
узле
Информация хранится в виде SNMP таблицы
Доступная информация
Информация об узлах кластера



Имя узла
IP адрес
Средняя загрузка узла
Информация о процессах




Имя процесса
Идентификационный номер
Узел на котором работает процесс
Состояние процесса (работает или нет)
Информация об открытых сокетах


Процессы между которыми установлено сокетное соединение
Количество переданных и полученных через сокет данных
Результаты
Реализована система сбора информации,
которая обеспечивает алгоритм балансировки
требуемыми данными и использует минимум
ресурсов кластера
Реализован модуль расширения SNMP
Реализованы две версии глобального сборщика


Для платформы Win32
Для платформы Unix
Есть возможность использовать систему сбора
информации для наблюдения за состоянием
кластера
Планы
Использовать систему для отладки
существующих и создания новых
алгоритмов балансировки
Для диагностики и отладки
параллельных программ
Вопросы