ОПЫТ ИСПОЛЬЗОВАНИЯ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ РЕСУРСОВ СПбГУ

ОПЫТ ИСПОЛЬЗОВАНИЯ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ РЕСУРСОВ СПбГУ
ДЛЯ РЕШЕНИЯ ЗАДАЧ В ОБЛАСТИ ФИЗИКИ, ХИМИИ, МАТЕМАТИКИ И
МЕХАНИКИ
Ю.П.Галюк, В.И.Золотарев, В.Ю.Сепман
Санкт-Петербургский государственный университет
Тел.: (812) 428-43-58, e-mail: galyuck@paloma.spbu.ru
Состояние высокопроизводительных вычислительных ресурсов
СПбГУ имеет более чем 5-летний опыт применения кластерных технологий, который воплотился в
трехуровневую организацию комплекса высокопроизводительных вычислений.
Высокопроизводительные
мощности
СПбГУ
в
основном
сосредоточены
в
комплексе
высокопроизводительных вычислений, состоящем из 9 территориально-распределенных кластеров.
Структурно комплекс состоит из кластеров трех уровней – учебных кластеров, специализированных
кластеров приложений и кластеров верхнего уровня. Такая организация комплекса позволяет легко
масштабировать комплекс и проводить разнообразные по требуемым ресурсам расчеты, обеспечивая при
этом учебный процесс.
Суммарная пиковая вычислительная мощность комплекса составляет около 150 Гфлопс. Она
складывается из мощностей высокопроизводительного 40-процессорного с-кластера, состоящего из 20
двухпроцессорных компьютеров PIII-933, соединенных специальной высокопроизводительной SCI-сетью,
специализированного сервера Itanium2/1400, из 4 двухпроцессорных Xeon/2200 (x-кластера), из 4 учебных
факультетских кластеров на базе 8 компьютеров Celeron/400 каждый, кластера приложений, состоящего из
8 двухпроцессорных компьютеров PIII-933 (u-кластера), 16-процессорного PentiumIII/600 MHz alice-кластера,
предназначенного для отработки технологий метакомпьютинга. Все компьютеры комплекса соединены
высокоскоростной 100-Мбитной сетью FastEthernet, что позволяет в принципе объединять все компьютеры в
единый кластер кластеров.
Комплекс используется для обучения студентов и сотрудников методам высокопроизводительных
вычислений, а также для проведения научных расчетов из разных областей фундаментальной науки, которые
не могут быть реализованы на персональных компьютерах.
Комплекс высокопроизводительных вычислений в цифрах
Общее число пользователей кластеров высокопроизводительных вычислений составляет на
сегодняшний день более 150 человек.
Число проектов, по которым проводятся научные исследования на комплексе, выросло до 110.
На базе высокопроизводительных ресурсов комплекса подготовлено к печати и издано учебное пособие:
А.В. Бандура и Р.А. Эварестов «Неэмпирические расчеты кристаллов в атомном базисе с использованием
интернет-сайтов и параллельных вычислений», изд. СПбГУ, 2004 г.
Основная направленность решаемых на комплексе задач
Опыт эксплуатации комплекса позволяет выделить приоритетные направления в науке, которые требуют
современных эффективных и, в то же время, ресурсоемких технологий.
Наиболее активно высокопроизводительные ресурсы использовались по следующим научным
направлениям.
1. Квантово-химические расчеты. Проведение квантово-химических расчетов требует огромных
вычислительных ресурсов. Основными инструментами для проведения этих исследований являются
программы CRYSTAL, GAMESS и GAUSSIAN, причем GAMESS имеет достаточно узкую область применения.
Расширить область исследований позволяют коммерческие программные продукты. По результатам опроса
пользователей наибольший спектр задач решает программный пакет GAUSSIAN03.
На базе четырехпроцессорного сервера Itanium2/1400 MHz и программы для проведения квантовохимических расчетов GAUSSIAN03 в СПбГУ создан новый специализированный кластер.
Квантово-химические расчеты проводятся пользователями комплекса последующим темам:
– Фуллерометаллоцены: супрамолекулярные гибриды фуллерена и металлоценов для новых
возможностей в нанотехнологии;
– Изучение биологического действия и физико-химических свойств метаболитов кинуренинового пути
обмена триптофана. (Институт физиологии им. И.П. Павлова РАН);
– Математическое моделирование свойств и структуры полимерных щеток (Институт
высокомолекулярных соединеий РАН);
– Изучение свойств перовскитоподобных материалов типа АВО3;
– Исследование карбонильных комплексов родия;
– Теоретическое исследование полимерных структур, построенных из октаэдрических халькогенидных
кластерных соединений переходных металлов.
2. Обработка результатов дистанционного зондирования атмосферы. Дистанционное определение
параметров мезосферы-нижней термосферы (МНТ) по спутниковым измерениям спектров инфракрасного
неравновесного излучения на касательных трассах.
3. Расчеты динамики пучков частиц и плазмы в электродинамических системах, моделирование
детекторов на основе микроканальных пластин.
4. Численное моделирование потоков в очень узких плоских и круглых каналах задачи о фильтре, а также
в системах магнитной записи винчестерного типа.
5. Проверка псевдослучайных последовательностей, интенсивно используемых в математике для
моделирования различных статистических распределений и исходов событий, в том числе и для применения
при работе на параллельных кластерах.
6. Организация распределенной обработки и хранения экспериментальных данных физики высоких
энергий. СПбГУ принимает активное участие в крупнейшем эксперименте последней четверти века –
Большом Адронном Коллайдере (БАК), пуск которого в эксплуатацию планируется в 2007 г. На комплексе
высокопроизводительных вычислений для подготовки к проведению этого эксперимента выделен
специализированный 16-процессорный кластер “alice”, на котором отлаживаются технологии обработки
результатов, включая технологию Grid:
– моделирование высокоэнергетических событий;
– моделирование процессов взаимодействия жесткого излучения с различными средами;
– подготовка к обработке результатов эксперимента ALICE на БАК ЦЕРН.
Основные выводы
– Основной используемый язык программирования – ФОРТРАН, причем все чаще применяется его
диалект F90. Средство распараллеливания – пакет MPICH. ОpenMP и PVM практически не
используются.
– В основном расчеты ведутся по программам общего назначения (коммерческим или свободно
распространяемым). Это обусловлено крайней трудоемкостью разработки параллельных программ –
от года до десятка лет, и необходимостью их сопровождения, что могут позволить только большие
коллективы.
– Квантово-химические расчеты на первом месте по потреблению вычислительных ресурсов комплекса
– более 75% ресурсов комплекса затрачено на проведение научных расчетов по этому направлению в
2004 г.
– Проявляется тенденция ко все большему использованию grid-технологий. Активно ведется поиск
класса задач, эффективно решаемых с их помощью, в частности, связанных с обработкой и хранением
огромных массивов данных в медицине, биологии, квантовой химии и физике высоких энергий.