Проблемы создания элементной базы экзамасштабных систем

Семинар кафедры “Нано и
микроэлектроники” МИФИ, 24 сентября
2013
Проблемы создания элементной базы
экзамасштабных систем
Л.К.Эйсымонт
(к.ф-м.н, научный консультант ФГУП «НИИ «Квант»)
Требования по памяти экзамасштабных систем
Общая картина в области СКТ
- Внедрение результатов программы
DARPA HPCS (2002-2010), коммерческие
образцы и военные суперЭВМ (2013-2017)
- Выполнение программы DARPA UHPC
(2010-2020) и программ DoE по экзамасштабным
технологиям и суперЭВМ экза-уровня
- Выполнение программы DARPA STARNet
(с 2013 года) по оптимизации использования
КМОП-технологий и разработки технологий
пост-Муровской эры, зетта- и йотта-уровень
Проекты DARPA UHPC
экзамасштабной тематики и эксперименты
с перспективными run-timе системами.
1. Проект Echelon (NVIDIA, Cray, 8 университетов.
Модель программ – обобщение CUDA. Есть эмуляция
на кластерных суперкомпьютерах.
2. Проект Runnemede (Intel, Университет Делавера….).
Модель программы – Соdelet-модель. Есть эмуляция
на кластерных компьютерах .
3. Проект Angstrom (MIT, Tilera ), Модель программы –
SEEС, есть эмуляция на кластерных
суперкомпьютерах.
4. Проект X-calibr (Лаборатория Sandia, ….). Модель
программы – ParalleX, есть эмуляция на кластерных
суперкомпьютерах – HPX (университет Луизианы).
Базовые материалы экзафлопсной
тематики (экстремальные технологии)
суперЭВМ экза- и более уровня
15-2017 – военные суперкомпьютеры
КСН) экза-уровня, CF- и DIS-задачи
18-2020 – эволюционная суперЭВМ
зафлопсного уровня NNSA DoE
осле 2022 – инновационная суперЭВМ
зафлопсного уровня OS/ASCR DoE
осле 2020 - военные суперкомпьютеры
ВКСН) зетта-уровня (~ 2020) и йоттаровня (~ 2024), технологии RSFQ, QCA и
вантовые аналогово-спиновые (~D-Wave)
Проблемы,
которые надо решить…
( стена памяти, хранение и передача
данных, энергоэффективность,
отказоустойчивость, продуктивность)
Базовые целевые характеристики
суперЭВМ экза-уровня
Базовые характеристики рекордных
суперЭВМ, лето 2013 (Top500)
Увеличение разрыва такта процессора
и времени доступа к DRAM-памяти
Динамика роста пиковой и реальной
производительности (видение 2003 года)
В настоящее время разрыв 100-1000 раз
HPCG (SpMV) против HPL(Top500)
Установка
Реальная производительность
на SpMV (% от пиковой)
2 x Intel Xeon X5680 (Westmere)
0,7 - 1,3
2 x Intel Xeon E5-2670 (Sandy Bridge)
1,2 - 2,3
NVIDIA Tesla C2050 (Fermi).
Tesla K20 (Kepler)
1,2 - 5,3
0,4 - 1,2
0,5 - 4,5
Intel Xeon Phi
Saule E. et al. Performance Evaluation of Sparse Matrix Multiplication Kernels on Intel
Xeon Phi. 5 Feb 2013, 19 pp
Пакет тестов Euroben, группы операций
тест Euroben (модуль mod1a)
31 тест простых операций с векторами
Цели: Оценка производительности вычислительных
элементов в зависимости от схемы доступа
к данным и соотношения числа вычислительных
операций и операций доступа к памяти
Сравнение компиляторов и опций
Пакет тестов Euroben, Intel E5-2660 Sandy Bridge
(core Rpeak 17,6 Гфлоп/с)
Группа 1
Группа 2
Тест APEX-map, APEX-поверхность, профиль
работы с памятью теста APEX-map
Разные режимы пространственно-временной
локализации и эффективность работы памяти
Пространственная
локализация
Временная
локализация
Профили тестов, получены на имитационной
модели СКСН Ангара (Россия, ОАО”НИЦЭВТ”)
Тест SpMV
BFS
Профили реальных программ, получены на
реальном оборудовании (США, ORNL DoE)
Пространственно-временная локализация
обращений к памяти - измерение
Пространственная локализация (spatial locality) - тенденция
приложения выдавать обращения к памяти, в которых адреса
находятся вблизи от адресов недавно выданных обращений
SL  [0,1]
Временная локализация (temporal locality) – тенденция
приложения выдавать обращения к памяти к тем же адресам,
которые были в недавно выданных обращениях
TL  [0,1]
Weinberg J. et al. Quantifying Locality In The Memory Access Patterns of
HPC Applications. SC’05, November 12-18, 2005, 12 pp. (San Diego-LBNL)
Технология оптимизации на основе результатов
профилирования работы с памятью - 1
Технология оптимизации на основе результатов
профилирования работы с памятью - 2
Архитектурные-программные приемы
преодоления проблемы “стены памяти”
Перспективы и особенности развития
технологий микропроцессорных кристаллов
Развитие микроэлектронных технологий
Процессорные кристаллы
Кристаллы памяти
Анатомия энергетических характеристик
экзамасштабных систем 2018 года
Анатомия характеристик подсистемы памяти
экзамасштабных систем 2018 года
Текущий уровень интерфейсов Threadstorm
Имитационное моделирование
многоядерного Cray XMT (Threadstorm)
Tumeo S. et al. Designing Next-Generation Massively Multithreded Architectures for Irregular Applications.
COMPUTER, August 2012, pp.53-61.
Villa O., Tumeo A., Secchi S., Manzano J.B., Fast and Accurate Simulation of the Cray XMT Multithreaded
Supercomputer, IEEE Transactions on Parallel and Distributed Systems, 13 Feb. 2012. 9 pp.
Результаты тестовых прогонов без
агрегирования сообщений (32 узла)
Блок агрегирования сообщений
Результаты тестовых прогонов с
агрегированием сообщений, MC=8
Вычислительный узел
Энергоэффективность процессора узла
3D сборка – IBM TSV
Коммуникационный опточип IBM Holley
и вариант перспективной компоновки
вычислительного модуля
90 нм, 48 линков по 12.5 Gb/s (24(in)+24(out)), ~5x5мм, 8 pJ/bit.
Перспектива (45 нм) – 40 Gb/s, 1 pJ/bit (0.8 – E, 0.2 – O)
Узел - 5х6 см, 82 (OE), 1968 VCSL + 1968 PD,
6 узлов в группе, 4 группы в модуле
HMC (фирмы Micron, HP)
HMC (фирмы Micron, HP) –
интеллектуальная память
Многоуровневая
коммуникационная сеть
Стойка суперкомпьютера Power 775
Серверная плата суперкомпьютера
Power 775
Многопортовый HUB-маршрутизатор
сети PERCS
Многоуровневая сеть PERCS
суперкомпьютера Power 775
Одно вычислительное лезвие
суперкомпьютера Сray XC30
Многоуровневая сеть суперкомпьютера
Сray XC30
Двухстоечный
фрагмент
Фрейм
Уровни иерархии 1, 2 и 3 новых суперкомпьютеров и
возможности коммуникационных средств этих уровней
Специализация и
блоки аналогового типа
Переход от подхода 90/10 к подходу 10х10 –
специализация ядер в виде функциональных кластеров
Переход от подхода 90/10 к подходу 10х10 –
специализация ядер в виде функциональных кластеров
Специализация на символьную
обработку – “символьный кластер”
Регистры Pe
Операции Pe
Правила переходов Pe
Правила проектирования – 206
Правила замены - 88
Крупнозернистое распараллеливание
программ – одновременное выполнение
функций.
Программа
Последовательное выполнение
Параллельное выполнение
Мелкозернистое распараллеливание
проектирования и замены.
Пример левой части
Левая часть с расставленными номерами шагов проектирования
Возможное совмещение проектирования
На следующем слайде – процесс реального проектирования для обращения
с аргументом BC+M(()A(**)MCPBC). Получаем: e1 = BC, e2=M, w3=(), e4=MCP
Эйсымонт Л.К. О возможности параллельных схем реализации одного языка для описания задач
переработки текстовой информации. – Управляющие Системы и Машины, Киев, 1977, с.56-64.
Пример совмещения проектирования
элементов одной левой части
δ1 - Правила проектирования для Pe (k)
δ2 - Правила проектирования для Pe (~)
δ3 - Правила проектирования для Pe (φ)
Квантовый аналогово-спиновый
суперкомпьютер D-Wave - 1
Вычисление, которое
может выполнять D-Wave, si
–спины, +1 или -1, hi и Ji,j –
настроечные
коэффициенты
Один q-бит
Соединение двух q-битов
Логическое соединение 128 qбитов
Квантовый аналогово-спиновый
суперкомпьютер D-Wave - 2
Рабочая температура ~ 20
mK
Квантовый аналогово-спиновый
суперкомпьютер D-Wave - 3
Физические ограничения
и пост-Муровская эра
Ограничение Лэндауэра. Динамика
снижения затрат на обработку одного бита
Физический предел производительности
нереверсивных суперкомпьютеров –
“точка Стерлинга”(для мощности 600 KW)
Прогноз роста потребностей
производительности и возможностей
создаваемых суперкомпьютеров
Вопросы ?
Эйсымонт Леонид Константинович
(ФГУП”НИИ”Квант”, verger-lk@yandex.ru, eisymont@rdi-kvant.ru)
Приложение 1.
Военные суперкомпьютеры (ВКСН)
2015-2017 годов.
П1.1. США - “Сray Scorpio” (условное название)
П1.2. Китай – “Удар Грома” (СТ-2/СТ-3)
П1.3. Япония – “Стрела времени”
Характерные особенности:
-массово-мультитредовая архитектура
-глобально адресуемая память
-гибридность архитектуры
-отказоустойчивость
-оптимизация обработки коротких, средних и длинных
векторов
-потоковая обработка (статические графы, управление
потоком данных)
- иерархические коммуникационные сети с
функциональной ориентацией
Общая структура
суперкомпьютера Echelon
Структура SM-ядра
Полоса обработки (Lane) SM-ядра
Модель вычислений ParalleX.
Сравнение Echelon с функционально –
специализированными суперкомпьютерами
Приложение 3. Проект Сorona
(Hewlett-Packard, University of Visconsin,
University of UTAH)
3D-модуль процессора
3D-модуль памяти
Приложение 4.
Организация работ по
тематике нанотехнологий
и пост-Муровской ЭКБ
Зоны работ по нанотехнологиям - 1
Зоны работ по нанотехнологиям -2
Программа DARPA STARnet
(долгосрочная, коммерциализация через
10-15 лет)
DARPA STARnet – Центр N1
DARPA STARnet – Центр N2
DARPA STARnet – Центр N3
DARPA STARnet – Центр N4
DARPA STARnet – Центр N5
DARPA STARnet – Центр N6
Конец приложений