Численное моделирование сейсмических волн на системах с

Численное моделирование сейсмических волн на системах с распределенной памятью с
использованием аддитивного метода Щварца и математической библиотеки Intel®MKL
Белоносов Михаил Андреевич*, Решетова Галина Витальевна**, Соловьев Сергей Александрович*,
Чеверда Владимир Альбертович*
* Федеральное государственное бюджетное учреждение науки Институт нефтегазовой геологии и
геофизики им. А.А.Трофимука Сибирского отделения Российской академии наук, Новосибирск (ИНГГ
СО РАН)
** Федеральное государственное бюджетное учреждение науки Институт вычислительной математики
и математической геофизики Сибирского отделения Российской академии наук, Новосибирск
(ИВМиМГ СО РАН)
Крупномасштабное 3D моделирование сейсмических волн в гетерогенных средах невозможно
представить без параллельных вычислений на основе методов декомпозиции области. Из них
наиболее применяемы явные конечно-разностные схемы на разнесенных сетках. Недостатком таких
схем является их условная устойчивость, накладывающая весьма жесткие ограничения на величину
шага по времени в зависимости от шага по пространству, а присущая им численная дисперсия не
позволяет использовать крупные шаги по пространству. В связи с этим значительное внимание в
последнее время уделяется разработке альтернативных методов, особенно в частотной области
(Plessix, 2007). Здесь наиболее распространено преобразование Фурье по времени, широко
использующееся при обращении полных волновых полей для построения скоростной модели. Однако
возникают сложности со сходимостью итерационных методов в частотной области, во многом
обусловленные несимметричностью и знаконеопределенностью возникающей здесь матрицы, у
которой могут быть как положительные, так и отрицательные собственные числа.
Альтернативным подходом, предлагаемым в данной работе, является применение
преобразования Лагерра по времени. В отличие от Фурье, преобразование Лагерра приводит к
эллиптической системе линейных уравнений (Mikhailenko et al. 2003), для решения которой
применяется метод декомпозиции области с последующей организацией альтернирования по Шварцу
(Мацокин, Непомнящих,1985; Chan, Matthew 1994). Разбиение расчетной области на подобласть
строится таким образом, чтобы в каждой подобласти можно было бы совершить LU-разложение
соответствующей матрицы. Получив LU-компоненты только один раз, они используются в
дальнейшем для расчета коэффициентов преобразования Лагерра, а также для различных
источников.
Интегральное преобразование Лагерра по времени описывается следующим соотношением:

u n ( x, z )   u ( x, z, t )  (ht )


2 
n
l (ht )dt
(1)
0
с формулой обращения


u ( x, z, t )   u n ( x, z )( ht ) 2 l n (ht ) .
(2)
n 0

Здесь l n (ht ) – ортогональные функции Лагерра
l n (ht ) 
где

ht

n!
(ht ) 2 e 2 Ln (ht ) ,
(n   )!
(3)
h ,  – положительное вещественное и целое числа, а Ln (ht ) – классические стандартизованные
многочлены Лагерра (Суетин, 1974). Применяя интегральное преобразование Лагерра к двумерной
системе уравнений упругости, получаем эллиптическую систему уравнений:

u xn
u xn 
u zn    u zn
 
h2 n
(


2

)








u x  Fnx 




x 
x
z  z  x
z 
4

(4)
,
u xn    u xn
u zn 
  u zn
h2 n
z

 (  2  )

  
   u z  Fn 
x  x
z  z  x
z 
4

x
0
n 1
z
0
n 1
где  ,  – коэффициенты Ламе,  – плотность, Fn u x , , u x  , Fn u z , , u z  – рекурсивно
вычисляемые правые части (Mikhailenko et al. 2003). Независимость оператора левой части системы
от параметра разделения, а также знакоопределенность системы являются основными
преимуществами преобразования Лагерра по времени.
Система (4) аппроксимируется со вторым порядком на стандартных сдвинутых сетках [Virieux,
1986] системой линейных алгебраических уравнений с девятьюдиагональной матрицей. Основные
достоинства полученной системы:
1. Матрица системы знакоопределенная, что гарантирует сходимость метода
альтернирования по Шварцу со скоростью геометрической прогрессии (Halpern et al., 2001);
2. Матрица не зависит от параметра разделения n, следовательно, она вычисляется
только один раз, и ее LU-разложение строится также единожды и в дальнейшем используется
для решения систем линейных алгебраических уравнений (СЛАУ) с различными правыми
частями.
Для организации параллельных вычислений учитываются особенности современных гибридных
вычислительных систем. Во-первых, устраивается декомпозиция расчетной области на
перекрывающие подобласти (см. рис.1), каждая из которых приписывается своему процессорному
элементу (кластерному узлу). Для отыскания решения используется итерационный метод,
основанный на альтернировании по Шварцу (Chan, Mathew, 1994). Для организации обменов между
кластерными узлами используется библиотека MPI. Во-вторых, при решении СЛАУ на каждом
кластерном узле с общей памятью учитывается ее многопоточность путем использования библиотеки
OpenMP.
Рис.1: Декомпозиция области, используемая для организации параллельных вычислений. Красным
цветом обозначены пересечения четырех подобластей, зеленым – пересечения двух подобластей.
Для решения СЛАУ на кластерном узле с общей памятью можно использовать как прямые, так и
итерационные методы. Так как необходимо решать СЛАУ с одной матрицей и большим числом
правых частей, то в этом случае преимущество в использовании прямых методов. Известно
множество программных пакетов решения СЛАУ прямыми методами (Gould et al., 2005) на основе
алгоритмов переупорядочивания строк и столбцов исходной матрицы, эффективной параллелизации
процесса факторизации и обращения LU-факторов. Вычисление LU-разложения и последующее его
использование для решения семейства систем линейных алгебраических уравнений с различными
правыми частями выполняется с использованием компоненты PARDISO математической библиотеки
Intel MKL (Math Kernel Library,
http://software.intel.com/sites/products/documentation/doclib/mkl_sa/11/mklman/index.htm).
Процесс факторизации в Intel® MKL PARDISO распараллелен и оптимизирован под многоядерные
системы с общей памятью (OpenMP). Высокая производительность PARDISO на архитектуре Intel
достигается также за счет использования компоненты Intel® MKL BLAS. Также в PARDISO существует
широкий набор функциональностей, в частности предусмотрена возможность применения двух
алгоритмов факторизации: Left-Looking (Schenk et. al. 2005) и Two-level (Schenk, Gartner, 2001).
Первый из них эффективно работает на малом числе потоков, второй алгоритм на большем (более
8).
При большом числе правых частей, а также при многократном использовании LU-разложения
процесс решения системы LUx  b является достаточно ресурсоемким и зачастую занимает больше
времени, чем факторизация. Этап решения, как и этап факторизации в PARDISO, также
распараллелен и оптимизирован как для одной, так и для многих правых частей.
Выполнен сравнительный анализ эффективности работы решателей SuperLU и Intel® MKL
PARDISO, результаты которого получены на кластере NKS-30T (вычислительные узлы на базе
процессоров X5675 3.00 GHz Westmere). Результаты сравнения показаны на рис. 2.
Рис. 2: Зависимость нормализованного время решения СЛАУ от числа правых частей
(от числа источников)
Для верификации описанного выше алгоритма проведена серия численных экспериментов,
выполненная для представленного на рис.3 участка модели Gullfuks, описывающей сейсмологическое
строение одного из реальных месторождений Северного моря (Fossen and Hesthammer, 1998).
Рис.3. Двумерная модель Gullfuks. Распределение скорости распространения продольных волн.
Источник типа центра объемного расширения, возбуждающий импульс Рикера с доминирующей
частотой 30 Гц, расположен в точке с координатами (1620, 20). Конечно-разностная аппроксимация
модели выполнена на равномерной сетке с шагом 2 м, что соответствует 25 узлам на длину волны.
Моделирование проведено до момента времени T=3 с с использованием 450 функций Лагерра.
Расчетная область разбивается на 9 подобластей (3x3) с шириной перекрытия 50 м, т.е. 25 узлов.
Для получения решения потребовалось выполнение 10 итераций альтернирования по Шварцу.
Результаты моделирования в виде последовательных моментальных снимков волнового поля
приведены на рис.4.
Рис 4. Моментальные снимки горизонтальной компоненты вектора смещений для модели Gullfuks.
Литература
1. Plessix R.E. A Helmholtz iterative solver for 3D seismic-imaging problems // Geophysics.2007. 72, №5,
SM185 - SM194.
2. Mikhailenko B.G., Mikhailov A.A., Reshetova G.V. Numerical Modeling of
transient seismic fields in viscoelastic media based on the Laguerre spectral
method // Pure Appl. Geophys. 2003. V. 160. P. 1207-1224.
3. Мацокин А.М., Непомнящих С.В. Метод альтернирования Шварца в подпространстве // Изв. высш.
уч. заведений. Математика. 1985. № 10. С. 99-112.
4. Chan T., Mathew T.P. Domain decomposition // Acta Numerica. 1994. V. 3. P. 61-143.
5. Суетин П.К. Классические ортогональные многочлены. М.: Наука. 1974. С. 203-243
6. Virieux J. P-SV wave propagation in heterogeneous media: Velocity - stress finite-difference method //
Geophysics.1986. 51(4), P. 889-901.
7. Halpern L., Martin J.G., Nataf F. Optimized Schwarz Methods // Proceedings of the 12th International
Conference on Domain Decomposition, Chiba, Japan, ddm.org, pp. 15-27, 2000. P.15-27.
8. Gould N.I.M., Hu Y., Scott J.A. A numerical evaluation of sparse direct solvers for the solution of large
sparse, symmetric linear systems of equations Technical Report RAL-TR-2005-005,. Rutherford Appleton
Laboratory, Chilton, Oxfordshire, England. 2005.
9. Schenk O., Gartner K., and Fichtner W. Efficient Sparse LU Factorization with Left-right Looking Strategy
on Shared Memory Multiprocessors. BIT, 40(1):158-176, 2000.
10. Schenk O. and Gartner K. Sparse Factorization with Two-Level Scheduling in PARDISO. In Proceeding
of the 10th SIAM conference on Parallel Processing for Scientific Computing, Portsmouth, Virginia, March
12-14, 2001.
11. Fossen H., Hesthammer J. Structural geology of the Gullfaks Field, northern
North Sea // Geological Society, London, Special Publications. 1998. V.
127. P. 231-261.
Работа выполнена совместно с Московским научно-исследовательским центром Шлюмберже,
частично поддержана РФФИ, гранты 10-05-00223, 11-05-00947, 11-05-12022, 12-05-31008, 12-0533011, грант президента РФ МК-47.2011.5