賈金芳 薛萬東 鄧新 曹騰飛 馮力 楊培

?

LBM三維相場(chǎng)模型模擬并行方法研究

賈金芳*薛萬東 鄧新 曹騰飛 馮力 楊培

青海大學(xué)計(jì)算機(jī)技術(shù)與應(yīng)用系，青海 西寧 810016

以高純丁二腈為研究對(duì)象，基于MPI并行求解了耦合流動(dòng)場(chǎng)的三維枝晶非等溫生長(zhǎng)PF-LBM相場(chǎng)模型，解決其存在的計(jì)算量巨大、計(jì)算時(shí)間長(zhǎng)、模擬規(guī)模小的問題。模擬結(jié)果表明，MPI并行求解技術(shù)不僅可以在一定程度上擴(kuò)大可模擬規(guī)模，而且也可以在同條件下獲得較高的加速比。相同的流動(dòng)對(duì)三維枝晶生長(zhǎng)過程的影響機(jī)制同時(shí)也說明了采用MPI并行算法的正確性和有效性。

相場(chǎng)模型；三維；LBM；MPI

凝固過程中材料微觀組織形成與生長(zhǎng)演化對(duì)材料使用性能有重要影響[1]。枝晶凝固過程受多種參數(shù)和復(fù)雜邊界條件的影響，實(shí)際試驗(yàn)成本比較高[2]。使用計(jì)算機(jī)進(jìn)行微觀組織數(shù)值模擬因其低成本、便捷等優(yōu)勢(shì)備受關(guān)注。相場(chǎng)法作為一種數(shù)值計(jì)算技術(shù)，應(yīng)用于凝固過程的模擬，可直觀再現(xiàn)復(fù)雜的微觀組織演化過程，自問世以來就受到各國(guó)研究者的關(guān)注[3-4]。

凝固微觀組織數(shù)值模擬中，流場(chǎng)數(shù)值模擬的難度較大。而格子玻爾茲曼方法LBM（Lattice Boltzmann Method）被認(rèn)為是模擬流場(chǎng)時(shí)最有前途的求解方法。相對(duì)于傳統(tǒng)流場(chǎng)計(jì)算方法，LBM方法具有天然并行性、算法較簡(jiǎn)單、易于處理復(fù)雜邊界條件、求解更容易等優(yōu)點(diǎn)[5]，一直以來受到很多領(lǐng)域?qū)W者的關(guān)注，并得到了廣泛的應(yīng)用。

因此，本文將LBM方法與KARMA等[6]提出的純物質(zhì)相場(chǎng)模型結(jié)合，忽略重力和動(dòng)力學(xué)影響，建立了耦合流動(dòng)場(chǎng)的三維枝晶非等溫生長(zhǎng)PF-LBM（Phase-LBM field model）模型，研究對(duì)流作用下枝晶生長(zhǎng)機(jī)理。然而，計(jì)算量大一直是制約相場(chǎng)法推廣和應(yīng)用的一個(gè)劣勢(shì)，相場(chǎng)法耦合流場(chǎng)后，在原有的尺度上增加了新的空間和時(shí)間尺度，三維也比二維增加了一個(gè)維度，其計(jì)算量更大，加之計(jì)算機(jī)本身硬件條件的限制，其模擬規(guī)模都比較小，仍缺乏定量研究。另外，目前相場(chǎng)模型一般采用有限差分方法求解[7-9]，其在整個(gè)求解域?qū)刂品匠踢M(jìn)行同尺寸均勻離散，導(dǎo)致計(jì)算量巨大，限制了三維凝固微觀組織模擬的發(fā)展。所以，為了更切實(shí)際地反映金屬凝固的微觀組織演化過程，對(duì)微觀組織演化在多尺度進(jìn)行多場(chǎng)耦合三維定量模擬具有重要意義，研究更快速、合理的數(shù)值求解方法來求解多場(chǎng)耦合三維相場(chǎng)模型顯得很有必要。

表1 SCN熱物性參數(shù)、相場(chǎng)參數(shù)及計(jì)算參數(shù)

隨著多核CPU及GPU大規(guī)模并行機(jī)的出現(xiàn)，學(xué)者們逐步致力于研究并行算法，以解決計(jì)算成本，實(shí)現(xiàn)高效定量模擬。George等[10]使用MPI并行技術(shù)成功實(shí)現(xiàn)了較大區(qū)域內(nèi)使用有限差分方法的三維合金枝晶微觀組織凝固模擬。Altenfeld等[11]應(yīng)用OpenMP側(cè)重于并行迭代線性方程的求解和非線性的相場(chǎng)方程顯式求解器的并行使用，這兩個(gè)求解器用于基于相場(chǎng)法的微觀組織演變模擬。在GPU方面，Aoki等[12]在多GPU集群上對(duì)三維枝晶生長(zhǎng)過程進(jìn)行了模擬研究，結(jié)果在很大程度上提高了計(jì)算效率，擴(kuò)大了模擬規(guī)模。同時(shí)期，Yamanaka、Shimokawabe等[13-14]分別在單GPU和配有多個(gè)GPU的TSUBAME 2.0超級(jí)計(jì)算機(jī)上對(duì)相場(chǎng)與溶質(zhì)場(chǎng)兩場(chǎng)耦合、三維二元合金凝固相場(chǎng)模型進(jìn)行了模擬，結(jié)果證明GPU并行計(jì)算可實(shí)現(xiàn)快速、高效、大規(guī)模定量模擬，其性能是單機(jī)或多核CPU無法比擬的。

盡管上述研究都使用了不同的并行數(shù)值求解方法求解相場(chǎng)模型，也在一定程度上取得了較好的結(jié)果，但是這些研究基本都是對(duì)三維兩場(chǎng)耦合相場(chǎng)模型的模擬實(shí)現(xiàn)。因此，本文將基于消息傳遞接口MPI實(shí)現(xiàn)對(duì)三維多場(chǎng)耦合相場(chǎng)模型的并行求解，在一定程度上擴(kuò)大計(jì)算規(guī)模，提高計(jì)算效率，為材料研究學(xué)者實(shí)現(xiàn)更真實(shí)的微觀組織模擬奠定基礎(chǔ)。

1 相場(chǎng)模型

1.1 LBM方法

LBM演化方程為

1.2 相場(chǎng)模型

相場(chǎng)和溫度場(chǎng)控制方程分別表示為

將質(zhì)量守恒方程和動(dòng)量守恒方程以下述方式耦合到相場(chǎng)方程中，為統(tǒng)一描述液相區(qū)和枝晶間液體金屬的流動(dòng)，假定凝固過程中流動(dòng)不引起晶粒位置的改變。

質(zhì)量守恒方程(連續(xù)性方程)為

動(dòng)量守恒方程為

2 模擬參數(shù)取值及數(shù)值計(jì)算

2.1 模擬參數(shù)取值

本文選擇高純丁二腈SCN為研究對(duì)象，其熱物性參數(shù)、相場(chǎng)參數(shù)及計(jì)算參數(shù)如表1所示。

2.2 初始、邊界條件

式中：x、y、z分別為三個(gè)坐標(biāo)軸方向；lx、ly、lz為三維模擬區(qū)域分別在三個(gè)坐標(biāo)軸方向上的最大網(wǎng)格數(shù)。

在計(jì)算區(qū)域邊界處，相場(chǎng)和溫度場(chǎng)均采用了Zero-Neumann邊界條件。流場(chǎng)邊界條件對(duì)計(jì)算結(jié)果的精度和穩(wěn)定性有很大影響。在LBM流場(chǎng)方面，本文采用的邊界條件是啟發(fā)式格式中的用于固體壁面處理的反彈格式，此格式常用于處理無滑移邊界問題。與其他邊界條件相比，它不需要較復(fù)雜的數(shù)學(xué)推導(dǎo)和公式求解，其可以根據(jù)邊界上的一些宏觀物理特性如對(duì)稱性等，通過微觀粒子的運(yùn)動(dòng)規(guī)則直接確定邊界節(jié)點(diǎn)上的未知分布函數(shù)。

2.3 數(shù)值求解方法

在數(shù)值求解方面，由于問題及算法本身非常符合可被并行的特點(diǎn)，本文主要基于MPI中對(duì)等模式實(shí)現(xiàn)三維多場(chǎng)耦合相場(chǎng)模型并行求解，其中每個(gè)節(jié)點(diǎn)的負(fù)載、地位都是平等的。將三維求解區(qū)域按列劃分成相同大小的多個(gè)子區(qū)域，每個(gè)節(jié)點(diǎn)負(fù)責(zé)其中一個(gè)子區(qū)域的計(jì)算，同一時(shí)間步內(nèi)所有計(jì)算完成后，在開始下一時(shí)刻計(jì)算前，必須完成每個(gè)子區(qū)域邊界網(wǎng)格點(diǎn)值的更新，即每一節(jié)點(diǎn)與相鄰節(jié)點(diǎn)間須進(jìn)行數(shù)據(jù)通信?；贛PI并行求解模式如圖1所示。

3 結(jié)果與分析

本文實(shí)驗(yàn)計(jì)算環(huán)境為計(jì)算機(jī)系“三江源數(shù)據(jù)分析中心”高性能集群服務(wù)器平臺(tái)，其系統(tǒng)配置為：CPU型號(hào)Intel Xeon E5-2620 v2 @ 2.10GHz，共48個(gè)計(jì)算節(jié)點(diǎn)。

3.1 模擬結(jié)果

圖2（a）、（b）、（c）依次為沒有耦合流動(dòng)時(shí)枝晶生長(zhǎng)形貌、沿x軸方向中間位置相場(chǎng)切片圖和與之對(duì)應(yīng)的溫度場(chǎng)切片圖，可以看出，枝晶各分支均呈現(xiàn)對(duì)稱生長(zhǎng)，溫度場(chǎng)邊界層厚度也保持一致。

圖1 MPI對(duì)等模式求解模式

圖2 MPI并行模擬結(jié)果

圖2（f）為圖2（e）對(duì)應(yīng)的溫度場(chǎng)形貌切片。發(fā)現(xiàn)流動(dòng)的存在破壞了溫度場(chǎng)邊界層一致的厚度。因?yàn)橹踢^程是不斷釋放潛熱的過程，流動(dòng)的沖擊帶走了上游側(cè)的熱量，而熔體的過冷度是枝晶凝固的驅(qū)動(dòng)力，從而上游側(cè)枝晶在凝固過程釋放的潛熱能夠快速擴(kuò)散，溫度邊界層厚度較薄，加快了上游側(cè)及法向上游側(cè)枝晶生長(zhǎng)速度；下游側(cè)潛熱因受已凝固枝晶的影響不容易擴(kuò)散，溫度較高，不容易凝固，溫度邊界層相對(duì)上游側(cè)也更厚。上述原理均與串行情況下及理論上流動(dòng)對(duì)枝晶生長(zhǎng)影響機(jī)制一致，同時(shí)也證明了文中采用MPI并行算法的正確性和有效性。

3.2 MPI并行求解效果分析

MPI并行技術(shù)被廣泛應(yīng)用在需要擴(kuò)大求解規(guī)模的問題領(lǐng)域中，本文中采用對(duì)等模式，每個(gè)進(jìn)程負(fù)責(zé)求解的計(jì)算量完全相同。文中模擬的三維多場(chǎng)耦合相場(chǎng)模型串行程序在單機(jī)上模擬區(qū)域上限為1703，通過MPI并行后可擴(kuò)規(guī)模到3203。圖3為求解區(qū)域網(wǎng)格數(shù)大小為1703，其他所有參數(shù)都相同的情況下，MPI在不同進(jìn)程數(shù)時(shí)相對(duì)于串行程序的加速效果。從圖3可以看出，當(dāng)啟動(dòng)進(jìn)程數(shù)從8～10過渡時(shí)，加速效率沒有呈明顯上升趨勢(shì)，進(jìn)程數(shù)增加為12時(shí)，加速效率反倒有點(diǎn)下降，經(jīng)測(cè)試中間進(jìn)程，當(dāng)進(jìn)程數(shù)為9時(shí)，MPI并行程序取得最大加速比9.62倍。其主要原因在于：當(dāng)啟動(dòng)較少進(jìn)程時(shí)，各進(jìn)程間邊界數(shù)據(jù)交換較少，數(shù)據(jù)通信時(shí)間短，加速效率較明顯；隨著進(jìn)程數(shù)的增多，劃分的子任務(wù)更多，邊界數(shù)據(jù)通信時(shí)間也隨之延長(zhǎng)，計(jì)算時(shí)間無法隱藏通信時(shí)間，從而導(dǎo)致效率下降或持較平穩(wěn)趨勢(shì)。

4 結(jié)論

（1）本文基于MPI技術(shù)對(duì)PF-LBM三維多場(chǎng)耦合相場(chǎng)模型進(jìn)行了并行求解，進(jìn)一步理解了流動(dòng)在三維相場(chǎng)模型中對(duì)枝晶生長(zhǎng)過程的影響。

（2）結(jié)果表明MPI并行技術(shù)不僅可以擴(kuò)大計(jì)算規(guī)模，也可以在同條件下獲得較高的加速比。

（3）文中并沒有充分利用節(jié)點(diǎn)計(jì)算資源，后期將結(jié)合粗細(xì)粒度混合并行進(jìn)一步提升模擬效果。

[1]劉衛(wèi)津. NiCu合金枝晶生長(zhǎng)相場(chǎng)法模擬及關(guān)鍵技術(shù)研究[D]. 太原：中北大學(xué)，2014.

[2]侯蕊. 相場(chǎng)法模擬Ti-Al二元合金枝晶生長(zhǎng)[D]. 沈陽：沈陽師范大學(xué)，2017.

[3]劉靜，段萌萌. 相場(chǎng)模擬對(duì)流影響凝固組織形成的研究進(jìn)展[J]. 鑄造技術(shù)，2012，33（4）：459-462.

[4]康永生. Fe-C合金枝晶生長(zhǎng)過程的相場(chǎng)法模擬研究[D]. 太原：中北大學(xué)，2017.

[5]郭照立. 格子Boltzmann方法的原理及應(yīng)用[M]. 北京：科學(xué)出版社，2009.

[6]KARMA A, RAPPEL W J. Quantitative phase-field modeling of dendritic growth in two and three dimensions[J]. Physical Review Letter，E，1998，57（4）：4324-4349.

[7]呂星，楊湘杰，桂云鵬，等. 過冷熔體近球晶組織形成機(jī)理的相場(chǎng)模擬[J]. 鑄造技術(shù)，2015，44（7）：88-91.

[8]Q Li, K H Luo, Q J Kang, et al. Lattice Boltzmann methods for multiphase flow and phase-change heat transfer[J]. Progress in Energy and Combustion Science，2016：62-105.

[9]Hyun Geun Lee，Junseok Kim. A simple and efficient finite difference method for the phase-field crystal equation on curved surfaces[J]. Computer Methods in Applied Mechanics and Engineering，2016：32-43.

[10]William L. George，James A. Warren. A parallel 3D dendritic growth simulator using the phase-field method[J]. Journal of Computational Physics，2002：264-283.

[11]Altenfeld R，Apel M，Mey D，et al. Parallelising Computational Microstructure Simulations for Metallic Materials with OpenMP[J]. Proceedings of IWOMP 2011,B.M. Chapman et al. eds，2011，6665：1-11.

[12]Aoki T，Ogawa S，Yamanaka A. Multiple-GPU scalability of phase-field simulation for dendritic solidification[J]. Progress in Nuclear Science and Technology，2011，2：639-642.

[13]Yamanaka A，Aoki T，Ogawa S，et al. GPU-accelerated phase-field simulation of dendritic solidification in a binary alloy[J]. Journal of Crystal Growth，2011，318（1）：40-45.

[14]Shimokawabe T，Aoki T，Takaki T，et al. Peta-scale phase-field simulation for dendritic solidification on the TSUBAME 2.0 supercomputer[C]. Proceedings of the 2011 ACM/IEEE International Conference for High Performance Computing, Networking，Storage and Analysis，2011：1-11.

[15]HE N Z，WANG N C，SHI B C，et al. A unified income-pressible lattice BGK model and its application to three-dimensional lid-driven cavity flow[J]. Chinese Physics，2004，13（1）：40-46.

Research on Parallel Method of LBM Three-Dimensionalphase-Field Model

Jia Jinfang Xue Wandong Deng Xin Cao Tengfei Feng Li Yang Pei

Computer Technology and Application Department, Qinghai University, Qinghai Xining 810016

In the paper, taking high purity Succinonitrile as the research object, the three-dimensional dendritic non-isothermal growth PF-LBM phase-field model coupling flow field is parallel computed based on MPI, which solves the problems of large computational capacity, long computation time and small simulation scale. The results show that MPI parallel solution can not only enlarge the simulation scale to some extent, but also obtain a higher acceleration ratio under the same conditions. The correctness and effectiveness of the MPI parallel algorithm are also illustrated by the same influences of flow on the three-dimensional dendritic growth process.

phase-field model; three-dimension; LBM; MPI

TG111.4

A

青海大學(xué)中青年科研基金項(xiàng)目（2015-QGY-13）。

通信作者為賈金芳（1991—），女，甘肅天水人，助教，碩士。E-mail：543860105@qq.com。