王冠石,陳宇，蔣文濤，田曉寶△，王清晟，周志宏

(1. 四川大學(xué) 力學(xué)科學(xué)與工程系，四川省生物力學(xué)工程實(shí)驗(yàn)室,成都 610065;2. 北京市順義區(qū)體育運(yùn)動學(xué)校,北京 101300)

1 引 言

隨著CFD的不斷發(fā)展，其趨勢總體呈現(xiàn)出計(jì)算域更復(fù)雜、算法精度更高、網(wǎng)格數(shù)量眾多等特點(diǎn)，同時(shí)人們對快速計(jì)算、甚至實(shí)時(shí)計(jì)算的需求日益迫切[1-2]，因此，研究高性能計(jì)算(high performance computing, HPC)成為人們的當(dāng)務(wù)之急。目前，高性能計(jì)算在材料科學(xué)、天體物理、核科學(xué)、氣候氣象、結(jié)構(gòu)、生物醫(yī)學(xué)、地震科學(xué)等領(lǐng)域得到了廣泛地應(yīng)用，并極大地推動了這些領(lǐng)域的發(fā)展[3-5]。準(zhǔn)確地說，高性能計(jì)算和建模與仿真共同定義了繼理論、實(shí)驗(yàn)后第三種主要的科學(xué)研究手段[6]。

當(dāng)前，高性能計(jì)算機(jī)體系結(jié)構(gòu)主要以多核計(jì)算集群為主。在實(shí)現(xiàn)多核并行計(jì)算的諸多開源軟件中，OpenFOAM備受矚目。其自由、開源、高可擴(kuò)展性、對并行計(jì)算友好的特點(diǎn)[7-8]，受到使用者的青睞。尤其是可以通過簡單修改控制文件的設(shè)置，再使用腳本文件設(shè)定計(jì)算順序，就可針對不同情況進(jìn)行大批量自動計(jì)算，提高了總體計(jì)算效率。

然而，隨著問題規(guī)模的增大，即網(wǎng)格數(shù)量的增加和計(jì)算核心數(shù)量的增加，多核并行計(jì)算平臺是否能夠保持良好的運(yùn)算性能?為此，我們有必要研究和分析高性能計(jì)算的潛在運(yùn)算能力，尤其是綜合分析在不同計(jì)算節(jié)點(diǎn)和問題規(guī)模下的性能表現(xiàn)[9-10]，以便充分發(fā)揮其強(qiáng)大的功能。本研究使用OpenFOAM作為測試軟件平臺，探究了該平臺的運(yùn)算性能，以期得出計(jì)算性能和效率隨計(jì)算節(jié)點(diǎn)和網(wǎng)格數(shù)量的變化規(guī)律，得出最優(yōu)的解決方案，為大規(guī)模并行計(jì)算提供一定參考。

2 計(jì)算集群軟硬件環(huán)境

2.1 硬件配置

本研究所用的高性能計(jì)算集群是四川大學(xué)建筑與環(huán)境學(xué)院的計(jì)算平臺，其總體計(jì)算能力可達(dá)6.3 Tflops，由1個管理節(jié)點(diǎn)和18個計(jì)算節(jié)點(diǎn)，共計(jì)304個(19×16)計(jì)算核心組成，具體節(jié)點(diǎn)配置見表1。該集群系統(tǒng)配置一臺S5700S骨干以太網(wǎng)交換機(jī)，作業(yè)網(wǎng)絡(luò)采用以太網(wǎng)方式，存儲系統(tǒng)為12 TB 的分布式系統(tǒng)。考慮到在不同測試條件下保證硬件環(huán)境一致，以及避免內(nèi)存大小對本次試驗(yàn)造成限制，因此本研究使用具有128 G內(nèi)存的三個計(jì)算節(jié)點(diǎn)。

2.2 軟件平臺

該集群系統(tǒng)各個節(jié)點(diǎn)的操作系統(tǒng)均為CentOS Linux release 7.2.1511，同時(shí)使用 PBS作為進(jìn)程調(diào)度管理軟件。測試用的數(shù)值模擬軟件為OpenFOAM，其版本由OpenFOAM基金會支持，通過從Github開發(fā)線上獲取源碼并進(jìn)行編譯安裝，版本號為dev-af88b75e2c3e。

表1 節(jié)點(diǎn)的硬件配置

3 測試方案設(shè)計(jì)

3.1 并行計(jì)算的性能評判

在進(jìn)行并行計(jì)算的性能測試前，需要規(guī)范統(tǒng)一的衡量標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)需要簡單完整地反映在不同節(jié)點(diǎn)數(shù)下計(jì)算性能的相對大小，即加速的倍數(shù)。因此，對于多核計(jì)算集群，由Gustafson定律[11]可直觀地定義加速比為式(1)：

(1)

其中TS表示使用單個計(jì)算核心串行運(yùn)行程序的執(zhí)行時(shí)間，Tp表示使用p個核心并行運(yùn)行程序的執(zhí)行時(shí)間。在本研究中，考慮到PBS的計(jì)算資源調(diào)度方式和串行計(jì)算可能耗費(fèi)大量時(shí)間，因此，選擇以8個核心并行運(yùn)行的執(zhí)行時(shí)間為基礎(chǔ)，即TS=T8。

直觀來看，加速比的值應(yīng)該為p，但是現(xiàn)實(shí)中總有一些限制使加速比無法達(dá)到此值[12-13]。因此，我們需要定義一個標(biāo)準(zhǔn)，能夠良好地衡量并行計(jì)算的效率，定義計(jì)算效率為下式：

(2)

其中Sp表示式(1)中的加速比，p表示p個計(jì)算核心。

3.2 測試算例簡介

考慮到我們僅研究計(jì)算流體力學(xué)多核計(jì)算時(shí)的計(jì)算效率，而對大規(guī)模網(wǎng)格進(jìn)行計(jì)算時(shí)，由于瞬態(tài)問題而導(dǎo)致收斂相對復(fù)雜，所以我們選擇建立層流算例，即在OpenFOAM中使用基于SIMPLE算法的simpleFoam求解器進(jìn)行穩(wěn)態(tài)求解。建立一個簡單的二維管道模型，直徑為0.1 m，長度為0.2 m。左側(cè)入口inlet定義為patch邊界，右側(cè)出口outlet定義為patch邊界，上、下兩側(cè)fixedWalls定義為固定壁面，前、后兩側(cè)frontAndBack定義為empty邊界，這是因?yàn)镺penFOAM 只在三個維度上求解算例，若求解二維模型，需要指定第三維邊界條件為empty。然后，定義物理參數(shù)和邊界條件，運(yùn)動粘度0.01 m2/s，左邊速度入口inlet為1 m/s，右邊運(yùn)動壓力出口outlet為4 m2/s2，內(nèi)部場初始化為初始壓力為4 m2/s2、初始速度為1 m/s。

對于簡單規(guī)則的結(jié)構(gòu)，可以使用OpenFOAM自帶的blockMesh劃分網(wǎng)格。對于本研究中的二維管道模型，我們分別采取1000×1000、2000×2000、3000×3000、4000×4000、5000×5000五種方式進(jìn)行網(wǎng)格劃分。為了避免分布在每個核心上的網(wǎng)格數(shù)量差別過大，使負(fù)載盡可能均衡[14]，統(tǒng)一采用scotch分區(qū)方法，分別對所有網(wǎng)格劃分方案構(gòu)建8、16、24、32、40、48，共計(jì)六種分區(qū)結(jié)構(gòu)。設(shè)置迭代次數(shù)為2 000次，并提交計(jì)算。

4 測試結(jié)果和分析

由于計(jì)算節(jié)點(diǎn)資源有限，本研究針對每種情況只進(jìn)行了一次計(jì)算。雖然如此，我們?nèi)匀荒軌颢@得良好反映并行計(jì)算時(shí)間隨計(jì)算核心數(shù)和網(wǎng)格數(shù)量的變化趨勢。同時(shí)，我們更多關(guān)心并行計(jì)算的時(shí)鐘時(shí)間，因此對網(wǎng)格二次劃分的時(shí)間不做討論。最后，計(jì)算時(shí)鐘時(shí)間的結(jié)果見表2，圖1反映其變換趨勢。

表2 不同情況下并行計(jì)算的時(shí)間

4.1 加速比

根據(jù)表2中的結(jié)果和式(1)中定義的加速比公式，我們計(jì)算出不同網(wǎng)格數(shù)下的加速比，見表3，相應(yīng)的變化曲線見圖2。可知，對于400萬、900萬、1600萬網(wǎng)格這三種情況，其加速比都存在先增加后減小的趨勢。注意到和其他兩種情況相比，對于1600萬網(wǎng)格，增大到40核時(shí)有更好的加速趨勢，但是在到達(dá)48核時(shí)，加速比和40核相比又減小了。對于100萬網(wǎng)格，在使用16核計(jì)算時(shí)，其加速比優(yōu)于其他情況，但是隨后加速比增長緩慢，在增加到32核之后便趨于穩(wěn)定，總體加速效果并不明顯。而對于2500萬網(wǎng)格，加速比在24核之后增長趨勢強(qiáng)勁，甚至到了48核時(shí)，仍然保持良好的加速趨勢。

圖1 不同情況下并行計(jì)算的時(shí)間的變化趨勢

Fig1Timeofparallelcomputingunderdifferentconditions

另一方面，五種情況的網(wǎng)格數(shù)量比為1:4:9:16:25，然而在某一核數(shù)對應(yīng)的不同網(wǎng)格數(shù)下，最大加速比和最小加速比的比值差距很小，甚至最大比值也未超過2.02(在48核時(shí)，2500萬網(wǎng)格加速比與100萬加速比的比值)。需要注意的是，在16核時(shí)100萬網(wǎng)格的加速比最高，但隨著核數(shù)的增加，最高加速比均為2500萬網(wǎng)格，直至48核時(shí)和其他網(wǎng)格數(shù)的加速比差距最大。

表3 不同情況下并行計(jì)算的加速比

4.2 效率

根據(jù)式(2)，和表3中的加速比結(jié)果，我們可以獲得計(jì)算效率，見表4和圖3。從計(jì)算效率上看，隨著網(wǎng)格數(shù)量的增加，計(jì)算效率的下降反而變慢。對于100萬網(wǎng)格，在16核時(shí)，計(jì)算效率和其他情況相比最高，隨后效率下降比其他情況都快。在400萬網(wǎng)格和900萬網(wǎng)格時(shí)，計(jì)算效率都在32核時(shí)開始下降。分析1600萬網(wǎng)格的情況，計(jì)算效率在16核時(shí)下降到了59.9%，隨后總體保持在55%～60%之間，但是在48核時(shí)劇烈下降到了42.7%。而對于2500萬網(wǎng)格，計(jì)算效率在16核時(shí)下降到62.9%后，效率一直在60%左右波動，總體利用效率在高位穩(wěn)定。

圖2 不同情況下并行計(jì)算的加速比

Fig2Speedupratioofparallelcomputingunderdifferentconditions

表4 不同情況下并行計(jì)算的效率

圖3 不同情況下并行計(jì)算的效率

Fig3Efficiencyofparallelcomputingunderdifferentconditions

4.3 結(jié)果分析

從加速比的結(jié)果來看，有三組曲線表示了隨著核心數(shù)的增加，求解速度反而下降。這是因?yàn)殡S著分區(qū)數(shù)目的增多，各區(qū)域之間的通訊邊界越來越多，通訊帶來的并行開銷加大。在達(dá)到40核時(shí)，并行開銷的增加大于理想并行計(jì)算時(shí)間的遞減，計(jì)算加速能力的提升接近飽和，隨后加速能力反而下降。對于100萬網(wǎng)格，由于計(jì)算網(wǎng)格量較小，在開始增加核數(shù)時(shí)，加速能力提高反而很快。但由于通訊時(shí)間相對占比較高，隨即計(jì)算能力達(dá)到飽和，在32核后基本趨于穩(wěn)定波動。而考慮2500萬網(wǎng)格的情況，由于計(jì)算量較大，和其他網(wǎng)格數(shù)相比，通訊時(shí)間占比較低，對集群計(jì)算資源的利用較高。隨著計(jì)算核數(shù)的增加，計(jì)算加速比不斷提高，甚至到了48核時(shí)，雖然增長比前一階段要慢，但是計(jì)算能力始終沒有達(dá)到飽和。

同樣分析效率，對于100萬網(wǎng)格，計(jì)算通訊的成本遠(yuǎn)大于并行計(jì)算節(jié)省的時(shí)間，因此效率劇烈下降。而隨著網(wǎng)格數(shù)量的增加，通訊相對占比越來越低，因此影響也越來越小。對于2500萬網(wǎng)格，我們?nèi)匀豢梢杂^察到，效率始終保持在60%左右。另外，考慮到其他用戶在控制節(jié)點(diǎn)上的操作、不同節(jié)點(diǎn)通訊是否穩(wěn)定、計(jì)算機(jī)底層各種意想不到的情況等，這些都會不同程度影響最后的求解結(jié)果。

5 結(jié)論

從五組網(wǎng)格數(shù)對應(yīng)的加速比和并行效率來看，一方面，并行計(jì)算加快了求解的時(shí)間，但是很難達(dá)到理想的加速性能，甚至當(dāng)計(jì)算能力達(dá)到飽和時(shí)，加速性能反而下降。同時(shí)，隨著網(wǎng)格數(shù)量的逐漸增加，即計(jì)算規(guī)模的增大，相應(yīng)的計(jì)算效率越來越高，反映了更加充分地利用了計(jì)算資源。因此，我們需要在相應(yīng)的網(wǎng)格數(shù)量下，選擇相對合理的并行計(jì)算核心數(shù)，才能獲得最優(yōu)的求解方案。對于本研究的計(jì)算平臺，使用PBS作為進(jìn)程調(diào)度管理軟件，其調(diào)度的單位是節(jié)點(diǎn)，每個節(jié)點(diǎn)有16個計(jì)算核心。因此，綜合考慮加速比、計(jì)算效率以及計(jì)算平臺總體的任務(wù)分布，本文提出如下建議：對于100萬規(guī)模的網(wǎng)格，使用1個節(jié)點(diǎn)16核較好；對于400萬和900萬網(wǎng)格，使用2個節(jié)點(diǎn)32核更好；對于1600萬網(wǎng)格，需要使用3個節(jié)點(diǎn)，但是反而讓8個計(jì)算核心閑置，才能獲得最優(yōu)的計(jì)算效果；最后，對于2500萬網(wǎng)格，使用3個節(jié)點(diǎn)48核最好。