顧文靜 李 娟 張新諾

(國家氣象信息中心高性能計算室 北京 100081)

0 引 言

隨著氣象業(yè)務(wù)的快速發(fā)展，中國氣象局業(yè)務(wù)模式已經(jīng)蘊含了天氣、氣候、人工影響天氣和公共服務(wù)模式等四個主要部分。其中天氣模式包含GRAPES集合預(yù)報、GRAPES全球預(yù)報、臺風(fēng)和海浪預(yù)報，以及核應(yīng)急模式和睿圖-STv2.0系統(tǒng)等；氣候模式包含月動力延伸預(yù)測、季節(jié)氣候預(yù)測、大氣污染潛勢氣候預(yù)測、東亞重要環(huán)流型預(yù)測和厄爾尼諾/拉尼娜監(jiān)測診斷預(yù)測等；人工影響天氣模式包含CPEFS和GRAPES_CAMS；公共服務(wù)模式包含全國風(fēng)能太陽能預(yù)報、近海海上預(yù)報和RMAPS_Wind系統(tǒng)等。

2018年4月，中國氣象局派-曙光高性能計算機系統(tǒng)正式提供給用戶使用，派-曙光高性能高性能計算機系統(tǒng)分為兩個子系統(tǒng)(業(yè)務(wù)和科研)，每個子系統(tǒng)計算性能4 004.25 TFLOPS，存儲物理容量23 088 TB。2019年8月，氣象業(yè)務(wù)模式基本完成移植工作，派-曙光系統(tǒng)資源使用量隨之增長，業(yè)務(wù)子系統(tǒng)CPU使用率超過60%，科研子系統(tǒng)CPU使用率高達80%，存儲資源使用率近70%。如此規(guī)模的高性能計算機系統(tǒng)上線僅一年，資源使用量約三分之二，業(yè)務(wù)應(yīng)用的運行特征分析變得至關(guān)重要。建立應(yīng)用軟件的運行特征是對業(yè)務(wù)模式分析的最有效手段。

GRAPES_GFS系統(tǒng)的核心部分是模式動力框架和物理過程，是一類非常具有典型性的科學(xué)計算類應(yīng)用；整個過程不僅涉及密集的計算，同時伴隨大量的網(wǎng)絡(luò)操作，應(yīng)用運行特征復(fù)雜。GRAPES_GFS是目前發(fā)展較為完善的業(yè)務(wù)模式，本文將以該模式作為分析對象，從資源使用情況和運行特征進行分析并提出優(yōu)化建議。

1 應(yīng)用運行特征分析方法

隨著時間的變化，在特定的負載環(huán)境和特定的測試方法下，對業(yè)務(wù)模式運行時硬件各類資源的消耗情況即為該應(yīng)用運行特征。采用一種應(yīng)用運行特征的快速分析架構(gòu)，從系統(tǒng)級、應(yīng)用級和微架構(gòu)級綜合出發(fā)，應(yīng)用Paramon和Paratune軟件采集真實、準確的性能指標數(shù)據(jù)，憑借這些指標數(shù)據(jù)完整呈現(xiàn)應(yīng)用程序的基本運行特征[1]。

系統(tǒng)級的指標考慮CPU、內(nèi)存和磁盤網(wǎng)絡(luò)共計9種特征指標。其中：CPU%為CPU總利用率，衡量CPU資源的使用情況，CPU SYS %為CPU系統(tǒng)開銷利用率，衡量CPU資源中系統(tǒng)開銷的比例，二者反映出當(dāng)前應(yīng)用在CPU資源上的運行特征,Memory%為內(nèi)存利用率，對應(yīng)用程序的性能影響很大，MemBW(GB/s)為內(nèi)存帶寬，連接CPU與內(nèi)存之間的橋梁，決定了內(nèi)存數(shù)據(jù)訪問的速度，SWAP%為交換分區(qū)利用率，在物理內(nèi)存用盡后，將磁盤空間虛擬成內(nèi)存來使用，應(yīng)用程序在用盡內(nèi)存后，使用SWAP分區(qū)后，應(yīng)用程序的性能一定會降低，三者可以反映出當(dāng)前應(yīng)用在內(nèi)存資源上的運行特征，Disk Read(MB/s)為磁盤讀速率(磁盤讀帶寬)，Disk Write (MB/s)為磁盤寫速率(磁盤寫帶寬)，IB Send (MB/s)為IB網(wǎng)發(fā)送速率，IB Recv (MB/s)為IB網(wǎng)接收速率，派-曙光系統(tǒng)InfiniBand網(wǎng)絡(luò)雙向100 GB/s，四者衡量應(yīng)用在磁盤和網(wǎng)絡(luò)上的運行特征標準為速率，即磁盤讀寫速率以及網(wǎng)絡(luò)收發(fā)速率[1]。

微架構(gòu)級指標考慮浮點計算、向量化比例、指令執(zhí)行效率等5類特征指數(shù)。其中GFLOPS的峰值與節(jié)點CPU主頻和核數(shù)有關(guān)，派-曙光系統(tǒng)每個計算節(jié)點包含2個Intel Xeon Gold 6142處理器，每個處理器主頻2.6 GHz，浮點運算2 662.4 GFLOPS。VEC%和AVX%為向量化比例，實現(xiàn)單指令流多數(shù)據(jù)流SIMD，向量化是CPU峰值計算的倍數(shù)因子，對應(yīng)用程序性能影響很大，向量化指令需要根據(jù)應(yīng)用的邏輯，取值范圍為0%～100%。CPI(Cycles Per Instruction)表示每條指令平均時鐘周期數(shù)。GIPS為單位時間內(nèi)的指令總數(shù)，統(tǒng)計每秒鐘執(zhí)行的指令總數(shù)。CPI越小或GIPS越高，表示指令執(zhí)行效率越高。LLCM%為Cache Miss的百分比，在Cache 內(nèi)存和物理盤中Cache是CPU讀寫速度最快的，Cache miss表示CPU在Cache中找不到需要讀取的頁。Cache miss會導(dǎo)致CPU花費更多的時間在查找和讀取以及內(nèi)存替換上，降低了CPU的性能[1]。

2 GRAPES_GFS模式介紹

全球區(qū)域一體化同化預(yù)報系統(tǒng)GRAPES(Global/Regional Assimilation and Prediction System)是在科學(xué)技術(shù)部和中國氣象局支持下我國自主研發(fā)的數(shù)值預(yù)報系統(tǒng)，該系統(tǒng)是氣象與氣候研究的基礎(chǔ)和核心。在“十一五”科技支撐計劃的支持下建立了GRAPES全球同化預(yù)報系統(tǒng)試驗版，2007年面向業(yè)務(wù)應(yīng)用，開始系統(tǒng)的建設(shè)和優(yōu)化全球數(shù)值預(yù)報系統(tǒng)GRAPES_GFS(GEAPES Global Forecast System)[2]。

隨著多核計算技術(shù)的發(fā)展，基于多核處理器的集群系統(tǒng)逐漸成為主流架構(gòu)，為了滿足GRAPES計算和時效需求，研發(fā)部門對GRAPES全球模式進行MPI與OpenMP混合并行方案設(shè)計和優(yōu)化。2018年至2019年GRAPES_GFS由IBM系統(tǒng)遷移到派-曙光系統(tǒng)上，同化方面實現(xiàn)了從三維變分(3DVar)到四維變分(4DVar)的改進，四維變分(4DVar)實現(xiàn)了高低分辨率內(nèi)外循環(huán)、多重外循環(huán)和高低分辨率之間的插值精度,優(yōu)化線性化物理過程使之發(fā)揮作用,有效使用衛(wèi)星等多時次連續(xù)觀測資料，優(yōu)化計算效率，保障業(yè)務(wù)運行的時效[2]。

目前，GRAPES_GFS_V2.4正式業(yè)務(wù)運行，每天運行四個時次,分別是世界標準時00時次(03:40UTC)、06時次(09:40UTC)、12時次(15:40UTC)和18時次(21:40UTC)，業(yè)務(wù)系統(tǒng)包含數(shù)據(jù)檢索及處理、臺風(fēng)渦旋初始化、同化處理、模式積分、數(shù)據(jù)后處理和數(shù)據(jù)備份等模塊，其中同化內(nèi)外循環(huán)(4DVar)和模式積分(fcst)是GRAPES_GFS主要的并行應(yīng)用模塊，本文以此為研究對象進行并行應(yīng)用特征分析。

3 GRAPES_GFS應(yīng)用特征分析

3.1 特征分析

(1) 算例描述和運行環(huán)境。當(dāng)GRAPES_GFS模式在曙光高性能計算機系統(tǒng)上運行時，收集整個過程的應(yīng)用運行數(shù)據(jù)，然后對性能指標數(shù)據(jù)進行分析。

4DVar使用0.25°/1.0°(外循環(huán)/內(nèi)循環(huán))分辨率算例。模式積分(fcst)使用0.25°算例。00時次和12時次預(yù)報240小時，06時次和18時次預(yù)報120小時，前120小時3小時輸出一次模式面變量modvar，后120小時6小時輸出一次modvar。4DVar模塊使用1 024進程，fcst模塊使用4 096進程。

運行環(huán)境是中國氣象局派-曙光高性能計算系統(tǒng)。操作系統(tǒng)是Red Hat Enterprise Linux Server release 7.4，配置2路32核Intel Xeon Gold處理器，浮點運算能力為2 662.4 GFLOPS、12通路DDR4 2666的內(nèi)存(192 GB/384 GB)和雙向100 GB/s 的InfiniBand 網(wǎng)絡(luò)。

(2) 運行特征指標分析。對GRAPES_GFS同化內(nèi)外循環(huán)(4DVar)模塊和模式積分(fcst)的各類指標情況匯總?cè)绫?和表2所示。

表1 GRAPES_GFS系統(tǒng)級性能指標表

表2 GRAPES_GFS微架構(gòu)性能指標表

CPU使用效率接近100%，系統(tǒng)開銷比例較小，因此CPU絕大部分時間在處理用戶程序，說明GRAPES_GFS是計算密集型的應(yīng)用程序；LLCM%在60%左右，一定程度上影響了CPU性能。

Gflops%和VEC%值偏低，說明浮點計算運算效率偏低，沒有充分利用CPU浮點計算部件。AVX%峰值基本為0%，派-曙光系統(tǒng)支持AVX指令，可以通過向量化提高程序性能。CPI方面，4DVar優(yōu)于fcst模塊，但指令執(zhí)行效率仍有待提升。

整個計算過程持續(xù)有網(wǎng)絡(luò)數(shù)據(jù)的收發(fā)，數(shù)據(jù)收發(fā)是通過派-曙光系統(tǒng)InfiniBand網(wǎng)絡(luò)完成的，通信傳輸率方面，二者均達到500 MB/s以上，但相較派-曙光系統(tǒng)100 GB/s網(wǎng)絡(luò)帶寬，仍有可優(yōu)化空間。

內(nèi)存使用量僅為峰值的1/3～1/2，說明當(dāng)前計算規(guī)模下，每個進程的邏輯計算較少。4DVar模塊使用虛擬內(nèi)存(SWAP%)，會影響應(yīng)用性能。

(3) F/M和F/C分析。除直接獲取的特征數(shù)據(jù)外，也可以通過計算獲得一些指標數(shù)據(jù)，如F/M、F/C等。F/M，即GFLOPS與Memory BandWidth的比值，每字節(jié)內(nèi)存讀寫操作對應(yīng)的浮點計算能力，可以精確定位應(yīng)用是否為內(nèi)存帶寬敏感型應(yīng)用；F/C，即GFLOPS與網(wǎng)絡(luò)通信的比值，每字節(jié)網(wǎng)絡(luò)操作對應(yīng)的浮點計算操作，可以精確定位應(yīng)用是否為網(wǎng)絡(luò)帶寬敏感型應(yīng)用。其他比值操作類似。

通過這些性能指標提供的數(shù)據(jù)，詳細了解應(yīng)用程序在運行過程中對各類節(jié)點上處理器、內(nèi)存、網(wǎng)絡(luò)和存儲的依賴情況，快速地建立應(yīng)用的運行特征[3-4]。

通過收集到的定量數(shù)據(jù)可知，4DVar和fcst模塊的F/M和F/C數(shù)值如表3所示，F(xiàn)/M、F/C的結(jié)果越小表示對CPU之外的系統(tǒng)資源的依賴越明顯。

表3 F/M和F/C數(shù)值表

(4) 運行特征圖分析。GRAPES_GFS模式4DVar和fcst模塊運行特征如圖1和圖2所示。回放各個指標的任意歷史時段的瞬時信息，CPU、內(nèi)存利用率在運行過程中平穩(wěn)，各進程間運行特征相似，運行過程階段性強。各進程間運行特征有細微差別，說明負載比較均衡。

圖1 4DVar運行特征

圖2 fcst運行特征

3.2 函數(shù)級分析

應(yīng)用Intel itac工具收集GRAPES_GFS運行中邏輯處理函數(shù)和通信函數(shù)信息，并用Intel VTune分析各通信函數(shù)中計算執(zhí)行效率較低和CPU等待時間(Spin Time)較長的邏輯熱點。Spin Time是CPU busy的等待時間，當(dāng)同步API導(dǎo)致CPU輪詢，而軟件線程正在等待時，通常會發(fā)生這種情況。由于實驗資源有限，本文僅以GRAPES_GFS的fcst模塊為分析對象，計算規(guī)模選擇512進程，函數(shù)各進程數(shù)據(jù)分析如下。

(1) 通信函數(shù)分析。根據(jù) itac采集數(shù)據(jù)，fcst模塊邏輯處理時間占比為58%，MPI通信時間占比42%。MPI通信中以MPI_Sendrecv、MPI_Allreduce操作居多(見圖3)，涉及全局范圍的同步操作。

圖3 各熱點函數(shù)耗時比例

對通信函數(shù)各進程耗時的統(tǒng)計結(jié)果如圖4所示。① MPI通信函數(shù)MPI_Sendrecv、MPI_Allreduce占比最高。② MPI_Sendrecv函數(shù)0-18進程段的計算耗時明顯偏低，其他進程段通信函數(shù)耗時呈現(xiàn)波浪狀周期性變化，波動約15%，負載均衡需要微調(diào)。③ 其他通信函數(shù)各進程周期性波動較小。

圖4 fcst各進程間通信函數(shù)耗時變化

(2) 邏輯熱點分析。根據(jù)VTune采集數(shù)據(jù)，MPI_Sendrecv通信函數(shù)中Spin Time最長的邏輯熱點主要集中在module_model_parallel_mp_glob_Updatehalo，占比達24.6%。分析結(jié)果如圖5所示，其中多個數(shù)組元素更新操作，操作熱點分散，條件判斷操作居多，計算過程中基本為內(nèi)存訪問，訪存方式為連續(xù)和跨步訪存，導(dǎo)致Spin Time時間較多，對應(yīng)用程序性能和可伸縮性產(chǎn)生負面影響。

圖5 熱點函數(shù)分析

MPI_Allreduce函數(shù)的計算效率較低的程序邏輯熱點主要集中在module_gcr_mp_psolve_gcr_main，psolve_gcr_main調(diào)用的matrixpro函數(shù)源碼如下，該函數(shù)循環(huán)邏輯復(fù)雜，編譯器未能進行向量化。

DO j=jbegin,jend

DO k=kts,kte

DO i=ibegin,iend

c(i,k,j) = &+

a(1,i,k,j)*b(i,k,j) &+

a(2,i,k,j)*b(i-1,k,j) &+

a(3,i,k,j)*b(i+1,k,j) &+

a(4,i,k,j)*b(i,k,j-1) &+

a(5,i,k,j)*b(i,k,j+1) &+

a(6,i,k,j)*b(i+1,k,j+1) &+

a(7,i,k,j)*b(i+1,k,j-1) &+

a(8,i,k,j)*b(i-1,k,j-1) &+

a(9,i,k,j)*b(i-1,k,j+1) &+

a(10,i,k,j)*b(i,k-1,j) &+

a(11,i,k,j)*b(i-1,k-1,j) &+

a(12,i,k,j)*b(i+1,k-1,j) &+

a(13,i,k,j)*b(i,k-1,j-1) &+

a(14,i,k,j)*b(i,k-1,j+1) &+

a(15,i,k,j)*b(i,k+1,j) &+

a(16,i,k,j)*b(i-1,k+1,j) &+

a(17,i,k,j)*b(i,k+1,j-1) &+

a(18,i,k,j)*b(i,k+1,j-1) &+

a(19,i,k,j)*b(i,k+1,j+1)+

END DO

END DO

END DO

3.3 不同進程下運行狀況對比

不同進程下運行狀況比較可以測試應(yīng)用的可擴展性，根據(jù)各項特征指標變化趨勢選擇最適合計算的規(guī)模，提供模式業(yè)務(wù)化運行。

(1) 4DVar模塊。同化分高低分辨率的內(nèi)外循環(huán)，目前低分辨率的格點數(shù)少，分辨率使用0.1°算例，因此計算規(guī)模選擇512、1 024和2 048進程測試。性能指標如表4所示，隨著計算規(guī)模的增加，CPU和內(nèi)存利用率逐漸減少，在進程規(guī)模較大時，內(nèi)存使用率偏低，每個進程的邏輯計算減少，說明在同等計算規(guī)模下，可以適當(dāng)?shù)丶哟笏憷?guī)模，進行更大問題的計算；通信方面，計算期間無密集通信時間顯著增加(圖6)，網(wǎng)絡(luò)通信速率(IB Send和IB Recv)在1 024進程時達最大值。微架構(gòu)方面，各規(guī)模差異不大。各項指標均衡考量，1 024進程的規(guī)模比較適合4DVar模塊。

表4 不同進程4DVar模塊性能指標表

圖6 4DVar不同規(guī)模應(yīng)用運行特征示例圖

(2) fcst模塊。fcst模塊使用0.25°算例，分辨率較高，故選擇1 024、2 048、4 096和8 192四種規(guī)模進行比較測試，結(jié)果顯示fcst模塊相對4DVar模塊具有較好的可擴展性。性能指標如表5所示，隨著計算規(guī)模的增加，CPU和內(nèi)存利用率較為平穩(wěn)；通信方面，運行特征圖(圖7)顯示，隨著進程數(shù)的增多，粒度變小，計算期間密集通信程度減弱，相較4DVar模塊，無密集通信網(wǎng)絡(luò)時間減少不明顯；通信速率(IB Send和IB Recv)隨進程增加呈增長趨勢，到4 096進程后銳減；內(nèi)存使用率均偏低，未飽和，且與計算規(guī)模關(guān)聯(lián)較?。晃⒓軜?gòu)級指標方面，8 192規(guī)模浮點計算能力降低，向量化比例和代碼執(zhí)行效率增加，Cache miss對CPU性能影響降低。綜合各項指標，4 096進程的規(guī)模優(yōu)勢明顯。

表5 不同進程fcst模塊性能指標表

圖7 fcst不同規(guī)模應(yīng)用運行特征示例圖

4 GRAPES_GFS運行特征分析和優(yōu)化方向

4.1 運行特征

通過對應(yīng)用特征和函數(shù)級分析，GRAPES_GFS模式CPU%比例較高，屬于計算密集性應(yīng)用。Cache miss比例高，一定程度上影響CPU性能。F/M、F/C值偏小，內(nèi)存帶寬和網(wǎng)絡(luò)通信依賴明顯。浮點計算運算效率和向量化比例偏低，指令執(zhí)行效率不高。MPI通信負載比較均衡。MPI_Sendrecv、MPI_Allreduce等函數(shù)耗時較多。

4.2 優(yōu)化方向

代碼優(yōu)化是自上而下的，從系統(tǒng)到應(yīng)用再到處理器，可以通過串行和標量、并行化、內(nèi)存訪問，以及向量化幾個方面優(yōu)化。

進行向量化優(yōu)化。從應(yīng)用特征的向量化指標值(VEC，AVX)可以看出應(yīng)用程序在該算例執(zhí)行過程中的向量化比率低，導(dǎo)致集群系統(tǒng)的浮點運算效率低。因此需要通過對代碼的核心計算部分，深入分析數(shù)據(jù)操作的依賴關(guān)系，進行向量化優(yōu)化，對于有規(guī)律的離散訪存，通過數(shù)組轉(zhuǎn)置方法將離散訪存轉(zhuǎn)換為連續(xù)訪存[5-7]，以提高應(yīng)用程序整體的運行性能。

降低Cache miss對性能的影響。在處理數(shù)據(jù)前，盡量使用連續(xù)數(shù)據(jù)。修改數(shù)據(jù)結(jié)構(gòu)或通過內(nèi)存拷貝，將非連續(xù)數(shù)據(jù)變成連續(xù)數(shù)據(jù)存儲。根據(jù)算法模型，調(diào)整數(shù)據(jù)結(jié)構(gòu)，以降低Cache miss對性能的影響。

減少CPU等待時間。從VTune分析數(shù)據(jù)看出，MPI_Sendrecv通信函數(shù)中Spin Time最長的邏輯熱點的計算過程中基本為內(nèi)存訪問，訪存方式為連續(xù)和跨步訪存，導(dǎo)致Spin Time時間較多[8]?？烧{(diào)整通信策略和拓撲結(jié)構(gòu)，降低通信時間。對于小的循環(huán)，可以展開，或者使用臨時空間記錄重復(fù)使用的數(shù)據(jù)。

消除負載不均衡。從函數(shù)級分析可以看出，在整個運行過程中，應(yīng)用代碼耗時在不同進程間的占比有波動，說明GRAPES對該算例處理過程中有潛在的負載不均衡因素，需要結(jié)合代碼以及算例的處理邏輯，進行深入的分析，通過負載均衡的改善，提高程序性能。

5 結(jié) 語

基于本文的應(yīng)用運行特征分析方法，實現(xiàn)了對GRAPES_GFS模式主要并行模塊的快速分析，通過分析結(jié)果，精確定位了應(yīng)用的類型，完整地建立了應(yīng)用的運行特征，定位應(yīng)用運行瓶頸，找到應(yīng)用優(yōu)化的方向。本文方法不僅可以針對氣象類應(yīng)用，同樣適合其他行業(yè)的應(yīng)用運行特征建立、應(yīng)用優(yōu)化，甚至機群方案設(shè)計。