劉鑫++郭猛

摘 要：海洋數(shù)值模擬有計(jì)算密集、IO讀寫量大、并行擴(kuò)展性良好的特點(diǎn)，對大規(guī)模并行計(jì)算有強(qiáng)烈的需求。國家超級計(jì)算濟(jì)南中心的“神威藍(lán)光”超級計(jì)算機(jī)是第一臺全國產(chǎn)的千萬億次超級計(jì)算機(jī)，在CPU、文件系統(tǒng)、操作系統(tǒng)、編譯環(huán)境各方面實(shí)現(xiàn)了全部國產(chǎn)化。本文主要介紹大氣、海洋模式MITgcm在“神威藍(lán)光”上大規(guī)模并行的運(yùn)行情況和加速評測。其結(jié)果表明MITgcm在全國產(chǎn)的運(yùn)行環(huán)境下具有良好的擴(kuò)展性和并行效率，也對“神威藍(lán)光”上的其他應(yīng)用提供了可借鑒的經(jīng)驗(yàn)。

關(guān)鍵詞：MITgcm 神威藍(lán)光 全國產(chǎn) 并行計(jì)算

中圖分類號：TP319 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2014）09（b）-0015-02

隨著半導(dǎo)體集成電路的快速發(fā)展，計(jì)算機(jī)處理器的性能越來越高，但是解決大規(guī)模的科學(xué)和工程計(jì)算問題，還是依賴計(jì)算和存儲能力更加強(qiáng)大的超級計(jì)算機(jī)。近幾年來國產(chǎn)處理器取得了長足的發(fā)展，尤其值得一提的是，國家超級計(jì)算濟(jì)南中心的“神威藍(lán)光”超級計(jì)算機(jī)采用的是國產(chǎn)申威-1600多核心通用處理器，并正在穩(wěn)定地對外提供高性能計(jì)算服務(wù)?！吧裢{(lán)光”的應(yīng)用涵蓋了海洋科學(xué)與產(chǎn)業(yè)、藥物篩選、氣候氣象、生物信息、物理、化學(xué)、材料、工業(yè)設(shè)計(jì)等領(lǐng)域，其中海洋科學(xué)是“神威藍(lán)光”重點(diǎn)支持的方向之一。

1 “神威藍(lán)光”概況

“神威藍(lán)光”的建設(shè)成功標(biāo)志著我國已成為繼美國、日本后第三個能夠采用自主處理器構(gòu)建千萬億次超級計(jì)算機(jī)系統(tǒng)的國家[1]?！吧裢{(lán)光”超級計(jì)算機(jī)系統(tǒng)由8704顆申威-1600 CPU組成，每顆CPU有16個核心，計(jì)算能力達(dá)128GFlps。經(jīng)國家權(quán)威機(jī)構(gòu)測試，其系統(tǒng)峰值性能達(dá)到1.07PFlops（PetaFlops，千萬億次浮點(diǎn)運(yùn)算/秒），持續(xù)性能為0.796PFlops，LINPACK效率為74.4%，性能功耗比超過741MFlops/W（百萬次浮點(diǎn)運(yùn)算/秒·瓦），組裝密度和性能功耗比居世界先進(jìn)水平。與國產(chǎn)化硬件配套的軟件系統(tǒng)包含了“神威睿思”國產(chǎn)并行操作系統(tǒng)、海量并行文件系統(tǒng)、“神威睿智”并行編譯器和并行數(shù)學(xué)庫等。系統(tǒng)綜合水平處于當(dāng)今世界先進(jìn)行列，完美實(shí)現(xiàn)了國家大型關(guān)鍵信息基礎(chǔ)設(shè)施核心技術(shù)的“自主可控”目標(biāo)。[2]

2 MITgcm運(yùn)行與加速評測

MITgcm（MIT General Circulation Model）是麻省理工學(xué)院開發(fā)的一種大氣、海洋數(shù)值模式。該模式支持在非靜力近似條件下進(jìn)行數(shù)值模擬，能夠模擬各種不同尺度的海洋、大氣過程，目前已在海洋領(lǐng)域獲得了廣泛的應(yīng)用，如Ravela等[3]將其用于實(shí)驗(yàn)室尺度的數(shù)值模擬，A.Khazendar等[4]將其用于Totten冰架的研究，Guo等[5]將其應(yīng)用于南海內(nèi)孤立波的數(shù)值研究，Parmentier等[6]甚至將該模型用于木星大氣的研究。

2.1 模式運(yùn)行

（1）在MITgcm模式運(yùn)行前需要按照“神威藍(lán)光”超級計(jì)算機(jī)的編譯系統(tǒng)對模式的編譯選項(xiàng)進(jìn)行相應(yīng)的設(shè)置，將編譯器指定為mpiswcc及mpiswf90。

（2）在運(yùn)行目錄下創(chuàng)建以下幾個模式運(yùn)行所必須的子目錄：input、code、build和run。

（3）在input目錄下，輸入模式地形數(shù)據(jù)、初始條件（如初始溫、鹽、流速場等）、邊界條件及模式運(yùn)行的相關(guān)參數(shù)（如運(yùn)行步數(shù)、步長、粘性與擴(kuò)散系數(shù)、模式的水平及垂直空間分辨率等）。[7]

（4）在code目錄下，設(shè)置模式中經(jīng)向及緯向網(wǎng)格數(shù)，垂向分層數(shù)及所需的進(jìn)程數(shù)。[7]

（5）在build目錄下編譯：首先通過MITgcm模式自帶的腳本genmake2自動創(chuàng)建一個生成文件Makefile，之后只需要創(chuàng)建相關(guān)信息和編譯代碼即可。編譯完成后，在build目錄下會生成一個可執(zhí)行文件mitgcmuv。[7]

（6）進(jìn)入run目錄，將input目錄下的所有文件和build目錄下的mitgcmuv文件軟鏈接或復(fù)制到該目錄下，此時運(yùn)行mitgcmuv文件即開始模式的計(jì)算。

（7）提交任務(wù)到“神威藍(lán)光”主機(jī)，提交任務(wù)命令如下：

bsub-q<隊(duì)列名稱>-n<進(jìn)程數(shù)目>-o<日志文件名>./mitgcmuv，其中進(jìn)程數(shù)應(yīng)與code目錄中設(shè)置的進(jìn)程數(shù)一致。[2]

2.2 加速評測

加速比的定義為：（1）

表示用最好的串行算法在一個處理器上求解規(guī)模為的問題所需的時間，而表示使用并行算法在P個處理器上求解同樣大小的問題所需的時間，當(dāng)時為理論加速比。[8]

本文基于MITgcm建立了一個南海東北部區(qū)域正壓潮模型，用于對其進(jìn)行100、200、400、800、1600、3200、6000、10000核心的并行測試。該模型采用矩形網(wǎng)格，采用靜力近似，水平分辨率為250m，沿緯向及經(jīng)向網(wǎng)格數(shù)分別為4000、3000，垂向分5層。

在本算例中加速比根據(jù)實(shí)際試驗(yàn)情況將公式（1）更改為：（2）

其中是用100核心并行運(yùn)算花費(fèi)的時間，以此為基準(zhǔn)除以各個大于100并行核心數(shù)的運(yùn)算時間得到各個規(guī)模的加速比。

本例中的理論加速比是以100進(jìn)程數(shù)作為基準(zhǔn)，則其理論加速比（3）

加速效率（4）

根據(jù)實(shí)驗(yàn)結(jié)果和上述公式得到下表所示結(jié)果：

根據(jù)表1繪制了下圖正壓潮測試計(jì)算時間和加速比曲線，水平坐標(biāo)為進(jìn)程數(shù)目，采取以2為底對數(shù)坐標(biāo)；左側(cè)縱坐標(biāo)為運(yùn)行時間，單位為秒（s）；右側(cè)縱坐標(biāo)為加速比。

從表1和圖1可以看出，算例在總核心數(shù)小于6000時，核心數(shù)的增加能夠帶來較好的加速；但受限制于模式規(guī)模（6000核時，每個網(wǎng)格只負(fù)責(zé)約40×50個水平網(wǎng)格），當(dāng)核心數(shù)超過6000后，計(jì)算所需時間隨著核心數(shù)的增加而增加。當(dāng)通訊等額外開銷的增加大于因并行規(guī)模增加導(dǎo)致運(yùn)行時間的減少時就會出現(xiàn)這種情況。對于本算例，6000核心左右的計(jì)算規(guī)模是實(shí)際應(yīng)用中最大的可選規(guī)模。endprint

3 結(jié)語

上述實(shí)驗(yàn)展示了MITgcm模式在“神威藍(lán)光”超級計(jì)算機(jī)上萬核級別的運(yùn)行和加速情況，可以看出該模式在6000核心之前有良好的加速，課題擴(kuò)展性好。但當(dāng)并行規(guī)模繼續(xù)增大之后，程序并不會一直加速。在加速比圖上，這表現(xiàn)為加速比隨進(jìn)程數(shù)變化的曲線出現(xiàn)拐點(diǎn)。這個拐點(diǎn)對于并行計(jì)算的實(shí)際應(yīng)用有很重要的指導(dǎo)意義：在實(shí)際運(yùn)算中，我們應(yīng)該根據(jù)算例的規(guī)模、時間和資源消耗等，在加速比曲線的拐點(diǎn)之前選取合適的并行進(jìn)程數(shù)進(jìn)行計(jì)算，盲目擴(kuò)大計(jì)算規(guī)模是不可取的。

此外，模式的加速比曲線會隨著網(wǎng)格數(shù)及相關(guān)參數(shù)（如I/O設(shè)置）的變化而變化，即使網(wǎng)格數(shù)相同的模式，采用不同的參數(shù)設(shè)置（如非靜力近似、求解方程時的迭代次數(shù)等）也會影響加速比曲線。對于需要反復(fù)運(yùn)行的任務(wù)（如用于業(yè)務(wù)化預(yù)報(bào)的模式）及運(yùn)行時間較長的任務(wù)，在正式運(yùn)行前先通過試運(yùn)行評估其加速比對提高資源的利用率有顯著意義。

4 致謝

感謝中國海洋大學(xué)的遲樂泉、龔延昆對試驗(yàn)的大力支持和協(xié)助。

參考文獻(xiàn)

[1] 趙秋麗，李志臣.“神威藍(lán)光”再顯自主創(chuàng)新實(shí)力[N].光明日報(bào)，2011-10-28（1）.

[2] http：//www.nsccjn.cn

[3 Ravela，S.，J.Marshall，C.Hill，A.Wong and S.Stransky（2009） A Real-time Observatory for Laboratory Simulation of Planetary Flows，Experiments in Fluids，DOI：10.1007/s00348-009-0752-0.

[4] A.Khazendar，M.P.Schodlok，I.Fenty， S.R.M.Ligtenberg，E.Rignot and M.R.van den Broeke（2013），Observed thinning of Totten Glacier is linked to coastal polynya variability，Nature Communications 4，Article number：2857 doi：10.1038/ncomms3857.

[5] Guo，C.，V.Vlasenko，W.Alpers，N. Stashchuk and X.Chen（2012），Evidence of short internal waves trailing strong internal solitary waves in the northern South China Sea from synthetic aperture radar observations， Remote Sensing of Environment，Volume 124，September 2012，Pages 542-550，doi：10.1016/j.rse.2012.06.001.

[6] Parmentier Vivien，Adam P.Showman， Yuan Lian.3D mixing in hot Jupiter atmospheres.I.application to the day/night cold trap in HD 209458b，arXiv：1301.4522v2，2013.

[7] http：//mitgcm.org.

[8] Yuefan Deng.APPLIED PARALLEL COMPUTING[M].Singapore：World Scientific，2013.17-18.endprint

3 結(jié)語

上述實(shí)驗(yàn)展示了MITgcm模式在“神威藍(lán)光”超級計(jì)算機(jī)上萬核級別的運(yùn)行和加速情況，可以看出該模式在6000核心之前有良好的加速，課題擴(kuò)展性好。但當(dāng)并行規(guī)模繼續(xù)增大之后，程序并不會一直加速。在加速比圖上，這表現(xiàn)為加速比隨進(jìn)程數(shù)變化的曲線出現(xiàn)拐點(diǎn)。這個拐點(diǎn)對于并行計(jì)算的實(shí)際應(yīng)用有很重要的指導(dǎo)意義：在實(shí)際運(yùn)算中，我們應(yīng)該根據(jù)算例的規(guī)模、時間和資源消耗等，在加速比曲線的拐點(diǎn)之前選取合適的并行進(jìn)程數(shù)進(jìn)行計(jì)算，盲目擴(kuò)大計(jì)算規(guī)模是不可取的。

此外，模式的加速比曲線會隨著網(wǎng)格數(shù)及相關(guān)參數(shù)（如I/O設(shè)置）的變化而變化，即使網(wǎng)格數(shù)相同的模式，采用不同的參數(shù)設(shè)置（如非靜力近似、求解方程時的迭代次數(shù)等）也會影響加速比曲線。對于需要反復(fù)運(yùn)行的任務(wù)（如用于業(yè)務(wù)化預(yù)報(bào)的模式）及運(yùn)行時間較長的任務(wù)，在正式運(yùn)行前先通過試運(yùn)行評估其加速比對提高資源的利用率有顯著意義。

4 致謝

感謝中國海洋大學(xué)的遲樂泉、龔延昆對試驗(yàn)的大力支持和協(xié)助。

參考文獻(xiàn)

[1] 趙秋麗，李志臣.“神威藍(lán)光”再顯自主創(chuàng)新實(shí)力[N].光明日報(bào)，2011-10-28（1）.

[2] http：//www.nsccjn.cn

[3 Ravela，S.，J.Marshall，C.Hill，A.Wong and S.Stransky（2009） A Real-time Observatory for Laboratory Simulation of Planetary Flows，Experiments in Fluids，DOI：10.1007/s00348-009-0752-0.

[4] A.Khazendar，M.P.Schodlok，I.Fenty， S.R.M.Ligtenberg，E.Rignot and M.R.van den Broeke（2013），Observed thinning of Totten Glacier is linked to coastal polynya variability，Nature Communications 4，Article number：2857 doi：10.1038/ncomms3857.

[5] Guo，C.，V.Vlasenko，W.Alpers，N. Stashchuk and X.Chen（2012），Evidence of short internal waves trailing strong internal solitary waves in the northern South China Sea from synthetic aperture radar observations， Remote Sensing of Environment，Volume 124，September 2012，Pages 542-550，doi：10.1016/j.rse.2012.06.001.

[6] Parmentier Vivien，Adam P.Showman， Yuan Lian.3D mixing in hot Jupiter atmospheres.I.application to the day/night cold trap in HD 209458b，arXiv：1301.4522v2，2013.

[7] http：//mitgcm.org.

[8] Yuefan Deng.APPLIED PARALLEL COMPUTING[M].Singapore：World Scientific，2013.17-18.endprint

3 結(jié)語

上述實(shí)驗(yàn)展示了MITgcm模式在“神威藍(lán)光”超級計(jì)算機(jī)上萬核級別的運(yùn)行和加速情況，可以看出該模式在6000核心之前有良好的加速，課題擴(kuò)展性好。但當(dāng)并行規(guī)模繼續(xù)增大之后，程序并不會一直加速。在加速比圖上，這表現(xiàn)為加速比隨進(jìn)程數(shù)變化的曲線出現(xiàn)拐點(diǎn)。這個拐點(diǎn)對于并行計(jì)算的實(shí)際應(yīng)用有很重要的指導(dǎo)意義：在實(shí)際運(yùn)算中，我們應(yīng)該根據(jù)算例的規(guī)模、時間和資源消耗等，在加速比曲線的拐點(diǎn)之前選取合適的并行進(jìn)程數(shù)進(jìn)行計(jì)算，盲目擴(kuò)大計(jì)算規(guī)模是不可取的。

此外，模式的加速比曲線會隨著網(wǎng)格數(shù)及相關(guān)參數(shù)（如I/O設(shè)置）的變化而變化，即使網(wǎng)格數(shù)相同的模式，采用不同的參數(shù)設(shè)置（如非靜力近似、求解方程時的迭代次數(shù)等）也會影響加速比曲線。對于需要反復(fù)運(yùn)行的任務(wù)（如用于業(yè)務(wù)化預(yù)報(bào)的模式）及運(yùn)行時間較長的任務(wù)，在正式運(yùn)行前先通過試運(yùn)行評估其加速比對提高資源的利用率有顯著意義。

4 致謝

感謝中國海洋大學(xué)的遲樂泉、龔延昆對試驗(yàn)的大力支持和協(xié)助。

參考文獻(xiàn)

[1] 趙秋麗，李志臣.“神威藍(lán)光”再顯自主創(chuàng)新實(shí)力[N].光明日報(bào)，2011-10-28（1）.

[2] http：//www.nsccjn.cn

[3 Ravela，S.，J.Marshall，C.Hill，A.Wong and S.Stransky（2009） A Real-time Observatory for Laboratory Simulation of Planetary Flows，Experiments in Fluids，DOI：10.1007/s00348-009-0752-0.

[4] A.Khazendar，M.P.Schodlok，I.Fenty， S.R.M.Ligtenberg，E.Rignot and M.R.van den Broeke（2013），Observed thinning of Totten Glacier is linked to coastal polynya variability，Nature Communications 4，Article number：2857 doi：10.1038/ncomms3857.

[5] Guo，C.，V.Vlasenko，W.Alpers，N. Stashchuk and X.Chen（2012），Evidence of short internal waves trailing strong internal solitary waves in the northern South China Sea from synthetic aperture radar observations， Remote Sensing of Environment，Volume 124，September 2012，Pages 542-550，doi：10.1016/j.rse.2012.06.001.

[6] Parmentier Vivien，Adam P.Showman， Yuan Lian.3D mixing in hot Jupiter atmospheres.I.application to the day/night cold trap in HD 209458b，arXiv：1301.4522v2，2013.

[7] http：//mitgcm.org.

[8] Yuefan Deng.APPLIED PARALLEL COMPUTING[M].Singapore：World Scientific，2013.17-18.endprint