孫家昶,李會(huì)元

(中國(guó)科學(xué)院 軟件研究所,北京 100190)

中國(guó)科學(xué)院首個(gè)C 類戰(zhàn)略性先導(dǎo)科技專項(xiàng)XDC01000000 主要目標(biāo)已經(jīng)達(dá)到.在數(shù)值軟件層面,該先導(dǎo)專項(xiàng)第 1 階段的主要任務(wù)是在復(fù)雜異構(gòu)先進(jìn)計(jì)算系統(tǒng)上研制高水平的基準(zhǔn)測(cè)試軟件 HPL(high performance Linpack)和HPCG(high performance conjugate gradients).

HPL 與HPCG 是國(guó)際上最受關(guān)注的用于評(píng)測(cè)高性能計(jì)算機(jī)浮點(diǎn)運(yùn)算性能的兩款基準(zhǔn)測(cè)試軟件.HPL 通過(guò)高斯消去法求解稠密線性代數(shù)方程組來(lái)評(píng)測(cè)高性能計(jì)算機(jī)浮點(diǎn)性能的實(shí)際持續(xù)峰值,是目前全球超級(jí)計(jì)算機(jī)TOP500 以及中國(guó)高性能計(jì)算機(jī)TOP100 排行榜的依據(jù).HPCG 是求解稀疏代數(shù)方程組的一種迭代算法.HPCG基準(zhǔn)測(cè)試在國(guó)際上受到廣泛關(guān)注,與HPL 相比,在一定程度上更能真實(shí)地反映高性能計(jì)算機(jī)的實(shí)際應(yīng)用性能.全球超級(jí)計(jì)算機(jī)TOP500 以及中國(guó)高性能計(jì)算機(jī)TOP100 均提供HPCG 性能排行榜.如今,以計(jì)算速度為目標(biāo)的HPL 與HPCG 基準(zhǔn)測(cè)試,不僅為高性能計(jì)算機(jī)性能排名提供一種依據(jù),更已成為一種被高性能計(jì)算提供商、研究機(jī)構(gòu)與應(yīng)用部門廣為接受的工業(yè)標(biāo)準(zhǔn).

先導(dǎo)專項(xiàng)先后兩次開展了HPL 與HPCG 基準(zhǔn)測(cè)試,其效率和可擴(kuò)展性超過(guò)了先導(dǎo)專項(xiàng)的要求.據(jù)此,先導(dǎo)專項(xiàng)順利通過(guò)了中國(guó)高性能計(jì)算機(jī)性能TOP100 排行榜專家組的鑒定,并得到了中國(guó)計(jì)算機(jī)協(xié)會(huì)專家組的肯定.

為此,《軟件學(xué)報(bào)》編輯部特開設(shè)“國(guó)產(chǎn)復(fù)雜異構(gòu)高性能數(shù)值軟件的研制與測(cè)試”專題.專題擬聚焦國(guó)產(chǎn)復(fù)雜異構(gòu)先進(jìn)計(jì)算系統(tǒng)下的高性能計(jì)算軟件、算法與測(cè)試技術(shù),探討軟硬件總體結(jié)構(gòu)與軟件在先進(jìn)計(jì)算系統(tǒng)中的地位與作用.專題定向邀請(qǐng)參與先導(dǎo)專項(xiàng)的兄弟單位研究團(tuán)隊(duì),從學(xué)術(shù)層面交流復(fù)雜異構(gòu)系統(tǒng)下的高性能計(jì)算基礎(chǔ)軟件的研制和優(yōu)化的各種關(guān)鍵技術(shù),總結(jié)高性能計(jì)算軟件和應(yīng)用研究中的挑戰(zhàn)與對(duì)策.內(nèi)容重點(diǎn)涵蓋先進(jìn)計(jì)算系統(tǒng)基準(zhǔn)評(píng)測(cè)軟件HPL、HPCG 等的研制、調(diào)優(yōu)與測(cè)試及相應(yīng)BLAS 等基礎(chǔ)代數(shù)庫(kù)的優(yōu)化,也包含了若干高性能應(yīng)用算法與軟件的研制進(jìn)展.

專題收到8 篇投稿,先后邀請(qǐng)了十幾位領(lǐng)域?qū)＜覅⑴c審稿,每篇稿件都由3 位專家歷經(jīng)2 輪或3 輪審稿,最終有7 篇論文入選本專題.

論文“異構(gòu)HPL算法中CPU端高性能BLAS庫(kù)優(yōu)化”針對(duì)具體異構(gòu)系統(tǒng)的體系結(jié)構(gòu)以及HPL算法特點(diǎn),利用多種技術(shù)手段優(yōu)化CPU端調(diào)用的各級(jí)BLAS(basic linear algebra subprograms)函數(shù),應(yīng)用auto-tuning 技術(shù)優(yōu)化矩陣分塊參數(shù),從而形成了優(yōu)化的BLIS算法庫(kù),以便更充分地利用通用CPU 計(jì)算能力,提高系統(tǒng)整體效率.

論文“復(fù)雜異構(gòu)計(jì)算系統(tǒng)HPL 的優(yōu)化”針對(duì)異構(gòu)先進(jìn)計(jì)算機(jī)系統(tǒng),提出了一套CPU 與加速器計(jì)算任務(wù)分配方式,提出了平衡點(diǎn)理論指導(dǎo)HPL 性能優(yōu)化,實(shí)現(xiàn)了加速器、CPU、網(wǎng)絡(luò)等部件的高度并行,提高了加速器的利用率.

論文“國(guó)產(chǎn)異構(gòu)系統(tǒng)上HPL 的優(yōu)化與分析”基于處理器-加速器異構(gòu)系統(tǒng)提出了一個(gè)HPL 性能模型,設(shè)計(jì)了一種多線程細(xì)粒度異構(gòu)HPL算法,完成了一個(gè)輕量級(jí)跨平臺(tái)異構(gòu)加速框架,以實(shí)現(xiàn)跨平臺(tái)的HPL算法.

論文“面向異構(gòu)計(jì)算機(jī)平臺(tái)的HPL 方案”嘗試為HPL 的優(yōu)化工作提供一種解決方案:Hetero-HPL.因?yàn)檫M(jìn)程不再要求與(協(xié))處理器一一對(duì)應(yīng),單節(jié)點(diǎn)HPL 可以完全避免進(jìn)程間數(shù)據(jù)傳輸開銷、完全利用物理節(jié)點(diǎn)的所有資源.

論文“國(guó)產(chǎn)異構(gòu)系統(tǒng)上的HPCG 并行算法及高效實(shí)現(xiàn)”面向復(fù)雜異構(gòu)超級(jí)計(jì)算機(jī)開展研究,提出了一種適用于結(jié)構(gòu)化網(wǎng)格的圖著色算法用于HPCG 并行,提出一套更適用于HPCG 的任務(wù)劃分方法,并從稀疏矩陣存儲(chǔ)格式、稀疏矩陣重排、訪存等角度開展了細(xì)粒度的優(yōu)化.

論文“SW26010 眾核任務(wù)并行調(diào)度系統(tǒng)及其嵌套并行算法應(yīng)用”提出了支持任務(wù)嵌套并行模式的通用運(yùn)行時(shí)框架SWAN,并基于SWAN 框架在目標(biāo)平臺(tái)上實(shí)現(xiàn)了若干典型的具有遞歸特性的嵌套并行算法.

論文“面向異構(gòu)計(jì)算的高性能計(jì)算算法與軟件”對(duì)幾類典型高性能計(jì)算應(yīng)用軟件開展并行計(jì)算算法特征分析,提煉出若干典型應(yīng)用算法和軟件的共性問(wèn)題,并面向國(guó)產(chǎn)異構(gòu)計(jì)算體系結(jié)構(gòu)對(duì)高性能計(jì)算算法與軟件進(jìn)行了總結(jié).

我們希望通過(guò)本專題的出版和傳播,凝聚科技界及軟件產(chǎn)業(yè)界對(duì)高性能計(jì)算基礎(chǔ)軟件和相應(yīng)算法研究的重視,從而為后續(xù)異構(gòu)計(jì)算機(jī)軟件研制及產(chǎn)業(yè)發(fā)展打下更堅(jiān)實(shí)的基礎(chǔ).