黃瑞芳, 劉俊鋮, 鮑振華

(中國(guó)人民解放軍61741部隊(duì)信息中心,北京100094)

0 引言

高性能計(jì)算機(jī)(簡(jiǎn)稱HPC)測(cè)評(píng)是高性能計(jì)算領(lǐng)域的核心技術(shù)和挑戰(zhàn)性課題,應(yīng)用于HPC設(shè)計(jì)生產(chǎn)、選型購(gòu)置、應(yīng)用維護(hù)全生命期,指導(dǎo)系統(tǒng)性能定位、應(yīng)用優(yōu)化、性能比較、性能驗(yàn)證和系統(tǒng)調(diào)優(yōu)。氣象海洋環(huán)境數(shù)值預(yù)報(bào)是氣象水文保障的核心業(yè)務(wù),其發(fā)展水平與高性能計(jì)算技術(shù)的發(fā)展和應(yīng)用水平密切關(guān)聯(lián),是HPC的主要應(yīng)用領(lǐng)域。從應(yīng)用的角度來說,選擇適合行業(yè)大型軟件高效、可靠運(yùn)行的HPC系統(tǒng),既是保證核心業(yè)務(wù)能力有效發(fā)揮的必然要求,又是保護(hù)投資、發(fā)揮效益、降低成本開銷的客觀需要,因此,氣象用戶對(duì)行業(yè)高性能計(jì)算機(jī)測(cè)評(píng)有迫切需要。

1 氣象海洋應(yīng)用計(jì)算特征分析

氣象海洋應(yīng)用的計(jì)算特征包括:矩陣轉(zhuǎn)置在內(nèi)的全局通信、大I/O、高度并行、計(jì)算量隨分辨率成指數(shù)增長(zhǎng)、背景場(chǎng)和初試數(shù)據(jù)量大等特點(diǎn),要求很高的綜合系統(tǒng)性能。

1.1 全球中期數(shù)值天氣預(yù)報(bào)模式

全球中期數(shù)值天氣預(yù)報(bào)模式的譜方法計(jì)算內(nèi)核發(fā)源于歐洲中期數(shù)值預(yù)報(bào)中心,模式在中國(guó)廣泛應(yīng)用,是國(guó)家和軍隊(duì)數(shù)值天氣預(yù)報(bào)業(yè)務(wù)系統(tǒng)的核心模式。模式包含了典型的大氣動(dòng)力和熱力過程,物理過程完善,大量使用快速傅立葉變換(FFT)、勒讓德變換等典型算法。模式能夠測(cè)試HPC運(yùn)行全球譜模式和集合預(yù)報(bào)的能力。能夠測(cè)試:

(1)HPC對(duì)中期預(yù)報(bào)核心模式的可移植性;

(2)HPC進(jìn)行數(shù)據(jù)密集和通信密集計(jì)算的吞吐能力;

(3)HPC在容量計(jì)算時(shí)達(dá)到能力極限的持續(xù)計(jì)算能力;

(4)數(shù)學(xué)庫(kù)支持和優(yōu)化性能。

1.2 全球并行化海洋預(yù)報(bào)模式

POP(Parallel Ocean Processe)由美國(guó)洛斯阿拉莫斯國(guó)家試驗(yàn)室根據(jù)美國(guó)能源部氣候改變預(yù)測(cè)計(jì)劃開發(fā),模式成功應(yīng)用推進(jìn)了美國(guó)在10年期和大尺度氣候預(yù)測(cè)領(lǐng)域的技術(shù)進(jìn)步。主要計(jì)算和通訊過程基于并行技術(shù)開發(fā),具有較高并行效率,并行規(guī)模大,并行度可擴(kuò)展至1萬以上。模式能夠測(cè)試HPC運(yùn)行海洋數(shù)值預(yù)報(bào)的應(yīng)用性能,能夠測(cè)試:

(1)HPC的CPU多核計(jì)算性能。

(2)HPC計(jì)算和通信能力的均衡性。

(3)HPC的可擴(kuò)展性。

(4)測(cè)試方對(duì)海洋模式應(yīng)用開發(fā)和代碼優(yōu)化能力。

1.3 海陸氣耦合氣候模式CCSM3

CCSM3是美國(guó)發(fā)展的第三代耦合氣候模式,包括完全相互作用的大氣、海洋、海冰和陸面4個(gè)分量模式,通過耦合器相互交換數(shù)據(jù)。具體計(jì)算采用MPMD的并行方式,各個(gè)模塊相互獨(dú)立地運(yùn)行,并周期性地與耦合器交換數(shù)據(jù)。模式代表大氣、海洋、氣候多圈層耦合的發(fā)展趨勢(shì),反映大通訊、大I/O應(yīng)用的計(jì)算特征。其中各種模式組件的并行度不同,最大并行度有待確定。模式能夠測(cè)試目標(biāo)系統(tǒng)運(yùn)行海洋、大氣和陸面過程耦合預(yù)報(bào)的能力。

2 系統(tǒng)設(shè)計(jì)

氣象海洋HPC測(cè)評(píng)系統(tǒng)設(shè)計(jì)的主要內(nèi)容包括:建立測(cè)評(píng)體系、建立測(cè)試環(huán)境、選取測(cè)試集,構(gòu)建測(cè)試模型、建立測(cè)評(píng)標(biāo)準(zhǔn)。

2.1 建立測(cè)評(píng)體系

建立HPC測(cè)評(píng)體系目的是分析并提取HPC關(guān)鍵功能和性能因素,建立科學(xué)客觀的量化評(píng)估標(biāo)準(zhǔn)化體系,是構(gòu)建測(cè)評(píng)系統(tǒng)的技術(shù)核心。評(píng)價(jià)HPC的主要因素包括軟硬件的功能和性能,其中硬件方面因素有處理器的浮點(diǎn)處理能力、Cache大小、訪存帶寬和延遲、I/O能力以及通信的帶寬和延遲等;軟件方面因素有操作系統(tǒng)、編譯器、作業(yè)系統(tǒng)、應(yīng)用算法實(shí)現(xiàn)和性能優(yōu)化能力[1-3]。硬件系統(tǒng)與軟件應(yīng)用的匹配程度也是影響HPC整體性能的關(guān)鍵因素。綜合上述因素,建立在多維空間上能夠表示應(yīng)用特征和HPC特征,反映系統(tǒng)與應(yīng)用之間區(qū)別、相似度的HPC測(cè)評(píng)體系。體系的基本結(jié)構(gòu)如圖1所示。

HPC性能和功能模型描述HPC提供硬件和軟件計(jì)算資源的能力。應(yīng)用與HPC匹配評(píng)價(jià)模型描述應(yīng)用需求與HPC計(jì)算資源能力之間的匹配程度,模型定義應(yīng)用與HPC的性能褶和方法以及HPC的評(píng)價(jià)標(biāo)準(zhǔn)。

2.2 建立測(cè)試環(huán)境

HPC和并行程序設(shè)計(jì)復(fù)雜性的提高,使影響氣象海洋數(shù)值計(jì)算性能的因素越來越多。建立測(cè)試試驗(yàn)環(huán)境的目的是在不同配置的小規(guī)模HPC上運(yùn)行應(yīng)用系統(tǒng),初步考察構(gòu)成HPC各個(gè)要素對(duì)應(yīng)用的性能影響,發(fā)現(xiàn)應(yīng)用對(duì)HPC性能的需求,將眾多復(fù)雜的因素聚焦到幾個(gè)性能主成份上,明確測(cè)評(píng)目標(biāo)。

測(cè)試試驗(yàn)環(huán)境的基本構(gòu)成如圖2所示。測(cè)試試驗(yàn)環(huán)境配置的方法如下:

(1)分析影響HPC性能的一般因素。

(2)選取當(dāng)時(shí)業(yè)界具有代表性的配置確定基準(zhǔn)測(cè)試環(huán)境中各主成份的取值。使用這些因素構(gòu)造一個(gè)HPC設(shè)計(jì)矩陣。HPC設(shè)計(jì)矩陣的一個(gè)行向量代表一個(gè)真實(shí)可行的HPC配置。

圖1 氣象海洋HPC多維空間測(cè)評(píng)體系

2.3 選取測(cè)試集

測(cè)試集是測(cè)評(píng)系統(tǒng)的核心構(gòu)件,其主要功能是作為測(cè)評(píng)的輸入,考核HPC滿足應(yīng)用功能和性能需求的能力。測(cè)試集由測(cè)試程序、測(cè)試初始數(shù)據(jù)和基準(zhǔn)測(cè)試結(jié)果組成。由于氣象海洋應(yīng)用程序規(guī)模大、結(jié)構(gòu)復(fù)雜,采用程序特征分析方法進(jìn)行分類,對(duì)氣象海洋模式進(jìn)行基于系統(tǒng)抽樣的程序特征分析方法[4]:

(1)準(zhǔn)備輸入數(shù)據(jù),確定運(yùn)行應(yīng)用的處理器規(guī)模;

(2)在基準(zhǔn)測(cè)試試驗(yàn)環(huán)境上移植調(diào)試、運(yùn)行,確定程序代碼的跨平臺(tái)移植難度、編譯級(jí)優(yōu)化潛力和算法級(jí)的代碼優(yōu)化潛力等,作為制定測(cè)試評(píng)分準(zhǔn)則的重要技術(shù)參考;

(3)在基準(zhǔn)測(cè)試試驗(yàn)環(huán)境上以不同輸入規(guī)模、不同并行規(guī)模運(yùn)行應(yīng)用程序,考察應(yīng)用的可擴(kuò)展性,作為制定測(cè)試評(píng)分準(zhǔn)則的重要技術(shù)參考;

(4)在基準(zhǔn)測(cè)試試驗(yàn)環(huán)境上采用Intel trace Analyzer and Collector跟蹤應(yīng)用程序運(yùn)行,獲得性能跟蹤數(shù)據(jù);

(5)分析測(cè)試結(jié)果數(shù)據(jù),通過提取關(guān)鍵參數(shù)或者繪圖形成測(cè)試結(jié)果的正確性判定;

(6)通過分析提取的性能數(shù)據(jù),確定應(yīng)用程序的浮點(diǎn)操作、訪存、通信、I/O的性能需求,作為制定測(cè)試評(píng)分準(zhǔn)則的重要技術(shù)參考;

(7)綜合上述分析過程,建立一個(gè)多維向量表示應(yīng)用特征。

圖2 測(cè)試試驗(yàn)環(huán)境

2.4 構(gòu)建測(cè)試模型

測(cè)試模型用于提取各類HPC系統(tǒng)的性能主成份和功能特征指標(biāo),建立HPC計(jì)算資源能力表示模式,為氣象海洋應(yīng)用與HPC之間的性能和計(jì)算[5]提供依據(jù)。測(cè)試模型由測(cè)試項(xiàng)目和測(cè)試方法兩部分構(gòu)成。其中測(cè)試項(xiàng)目定義測(cè)試集中每個(gè)測(cè)試程序的輸入約束、過程約束、目標(biāo)約束,在不同約束下,每個(gè)測(cè)試程序生成多個(gè)測(cè)試實(shí)例。測(cè)試方法定義測(cè)試過程中必須遵循的一般方法。

2.5 建立測(cè)評(píng)標(biāo)準(zhǔn)

測(cè)評(píng)標(biāo)準(zhǔn)以性能瓶頸和測(cè)評(píng)重點(diǎn)為目的,以測(cè)試數(shù)據(jù)為基礎(chǔ)。采用統(tǒng)計(jì)分析技術(shù),實(shí)現(xiàn)HPC計(jì)算資源能力和應(yīng)用特征之間從局部到整體的褶和計(jì)算,建立對(duì)測(cè)試結(jié)果進(jìn)行定性和定量分析評(píng)價(jià)的機(jī)制[6]。主要包含以下幾個(gè)方面:

(1)測(cè)試完成情況分析包括測(cè)試方法的正確性、測(cè)試結(jié)果的正確性和優(yōu)化程度。

(2)系統(tǒng)性能分析給出各種機(jī)型的單CPU性能、單節(jié)點(diǎn)性能、內(nèi)存帶寬、互連帶寬、IO帶寬等方面的系統(tǒng)性能對(duì)比結(jié)果。

(3)應(yīng)用性能分析建立應(yīng)用程序運(yùn)行在各種機(jī)型上的持續(xù)性能、并行效率與應(yīng)用程序的計(jì)算資源需求之間的映射關(guān)系,并結(jié)合機(jī)型體系結(jié)構(gòu)、計(jì)算、IO以及互連性能和系統(tǒng)可擴(kuò)展性褶和計(jì)算出目標(biāo)系統(tǒng)配置規(guī)模;通過對(duì)比測(cè)試單位的移植能力、優(yōu)化能力,給出技術(shù)先進(jìn)性、技術(shù)支持實(shí)力等方面的結(jié)論。

(4)系統(tǒng)功能分析給出各種機(jī)型的系統(tǒng)測(cè)試功能對(duì)比結(jié)果,包括作業(yè)管理能力、資源調(diào)度能力、Checkpoint/Restart功能和性能等方面。

圖3 氣象海洋高性能計(jì)算機(jī)測(cè)評(píng)系統(tǒng)總體結(jié)構(gòu)圖

3 高性能計(jì)算機(jī)測(cè)評(píng)系統(tǒng)實(shí)現(xiàn)

3.1 系統(tǒng)組成

氣象海洋HPC測(cè)評(píng)系統(tǒng)由:測(cè)試集、測(cè)試模型、測(cè)評(píng)標(biāo)準(zhǔn)、測(cè)評(píng)管理軟件組成,總體結(jié)構(gòu)如圖3所示。

(1)測(cè)試集

測(cè)試程序采用基于系統(tǒng)抽樣的程序特征分析方法和距離函數(shù)的應(yīng)用分類方法從氣象海洋典型數(shù)值計(jì)算模式以及國(guó)際通用基準(zhǔn)測(cè)試程序中選擇得出,包括氣象、海洋、海陸氣耦合模式程序和基準(zhǔn)測(cè)試程序,作為測(cè)試項(xiàng)目的基本構(gòu)件;測(cè)試初始數(shù)據(jù)包為測(cè)試程序運(yùn)行提供具備樣本功能的初始場(chǎng)和邊界條件;基準(zhǔn)測(cè)試結(jié)果是在測(cè)評(píng)方高性能主機(jī)上采用測(cè)試初始數(shù)據(jù)包運(yùn)行測(cè)試程序獲得的運(yùn)行結(jié)果,包括計(jì)算結(jié)果和性能分析結(jié)果,用于測(cè)評(píng)分析驗(yàn)證。

(2)測(cè)評(píng)模型

測(cè)試模型由測(cè)試項(xiàng)目和測(cè)試方法兩部分構(gòu)成,每組測(cè)試項(xiàng)目伴有相應(yīng)的數(shù)據(jù)采集模塊。測(cè)試項(xiàng)目包括氣象海洋應(yīng)用性能測(cè)試項(xiàng)目、計(jì)算系統(tǒng)管理功能測(cè)試項(xiàng)目和基準(zhǔn)測(cè)試項(xiàng)目。

(3)測(cè)評(píng)標(biāo)準(zhǔn)

主要在測(cè)試真實(shí)性、測(cè)試方法正確性、測(cè)試結(jié)果正確性驗(yàn)證的基礎(chǔ)上,對(duì)優(yōu)化程度、性能和功能進(jìn)行分析,綜合得出具體的測(cè)評(píng)標(biāo)準(zhǔn)。

(4)測(cè)評(píng)管理軟件

測(cè)評(píng)管理軟件全實(shí)現(xiàn)測(cè)試和評(píng)標(biāo)數(shù)據(jù)采集、數(shù)據(jù)分析、模型管理、文檔管理、系統(tǒng)管理和報(bào)表生成。

3.2 系統(tǒng)軟硬件環(huán)境

測(cè)評(píng)系統(tǒng)的硬件環(huán)境由測(cè)評(píng)高性能計(jì)算主機(jī)、測(cè)評(píng)管理主機(jī)、測(cè)評(píng)數(shù)據(jù)服務(wù)器、文件管理主機(jī)和高性能計(jì)算網(wǎng)絡(luò)組成。系統(tǒng)部署結(jié)構(gòu)如圖4所示。

圖4 氣象海洋高性能計(jì)算機(jī)測(cè)評(píng)系統(tǒng)部署結(jié)構(gòu)

4 結(jié)束語(yǔ)

系統(tǒng)先后在國(guó)內(nèi)4大HPC廠商的6類主流HPC系統(tǒng)平臺(tái)上完成了14個(gè)測(cè)試項(xiàng)目的分析和比對(duì),分別就平臺(tái)編譯性能、單節(jié)點(diǎn)性能、并行效率和可擴(kuò)展能力、系統(tǒng)單項(xiàng)性能、滿足特定應(yīng)用的配置規(guī)模和持續(xù)計(jì)算性能、資源管理和作業(yè)調(diào)度能力、系統(tǒng)吞吐率及對(duì)集合預(yù)報(bào)的支持能力給出了客觀評(píng)價(jià),為相關(guān)行業(yè)高性能計(jì)算系統(tǒng)設(shè)計(jì)、生產(chǎn)、選型、采購(gòu)、性能調(diào)優(yōu)和運(yùn)行維護(hù)提供了技術(shù)參考。后期將進(jìn)一步擴(kuò)充相關(guān)測(cè)試集、優(yōu)化測(cè)評(píng)標(biāo)準(zhǔn),構(gòu)建可擴(kuò)展測(cè)試模型,為更多領(lǐng)域的高性能計(jì)算系統(tǒng)設(shè)計(jì)和生產(chǎn)提供技術(shù)參考。

[1] A Snavely,N Wolter,L Carrington.Modeling Application Performance by Convolving Machine Signatures with Application Profiles[J].IEEE 4th Annual Workshop on Workload Characterization,2001,(2).

[2] D Ofelt,J L Hennessy.Efficient Performance Prediction for Modern Microprocessors[M].SIGMETRICS,2000:229-239.

[3] D J Kerbyson,H Alme,A Hoisie,et al.Predictive Performance and Scalability Modeling of a Large-Scale Application[M].Supercomputing,2001.

[4] A Snavely,N Wolter,L Carrington,et al.A Framework to Enable Performance Modeling and Prediction[M].Supercomputing,2002.

[5] L Carrington,N Wolter,A Snavely.A Framework for Application Performance Prediction to Enable Scalability Understanding[M].Scaling to New Heights Workshop,Pittsburgh,2002.

[6] Gabriel Marin,John Mellor Crummey.Cross Architecture Performance Predictions for Scientific Applications Using Parameterized Models[M].SIGMET RICS performance,New York,2004.