■ 顧文靜 沈瑜 李娟 孫婧

一種應(yīng)用于中國氣象局高性能計(jì)算機(jī)系統(tǒng)上的多維、精細(xì)化資源管理系統(tǒng)，不僅可以從CPU使用、計(jì)算和存儲資源的使用、模式、作業(yè)等常規(guī)角度統(tǒng)計(jì)了解系統(tǒng)的運(yùn)行情況，同時提供對特定隊(duì)列、特定業(yè)務(wù)/科研用戶或用戶群的使用分析，提供對系統(tǒng)全天24小時時段運(yùn)行情況的使用分析，提供作業(yè)等待情況的基本分析等功能。

高性能計(jì)算系統(tǒng)是氣象業(yè)務(wù)及科研應(yīng)用的重要的基礎(chǔ)設(shè)施平臺，該系統(tǒng)對資源統(tǒng)計(jì)的大量數(shù)據(jù)進(jìn)行多維度、多樣化統(tǒng)計(jì)分析，構(gòu)建精準(zhǔn)、完善的數(shù)據(jù)服務(wù)，為用戶提供高效、標(biāo)準(zhǔn)、可信的應(yīng)用支撐平臺，在保障業(yè)務(wù)穩(wěn)定運(yùn)行的同時，促進(jìn)系統(tǒng)資源的效能和效率最大限度地發(fā)揮。基于該系統(tǒng)，中國氣象局（CMA）建立了氣象高性能資源計(jì)費(fèi)機(jī)制和分配管理模式，使高性能計(jì)算機(jī)在CMA的應(yīng)用管理日趨規(guī)范化。

1　系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

資源管理系統(tǒng)主體功能如圖1所示，開發(fā)環(huán)境：Eclipse Luna Release（4.4.0）；后臺數(shù)據(jù)庫：Oracle 11g；Web服務(wù)器：Tomcat8.0。資源管理系統(tǒng)包含6大模塊，25個子模塊，其中首頁和作業(yè)運(yùn)行情況模塊，實(shí)時展示作業(yè)運(yùn)行和資源使用情況，系統(tǒng)管理員可據(jù)此調(diào)整系統(tǒng)資源分配調(diào)度策略，用戶可選擇空閑的時段和隊(duì)列提交作業(yè)，從而更合理高效的利用系統(tǒng)資源；用戶資源統(tǒng)計(jì)模塊，便于用戶查詢本人資源申請、分配、使用和繳費(fèi)情況，為資源計(jì)費(fèi)繳費(fèi)提供依據(jù)。CPU使用情況，資源綜合統(tǒng)計(jì)和模式應(yīng)用模式使用情況模塊，實(shí)現(xiàn)高性能資源多維度、精細(xì)粒度統(tǒng)計(jì)查詢。

1.1　整體架構(gòu)

資源管理系統(tǒng)基于B/S架構(gòu)設(shè)計(jì)多層框架模型，“四個層次”分別為基礎(chǔ)設(shè)施層、數(shù)據(jù)層、應(yīng)用層和表現(xiàn)層，從而保證基礎(chǔ)環(huán)境的穩(wěn)定可靠、數(shù)據(jù)資源的集中管理、應(yīng)用系統(tǒng)的快速開發(fā)、應(yīng)用系統(tǒng)的集成統(tǒng)一。

1）基礎(chǔ)層

基礎(chǔ)層包含基礎(chǔ)環(huán)境運(yùn)行支撐層和基礎(chǔ)軟件層。通過對硬件設(shè)備、基礎(chǔ)系統(tǒng)軟件的集成，為本系統(tǒng)提供統(tǒng)一、穩(wěn)定的運(yùn)行環(huán)境?；A(chǔ)運(yùn)行環(huán)境包括存儲系統(tǒng)、高性能計(jì)算機(jī)、虛擬化云平臺以及JDK、Python、shell、Perl和Oracle等組件。

2）數(shù)據(jù)層

通過對資源數(shù)據(jù)的統(tǒng)一規(guī)劃，實(shí)現(xiàn)數(shù)據(jù)的集中存儲、數(shù)據(jù)共享，數(shù)據(jù)層主要包含源數(shù)據(jù)和預(yù)處理數(shù)據(jù)。高性能計(jì)算機(jī)本地資源管理模塊通過基于命令行的功能腳本從高性能計(jì)算機(jī)系統(tǒng)獲取系統(tǒng)運(yùn)行及用戶作業(yè)資源使用信息。數(shù)據(jù)庫用于管理資源統(tǒng)計(jì)和預(yù)處理數(shù)據(jù)，記賬日志經(jīng)數(shù)據(jù)解析錄入到資源管理數(shù)據(jù)庫。

3）應(yīng)用層

包含系統(tǒng)的四大模塊，其中資源信息采集處理模塊包括系統(tǒng)資源信息采集、用戶作業(yè)信息采集。監(jiān)視數(shù)據(jù)管理模塊包括資源數(shù)據(jù)解析入庫及預(yù)處理，資源信息存儲管理。資源統(tǒng)計(jì)查詢模塊包括CPU使用情況、作業(yè)運(yùn)行情況、計(jì)算和存儲資源統(tǒng)計(jì)查詢。配置管理模塊包括用戶權(quán)限配置和采集任務(wù)配置。

4）表現(xiàn)層

系統(tǒng)主要通過Web頁面以及相關(guān)的桌面程序?yàn)橛脩籼峁┓?wù)。優(yōu)良合理的頁面布局和人性化的操作方式，清晰地展現(xiàn)用戶所關(guān)心的信息。

1.2　數(shù)據(jù)處理

IBM Flex P460高性能計(jì)算機(jī)系統(tǒng)總理論峰值達(dá)1759TFlops；源數(shù)據(jù)表（job表）總記錄近4000萬條；日增量約9萬條。

伴隨數(shù)據(jù)量的迅速增長，對于用戶的統(tǒng)計(jì)請求，如果實(shí)時的從海量原始數(shù)據(jù)中進(jìn)行統(tǒng)計(jì)計(jì)算，給系統(tǒng)造成較大壓力，并且讓用戶等待較長時間。從用戶角度出發(fā)，充分利用Oracle數(shù)據(jù)庫索引技術(shù)，提高SQL語句的執(zhí)行效率，增加檢索條件避免全表掃描。同時對海量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)預(yù)處理，形成符合需求的中間統(tǒng)計(jì)結(jié)果進(jìn)行存儲，對于統(tǒng)計(jì)訪問請求，能夠直接在中間統(tǒng)計(jì)結(jié)果中進(jìn)行查詢，大幅減少等待時間。

資源管理系統(tǒng)數(shù)據(jù)庫創(chuàng)建13張數(shù)據(jù)表，其中基礎(chǔ)信息表包括用戶信息表（userinfo）、部門信息表（organization）、計(jì)算機(jī)系統(tǒng)信息表（machineinfo）、文件系統(tǒng)信息表（gpfsinfo）、資源分配信息表（allocation）；記賬信息表包括作業(yè)信息表（job）、存儲資源信息表（disk）、CPU使用情況信息表（cpu_usage），實(shí)時概覽信息表（realtimeinfo）；對job表和disk表進(jìn)行統(tǒng)計(jì)預(yù)處理，生成隊(duì)列資源信息表（queueu_amt）、模式資源信息表（model_amt）、系統(tǒng)記賬信息表（machine_chg）和用戶記賬信息表（user_chg）；其中記賬信息表的可統(tǒng)計(jì)屬性均與基礎(chǔ)信息表建立主外鍵關(guān)系。

1.3　軟件框架

1）模型實(shí)現(xiàn)

系統(tǒng)采用B/S架構(gòu)進(jìn)行設(shè)計(jì)，基于J2EE的SSH（Struts2+Spring+Hibernate）架構(gòu)體系進(jìn)行業(yè)務(wù)和數(shù)據(jù)資源的整合及集成，采用多層體系架構(gòu)，實(shí)現(xiàn)設(shè)計(jì)單元的高內(nèi)聚、低耦合；采用組件化與插件機(jī)制結(jié)合進(jìn)行設(shè)計(jì)和開發(fā)，保證系統(tǒng)強(qiáng)大且靈活的可擴(kuò)展性、可維護(hù)性以及可集成性。

前臺頁面通過Ajax 向后臺的Action發(fā)出Post 請求，后臺Action 返回Json 格式的數(shù)據(jù)給請求頁面，請求頁面利用JQuery 處理返回的Json 格式的數(shù)據(jù)，并呈現(xiàn)給用戶。通過這種方式高效的實(shí)現(xiàn)頁面對后臺數(shù)據(jù)的無刷新訪問，并且將開發(fā)過程中的表現(xiàn)層和數(shù)據(jù)處理層很好的分離。

視圖層采用Struts2框架與jQuery框架實(shí)現(xiàn)，Struts2提供對Ajax的支持，與jQuery框架配合，可將程序的觸發(fā)事件直接封裝在JS代碼中；Struts2根據(jù)用戶請求調(diào)用相應(yīng)Action控制器，Action調(diào)用Service實(shí)現(xiàn)業(yè)務(wù)邏輯處理，將Json對象和參數(shù)傳入到了后臺Service層，在Service層封裝解析數(shù)據(jù)對象；數(shù)據(jù)持久層由Spring和Hibernate整合實(shí)現(xiàn)，Service調(diào)用Dao實(shí)現(xiàn)對數(shù)據(jù)庫的操作，Dao通過調(diào)用Hibernate API對持久化對象進(jìn)行操作，Hibernate將Dao連接oracle數(shù)據(jù)庫，將配置文件裝載到applicationContext.xml中，最終實(shí)現(xiàn)對數(shù)據(jù)庫的增刪改查操作。

2）圖表生成

本系統(tǒng)使用JQuery+HighCharts來實(shí)現(xiàn)資源統(tǒng)計(jì)數(shù)據(jù)圖表繪制，并提供下載功能。資源統(tǒng)計(jì)數(shù)據(jù)是時間序列化的數(shù)據(jù)，通過動態(tài)曲線能夠更直觀地顯示數(shù)據(jù)在一個時間段中的變化過程。

HighCharts是一個非常流行、界面美觀的純Javascript 圖表庫，能夠很便捷地在Web 網(wǎng)站或是Web 應(yīng)用程序中提供直觀、交互性的圖表，并且免費(fèi)和開源。

2　資源精細(xì)化統(tǒng)計(jì)分析

資源管理系統(tǒng)下設(shè)25個子模塊，對CPU使用情況、計(jì)算和存儲資源、隊(duì)列及作業(yè)情況進(jìn)行了多方面精細(xì)化統(tǒng)計(jì)查詢，下面就其中幾個典型模塊的應(yīng)用情況做詳細(xì)分析。

2.1　首頁

首頁作為資源管理系統(tǒng)的概覽，對所有用戶開放訪問權(quán)限，其中包括CPU使用情況和作業(yè)運(yùn)行情況的實(shí)時展示、各單位資源分配與使用情況和模式資源使用情況展示。

CPU使用情況和作業(yè)運(yùn)行情況的實(shí)時展示方便系統(tǒng)管理員和用戶動態(tài)掌握各系統(tǒng)資源使用情況。

2.2　用戶資源分配與使用

資源分配與使用情況展示中國氣象局各單位和各區(qū)域中心計(jì)算及存儲資源分配和使用情況。根據(jù)使用量與分配量比例判斷資源分配的合理性，對各中心用戶需求進(jìn)行充分評估，為下一階段資源調(diào)整提供依據(jù)。其包括用戶申請與分配、分配與使用、計(jì)費(fèi)與收費(fèi)、繳費(fèi)記錄和詳細(xì)日志查詢，前4個子模塊對所有用戶開放，并設(shè)置系統(tǒng)管理員、中心管理員和個人用戶等權(quán)限，系統(tǒng)管理員可查詢所有用戶信息，中心管理員只能查詢本中心用戶信息，個人用戶可以看到本人名下所有的賬戶信息，多種權(quán)限的設(shè)置在保障用戶信息安全的前提下為不同需求用戶提供了便捷。本模塊為中國氣象局資源計(jì)費(fèi)機(jī)制提供有利依據(jù)。

2.3　CPU使用情況

包括中國氣象局和區(qū)域中心九套系統(tǒng)CPU使用情況和多維度時段CPU核使用情況展示。CPU使用情況包括逐年、逐月、逐日數(shù)據(jù)的統(tǒng)計(jì)查詢。逐年、逐月、逐日資源數(shù)據(jù)統(tǒng)計(jì)反映系統(tǒng)在不同時段CPU使用情況，為分析資源使用規(guī)律提供有利依據(jù)。

時段CPU核使用情況包括系統(tǒng)、隊(duì)列、用戶及業(yè)務(wù)模式時段使用情況統(tǒng)計(jì)。取樣間隔精確到秒，通過密集柱狀圖形象展示了各個時段選定的系統(tǒng)、隊(duì)列、用戶及業(yè)務(wù)模式CPU核使用情況，統(tǒng)計(jì)圖（圖2）中可以清晰反映那些時間段是作業(yè)運(yùn)行高峰，那些時間段是低谷，為各業(yè)務(wù)模式系統(tǒng)運(yùn)行時間調(diào)整提供依據(jù)，避免資源搶占；科研用戶可掌握業(yè)務(wù)運(yùn)行間隙提交作業(yè)，減少等待時間，提升工作效率。

圖2?。╝）業(yè)務(wù)模式時段CPU核使用情況；（b）業(yè)務(wù)用戶時段CPU核使用情況

2.4　存儲資源使用情況

包括文件系統(tǒng)（gpfs）、高性能計(jì)算機(jī)系統(tǒng)存儲資源使用情況統(tǒng)計(jì)和用戶在各文件系統(tǒng)資源使用情況統(tǒng)計(jì)。其中，文件系統(tǒng)（gpfs）和高性能計(jì)算機(jī)系統(tǒng)使用情況均設(shè)計(jì)總量和使用量對比展示，清晰反映存儲資源使用率；用戶統(tǒng)計(jì)模塊可選擇時間查詢用戶在不同文件系統(tǒng)資源使用情況，為用戶調(diào)整數(shù)據(jù)存儲策略，合理利用空間提供依據(jù)。

2.5　計(jì)算資源使用情況

包括單位、用戶性質(zhì)、高性能計(jì)算機(jī)系統(tǒng)和組及隊(duì)列等多種統(tǒng)計(jì)查詢模塊。使系統(tǒng)管理員詳細(xì)了解計(jì)算資源使用分布情況，便于調(diào)整計(jì)算資源分配調(diào)度策略，減少資源搶占和資源浪費(fèi)。

2.6　應(yīng)用模式使用情況

包含計(jì)算資源統(tǒng)計(jì)、使用處理器核數(shù)和等待時間統(tǒng)計(jì)。通過使用處理器核數(shù)統(tǒng)計(jì)了解各種模式占用計(jì)算資源及各種規(guī)模作業(yè)的比例，據(jù)此對模式使用隊(duì)列、CPU核數(shù)、作業(yè)數(shù)等做一定限制，保證所有模式均可正常運(yùn)行；等待時間模塊設(shè)置了30 min—1 h作業(yè)和大約1 h 作業(yè)詳細(xì)信息查詢，根據(jù)作業(yè)等待時間及占用資源判斷等待是否合理，據(jù)此調(diào)整資源調(diào)度策略，近一步保障業(yè)務(wù)/科研的穩(wěn)定運(yùn)行。

2.7　作業(yè)運(yùn)行情況

包含CPU核使用及作業(yè)運(yùn)行情況和作業(yè)運(yùn)行狀態(tài)實(shí)時展示。CPU核使用及作業(yè)運(yùn)行情況以雙軸柱狀圖對比展示，不僅較單純數(shù)字展示更直觀鮮明，同時，通過二者對比可以判斷作業(yè)運(yùn)行數(shù)和空閑CPU核數(shù)是否合理，間接監(jiān)視系統(tǒng)運(yùn)行情況，保障系統(tǒng)穩(wěn)定；運(yùn)行日志實(shí)時提取所有作業(yè)關(guān)鍵信息（用戶名，作業(yè)狀態(tài)，等待原因）以滾動形式展示在web頁面上，避免用戶通過命令獲取大量復(fù)雜信息后的進(jìn)一步分析提取。

依據(jù)資源管理系統(tǒng)，月度、季度及年度定期對CMA高性能計(jì)算機(jī)系統(tǒng)的進(jìn)行資源使用和運(yùn)行的詳細(xì)分析并編寫相應(yīng)的報(bào)告，相應(yīng)的分析結(jié)果為決策者提供決策支持服務(wù)。

3　資源的分配與計(jì)費(fèi)

3.1　資源分配

近年來，全國多個地方氣象部門在當(dāng)?shù)卣?cái)政撥款和有關(guān)項(xiàng)目支持下，購置高性能計(jì)算機(jī)系統(tǒng)。自2013年起，依托“氣候變化應(yīng)對決策支撐系統(tǒng)工程”項(xiàng)目，中國氣象局陸續(xù)在北京、廣東、上海、遼寧、湖北、四川以及甘肅和新疆等多個區(qū)域中心建設(shè)十套高性能計(jì)算機(jī)系統(tǒng)。

地方氣象局部門的高性能計(jì)算能力雖然有較大提升，但與仍存在以下一些問題：設(shè)備利用率不高、計(jì)算能力不能滿足當(dāng)?shù)匦枨?，缺少必要的高性能?jì)算、氣象數(shù)值模式專業(yè)人才。為此，中國氣象局每年制定《全國資源分配方案》，依據(jù)“本地優(yōu)先、異地調(diào)配”的原則，將一些國家級科研用戶分配到省局較空閑的系統(tǒng)上運(yùn)行，將區(qū)域中心一些資源需求較大，本地資源無法滿足的業(yè)務(wù)/科研用戶調(diào)配至中國氣象局系統(tǒng)運(yùn)行，并充分發(fā)揮國家級氣象單位在高性能和數(shù)值天氣預(yù)報(bào)方面的指導(dǎo)作用，通過資源的預(yù)分配，系統(tǒng)管理方將可以主動的控制管理每個用戶對不同系統(tǒng)的資源使用。

3.2　資源計(jì)費(fèi)

高性能計(jì)算機(jī)系統(tǒng)資源有限，為了保障業(yè)務(wù)/科研穩(wěn)定運(yùn)行，最大限度的提高資源的使用效益，中國氣象局對系統(tǒng)資源總體遵循“統(tǒng)一計(jì)費(fèi)，分類收取，多用多收，少用少收”的原則。資源單位及計(jì)費(fèi)成本的設(shè)定，使得用戶可以根據(jù)不同情況選擇最合適的系統(tǒng)運(yùn)行，有益于發(fā)揮不同系統(tǒng)的效益。服務(wù)收費(fèi)包括計(jì)算資源使用費(fèi)和存儲資源使用費(fèi)，計(jì)算資源采用“CPU核小時”作為計(jì)量單位，存儲資源采用“GB月”作為計(jì)量單位。

用戶資源統(tǒng)計(jì)模塊提供用戶計(jì)算和存儲資源不同時間維度下分配與使用、計(jì)費(fèi)與收費(fèi)和繳費(fèi)記錄查詢功能，并對科研用戶開放詳單查詢，提高資源計(jì)費(fèi)透明度，用戶可查詢本人名下所有高性能計(jì)算機(jī)賬戶的資源使用量、應(yīng)繳金額和已繳金額。該模塊作為資源預(yù)分配輔助模塊，為資源分配的統(tǒng)計(jì)提供參考數(shù)據(jù)，同時實(shí)時更新用戶分配與使用量，使用戶了解本人賬戶下剩余資源量，促進(jìn)資源合理使用。

深入閱讀

陳云芳, 2008. 精通Struts2 基于MVC的Java Web應(yīng)用開發(fā)實(shí)戰(zhàn). 北京: 人民郵電出版社.

沈文海, 2012. 網(wǎng)格計(jì)算在氣象高性能計(jì)算領(lǐng)域的應(yīng)用前景探討.氣象科技進(jìn)展, 2(1): 48-51.

沈瑜, 李娟, 常飚, 等, 2014．高性能計(jì)算機(jī)統(tǒng)一資源管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)．計(jì)算機(jī)技術(shù)與自動化, 33(1): 148-150．

施俊, 2014．基于Struts2+jQuery+JSON 實(shí)現(xiàn)Ajax數(shù)據(jù)顯示．電腦知識與技術(shù), 26(10): 6090-6092．

孫婧, 沈瑜, 2015. 氣象應(yīng)用的高性能計(jì)算機(jī)性能需求推算方法.計(jì)算機(jī)技術(shù)與發(fā)展, 25(6): 206-210.

孫周軍, 肖文名, 宋遠(yuǎn)清, 等, 2008．氣象信息實(shí)時監(jiān)視系統(tǒng)改進(jìn)設(shè)計(jì)與實(shí)現(xiàn)．成都信息工程學(xué)院學(xué)報(bào), 19(4): 507-511．

王彬, 宗翔, 魏敏, 2008. 一個精細(xì)粒度實(shí)時計(jì)算資源管理系統(tǒng). 應(yīng)用氣象學(xué)報(bào), 19(4): 507-511.