劉桂平 李閩峰 李圣強 王 斌

（中國地震局地震預測研究所，地震預測重點實驗室，北京 100036）

引言

高性能計算與科學研究的發(fā)展密不可分，科學研究永無止境的計算需求和高性能計算能力既相互制約又相互促進。在我國地震研究領域中，高性能計算也有廣泛應用，并取得了比較好的效果。如在地震預報（趙毅等，2007；郭婷婷等，2011）、抗震救災（呂弋培等，2009）、地震勘探（張軍華等，2010；龍桂華等，2011）、地震工程（王洪濤等，2009；馬新生等，2010；陸新征等，2014，2015；占昌寶等，2016）以及地震動力學研究（廖凱寧等，2015）等方面，高性能計算均提供了重要的技術支撐。

中國地震局地震預測研究所結合自身科研需要，于2009年建成了1套高性能集群計算系統(tǒng)（李閩峰等，2009；李圣強等，2012），其理論最高運算能力可達17.38TFLOPS，實測最大運算能力達到14.1TFLOPS。該系統(tǒng)于2009年10月正式投入使用，2012年成為中國地震局地震預測重點實驗室的高性能計算平臺，并持續(xù)運行至今。作為動力地震預測方法研究的重要技術支撐平臺之一，該系統(tǒng)以震源環(huán)境、地震過程和震源破裂機理等地震科學基礎研究為理論依據(jù)，在技術上已可以為地震行業(yè)用戶提供計算服務。

高性能計算平臺屬于高投入、高消耗的綜合性軟硬件系統(tǒng)，運行成本較高，電費成本是其主要組成，研制高性能計算平臺計費系統(tǒng)是平臺建設和管理的重要內(nèi)容之一（林皎等，2012）。此外，統(tǒng)計高性能計算平臺的使用效率、考評用戶的績效量化指標數(shù)據(jù)等都需要獲取較為詳細的系統(tǒng)使用資源。盡管作業(yè)管理軟件本身包含作業(yè)統(tǒng)計模塊功能，但因其統(tǒng)計資源不盡合理，不能真實反映系統(tǒng)使用情況，無法滿足作業(yè)計費需求。因此，考慮到地震預測重點實驗室高性能計算平臺的良好應用前景和用戶計量統(tǒng)計需求，同時也方便平臺應用評價參考，開發(fā)1套簡單、實用的高性能計算平臺計費服務系統(tǒng)尤為必要。

1 高性能計算平臺概況

中國地震局地震預測重點實驗室的高性能計算平臺硬件主要由192個計算節(jié)點、9個I/O節(jié)點、1個登錄節(jié)點、1個管理節(jié)點、4組盤陣、1組計算與I/O網(wǎng)絡和1組管理網(wǎng)絡組成。該平臺不僅提供了Linux操作系統(tǒng)自帶的GNU C/C++、GNU Fortran免費編譯器，還配置了豐富的商業(yè)編譯器和數(shù)學庫資源，如NAG Fortran、Intel C++，F(xiàn)ortran 77/90、Intel MPI、Platform MPI、Intel MKL等，同時配置了TotalView并行調(diào)試器協(xié)助用戶更好地調(diào)試并行程序；此外，還配置了GMT、MATLAB及與地震應用密切相關的專業(yè)模塊。經(jīng)過幾年的穩(wěn)定運行，該平臺集成了豐富的專業(yè)應用程序，主要包括三維譜有限單元法軟件SPECFEM3D，并行有限元程序生成系統(tǒng)pFEPG，全波三維Fréchet核反演程序，GPS專業(yè)解算軟件GAMIT/GLOBK、QOCA，分子動力學模擬軟件VASP、PWSCF、Materials Studio等。

經(jīng)統(tǒng)計，地震預測重點實驗室高性能計算平臺運行作業(yè)數(shù)量超過38萬個，消耗CPU資源超過1700萬CPU機時，表明系統(tǒng)的應用現(xiàn)狀良好。此外，通過對歷史作業(yè)消耗資源的分析發(fā)現(xiàn)，計算應用從高性能并行應用為主轉向大量可分解的串行應用為主的普惠計算。目前，該平臺的主要應用如下：

（1）川滇地區(qū)和高分示范區(qū)三維模型構建與計算以及區(qū)域走滑斷層模型構建與計算。

（2）解析GPS原始觀測數(shù)據(jù)，進行地殼形變分析，并進行地震斷層破裂模型的反演；重力數(shù)據(jù)處理及地下構造反演；利用彈性和粘彈性球體位錯理論計算大地震導致的同震和震后變形。

（3）利用高性能計算平臺融合地震波形數(shù)據(jù)系統(tǒng)進行地震波形處理、圍陷波的正反演、強震動模擬以及觸發(fā)地震和微震的模板掃描檢查等。

（4）利用從微觀到宏觀（量子力學、第一性原理、分子動力學、耗散粒子動力學和有限元方法）的跨尺度模擬方法，研究地球內(nèi)部高溫高壓條件下高壓礦物（長石、方鎂鐵礦）、含水礦物（橄欖石、蛇紋石、角閃石、云母等）的物理化學性質；探討孕震介質的演化及其動力學環(huán)境，探索地震預測理論方法。

2 計費服務系統(tǒng)設計

2.1 問題分析

目前主流的高性能計算平臺計費系統(tǒng)包括基于PBS或TORQUE作業(yè)管理軟件設計的計費或記賬系統(tǒng)（王偉等，2008；陳振婭等，2009；李惠歡等，2016）和基于LSF作業(yè)管理軟件設計的計費配額系統(tǒng)計時統(tǒng)計系統(tǒng)（牛鐵等，2010；盛樂標等，2014）。此外，還有基于校園網(wǎng)格計費研究（劉明良，2008）和基于神威4000A系統(tǒng)及IBM系統(tǒng)設計的統(tǒng)一資源管理系統(tǒng)（沈瑜等，2014）。

地震預測重點實驗室高性能計算平臺因集群管理軟件升級改造，運行期分為2個階段，增加了研制開發(fā)計費服務系統(tǒng)的難度。第1階段從2009年6月至2012年10月，該平臺的集群管理軟件為CHESS2，作業(yè)管理系統(tǒng)為TORQUE/MAUI。此階段存在2個問題，一是部分成熟的商業(yè)應用軟件和免費應用軟件對GCC、INTEL、HP等MPI并行程序的編譯運行環(huán)境要求較高，TORQUE作業(yè)管理系統(tǒng)無法記錄完整準確的CPU時間信息，需要人工校正；二是雖然具備多個開源命令行作業(yè)日志信息分析工具，如PBSACCT、MYPBS、PERL-PBS-LOGS、PBSACCOUTING，但不具備友好的作業(yè)信息查詢、統(tǒng)計、計費等功能。第2階段從2012年11月完成升級改造至今，該平臺的作業(yè)管理系統(tǒng)由TORQUE更換為LSF 8.3 Express Edition，但缺乏相應的用戶交流平臺和合理準確的作業(yè)信息查詢、統(tǒng)計以及計費功能。

2.2 設計思路

以作業(yè)管理系統(tǒng)日志為數(shù)據(jù)基礎，實現(xiàn)作業(yè)信息的提取、分析和校正，建立完整準確的作業(yè)信息庫，存入MYSQL數(shù)據(jù)庫，通過B/S架構滿足用戶準實時作業(yè)查詢和歷史作業(yè)查詢、統(tǒng)計、計費功能以及作業(yè)預約服務，并融合Ganglia集群監(jiān)控功能、留言板功能和信息發(fā)布功能，整合成1套高性能計算平臺計費服務系統(tǒng)。

2.3 關鍵技術

實現(xiàn)計費服務系統(tǒng)需要重點解決2方面技術問題，即采取何種方式計費和作業(yè)日志信息如何提取。

2.3.1 計費方式

在高性能計算平臺作業(yè)計費服務系統(tǒng)中，作業(yè)計費核心要解決的是如何計費（何戈等，2003）。準確的作業(yè)計費信息不僅可以為高性能計算用戶提供可靠的計算量數(shù)據(jù)，也可為制定計算服務價格提供參考。

高性能計算平臺提供給用戶CPU時、內(nèi)存、虛擬內(nèi)存、硬盤空間、網(wǎng)絡帶寬等資源。與作業(yè)CPU time（CPU執(zhí)行程序指令累計所用的脈沖時間）相比，Wall time（墻上時間，即作業(yè)開始執(zhí)行和作業(yè)結束的時間差）更符合作業(yè)對計算資源的實際占用，因此，用戶使用集群完成計算任務后，采用Wall time為基礎計算CPU消耗量（盛樂標等，2014），考慮到作業(yè)有串行和并行情況，可表示為：

而內(nèi)存和虛擬內(nèi)存資源的使用是動態(tài)的，因此采用了作業(yè)日志信息中的最大物理內(nèi)存和虛擬內(nèi)存作為計算參考。另外，網(wǎng)絡帶寬屬于集群系統(tǒng)環(huán)境和性能指標，不單獨在作業(yè)計費中體現(xiàn)；硬盤空間通常是分配給用戶的固定存儲空間，不屬于單獨作業(yè)，該部分可以通過按年或按月的方式收取存儲空間費。

考慮到CPU、內(nèi)存、虛擬內(nèi)存在作業(yè)計算中的需求重要性有所差別，因此為不同種類的資源賦予不同的權重因子以體現(xiàn)其計費的差異性。

綜上所述，作業(yè)資源使用計費公式可表示為：

2.3.2 作業(yè)日志信息提取

（1）TORQUE歷史作業(yè)信息提取

PBS是目前歷史最久、支持最廣、功能較為豐富的集群作業(yè)管理軟件包之一，其包括3個主要分支：OpenPBS、PBS Pro和TORQUE。TORQUE是Adaptive Computing公司基于OpenPBS后續(xù)支持的開源版本，通過和Maui調(diào)度器相結合，成為當前分布式集群最流行的資源調(diào)度和作業(yè)管理開源系統(tǒng)。TORQUE作業(yè)日志信息一般存放在/var/torque/server_priv/accounting目錄下，每天的日志信息存放在以日期命名（文件格式：YYYYMMDD）的文件中，日志記錄8種不同的標記事件，包括作業(yè)開始（S）、作業(yè)設置檢查點（C）、作業(yè)放棄（A）、作業(yè)排隊（Q）、作業(yè)返回（R）、作業(yè)刪除（D）、作業(yè)檢查點重啟（T）和作業(yè)退出（E）（李惠歡等，2016）。采用Linux shell和Perl腳本程序分別完成歷史作業(yè)信息收集、作業(yè)信息入庫和數(shù)據(jù)的匯總。

通過Perl語言編寫腳本程序提取數(shù)據(jù)到數(shù)據(jù)庫computing表torque_job。作業(yè)數(shù)據(jù)表包含用戶名（user）、作業(yè)名稱（jobname）、作業(yè)提交節(jié)點（jobsubmithost）、作業(yè)編號（jobid）、作業(yè)核數(shù)（cores）、作業(yè)隊列（queue）、作業(yè)創(chuàng)建時間（jobcreatetime）、作業(yè)進入排隊時間（jobqueuetime）、作業(yè)可執(zhí)行時間（jobexcutabletime）、作業(yè)開始時間（jobstarttime）、作業(yè)結束時間（jobendtime）、作業(yè)退出狀態(tài)（exitstatus，0為正常退出，其它為異常退出）、作業(yè)CPU時間（cputime）、作業(yè)消耗物理內(nèi)存（mem）、作業(yè)消耗虛擬內(nèi)存（vmem）、作業(yè)運行時間（walltime）、校正系數(shù)（correctfactor）、作業(yè)CPU校正時間（correctcputime）、作業(yè)CPU時間轉化為秒（cputimesec）、作業(yè)運行時間轉化為秒（walltimesec）、作業(yè)完成記錄時間（eventtime）。

（2）LSF作業(yè)信息提取

LSF是加拿大Platform公司研制的分布式管理和調(diào)度集群管理軟件，在系統(tǒng)容錯、負載平衡、進程遷移、檢查點操作上具備更好的實用性，已成為集群管理軟件領域中的國際工業(yè)標準。

LSF日志信息通常存放在以“l(fā)sb.acct”或“l(fā)sb.acct.X”格式命名的文件（其中X是阿拉伯數(shù)字）中，文件的每行存儲1個作業(yè)日志，包含作業(yè)ID、作業(yè)完成時間、提交時間、調(diào)度時間、開始時間、結束時間、使用CPU核數(shù)、作業(yè)屬主、執(zhí)行節(jié)點列表、隊列名、執(zhí)行文件名等50多個字段，這些文件保存在LSF系統(tǒng)的管理節(jié)點logdir目錄下。

目前，主要有2種方式獲取LSF作業(yè)信息：①使用腳本語言處理，如基于Python的Python LSF collection開源軟件包，通過引用該包提供的類編寫相應的腳本提取作業(yè)信息，這種方法比較簡單；②基于LSF API和LSB API的底層接口，通過C語言提取結構化數(shù)據(jù)方式獲取作業(yè)的詳細信息（盛樂標等，2014）。本文采用第1種方式，通過Python腳本acctfile.py實現(xiàn)歷史作業(yè)信息的提取和入庫功能，利用Crontab定時器結合Shell腳本定時更新（每5分鐘）MYSQL數(shù)據(jù)庫lsf_job表中的歷史作業(yè)信息，以供查詢。

此外，為了方便用戶查詢運行作業(yè)（running）、即將運行作業(yè)（pending）、掛起作業(yè)（suspended）、隊列（queue）和主機（host）信息，本文采用shell腳本提取bjobs、bqueues、bhosts命令輸出信息和存儲入庫，并利用Crontab定時更新（每5分鐘），實現(xiàn)準實時的作業(yè)信息查詢和隊列、節(jié)點信息查詢。

3 系統(tǒng)實現(xiàn)

3.1 開發(fā)環(huán)境

系統(tǒng)采用開源的免費框架結構（Linux、Apache、PHP和MySQL），具備功能強大、運行穩(wěn)定、技術成熟等特點。WEB開發(fā)語言PHP具有以下優(yōu)勢：

（1）安全性好。PHP是開源軟件，可以看到所有PHP的源代碼，同時PHP具有公認的安全性能，它與Apache編譯相結合的方式也可以使其具有靈活的安全設定。

（2）移植性強。PHP幾乎支持所有的操作系統(tǒng)平臺及數(shù)據(jù)庫系統(tǒng)，并廣為流行。

（3）執(zhí)行效率高。PHP是1種強大的CGI腳本語言，語法混合了C、Java、Perl和PHP式的新語法，執(zhí)行網(wǎng)頁速度比CGI、Perl和ASP更快，且內(nèi)嵌Zend加速引擎，性能穩(wěn)定，占用系統(tǒng)資源少，代碼執(zhí)行速度快。

（4）擴展性好。PHP具有很好的開放性和擴展性，其源代碼完全公開，便于擴展附加功能。

3.2 系統(tǒng)功能

系統(tǒng)具備如下功能：①用戶可查詢、統(tǒng)計、計算已消耗資源的費用和正在運行的作業(yè)情況、隊列情況、節(jié)點情況、集群概覽；②用戶可提交作業(yè)預約申請，管理員審核通過后線下處理預約作業(yè)；③用戶通過留言和在線服務功能，較好地實現(xiàn)交流；④用戶可以通過平臺資源下載文檔資料和查詢相關平臺制度，促進了信息化和制度規(guī)范化；⑤采用分級用戶管理模式，根據(jù)用戶權限的不同進行不同的功能操作；⑥可根據(jù)實際需要進行調(diào)整和擴展。

系統(tǒng)前臺和后臺功能模塊如圖1、2所示，后臺計費功能管理如圖3所示。

圖1 前臺功能模塊Fig.1 Front function models

圖2 后臺功能模塊Fig.2 Back function models

3.3 計費統(tǒng)計

綜合考慮作業(yè)實際消耗資源和運維電費，并依據(jù)前文提出的計算公式，本研究提出了一種可操作的資源價格計算方法及相應的權重賦值，見表1。此外，選取了5個實際用戶2009—2017年的年度歷史作業(yè)進行計費統(tǒng)計，如圖4所示。

圖3 后臺計費功能管理界面Fig.3 Back accounting function models

表1 計算資源價格及權重賦值Table 1 The price and weight value of computing resoureces

圖4 用戶年度計費統(tǒng)計Fig.4 Annual accounting statistics of users

4 結語

基于中國地震局地震預測重點實驗室高性能計算平臺良好的應用前景和計費需求，本文在高性能計算平臺作業(yè)計費系統(tǒng)的基礎上，提出了利用作業(yè)管理系統(tǒng)TORQUE和LSF日志文件提取作業(yè)信息的方法，建立了可滿足復雜高性能計算平臺下作業(yè)計費需求的簡單、實用系統(tǒng)。該系統(tǒng)不僅可以準實時查詢和顯示作業(yè)完成信息，還可以對消耗資源記錄信息進行自動校正并完成作業(yè)的正確計費，與簡單的命令行工具以及商業(yè)軟件相比，具有更廣泛的兼容性和普適性；另外，該系統(tǒng)還實現(xiàn)了對未完成作業(yè)、隊列、節(jié)點等集群系統(tǒng)查詢顯示功能、集群計費參數(shù)配置管理功能以及欄目信息發(fā)布、在線交流等功能，這有利于促進高性能計算平臺向管理公開透明化和信息化方向發(fā)展，同時可充分發(fā)揮高性能計算平臺的科研輔助作用，并提高用戶使用高性能計算平臺的效率和便捷性。

隨著高性能計算技術的快速發(fā)展，云計算技術也日臻成熟，利用云計算技術實現(xiàn)地震行業(yè)的高性能計算資源整合并服務于地震研究領域將是大勢所趨?；诟咝阅苡嬎闫脚_作業(yè)日志的計費服務系統(tǒng)只要稍加修改和完善，即可移植到云計算平臺應用，具有較好的可擴展性和應用前景。