何小雨,鄧筍根,欒海晶,牛北方
1. 中國科學院計算機網絡信息中心,北京 100190;2. 中國科學院大學,北京 100190
國家高性能計算環(huán)境(nation high performance computing environment,NHPCE)廣域分散、系統(tǒng)異構的特點顯著增加了虛擬數據空間存儲設備的管理難度[1]。針對該問題,國家高性能計算環(huán)境中虛擬數據空間運行支撐技術課題組擬研究國家高性能環(huán)境節(jié)點部署技術。通過對高性能計算環(huán)境典型文件系統(tǒng)的分析,采用針對性掛載方式,在不修改本地系統(tǒng)的情況下,實現虛擬數據空間中跨域存儲資源的高效接入,從而有效地降低虛實空間界面間的開銷。
虛擬數據空間系統(tǒng)的目標是集成兩個國家網格主節(jié)點(中國科學院計算機網絡信息中心、上海超級計算中心)和3個國家超級計算中心(廣州、濟南、長沙)的數據存儲資源,每個中心需提供不少于300 TB的共享存儲空間。虛擬數據空間系統(tǒng)部署成功后,用戶提供可在統(tǒng)一的虛擬數據視圖上運行上層的應用。用戶負責選擇具體應用,發(fā)送應用數據到統(tǒng)一數據空間,然后提交應用任務。在虛擬數據空間軟件部署運行和應用驗證優(yōu)化方面,項目團隊涵蓋上述3 個國家級超級計算中心以及兩個國家網格主節(jié)點,擁有“天河”“神威”“元”等超級計算機系統(tǒng),總計算能力超過100 PFlops,在線存儲量近30 PB,活躍用戶超過6 000個,支撐數值模擬、大數據處理、人工智能等眾多大型計算應用,為項目開展虛擬數據空間的軟件部署運行和應用驗證優(yōu)化工作提供了資源和應用基礎。
國家高性能計算環(huán)境的虛擬數據空間運行支撐技術研究包括:虛擬數據空間與國家高性能計算環(huán)境接口技術、計算與存儲協(xié)同調度技術、虛擬數據空間軟件部署及驗證方法等。研究虛擬數據空間與國家高性能計算環(huán)境接口技術,實現虛擬數據空間與國家高性能計算環(huán)境的對接;突破計算與存儲協(xié)同調度技術,實現數據與計算任務的全局優(yōu)化調度;研究虛擬數據空間軟件部署及驗證方法,提高軟件部署效率,從而實現虛擬數據空間構建、數據共享遷移等技術的集成,構建一個可運行于國家高性能計算環(huán)境的虛擬數據空間系統(tǒng),并可被外部應用訪問。
國家高性能計算環(huán)境又稱中國國家網格[2-6],其發(fā)展建設最早可追溯至20世紀90年代末。21世紀初,國家863計劃出資建設了5個高性能計算中心,所構建的高性能計算環(huán)境是未來國家網格環(huán)境的初級形態(tài)。隨后,該國家網格環(huán)境在我國“五年計劃”的大力支持下得到了長足的發(fā)展。目前,中國國家網格已涵蓋了眾多國內外優(yōu)質的高性能計算資源,可為普通用戶提供高效便捷的計算服務,同時為基于多領域計算平臺的應用建設提供了有力的支持[7-8]。隨著中國國家網格的發(fā)展進步,通用計算平臺、應用社區(qū)等應運而生[9]。近年來,在大數據技術的推動下,大規(guī)模數值計算的應用不斷深入大型異構并行系統(tǒng),這種需求也反過來推動了高性能計算環(huán)境的發(fā)展,解決了計算與存儲的協(xié)同問題,使得更多富有挑戰(zhàn)性的任務的解決成為可 能。除此之外,為了滿足快速增長的用戶計算需求,中國國家網格的底層關鍵模塊在不斷地進行功能擴展和優(yōu)化升級,以滿足在不同應用領域中用戶對環(huán)境擴展性、易用性和可靠性的需求。
1983年,美國國家科學基金會、國防部和能源部等多個部門和組織曾聯(lián)合向政府提出大力發(fā)展科學和工程計算工作的報告。此外,美國政府高度重視高性能計算項目的發(fā)展,并于1991年提出了“高性能計算與通信計劃”。該項目的目標是通過深入研究高性能計算環(huán)境解決一系列科學難題。1994年,美國能源部開展了為期10年的“加速戰(zhàn)略計算創(chuàng)新”計劃,該計劃通過運用超級計算機極大地加速了其核武庫的建設發(fā)展。1998年,美國能源部倡議在全國范圍內實施“科學模擬”計劃,提出要加速“燃燒系統(tǒng)”與“全球氣候系統(tǒng)”的科學模擬研究。2002年,美國國防部啟動了“高生產率計算系統(tǒng)”計劃,規(guī)劃了未來20年內超級計算機體系結構的發(fā)展,并計劃分階段有序實施。
美國極限科學與工程發(fā)現 環(huán)境(extreme science and engineering discovery environment,XSEDE)的用戶門戶提供了多樣化的計算和技術支持服務,借助Glo bus[10]實現大規(guī)模的數據傳輸。XSEDE的目標是在TeraGrid[11]的基礎上建立一個可以提供私密安全環(huán)境的網絡基礎設施,使研究人員可以獲得所需資源、服務和合作的支持。例如,印第安納大學負責開發(fā)科學網關、在線工具和門戶,使科學家更易于訪問先進計算資源。此外,印第安納大學還負責提供虛擬機、網絡監(jiān)控和備份操作等服務。田納西大學輔助創(chuàng)建美國高性能計算機與研究設施之間的新一代鏈接。新的XSEDE超級計算機網格將創(chuàng)造出強大的工具來解決部分高度復雜的科學問題,如通過氣候建模、藥物開發(fā)、DNA排序和各類模擬來解決氣候變化、不治之癥和能源危機等問題。此外,由田納西大學和橡樹嶺國家實驗室聯(lián)合運作的國家計算科學研究所負責改善高性能計算機、數據資源和實驗設施之間的鏈接。
歐洲網格基礎設施(European grid infrastructure,EGI)是一個可持續(xù)的泛歐基礎設施。EGI的愿景是讓所有學科的研究人員通過簡單、完整和開放的渠道獲取先進的數字功能、資源和專業(yè)知識,以及進行計算和數據密集型科學研究和創(chuàng)新。EGI整合了各類資源,主要包括各研究機構及國家的數字能力、數字資源和專業(yè)知識,從而為研究基礎設施創(chuàng)造并提供解決方案。截至2016年9月,EGI提供了826 500顆CPU核用于高通量計算、6 600顆CPU核用于云計算,在線存儲容量達到285 PB,檔案存儲容量達到280 PB。EGI的前身是歐洲數據網格(European data grid,EDG)和歐洲科研信息化網格(Enabling grid for e-science in Eruopean,EGEE),它們實現了對計算、存儲和網絡資源的跨國訪問。然而,原有的整套服務是根據早期科學團體的需求量身定制的,并不總是能滿足新團體的需求,因此啟動了EGI。EGI于2010年正式啟動,第一階段為面向歐洲科研人員的集成可持續(xù)泛歐基礎設施(EGI-InSPIRE)項目,旨在創(chuàng)建一個無縫系統(tǒng),滿足當前和未來的科學工作需求。2014年12月EGIInSPIRE項目結束。2015年3月進入第二階段,為促進EGI社區(qū)邁向開放科學公地,EGI-Engage項目啟動,旨在擴展歐洲在計算、存儲、數據、通信、知識和技能方面的重要聯(lián)合服務能力,加速開放科學共享的實施,以補充特定社區(qū)功能。
歐洲WLGG(worldwide LHC computing grid)是世界范圍內最大的高能物理計算和存儲設施,通過專門的文件服務,使用現有的協(xié)議(如HTTP、FTP和GridFTP等)提供文件傳輸和共享服務。WLCG創(chuàng)建于2002年,是一個全球性計算機中心合作項目,旨在提供資源,用于存儲、分發(fā)和分析大型強子對撞機(large hadron collider,LHC)每年產生的幾十PB的數據。2016年,大型強子對撞機產生的數據在過濾99%以后,還能達到50 PB,該數據量相當于1 500萬部高清電影的總數據量。WLCG由歐洲核子研究組織(European Organization for Nuclear Research)負責協(xié)調,連接著全球42個國家的170多個計算中心,以及數個國家與國際網格,每天可運行200萬個作業(yè),是當今世界上規(guī)模較大的網格計算環(huán)境之一。通過部署一個覆蓋全球范圍的計算網格服務,WLCG項目將歐洲、美洲、亞洲等地區(qū)的超級計算中心集成到一個虛擬的計算組織中,為大型強子對撞機實驗提供計算資源,包括CPU計算資源、數據存儲能力、處理能力、傳感器、可視化工具、網絡通信設施及其他資源等。實驗產生的數據分布于全球,歐洲核子研究組織會對原始數據進行備份。數據經過原始處理后,將在計算網格全天候運行的支持下分布式地存儲到歐洲、北美和亞洲的13個高水平研究中心,再從那里分散到世界各地上百個研究中心,由全世界多位物理學家合作處理實驗數據。
高性能計算(h igh p erfor ma nce computing,HPC)任務一般具有以下特征:
● 大規(guī)模并行,可上升至百萬核;
● 長時間計算;
● 穩(wěn)定的網絡通信和較大的存儲;
● 計算任務以批處理作業(yè)的方式完成,且從任務開始運行直到結束,用戶不可交互。
高性能計算環(huán)境提供給用戶的使用方式主要包括圖形用戶界面(graphical user interface,GUI)、命令行(command line)和網站門戶(Web portal)3種。其中,GUI在界面友好性、功能完善性和響應速度等方面革新了人機交互的方式,但需要在用戶的計算機上安裝軟件。命令行方式操作靈活、功能全面,但需要用戶具備較高水平的編程能力?;赪eb portal的HPC使用方式結合了前兩種方式的優(yōu)點,用戶可在Web圖形界面上完成作業(yè)提交和管理,由于其簡單易用性,這種使用方式已經成為當前HPC使用方式的潮流,如中國科學院超級計算環(huán)境、中國國家高性能計算環(huán)境、美國TeraGrid Portal群及其后續(xù)項目等都使用這種方式。
國家高性能計算環(huán)境普遍采用基于表述性狀態(tài)轉移(representational state transfer,REST)[11-13]風格的應用程序接口(application programming interface,API)。該API是連接環(huán)境系統(tǒng)軟件和計算應用服務平臺的中間層,負責將各項請求信息傳遞到異構計算資源,并且通過執(zhí)行操作來查詢和獲取信息,包括虛擬數據空間中計算數據(輸入/輸出數據)的分布信息(存儲信息)。API負責以合適的形式封裝環(huán)境系統(tǒng)軟件提供的功能,并優(yōu)化已有API的性能和效率。
在接口設計中,重點設計高性能計算任務中虛擬數據空間系統(tǒng)提供的多副本數據服務,包括大規(guī)模數據的快速傳輸、文件管理等功能接口;然后研究基于虛擬數據空間的多數據來源的作業(yè)提交、共享輸入數據和共享應用軟件的批量作業(yè)管理等;在此基礎上,進一步研究高性能計算環(huán)境的工作流任務模型,包括作業(yè)提交、狀態(tài)管理、數據傳輸、輸入文件格式轉換、輸出文件質量檢查和依賴條件判斷等,并設計可擴展的插件機制,利用已有成果完成作業(yè)調度、前后處理等功能,從而為不同學科領域的應用計算和上層應用社區(qū)提供定制化的開發(fā)功能。
高性能計算環(huán)境接口包括:機群節(jié)點列表查詢接口、應用列表查詢接口、環(huán)境隊列查詢接口以及作業(yè)系統(tǒng)相關接口等。
高性能計算環(huán)境接口一方面在高性能計算環(huán)境中為虛擬數據空間提供統(tǒng)一的全局虛擬數據空間的數據訪問服務,另一方面為高性能計算環(huán)境中數據與計算的協(xié)同調度提供相應的服務。除此之外,虛擬數據空間集成部署后,將在高性能計算環(huán)境中使用,因此還設計了相應的接口供高性能計算環(huán)境調用。高性能計算環(huán)境接口和虛擬數據空間接口分別見表1和表2.
在接口設計過程中,對JSON響應輸出格式進行了內容規(guī)范,具體如下:
● 如果交互正常,則返回的HTTP status code為200,其他錯誤內容參見HTTP的標準定義,以后將有詳細的編碼定義;
● 調用HTTP API時,平臺返回的響應輸出由status_code、status_msg兩個參數組成,分別用于描述錯誤碼和錯誤信息。status_code為0,表示操作成功執(zhí)行,其他錯誤碼參見具體函數的說明;
● 交互正常(http_code=200)時,響應會生成request_id字段,該字段的值由服務端生成,并返回給用戶,以便進行問題追查與定位。
表1 高性能計算環(huán)境接口
研究中使用response_params表示API 返回的結果,其是由n個包含
表2 虛擬數據空間接口
計算任務的運行時間高度依賴資源的布局和可用性,資源失配將顯著增加運行時間。針對該問題,研究數據與計算任務的協(xié)同調度機制,基于設計的環(huán)境接口、特征模型,動態(tài)監(jiān)視資源狀態(tài),對全局資源進行統(tǒng)一管理和分配,設計優(yōu)化解決方案,以實現數據與計算任務的協(xié)同調度。
在高性能計算環(huán)境中,各個超級計算中心集群的計算能力、調度系統(tǒng)、部署的應用軟件以及網絡帶寬都有區(qū)別,為了避免傳統(tǒng)單一的計算任務調度,采用計算與數據協(xié)同調度算法,依據計算特征和數據布局選擇任務和數據節(jié)點,實現在廣域范圍內高效合理的計算任務分布和數據布局,以降低應用的跨域訪問開銷。
圖1 高性能計算環(huán)境計算與數據的協(xié)同調度系統(tǒng)的結構示意圖
在傳統(tǒng)集群計算機系統(tǒng)中,計算系統(tǒng)與存儲系統(tǒng)是分開的,且其資源管理和任務調度系統(tǒng)相互獨立[11]。本部分進行了計算與數據協(xié)同調度的研究,從圖1可以看出,計算與數據協(xié)同調度算法不僅考慮了高性能計算環(huán)境計算服務中的因素,還將結合虛擬數據空間中的與一些數據服務任務相關的數據屬性。在高性能計算環(huán)境中,系統(tǒng)接收到計算任務的請求時,通過計算與數據協(xié)同調度算法選擇高性能計算環(huán)境的目標集群,同時計算該環(huán)境中的計算服務,通過虛擬數據空間系統(tǒng)的數據服務進行計算任務輸入/輸出的廣域的虛擬數據空間中的數據訪問。如某個計算任務的執(zhí)行程序被部署在A、B、C 3個超級計算中心,在分配計算資源時,A、B、C都可以作為該計算任務的目標執(zhí)行集群,這時需要關注該計算任務的輸入數據在分布式虛擬數據空間中的分布情況:首先查看該輸入文件是否在A、B、C中存在副本,若有,則在協(xié)同調度模型中該項因子的權重生效;判斷是否需要在A、B、C中創(chuàng)建該文件的副本,其中需考慮創(chuàng)建各個副本的代價情況;還需要考慮其他因素,如隊列、用戶權限等。
高性能計算環(huán)境計算與數據的協(xié)同調度模型充分考慮了高性能計算環(huán)境中的計算集群資源及隊列情況、數據分布狀態(tài),各個超級計算中心之間的網絡互連情況、計算任務的需求,以及各個超級計算中心上的應用部署情況。
高性能計算環(huán)境計算與數據的協(xié)同調度模型如圖2所示。其首先將接收到的由計算集群、輸入輸出數據、網絡、任務以及應用部署5大類16個小項數據輸入參數組成的矩陣輸入協(xié)同調度模型中,通過參數匹配和參數優(yōu)化進行任務和數據的調度。
從國家高性能計算環(huán)境來看,任務的啟動包含數據準備時間、任務在目標中心集群上的調度時間。
基于虛擬數據空間的廣域數據的訪問,進一步實現環(huán)境節(jié)點管理、環(huán)境任務管理以及環(huán)境數據管理等,具體如圖3所示。環(huán)境節(jié)點管理部分主要指高性能計算環(huán)境與虛擬數據空間環(huán)境調用接口之間的交互,針對高性能計算環(huán)境中的計算、數據、集群3個方面實現集群節(jié)點管理、集群隊列管理、集群作業(yè)管理和集群應用管理;數據與計算協(xié)同調度模塊包括環(huán)境A PI、與虛擬數據空間對接的數據空間A PI,此模塊的任務是利用啟發(fā)式協(xié)同調度算法進一步實現數據遷移、任務遷移及任務特征匹配。
(1)對計算資源、存儲資源、數據準備(包括數據遷移)、任務遷移以及任務預期運行時間等調度要素進行形式化定義,為接下來的調度模型算法設計奠定基礎。
● 應用信息的相關信息如圖4所示,包括版本、部署的節(jié)點等。
● 數據信息的相關信息如圖5所示,包括大小、分布節(jié)點等。
● 隊列信息的相關信息如圖6所示,包括狀態(tài)、允許的核數、時間、排隊情況等。
在協(xié)同調度算法設計中,本文做出相應的定義,具體如下。
圖2 高性能計算環(huán)境計算與數據的協(xié)同調度模型
圖3 虛擬數據空間協(xié)同調度設計框架
● 應用的定義
Nodeapp表示應用在各點的部署情況,其中,Nai表示應用遷移情況。
● 數據的定義
Nodedata表示數據分布/遷移的情況,其中,Ndi表示應用遷移代價。
● 隊列的定義
Nodequeue表示隊列是否滿足任務的條件以及任務執(zhí)行需要的等待時間,其中,Nqi表示隊列狀態(tài)。
圖4 應用的相關信息
(2)建立協(xié)同調度的虛擬任務隊列,如圖7所示。
在全局的虛擬數據空間與高性能計算環(huán)境的計算與數據協(xié)同調度設計中,采用一種虛擬隊列的方式,將環(huán)境中各個點的資源虛擬成全局調度的一個隊列。根據各個點的資源和任務使用情況設定各個虛擬隊列的優(yōu)先級。
在調度過程中,結合任務的部署情況、數據準備情況、各虛擬隊列的任務排隊情況,以及任務和數據遷移代價,綜合制定環(huán)境的調度目標。
圖5 輸入/輸出數據的相關信息
圖6 隊列相關信息
圖7 協(xié)同調度的虛擬任務隊列
在高性能計算環(huán)境的相關接口以及計算與數據的協(xié)同調度模塊的基礎上,將虛擬數據空間接口集成到國家網格環(huán)境的服務器中,與高性能計算環(huán)境形成完整的系統(tǒng)。
如圖8所示,虛擬數據空間系統(tǒng)目前已完成五大超級計算中心的部署,這些中心同時也是國家高性能計算環(huán)境的節(jié)點,將虛擬數據空間系統(tǒng)服務的客戶端節(jié)點納入國家高性能計算環(huán)境中,用戶在高性能計算環(huán)境中使用虛擬數據空間系統(tǒng)提供的功能,實現虛擬數據空間系統(tǒng)對國家高性能計算環(huán)境的擴展。
作為國家高性能計算環(huán)境的補充,虛擬數據空間系統(tǒng)為國家高性能計算環(huán)境提供了廣域環(huán)境下各中心數據存儲資源的統(tǒng)一虛擬訪問。本研究將虛擬數據空間系統(tǒng)集成到國家高性能計算環(huán)境中的數據與計算服務層,從而為上層的計算服務平臺提供廣域的虛擬數據空間的數據訪問服務。
(1)GVDS接口client命令供CNGrid client命令行使用
通過開發(fā)虛擬數據空間系統(tǒng)的接口為國家高性能計算環(huán)境提供支持。虛擬數據空間系統(tǒng)與國家高性能計算環(huán)境的調用接口,可為上層的計算服務平臺中的各類服務提供虛擬數據空間的數據查詢/訪問/傳輸。支持從多個輸入源選擇輸入文件或存儲輸出文件,使得高性能計算環(huán)境中的用戶能通過虛擬數據空間系統(tǒng)訪問廣域環(huán)境中其他網格節(jié)點的數據,實現高性能計算環(huán)境中計算任務能夠訪問跨域分散的存儲資源,使用戶能夠從使用角度看到一個與本地數據空間一致、可提供統(tǒng)一訪問與管理的虛擬數據空間,并在國家高性能計算環(huán)境中為用戶的計算任務提供整個環(huán)境的計算與數據的協(xié)同能力。
將GVDS接口命令部署到高性能計算環(huán)境中。用戶調用已封裝好的命令可實現虛擬數據空間與國家高性能計算環(huán)境中的中國科學院超級計算中心、國家超級計算廣州中心、上海超級計算中心、國家超級計算長沙中心以及國家超級計算濟南中心的數據信息的全局統(tǒng)一訪問。
(2)GVDS API供CNGrid portal調用
在天氣預報典型應用中,通過命令行方式調用系統(tǒng)中的POSIX接口,實現對虛擬數據空間系統(tǒng)的應用數據的訪問。
(3)虛擬數據空間中用戶身份與高性能環(huán)境的認證
虛擬數據空間系統(tǒng)作為一個社區(qū),擁有獨立的一套用戶管理機制,包括賬戶注冊、登錄、注銷等。CNGrid client命令行與GVDS client命令行都與服務器用戶進行一對一映射。CNGrid portal調用GVDS API時,CNGrid用戶與GVDS用戶一對一映射。
圖8 虛擬數據空間系統(tǒng)與國家高性能計算環(huán)境的集成系統(tǒng)結構
系統(tǒng)接口都是基于REST風格的開發(fā)API實現的,REST已成為最主要的Web服務設計模型。RESTful Web service是一種輕量級的Web service架構風格,可完全通過HTTP實現,還可以利用緩存提高響應速度,在性能、效率和易用性方面有很好的表現。REST API提供了基于HTTP的國家高性能計算環(huán)境訪問接口,包括用戶管理、作業(yè)管理、文件管理等基本功能,也提供了賬號管理等高級功能。該接口具有良好的跨語言特性和跨平臺特性,使得開發(fā)人員可自由選擇編程語言。
系統(tǒng)接口在高性能計算環(huán)境中為虛擬數據空間系統(tǒng)提供了統(tǒng)一的全局虛擬數據空間的數據訪問服務。
● 如圖9所示,vlu命令用于獲取虛擬數據空間用戶的信息。
● 如圖10所示,vlg命令用于獲取虛擬數據空間用戶組的信息。
圖9 虛擬數據空間用戶的信息
圖10 虛擬數據空間用戶組的信息
● 如圖11所示,vmkuser命令用于創(chuàng)建虛擬數據空間用戶。
● 如圖12所示,vmoduser命令用于修改虛擬數據空間用戶。
● 如圖13所示,vscheduling命令可用于獲取高性能計算環(huán)境信息。
● 如圖14所示,vscheduling命令也可用于獲取高性能計算環(huán)境的隊列信息。
● 如圖15所示,vscheduling命令還可用于獲取高性能環(huán)境的應用信息。
環(huán)境用戶在單個節(jié)點就可通過虛擬數據空間系統(tǒng)訪問其分布在各個超級計算中心的數據資源(如同訪問單一節(jié)點的數據一樣),并能對這些數據資源進行相應的操作,如編輯、復制、備份等。在任何一個部署了虛擬數據空間系統(tǒng)的節(jié)點上,像使用普通Linux文件系統(tǒng)一樣,用戶能看到其在各個超級計算節(jié)點的數據目錄和文件,通過虛擬數據空間系統(tǒng)的命令能遠程地使用和編輯文件。從用戶的角度來看,在虛擬數據空間系統(tǒng)中對文件的操作如同在Linux系統(tǒng)中操作本地文件一樣。高性能計算環(huán)境通過調用虛擬數據空間系統(tǒng)的相關命令接口實現網格環(huán)境中數據文件的操作:如在不同超級計算中心的副本上建立數據文件,在不同超級計算節(jié)點上訪問/傳輸文件等。
將虛擬數據空間系統(tǒng)部署到國家高性能計算環(huán)境中,可實現虛擬數據空間系統(tǒng)與國家高性能計算環(huán)境的深度融合。將虛擬數據空間系統(tǒng)提供的功能補充到國家高性能計算環(huán)境中,為國家高性能計算環(huán)境提供統(tǒng)一的數據訪問視圖,方便國家高性能計算環(huán)境的用戶使用。利用虛擬數據空間系統(tǒng)提供的數據存儲的統(tǒng)一視圖,并通過虛擬數據空間系統(tǒng)提供的數據共享等功能實現計算過程中的數據交換方式,可有效地解決高性能計算環(huán)境中的計算資源聚合、數據資源分散問題,對國家高性能計算環(huán)境的易用性方面起到良好的推動作用。
圖11 創(chuàng)建虛擬數據空間用戶
圖12 修改虛擬數據空間用戶
圖13 獲取HPC 信息
圖14 獲取HPC 隊列信息
圖15 獲取HPC 應用信息