張晨浩，肖利民，秦廣軍，宋堯，蔣世軒，王繼業(yè)

1. 軟件開發(fā)環(huán)境國家重點實驗室，北京 100191；2. 北京航空航天大學計算機學院，北京 100191；3. 北京聯合大學智慧城市學院，北京 100101；4. 國家電網有限公司大數據中心，北京 100031

1 引言

傳統(tǒng)高性能計算應用（如高能物理、氣象預報、生物信息等）的計算和數據量大且跨域分布，而且隨著移動互聯網、物聯網等新一代信息技術的蓬勃發(fā)展，新興應用（如智慧城市、精準醫(yī)療等）也不斷產生大量數據且這些數據分布更加廣泛，從GB級、TB級發(fā)展到ZB級，甚至YB級。這促使數據密集型和計算密集型任務的數據規(guī)模和計算規(guī)模逐步增加[1-2]，多中心協(xié)同處理海量數據正在成為發(fā)展趨勢。高性能計算（high performance computing，HPC）平臺也從傳統(tǒng)的高性能計算領域逐步拓展到大數據處理領域，可有效滿足大數據采集、過濾、索引、分析、處理所需的硬性要求[3]。為了滿足數據處理的更大規(guī)模需求，國內外紛紛投入大量資源建立跨多超級計算中心（以下簡稱超算中心）的廣域高性能計算環(huán)境，旨在提供規(guī)模更大、性能更強的數據處理平臺，以支撐科學發(fā)現和科技創(chuàng)新。

美國國家科學基金會的極限科學與工程發(fā)現環(huán)境（XSEDE）[4]項目旨在將廣域分散自治的多家機構互聯，并實現廣域資源共享，以提供更好的科學研發(fā)環(huán)境。XSEDE[4]可以存儲、管理、處理海量的科學數據，為科學家提供一站式服務。作為一個集成了多種資源的單一虛擬系統(tǒng)，XSEDE[4]匯聚了超算、數據分析、數據存儲等資源，可支持用戶共享計算資源和數據，支持任務通過高性能計算機網絡快速訪問和檢索數據，為多個領域的科學發(fā)現提供有力支持。歐洲網格基礎設施（EGI）項目[5]旨在擴展歐洲在計算、存儲、數據等方面的重要聯合服務能力，使用網格計算技術將全歐洲廣域分布的高性能、高吞吐計算資源聚合起來，實現科學數據共享，可為海量的數據以及計算資源提供統(tǒng)一的訪問。EGI將不同歐洲國家的超算中心連接起來，以支持多學科聯合的國際研究。EGI的子項目OneData[6-7]是一個全球數據管理系統(tǒng)，支持從個人數據管理到數據密集型科學計算的各種用例，用戶可以使用全球計算中心和存儲提供商支持的全球數據存儲來訪問、存儲、處理和發(fā)布數據。我國在國家高技術研究發(fā)展計劃（863計劃）的支持下，依托國產高性能計算機建立了中國國家網格（CNGRID）。CNGRID由8個主節(jié)點連接而成，形成了18萬億次的計算能力，在當時全世界的網格環(huán)境中排名第二[8]。“十一五”期間，我國進一步發(fā)展了CNGRID，其計算能力達到3 000萬億次以上，有效支持了通用科學、工業(yè)仿真和生物醫(yī)學等應用，促進了科學技術的發(fā)展[9]。北京航空航天大學針對國家高性能計算環(huán)境中廣域分散存儲資源的聚合需求以及大型計算應用對跨域全局虛擬數據空間的實際需要，研發(fā)了一個可運行于國家高性能計算環(huán)境的廣域虛擬數據空間（global virtual data space，GVDS）軟件系統(tǒng)，解決了長期困擾我國高性能計算環(huán)境發(fā)展的廣域存儲管理和訪問的瓶頸問題[10-11]。

作為跨域數據處理的典型平臺，EGI、XSEDE、CNGRID等廣域高性能計算環(huán)境正發(fā)展成進行大規(guī)模數據存儲和處理的重要基礎設施，高效地利用廣域高性能計算環(huán)境支撐大數據的存儲管理以及高效處理仍然面臨如下挑戰(zhàn)。

● 挑戰(zhàn)1：如何形成全局數據空間，進而支持廣域分散數據的存儲、管理、傳輸、訪問的統(tǒng)一管理。

● 挑戰(zhàn)2：如何實現廣域環(huán)境中數據與計算任務的協(xié)同調度，以優(yōu)化多中心存儲與計算資源的利用，支撐海量數據的跨中心高效處理。

針對挑戰(zhàn)1，筆者所在團隊已經研發(fā)了GVDS系統(tǒng)，該系統(tǒng)可聚合廣域分散存儲資源形成全局數據空間，以支持數據的統(tǒng)一管理和高效傳輸。針對挑戰(zhàn)2，本文基于GVDS系統(tǒng)，研究了存儲與計算協(xié)同調度策略，并實現了一個存算協(xié)同調度系統(tǒng)，該系統(tǒng)綜合考慮數據布局、存算資源狀態(tài)、容量限制等多方面因素，可合理選擇任務和數據的優(yōu)化調度策略，實現在廣域范圍內高效的計算任務分配和數據布局，以提高環(huán)境資源利用率，提升應用計算效率。

本文的主要貢獻包括以下3個方面：

● 研究并實現了一套包含存算協(xié)同調度在內的調度方法，以支撐高性能大數據的快速分析處理；

● 設計實現了一個基于虛擬數據空間的存算協(xié)同調度系統(tǒng)，可優(yōu)化廣域環(huán)境中的全局資源利用，支持海量數據跨域存儲管理與高效處理；

● 系統(tǒng)已部署于國家高性能計算環(huán)境中廣域分散的5個節(jié)點，并形成測試床，驗證了分子對接、跨域目標協(xié)同識別等典型大型數據處理類應用。

2 研究現狀

現代科學計算和實驗已變得十分復雜，工程仿真、高能物理、氣象領域、基因測序研究等產生的數據量可達數百TB[12]，生產生活中的移動互聯網、社交媒體等也每天產生海量的數據。采用分布式資源為大數據處理提供所需的計算能力和存儲能力逐漸成為大數據處理的重要選擇，但是，如何充分利用這些海量資源、發(fā)揮存儲與計算資源的綜合效用仍然是一個亟待解決的問題[13]。存儲與計算的協(xié)同調度是解決該問題的重要方法之一。通過感知資源分布、數據分布、計算需求等，依據數據訪問特征和計算特征來優(yōu)化數據布局和任務布局，可有效地提高跨域存儲與計算資源的利用率以及海量數據的處理效率[10]。

參考文獻[13]設計了Condor-G系統(tǒng)，該系統(tǒng)是面向網格的計算資源調度系統(tǒng)，采用Globus和Condor使用戶能夠統(tǒng)一管理多個域內的資源，提供作業(yè)管理、資源選擇、安全性和容錯等能力，并提供了管理網格資源的通用接口。針對大規(guī)模數據的訪問效率低、可靠性差的問題，Kosar T等人[14]開發(fā)了Stork數據管理系統(tǒng)，通過感知數據使用特征來進行合理的數據布局和調度，以實現對廣域環(huán)境中大規(guī)模數據的高效訪問，同時利用參考文獻[13]中Condor-G系統(tǒng)提供的管理網格計算資源通用接口，實現了對廣域環(huán)境中存算資源的協(xié)同管理，提高了對數據密集型應用的計算效率。

Zhao L P等人[15]基于超圖分區(qū)的技術對廣域環(huán)境中的存儲、計算、網絡資源進行協(xié)同調度，減少了廣域環(huán)境中數據的傳輸，并且最大限度地縮短了任務完成時間，提升了廣域分布式計算環(huán)境中的數據中心整體性能。參考文獻[16]使用任務竊取技術使閑置的調度器通過從超載的調度器中調度任務來平衡負載，實現了動態(tài)負載均衡的計算目標。參考文獻[17]以數據訪問熱度為核心因素，在滿足創(chuàng)建數據副本的條件下進行數據副本的優(yōu)化布局，進而系統(tǒng)通過感知數據副本的布局信息進行任務的調度，提高了數據處理效率，縮短了任務完成時間。參考文獻[18]提出了一種雙邊匹配算法，將任務與資源進行多種屬性間的匹配，之后將任務調度到匹配度高的資源，減少了調度過程中的開銷。參考文獻[19]則以最小化數據傳輸為目標進行任務的調度，以減少數據傳輸的開銷。參考文獻[20]提出了一種自適應調度算法，將任務分配給一定時間內閑置的資源，避免了關鍵任務的低效分配，同時通過一種消息超前發(fā)送的方法節(jié)省通信時間，并進一步提高整體性能。參考文獻[21]將子任務按不同規(guī)則分為任務組，任務組或單個任務被映射到不同的節(jié)點，但缺乏對任務所需存儲、計算資源的考慮，導致任務和資源的相關性低，例如將計算密集的任務映射到存儲能力強的節(jié)點，或者將數據密集的任務映射到計算能力強的節(jié)點，最終造成任務排隊時間過長或者節(jié)點資源利用不充分等問題。

綜上所述，對廣域環(huán)境中的存儲與計算進行協(xié)同調度是優(yōu)化資源利用并提升計算效率的有效方法，但廣域高性能計算中存儲資源的訪問效率仍然較低，存儲與計算的協(xié)同性較差，難以高效應對廣域高性能計算環(huán)境中復雜多變的海量數據處理需求，海量數據的跨域高效處理需要高效的存算協(xié)同調度技術。

3 廣域存算協(xié)同調度系統(tǒng)

本文基于GVDS研發(fā)了跨域多中心存算協(xié)同調度技術和系統(tǒng)，可綜合利用廣域環(huán)境中的存儲和計算資源，支持數據與計算任務的統(tǒng)一調度，滿足大數據的高效分析處理需求。針對不同的應用場景，在框架中實現了3種不同策略的調度方法：存算協(xié)同調度方法以優(yōu)化系統(tǒng)中的全局資源利用、最小化任務執(zhí)行時間為目標，實現了任務需求與資源能力的高效匹配，可合理地進行任務與數據的聯合調度，優(yōu)化全局資源利用，降低任務執(zhí)行時間；基于負載均衡策略的調度方法以優(yōu)化系統(tǒng)整體計算資源利用、縮短任務響應時間為目標進行調度，實現了較優(yōu)的系統(tǒng)平均資源利用和任務完成時間；基于數據局部性的調度方法以最小化全局數據傳輸為目標進行調度，充分減少了任務執(zhí)行過程中的全局數據傳輸開銷，進而縮短了系統(tǒng)中的任務完成時間?；诒疚难芯康恼{度策略，以及GVDS提供的全局虛擬數據空間，進一步實現了一個存算協(xié)同調度系統(tǒng)，將該系統(tǒng)與國家高性能計算環(huán)境已有全局作業(yè)調度系統(tǒng)對接，形成多級調度系統(tǒng)，綜合利用廣域環(huán)境存儲和計算資源，優(yōu)化全局資源利用，提高計算效率，支撐大數據的高效處理。

3.1 廣域虛擬數據空間系統(tǒng)

針對廣域高性能計算環(huán)境中存儲與計算的協(xié)同性差導致的應用計算效率低的問題，筆者團隊前期研發(fā)了高性能計算虛擬數據空間系統(tǒng)GVDS[10-11]。GVDS可支持對跨域分散自治資源的統(tǒng)一管理，為海量數據提供高性能、高可靠性存儲，為廣域環(huán)境中的海量數據提供全局數據視圖，可有效支撐應用以統(tǒng)一訪問模式高效訪問廣域分散異構的存儲資源，實現廣域環(huán)境中分布數據的跨域共享和協(xié)同處理，以支撐跨多超算中心協(xié)同處理的應用運行模式。目前，GVDS已在國家高性能計算環(huán)境中部署了測試床，并集成到中國國家網格門戶網站的“聚合資源運行支撐環(huán)境”AROSE平臺中，用戶可通過3種方式登錄GVDS，并使用網格的計算資源，如圖1所示。

圖1 GVDS與國家高性能計算環(huán)境對接

GVDS可結合網格環(huán)境提供的全局作業(yè)調度，綜合利用廣域環(huán)境下的存儲和計算資源，為跨域多中心存算協(xié)同調度提供基礎，進而優(yōu)化全局資源利用，滿足海量數據跨域高效處理的需求，如圖2所示。

圖2 GVDS對應用計算模式的支撐

3.2 存算協(xié)同調度策略

為了充分發(fā)揮跨域存儲和計算資源的效用，滿足海量數據高效處理的需求，本文提出了一種數據與計算感知的存算協(xié)同調度策略。存算協(xié)同調度指綜合考慮計算任務和與數據相關的多種因素，如存儲和計算資源負載、數據布局情況、網絡帶寬負載等，以縮短任務完成時間為目標，制定數據和計算任務協(xié)同調度的最優(yōu)策略。傳統(tǒng)的調度算法一般從負載均衡的角度和提高數據局部性的角度考慮，本文提出的存算協(xié)同調度方法則從任務、數據和資源的關系的角度出發(fā)，以資源與任務的相關性為基礎，結合任務的優(yōu)先級、數據的訪問熱度、資源的負載情況，得出任務和數據的最佳調度策略，優(yōu)化任務的執(zhí)行時間，以提高廣域高性能計算環(huán)境中的資源利用，解決任務與資源不匹配造成的任務執(zhí)行時間長的問題。

基于存算協(xié)同的調度執(zhí)行過程如圖3所示。用戶提交任務到存算協(xié)同調度系統(tǒng)，調度計劃器通過調度決策產生任務調度計劃和數據調度計劃，調度計劃會被發(fā)送到調度執(zhí)行器；調度執(zhí)行器調用底層作業(yè)管理系統(tǒng)和存儲管理系統(tǒng)來執(zhí)行任務調度與數據調度。關鍵步驟包括調度決策和執(zhí)行兩個階段，其中，調度決策階段將計算任務與資源的相關性作為調度的決策依據，結合任務的優(yōu)先級、數據副本布局，對任務和數據進行合理的協(xié)同調度；調度執(zhí)行階段通過Slurm的計算管理器和GVDS的存儲管理器執(zhí)行任務和數據的調度，同時依據數據的訪問熱度反饋，優(yōu)化數據副本布局，以降低后續(xù)任務執(zhí)行時的數據傳輸開銷，提高計算效率。

圖3 存算協(xié)同調度的執(zhí)行過程

3.2.1 調度決策階段

（1）存算協(xié)同調度

在廣域高性能計算環(huán)境中，由于任務的復雜性、存儲和計算資源的多樣性，系統(tǒng)需要合理匹配任務和資源，以產生合理的調度策略，縮短任務處理時間，提高系統(tǒng)吞吐量。本文提出了一種基于任務與資源相關性的協(xié)同調度方法，通過余弦相似性計算任務向量與資源能力向量的關系，選擇相關性最大的任務和資源，依據節(jié)點的負載情況，協(xié)同調度任務與數據。

設Q是二元向量，表示任務q所需的計算資源和存儲資源，如下所示：

其中，Cq是處理器核數，表示所需的計算資源；Sq是運行任務q所需的存儲空間大小。

設P是二元向量，表示節(jié)點p的計算能力和存儲能力，如下所示：

其中，CPUp表示節(jié)點p擁有的處理器核數，即節(jié)點p的計算能力；sizep表示節(jié)點p的存儲空間總量。

用Rel(q,p)表示任務q和節(jié)點p的資源相關性，Rel(q,p)的表示如下：

Rel(q,p)采用余弦函數來計算Q和P的相關性，值越大，任務q與節(jié)點p的資源相關性越大，即如果將任務與數據調度至該節(jié)點，預期可以縮短任務處理時間。

在實際使用場景中，如果任務所需數據距離目標節(jié)點較遠，可能會出現任務等待數據傳輸的情況，這時候會更加傾向于優(yōu)先處理可訪問本地數據的任務，即數據傳輸距離會影響任務的優(yōu)先級。因此，本文引入了任務的優(yōu)先級，并將其作為任務與數據協(xié)同調度的因素。設任務q的優(yōu)先級為Priq，如下所示：

設置調度決策評分Scoreq,p表示協(xié)同調度任務與數據的分值，如式（5）所示，采用優(yōu)先級Priq對相關性Rel(q,p)進行加權，該式表示任務與資源相關性越大且任務的優(yōu)先級越高，任務與數據被協(xié)同調度的概率就越高，從而優(yōu)化資源利用并提高任務的計算效率：

（2）任務執(zhí)行前的數據副本放置

在廣域高性能計算環(huán)境中，受限的網絡帶寬導致數據傳輸成本很高，對于任務來說，考慮數據局部性，即將計算任務分配到數據所在的節(jié)點是合適的選擇，但是對于含有大量計算任務的應用或者被頻繁訪問的數據來說，如果僅考慮數據局部性會導致某一節(jié)點的計算負載過高、網絡負載過高、排隊時間過長等，因此，在資源負載較低或者被頻繁訪問的節(jié)點建立數據副本是合適的選擇。由Priq可知，數據局部性越好，任務被調度的優(yōu)先級越高，因此本文的調度計劃器也可基于數據訪問熱度，在任務執(zhí)行階段進行數據副本布局，即在任務調度階段，依據計算資源的負載情況，預先調度數據到指定節(jié)點，以利用數據局部性，提升計算效率。

數據的訪問熱度由數據最近訪問的時間間隔、平均訪問時間間隔決定。定義平均訪問時間間隔為Ti，它反映數據被訪問的頻率；最近訪問的時間間隔為(li-li-1)，指調度策略產生時的數據訪問時間li與上次訪問該數據的時間的間隔，反映數據的訪問熱度趨勢，(li-li-1)越小，表明數據正逐漸成為訪問熱點。設數據i的訪問熱度為Hi，Ki表示訪問數據i占所有數據的比例，則Hi的計算式如下：

節(jié)點u的負載U包括節(jié)點的存儲資源負載和計算資源負載，如式（7）所示。其中，UC表示可用的計算資源比例，US表示可用的存儲資源比例。

本地節(jié)點和遠程節(jié)點會根據節(jié)點的負載情況以及數據的訪問熱度判斷是否建立數據副本。當負載情況及數據的訪問熱度符合設定的閾值范圍時，即在節(jié)點創(chuàng)建數據副本；反之，則不建立。

3.2.2 調度執(zhí)行階段

（1）執(zhí)行調度策略

在階段1，調度計劃器負責產生廣域環(huán)境中任務需求與資源能力匹配的調度策略，調度策略被發(fā)送給調度執(zhí)行器，調度執(zhí)行器通過調用底層作業(yè)管理系統(tǒng)和存儲管理系統(tǒng)，實際完成數據和計算任務的協(xié)同調度。計算管理器基于Slurm實現。Slurm是一個用于大型計算節(jié)點集群的高度可伸縮和容錯的集群管理器和作業(yè)調度系統(tǒng)，提供對計算資源的監(jiān)視，它將作業(yè)映射到基本的計算資源，可以實現計算任務的高效調度；存儲管理器基于GVDS實現，用于確保數據在廣域范圍內的統(tǒng)一管理、訪問和傳輸。

（2）任務完成后的數據副本放置修正

在計算任務完成后，存算資源監(jiān)控器會依據收集到的本次計算所用數據的訪問熱度，綜合考慮節(jié)點實際的計算能力、負載情況等來修正數據副本的優(yōu)化布局，以降低后續(xù)任務執(zhí)行時的數據傳輸開銷，提高計算效率。令第i份數據的平均訪問時間間隔為Ti，它表示數據的訪問頻度，Ti越小，訪問越頻繁；Ki表示第i份數據被訪問的次數占所有數據被訪問次數的比例。第i份數據的訪問熱度Fi的計算式如下：

3.3 存算協(xié)同調度系統(tǒng)

本文基于GVDS提供的全局統(tǒng)一資源管理和訪問能力，以及提出的存算協(xié)同調度框架和策略，實現了一個跨域存算協(xié)同調度系統(tǒng)。系統(tǒng)的調度策略除了本文提出的存算協(xié)同調度策略外，還支持負載均衡調度、數據局部性調度，以支持高性能計算環(huán)境中的跨域任務與數據調度。

基于負載均衡策略的調度算法如圖4所示。通過感知計算資源的全局負載進行任務調度，盡可能將計算任務均衡分配到各中心，以優(yōu)化資源整體利用率，縮短任務完成時間。任務管理器將任務劃分為一系列子任務，資源管理器實時檢測各超算中心的計算資源負載情況，并定時將各節(jié)點的計算資源負載情況反饋到存算協(xié)同調度系統(tǒng)中的任務分配決策器，任務分配決策器依據各節(jié)點計算資源的空閑程度，將任務管理器劃分的一系列子任務分發(fā)到不同的計算節(jié)點，以優(yōu)化系統(tǒng)整體的計算任務分配情況。

圖4 負載均衡調度策略

基于數據局部性策略的調度方法如圖5所示。任務管理器將用戶提交的任務劃分為一系列子任務，計算時資源管理器檢測各超算中心的數據分布情況，并將各節(jié)點的數據分布情況反饋到存算協(xié)同調度系統(tǒng)中的任務分配決策器，通過分析系統(tǒng)中各子任務的類型及對數據的依賴關系，任務分配決策器將不同的子任務劃分到不同的分組中，以最大化數據局部性，降低數據傳輸開銷。

圖5 數據局部性調度策略

存算協(xié)同調度系統(tǒng)的總體架構如圖6所示。該系統(tǒng)基于GVDS研發(fā)，目前已對接Slurm作業(yè)管理器，對負載共享設施（load sharing facility，LSF）、便攜式批處理系統(tǒng)（portable batch system，PBS）等作業(yè)管理系統(tǒng)的支持也在逐步完善。存算協(xié)同調度系統(tǒng)對底層存算資源的狀態(tài)進行監(jiān)控，根據選擇的調度方法產生相應的調度策略，調度策略被發(fā)布至作業(yè)管理系統(tǒng)和存儲管理系統(tǒng)進行計算任務和數據的調度。

圖6 存算協(xié)同調度的系統(tǒng)架構

存算協(xié)同調度系統(tǒng)的Web界面如圖7所示。在調度申請框中，可以選擇應用的名稱、任務名稱、程序執(zhí)行路徑，CPU核心數量用于指定每個子任務占用的CPU核數，內存容量用于指定每個子任務占用的內存大小，子任務數量用于將任務劃分成指定數量的子任務，調度算法可以根據不同場景選擇不同的調度策略，執(zhí)行參數指執(zhí)行程序可選的參數，用戶任務信息用于查看任務運行結果（任務名稱、運行狀態(tài)、開始時間、結束時間）。在任務執(zhí)行狀態(tài)框中，可以看到每個子任務運行所在的節(jié)點。計算資源負載框顯示的是系統(tǒng)以輪詢的方式收集的各節(jié)點的計算資源負載情況，以便系統(tǒng)對計算資源進行管理。

圖7 存算協(xié)同調度系統(tǒng)

4 應用驗證

目前，GVDS已在廣域分布的5個國家級超算中心部署并形成測試床，本文提出的系統(tǒng)已在測試床上部署，并開展了分子對接應用和跨域目標協(xié)同識別應用的驗證，從而證明本文提出的系統(tǒng)對大數據高效處理的支撐。

4.1 實驗環(huán)境

系統(tǒng)部署于中國科學院網絡信息中心（以下簡稱中科院網絡信息中心）、國家超級計算濟南中心（以下簡稱國家超算濟南中心）、國家超級計算廣州中心（以下簡稱國家超算廣州中心）、國家超級計算長沙中心（以下簡稱國家超算長沙中心）、上海超級計算中心5個國家級超算中心的測試節(jié)點，測試環(huán)境見表1。

表1 測試環(huán)境

4.2 應用驗證

本文基于生物信息學的分子對接應用、跨域目標協(xié)同識別應用等典型大型應用，對筆者團隊研發(fā)的存算協(xié)同調度系統(tǒng)開展了應用驗證，以研究系統(tǒng)對應用計算效率的提升情況。分子對接是通過受體的特征以及受體和藥物分子之間的相互作用的方式來進行藥物設計的方法[22]。分子對接應用的傳統(tǒng)執(zhí)行方式是在單個數據中心進行集中式的計算，這導致資源利用不均、計算效率低，而本文的存算協(xié)同調度系統(tǒng)可以將計算任務及數據進行合理的分配，優(yōu)化資源利用率，提高應用計算效率?？缬蚰繕藚f(xié)同識別應用需要對大量視頻幀進行目標檢測，搜尋一個目標時往往需要多個中心的數據，其計算量和數據量都較大。

首先，將分子對接應用基于存算協(xié)同調度系統(tǒng)提交運行，以驗證系統(tǒng)的存算調度系統(tǒng)功能，實驗如圖8所示。在調度申請階段，將分子對接應用分成100個子任務，每個子任務分配一個CPU核心，經過系統(tǒng)調度之后，分子對接應用的任務被分配到3個節(jié)點執(zhí)行（圖8中任務執(zhí)行狀態(tài)框），從圖8中計算資源的負載情況框中可以看到各中心的負載情況。

圖8 存算協(xié)同調度系統(tǒng)進行分子對接實驗

其次，分子對接應用和跨域目標識別應用分別與兩個應用的單節(jié)點運行模式相比，分子對接應用的任務被存算協(xié)同調度分配到3個節(jié)點執(zhí)行，跨域目標協(xié)同識別應用被存算協(xié)同調度分配到5個節(jié)點執(zhí)行，執(zhí)行結果如圖9和圖10所示。

圖9 分子對接應用實驗

圖10 跨域目標協(xié)同識別應用實驗

在測試結果中，分子對接應用基于存算協(xié)同調度系統(tǒng)運行的效率達到了傳統(tǒng)運行模式的3.07倍，跨域目標協(xié)同識別應用運行的效率達到了傳統(tǒng)運行模式的4.03倍，表明存算協(xié)同調度系統(tǒng)可將計算任務及數據進行合理的分配，有效地提高應用的計算效率。

最后，為了對比本文提出的存算協(xié)同調度系統(tǒng)提供的3種調度策略的性能，在分子對接實驗中進行了單節(jié)點運行、存算協(xié)同調度策略、負載均衡調度策略、數據局部性調度策略的對比，將應用分別劃分為100、200、300、400、500個子任務，分別測量3種調度方法下的任務完成時間，實驗結果如圖11所示。

在圖11中，當任務的計算量較小時（如圖11中子任務數量為100~200個），各節(jié)點的計算資源狀態(tài)相對空閑，任務的數據遷移時間是系統(tǒng)的性能瓶頸，此時，考慮了數據遷移優(yōu)化的數據局部性調度策略和存算協(xié)同調度策略擁有較好的性能。這是因為存算協(xié)同調度策略在產生調度策略時，通過綜合分析數據局部性和計算資源的負載情況，將任務與數據協(xié)同調度到合適的節(jié)點，在減少廣域網環(huán)境中數據遷移開銷的同時，避免了計算任務排隊過長的情況，因此性能較優(yōu)；數據局部性調度策略會將計算任務盡可能分配到數據所在的節(jié)點，避免了大量的廣域網數據傳輸，優(yōu)化了數據遷移過程，相對空閑的計算資源可以及時處理分配的計算任務，從而縮短任務完成時間，但隨著計算量的增大，數據所在的節(jié)點會逐漸成為系統(tǒng)的瓶頸，使得任務完成時間延長，因此性能會逐漸下降；而負載均衡調度策略在計算資源相對空閑的情況下，為了均衡廣域環(huán)境中各節(jié)點的負載，會產生不必要的數據遷移，出現計算任務等待數據遷移的情況，因此性能相對較差。隨著任務的計算量增大（如圖11中子任務數量為300~500個），計算資源逐漸成為系統(tǒng)的性能瓶頸，此時考慮了資源優(yōu)化利用的存算協(xié)同調度策略和負載均衡調度策略擁有較好的性能，存算協(xié)同調度策略擁有最好的性能，負載均衡調度策略的性能次之，數據局部性調度策略的性能較差。這是因為存算協(xié)同調度策略會基于數據局部性選擇相關性最大的任務和資源，依據節(jié)點的負載情況協(xié)同調度任務與數據，優(yōu)化了廣域高性能計算環(huán)境中的資源利用，因此性能最優(yōu)；而負載均衡調度策略會將計算任務盡可能均衡地分配到各節(jié)點，但未充分考慮任務及其所需的數據與超算中心內的計算和存儲資源狀態(tài)不匹配造成的任務分配不合理的問題，因此性能次之；而數據局部性調度策略在計算任務的計算量較大的情況下，會出現數據所在節(jié)點的計算任務 排隊過長的情況，從而導致任務完成時間大幅延長。

圖11 4種調度策略性能對比

總體上，存算協(xié)同調度策略在各種子任務劃分下，性能均優(yōu)于其他調度方法。單節(jié)點運行的完成時間會隨著任務數量的增加而大幅延長，尤其在任務數量超過300個時，由于節(jié)點負載增加，完成時間快速延長。其他3種調度策略則隨著子任務數的變化而變化平緩，說明3種方法都能較好地匹配數據與計算作業(yè)。存算協(xié)同調度策略的最好情況是子任務數為500個時，完成時間僅為單節(jié)點運行完成時間的20.76%，最壞情況是子任務數為300個時，完成時間為單節(jié)點運行完成時間的52.54%；負載均衡調度策略的最好情況是子任務數為400個時，完成時間為單節(jié)點運行完成時間的25.42%，最壞情況是子任務數為100個時，完成時間為單節(jié)點運行完成時間的74.52%；數據局部性調度策略的最好情況是子任務數為400個時，完成時間為單節(jié)點運行完成時間的36.92%，最壞情況是子任務數為100個時，完成時間為單節(jié)點運行完成時間的為105.7%。

綜合上述驗證實驗可知，存算協(xié)同調度策略可以通過合理的任務與數據調度，優(yōu)化多中心存儲與計算資源的利用，既避免了計算資源成為系統(tǒng)的瓶頸，又避免了大量數據的遷移開銷，使得任務完成時間最短。

5 結束語

本文針對海量數據的高效處理需求，基于筆者團隊研發(fā)的高性能虛擬數據空間系統(tǒng)，基于負載均衡調度、數據局部性調度、存算協(xié)同調度3種調度方法研發(fā)了存算協(xié)同調度系統(tǒng)。該系統(tǒng)可以統(tǒng)一管理廣域環(huán)境中的存算資源，進行存算協(xié)同調度，優(yōu)化廣域環(huán)境中的存算資源利用，支持大數據的存儲管理與高效分析處理。

目前，筆者團隊研發(fā)的存算協(xié)同調度系統(tǒng)已經和GVDS一起實驗性地部署于國家高性能計算環(huán)境中的中科院網絡信息中心、上海超級計算中心、國家超算濟南中心、國家超算長沙中心、國家超算廣州中心5個超算中心的測試節(jié)點，并通過分子對接應用、跨域目標協(xié)同識別應用驗證了系統(tǒng)的有效性和高效性，初步建成了跨域海量數據處理的實驗平臺。

筆者團隊后續(xù)將在存算協(xié)同調度策略對高性能計算環(huán)境的資源感知方面開展工作，以進一步提高存算協(xié)同調度策略的調度精度和準確性，并集成更多的調度策略，以擴展存算協(xié)同調度系統(tǒng)的應用場景和靈活性，以優(yōu)化國家高性能計算環(huán)境的資源利用，并為海量數據的跨域高效協(xié)同處理提供支撐。

致謝

感謝項目團隊的各位老師和同學，以及為項目研發(fā)提供指導的各位項目專家，尤其感謝中山大學陳志廣老師團隊提供的分子對接應用、跨域目標協(xié)同識別應用。