秦廣軍, 肖利民, 張廣艷, 牛北方, 陳志廣

1. 北京聯(lián)合大學(xué)智慧城市學(xué)院，北京 100101；2. 北京航空航天大學(xué)計(jì)算機(jī)學(xué)院，北京 100191；3. 軟件開(kāi)發(fā)環(huán)境國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100191；4. 清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，北京 100084；5. 中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100190；6. 中國(guó)科學(xué)院大學(xué)，北京 100190；7. 中山大學(xué)計(jì)算機(jī)學(xué)院，廣東 廣州 510006

1 引言

高性能計(jì)算環(huán)境是支撐國(guó)家科技創(chuàng)新、經(jīng)濟(jì)發(fā)展、國(guó)防建設(shè)的核心信息基礎(chǔ)設(shè)施，世界高性能計(jì)算強(qiáng)國(guó)紛紛建設(shè)基于多超級(jí)計(jì)算中心（以下簡(jiǎn)稱(chēng)超算中心）資源的廣域高性能計(jì)算環(huán)境[1]。美國(guó)建立了跨域的極限科學(xué)與工程發(fā)現(xiàn)環(huán)境（extreme science and engineering discovery environment，XSEDE），旨在建設(shè)單一的虛擬系統(tǒng)，世界各地的科學(xué)家可以通過(guò)系統(tǒng)共享計(jì)算資源、數(shù)據(jù)和專(zhuān)業(yè)知識(shí)；歐洲建立了跨域的歐洲網(wǎng)格基礎(chǔ)設(shè)施（European grid infrastructure，EGI），目的是通過(guò)整合數(shù)字功能、各界資源和專(zhuān)業(yè)知識(shí)為科學(xué)研究和基礎(chǔ)設(shè)施建設(shè)提供開(kāi)放的解決方案；我國(guó)建立了中國(guó)國(guó)家網(wǎng)格（China national grid，CNGrid），通過(guò)資源共享、協(xié)同工作和服務(wù)機(jī)制，有效地支持科學(xué)研究、資源環(huán)境、先進(jìn)制造和信息服務(wù)等應(yīng)用。高性能計(jì)算水平體現(xiàn)了一個(gè)國(guó)家的科技綜合實(shí)力，整合廣域分散的高性能計(jì)算資源，建立廣域高性能計(jì)算環(huán)境，對(duì)于國(guó)家高性能計(jì)算技術(shù)的領(lǐng)先發(fā)展、國(guó)家安全與高性能計(jì)算地位的提高至關(guān)重要。

與XSEDE和EGI相比，CNGrid不僅要能夠支持科學(xué)研究，更強(qiáng)調(diào)對(duì)多領(lǐng)域應(yīng)用的支持。這些應(yīng)用除了需要高性能計(jì)算能力，還需要支持對(duì)異地、異構(gòu)數(shù)據(jù)進(jìn)行存儲(chǔ)、訪(fǎng)問(wèn)、交換和處理的能力。然而，在廣域高性能計(jì)算環(huán)境中，各超算中心往往地理位置分散，資源自治管理，數(shù)據(jù)跨域分散存儲(chǔ)，這使得資源和數(shù)據(jù)難以統(tǒng)一管理、調(diào)度和互訪(fǎng)，應(yīng)用系統(tǒng)間相互孤立，難以滿(mǎn)足大型計(jì)算應(yīng)用對(duì)全局資源空間的需求。因此，如何在廣域高性能計(jì)算環(huán)境中實(shí)現(xiàn)跨域資源統(tǒng)一管理與使用，有效支撐大型計(jì)算應(yīng)用，一直是各高性能計(jì)算領(lǐng)域的重要研究課題，這迫切需要新技術(shù)、新系統(tǒng)來(lái)支持資源共享，提高資源利用率，發(fā)揮分散資源聚合效應(yīng)。

CNGrid目前已經(jīng)支持全局計(jì)算資源管理和作業(yè)調(diào)度，但存儲(chǔ)和數(shù)據(jù)資源仍然不能得到有效的全局統(tǒng)一管理、調(diào)度和訪(fǎng)問(wèn)。本文針對(duì)國(guó)家高性能計(jì)算環(huán)境廣域分散存儲(chǔ)資源的聚合需求及大型計(jì)算應(yīng)用對(duì)跨域全局虛擬數(shù)據(jù)空間的實(shí)際需要，對(duì)標(biāo)高性能計(jì)算環(huán)境廣域存儲(chǔ)系統(tǒng)EGI OneData[2-3]和XSEDE GFFS[4]，從跨域虛擬數(shù)據(jù)空間構(gòu)建、廣域數(shù)據(jù)共享、全局存算協(xié)同調(diào)度、跨域并發(fā)數(shù)據(jù)聚合處理、CNGrid環(huán)境對(duì)接等幾個(gè)主要方面出發(fā)，建立了一套可用于構(gòu)建廣域全局虛擬數(shù)據(jù)空間的完整技術(shù)體系，并研發(fā)了一個(gè)可運(yùn)行于國(guó)家高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間系統(tǒng)，旨在為在國(guó)家高性能計(jì)算環(huán)境中建立虛擬數(shù)據(jù)空間提供技術(shù)手段、應(yīng)用經(jīng)驗(yàn)、人才儲(chǔ)備，支撐建設(shè)資源共享、統(tǒng)一管理、高效協(xié)同的國(guó)家高性能計(jì)算環(huán)境，促進(jìn)我國(guó)高性能計(jì)算環(huán)境的應(yīng)用和可持續(xù)發(fā)展。

2 國(guó)內(nèi)外研究現(xiàn)狀

國(guó)家級(jí)廣域高性能計(jì)算環(huán)境是支撐國(guó)家科技創(chuàng)新、經(jīng)濟(jì)發(fā)展、國(guó)防建設(shè)的核心信息基礎(chǔ)設(shè)施，是大國(guó)競(jìng)爭(zhēng)的戰(zhàn)略高地，世界高性能計(jì)算強(qiáng)國(guó)紛紛建設(shè)基于多超算中心資源的廣域高性能計(jì)算環(huán)境。

美國(guó)、歐洲、日本對(duì)虛擬數(shù)據(jù)空間系統(tǒng)及關(guān)鍵技術(shù)開(kāi)展了研究。美國(guó)國(guó)家科學(xué)基金會(huì)的TeraGrid計(jì)劃[5]及其后續(xù)的XSEDE計(jì)劃[6]，以及歐洲的網(wǎng)絡(luò)基礎(chǔ)項(xiàng)目EGI（前身為EGEE）[7]，都旨在將廣域分散自治的大規(guī)模計(jì)算系統(tǒng)、科學(xué)儀器等互連并廣域共享，但TeraGrid需采用專(zhuān)用高速網(wǎng)絡(luò)，EGI欠缺全局統(tǒng)一管理能力。其中，EGI的基礎(chǔ)存儲(chǔ)系統(tǒng)是OneData，引入了“空間”和“供給者”的概念，較好地屏蔽了EGI中數(shù)據(jù)廣域分布的復(fù)雜性，但是采用緊密的元數(shù)據(jù)管理方式，元數(shù)據(jù)維護(hù)壓力巨大，系統(tǒng)可擴(kuò)展性較差。XSEDE的基礎(chǔ)存儲(chǔ)系統(tǒng)是全局聯(lián)合文件系統(tǒng)（global federated file system，GFFS），采用松散的頂層元數(shù)據(jù)組織實(shí)現(xiàn)了異構(gòu)存儲(chǔ)資源的聚合，但是頂層元數(shù)據(jù)集中管理，存儲(chǔ)集群的元數(shù)據(jù)分散自治管理，使得頂層元數(shù)據(jù)極易成為性能瓶頸。麻省理工學(xué)院的協(xié)作式文件系統(tǒng)（cooperative file system，CF S）、加利福尼亞大學(xué)伯克利分校的OceanStore[8]、紐約大學(xué)的Kademlia[9]等具有良好的平衡性和擴(kuò)展性，但均為聚合集中式存儲(chǔ)資源的系統(tǒng)。谷歌公司的Spanner[10]實(shí)現(xiàn)了在特定硬件支撐下的跨域數(shù)據(jù)庫(kù)存儲(chǔ)模式，耶魯大學(xué)和谷歌公司聯(lián)合實(shí)現(xiàn)了跨數(shù)據(jù)中心的CalvinFS系統(tǒng)[11]，加利福尼亞大學(xué)河濱分校提出了可跨多云平臺(tái)的SPANStore系統(tǒng)[12]，德國(guó)卡爾斯魯厄理工學(xué)院設(shè)計(jì)了MetaStorage系統(tǒng)[13]，上述系統(tǒng)可管理分散的存儲(chǔ)資源，但主要面向互聯(lián)網(wǎng)應(yīng)用（如數(shù)據(jù)庫(kù)存儲(chǔ)），不適用于高性能計(jì)算應(yīng)用環(huán)境。微軟公司的WAS（Windows Azure storage）系統(tǒng)[14]通過(guò)位置服務(wù)器和全局命名空間整合跨域存儲(chǔ)集群，但不支持跨域數(shù)據(jù)共享。美國(guó)印第安納大學(xué)實(shí)現(xiàn)了跨域的Lustre-WAN文件系統(tǒng)[15]，但需專(zhuān)用網(wǎng)絡(luò)支持。日本筑波大學(xué)提出了跨域網(wǎng)格文件系統(tǒng)Gfarm[16]，但其集中式元數(shù)據(jù)架構(gòu)難以適應(yīng)高性能計(jì)算環(huán)境的大規(guī)模并發(fā)數(shù)據(jù)訪(fǎng)問(wèn)請(qǐng)求。

我國(guó)對(duì)虛擬數(shù)據(jù)空間系統(tǒng)及相關(guān)技術(shù)也開(kāi)展了相關(guān)研究，建設(shè)了基于多個(gè)超算中心的國(guó)家高性能計(jì)算環(huán)境，實(shí)現(xiàn)了分散計(jì)算資源的統(tǒng)一管理和全局調(diào)度，但尚未實(shí)現(xiàn)分散存儲(chǔ)資源的全局?jǐn)?shù)據(jù)空間以及存儲(chǔ)與計(jì)算全局協(xié)同調(diào)度。電子科技大學(xué)、中國(guó)科學(xué)院計(jì)算技術(shù)研究所、浙江大學(xué)等采用哈希算法，設(shè)計(jì)了針對(duì)集中式存儲(chǔ)資源的聚合系統(tǒng)PeerStore[17]和π-Store等。北京郵電大學(xué)、華為技術(shù)有限公司、阿里巴巴集團(tuán)[18]面向互聯(lián)網(wǎng)應(yīng)用實(shí)現(xiàn)了基于多云存儲(chǔ)平臺(tái)協(xié)同的云存儲(chǔ)模式。清華大學(xué)[19]、北京航空航天大學(xué)[20]、中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心研究了單一大規(guī)模存儲(chǔ)聚合系統(tǒng)及跨域存儲(chǔ)聚合技術(shù)，針對(duì)分布性、異構(gòu)性、動(dòng)態(tài)性的廣域網(wǎng)絡(luò)環(huán)境，實(shí)現(xiàn)了支持跨域數(shù)據(jù)驅(qū)動(dòng)型應(yīng)用的虛擬數(shù)據(jù)空間及服務(wù)協(xié)同平臺(tái)、跨多數(shù)據(jù)中心的全局虛擬文件系統(tǒng)等。

綜上，目前國(guó)內(nèi)外都在研究跨域存儲(chǔ)資源聚合、廣域數(shù)據(jù)共享等問(wèn)題，但尚未出現(xiàn)可有效支持廣域高性能計(jì)算環(huán)境的跨域虛擬數(shù)據(jù)空間。因此，研究在廣域高性能計(jì)算環(huán)境中建立跨域虛擬數(shù)據(jù)空間的方法和關(guān)鍵技術(shù)具有重要的理論意義和應(yīng)用價(jià)值。

3 國(guó)家高性能計(jì)算環(huán)境

3.1 環(huán)境現(xiàn)狀

我國(guó)國(guó)家高性能計(jì)算環(huán)境（原中國(guó)國(guó)家網(wǎng)格環(huán)境）的環(huán)境資源種類(lèi)繁多、異構(gòu)性強(qiáng)、地域分布廣，主要由上海超級(jí)計(jì)算中心和中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心兩個(gè)南北主節(jié)點(diǎn)，國(guó)家超級(jí)計(jì)算無(wú)錫中心、國(guó)家超級(jí)計(jì)算天津中心等7個(gè)國(guó)家級(jí)超算中心，以及清華大學(xué)、西安交通大學(xué)等11個(gè)普通節(jié)點(diǎn)組成，總計(jì)算能力超200 PFlops，總存儲(chǔ)容量超160 PB，2020年新增國(guó)家超級(jí)計(jì)算鄭州中心和國(guó)家超級(jí)計(jì)算昆山中心。

計(jì)算資源管理的核心系統(tǒng)軟件——超級(jí)計(jì)算環(huán)境（s u p e r c o m p u t i n g environment，SCE）[21]是中國(guó)科學(xué)院開(kāi)發(fā)的環(huán)境中間件，用戶(hù)可以通過(guò)此中間件使用整個(gè)環(huán)境中的所有計(jì)算資源。SCE主要包括前端服務(wù)器（front server，F(xiàn)S）和中央服務(wù)器（center server，CS），CS負(fù)責(zé)匯總FS采集的各類(lèi)信息，以及作業(yè)全局調(diào)度與管理服務(wù)、數(shù)據(jù)傳輸與管理服務(wù)、用戶(hù)與權(quán)限服務(wù)、資源信息管理服務(wù)、安全策略以及計(jì)算環(huán)境管理；FS負(fù)責(zé)資源接入與監(jiān)控、作業(yè)局部調(diào)度、局部信息管理、一些計(jì)算資源的執(zhí)行控制，收集來(lái)自各超算中心的資源信息，并匯報(bào)給CS，以及執(zhí)行來(lái)自CS的各種執(zhí)行請(qǐng)求。

存儲(chǔ)資源由各超算中心自治管理，使用方式主要分為兩類(lèi)：第一類(lèi)，在超算中心中將區(qū)域劃分為計(jì)算區(qū)和存儲(chǔ)區(qū)，采用不同的文件系統(tǒng)進(jìn)行管理并存儲(chǔ)在不同的集群上，進(jìn)行計(jì)算作業(yè)時(shí)，需要將用戶(hù)的作業(yè)及用到的數(shù)據(jù)提交至計(jì)算集群中進(jìn)行計(jì)算；第二類(lèi)是不劃分存儲(chǔ)區(qū)和計(jì)算區(qū)，存儲(chǔ)和計(jì)算由同一個(gè)文件系統(tǒng)統(tǒng)一管理，作業(yè)直接在用戶(hù)目錄下運(yùn)行。對(duì)于當(dāng)前兩種使用模式，用戶(hù)數(shù)據(jù)都匯聚在一個(gè)超算中心中，而且是分散自治的，國(guó)家高性能計(jì)算環(huán)境中各超算中心之間相互隔離，無(wú)法做到用戶(hù)數(shù)據(jù)跨域及統(tǒng)一管理。

可見(jiàn)，在當(dāng)前的國(guó)家高性能計(jì)算環(huán)境中，計(jì)算資源可統(tǒng)一管理、全局調(diào)度，但存儲(chǔ)資源仍廣域分散、隔離自治，雖然可全局調(diào)度計(jì)算資源，但無(wú)法有效地實(shí)現(xiàn)數(shù)據(jù)的跨廣域統(tǒng)一訪(fǎng)問(wèn)和共享，應(yīng)用規(guī)模的擴(kuò)展受限于單中心的資源規(guī)模，無(wú)法構(gòu)建更大型的、跨廣域的應(yīng)用，更無(wú)法實(shí)現(xiàn)存儲(chǔ)與計(jì)算的協(xié)同調(diào)度，從而導(dǎo)致全系統(tǒng)資源利用率不能有效提高。

3.2 大型計(jì)算問(wèn)題對(duì)數(shù)據(jù)空間的需求

大型計(jì)算問(wèn)題，諸如生物信息、精準(zhǔn)醫(yī)療、高能物理、氣象預(yù)報(bào)等類(lèi)型的應(yīng)用，由于數(shù)據(jù)量和計(jì)算量都較大[22]，且數(shù)據(jù)往往跨廣域分布，需要在高性能計(jì)算環(huán)境中形成廣域的數(shù)據(jù)共享、統(tǒng)一的數(shù)據(jù)空間，從而提高應(yīng)用的規(guī)模，提高全系統(tǒng)資源利用率。例如，生物信息和精準(zhǔn)醫(yī)療類(lèi)應(yīng)用涉及的數(shù)據(jù)量巨大，存儲(chǔ)需求往往達(dá)PB級(jí)，且需要在跨廣域海量樣本中進(jìn)行匯聚處理和挖掘，而單中心局部存儲(chǔ)空間不足以滿(mǎn)足應(yīng)用需求，且受到廣域網(wǎng)帶寬和路由的限制，數(shù)據(jù)跨廣域遷移效率較低，可統(tǒng)一管理的存儲(chǔ)空間和高效的廣域數(shù)據(jù)共享將有利于此類(lèi)應(yīng)用在數(shù)據(jù)處理規(guī)模上的擴(kuò)展；高能物理類(lèi)應(yīng)用往往需要E級(jí)計(jì)算，目前單中心的計(jì)算能力尚不能有效滿(mǎn)足其需求，人為設(shè)置的數(shù)據(jù)和任務(wù)布局并不能很好地依據(jù)各中心具體的資源提供能力進(jìn)行優(yōu)化，實(shí)現(xiàn)數(shù)據(jù)與計(jì)算任務(wù)的協(xié)同布局和調(diào)度將有利于此類(lèi)應(yīng)用的高效運(yùn)行；氣象預(yù)報(bào)類(lèi)應(yīng)用涉及廣泛的數(shù)據(jù)源，其類(lèi)型多、分布廣，且時(shí)效性要求高，同樣受到廣域網(wǎng)帶寬和路由的限制，數(shù)據(jù)跨域訪(fǎng)問(wèn)性能較低，實(shí)現(xiàn)跨廣域的多源數(shù)據(jù)聚合處理也將有利于提高此類(lèi)應(yīng)用的性能和時(shí)效性。

具體來(lái)講，數(shù)據(jù)空間應(yīng)滿(mǎn)足如下4個(gè)方面大型應(yīng)用的要求。

（1）支持跨域存儲(chǔ)資源統(tǒng)一管理和訪(fǎng)問(wèn)

由于國(guó)家高性能計(jì)算環(huán)境中存儲(chǔ)資源廣域分散且隔離自治，系統(tǒng)無(wú)法對(duì)跨域存儲(chǔ)資源進(jìn)行有效的管理和統(tǒng)一訪(fǎng)問(wèn)，導(dǎo)致各數(shù)據(jù)中心數(shù)據(jù)的重復(fù)存儲(chǔ)以及多超算中心無(wú)法協(xié)同處理數(shù)據(jù)。大型應(yīng)用迫切需要將分散的存儲(chǔ)資源聚合為全局?jǐn)?shù)據(jù)空間，并提供跨域統(tǒng)一管理和訪(fǎng)問(wèn)能力。

（2）支持廣域數(shù)據(jù)共享

在高性能計(jì)算環(huán)境中廣域數(shù)據(jù)無(wú)法共享，這導(dǎo)致資源閑置、重復(fù)建設(shè)，數(shù)據(jù)空間需要提供能夠有效整合分散自治、廣域隔離的存儲(chǔ)資源，匯聚各超算中心開(kāi)放的數(shù)據(jù)，為用戶(hù)提供跨多個(gè)節(jié)點(diǎn)提取數(shù)據(jù)的能力，為應(yīng)用提供一站式的數(shù)據(jù)共享服務(wù)。

（3）支持存儲(chǔ)與計(jì)算協(xié)同調(diào)度

由于高性能計(jì)算環(huán)境中的存儲(chǔ)與計(jì)算無(wú)法高效協(xié)同，廣域范圍內(nèi)的計(jì)算任務(wù)和數(shù)據(jù)難以實(shí)現(xiàn)合理分布，需要設(shè)計(jì)并開(kāi)發(fā)虛擬數(shù)據(jù)空間與現(xiàn)有國(guó)家高性能計(jì)算環(huán)境軟件的接口，以支持虛擬數(shù)據(jù)空間與國(guó)家高性能計(jì)算環(huán)境的對(duì)接，通過(guò)技術(shù)集成形成虛擬數(shù)據(jù)空間系統(tǒng)，提供能夠透明實(shí)現(xiàn)多節(jié)點(diǎn)聚合的機(jī)制，且能根據(jù)計(jì)算特征和數(shù)據(jù)布局來(lái)控制任務(wù)與數(shù)據(jù)的節(jié)點(diǎn)選擇，從而實(shí)現(xiàn)存算協(xié)同。

（4）支持跨域多源數(shù)據(jù)聚合處理

為了提升典型數(shù)據(jù)訪(fǎng)問(wèn)模式的跨域訪(fǎng)問(wèn)能力，需要能對(duì)數(shù)據(jù)空間與應(yīng)用之間的I/O中間層進(jìn)行優(yōu)化、對(duì)跨域多源高并發(fā)數(shù)據(jù)進(jìn)行高效聚合處理的方法來(lái)有效支持大型計(jì)算應(yīng)用。因此，大型計(jì)算問(wèn)題亟須聚合廣域分散的存儲(chǔ)資源，形成跨域的高性能計(jì)算數(shù)據(jù)空間，以滿(mǎn)足大型計(jì)算問(wèn)題在規(guī)模、性能和資源利用率上的要求。

此外，從使用者角度考慮，還應(yīng)該具備如下跨域分布式存儲(chǔ)系統(tǒng)的基本功能。

● 可跨廣域環(huán)境進(jìn)行基本的存儲(chǔ)操作，且符合文件系統(tǒng)的標(biāo)準(zhǔn)可移植操作系統(tǒng)接口（protable operating system interface of UNIX, POSIX協(xié)議），如重命名、修改、增加、刪除等。

● 可訪(fǎng)問(wèn)廣域環(huán)境中的數(shù)據(jù)集及其子集，且符合文件系統(tǒng)的標(biāo)準(zhǔn)POSIX協(xié)議。

● 可在廣域環(huán)境中統(tǒng)一瀏覽文件目錄，且有權(quán)限限制。

● 可將數(shù)據(jù)共享給指定的其他或所有用戶(hù)。

● 可將單個(gè)或多個(gè)數(shù)據(jù)源數(shù)據(jù)按需存儲(chǔ)到一個(gè)或多個(gè)超算中心，且能統(tǒng)一瀏覽和訪(fǎng)問(wèn)。

● 可依據(jù)數(shù)據(jù)訪(fǎng)問(wèn)特性進(jìn)行優(yōu)化的全局資源分配與數(shù)據(jù)放置。

4 高性能計(jì)算虛擬數(shù)據(jù)空間

針對(duì)上述大型計(jì)算問(wèn)題對(duì)數(shù)據(jù)空間的要求，筆者在跨域虛擬數(shù)據(jù)空間的模型、體系結(jié)構(gòu)、資源聚合、管理和訪(fǎng)問(wèn)等方面開(kāi)展了研究，突破了廣域分散自治存儲(chǔ)資源聚合、帶寬約束下數(shù)據(jù)高效可靠遷移、計(jì)算與數(shù)據(jù)跨域協(xié)同調(diào)度、高并發(fā)數(shù)據(jù)流聚合處理等關(guān)鍵技術(shù)，形成了完整的虛擬數(shù)據(jù)空間系統(tǒng)，并已經(jīng)在國(guó)家高性能計(jì)算環(huán)境中對(duì)該系統(tǒng)進(jìn)行了初步部署和應(yīng)用驗(yàn)證。

圖1 虛擬數(shù)據(jù)空間模型

4.1 虛擬數(shù)據(jù)空間體系結(jié)構(gòu)及關(guān)鍵技術(shù)

4.1.1 虛擬數(shù)據(jù)空間模型

針對(duì)廣域分散、自治異構(gòu)的底層存儲(chǔ)資源，以及種類(lèi)繁多、需求各異的上層大型應(yīng)用，通過(guò)分析數(shù)據(jù)分布需求和應(yīng)用的數(shù)據(jù)訪(fǎng)問(wèn)特征，抽象底層存儲(chǔ)資源的分布形式，將虛擬數(shù)據(jù)空間提煉為主體、服務(wù)、空間、資源四要素，并構(gòu)建了多層級(jí)的數(shù)據(jù)空間模型，如圖1所示。

各要素的定義及形式化描述如下。

● 主體：數(shù)據(jù)空間服務(wù)的對(duì)象（如個(gè)體用戶(hù)、群組用戶(hù)、全體用戶(hù)及其應(yīng)用），主體可通過(guò)服務(wù)的形式使用虛擬數(shù)據(jù)空間的資源。

● 服務(wù)：面向主體提供的各種功能服務(wù)，如用戶(hù)管理、區(qū)域管理、空間管理、權(quán)限管理、訪(fǎng)問(wèn)控制、數(shù)據(jù)共享、數(shù)據(jù)遷移等。

● 空間：對(duì)分散自治的存儲(chǔ)資源依次進(jìn)行物理聚合、局部聚合、全局聚合形成的全局虛擬數(shù)據(jù)空間。

● 資源：廣域分散、隔離自治的存儲(chǔ)資源。

4.1.2 虛擬數(shù)據(jù)空間表示方法

基于上述虛擬數(shù)據(jù)空間模型，對(duì)虛擬數(shù)據(jù)空間進(jìn)行層次化表示，形成虛擬數(shù)據(jù)空間的層次化模型，主要包括資源層、空間層、服務(wù)層、主體層，如圖2所示。

● 資源層：包含各超算中心的存儲(chǔ)資源，存儲(chǔ)資源分布在不同的地理位置上，且通常具有異構(gòu)性。

● 空間層：通過(guò)對(duì)底層廣域分散的存儲(chǔ)資源依次采用物理存儲(chǔ)資源聚合、局部存儲(chǔ)資源聚合、全局存儲(chǔ)資源聚合，最終形成全局虛擬數(shù)據(jù)空間。

● 服務(wù)層：提供使用虛擬數(shù)據(jù)空間存儲(chǔ)資源所需的基本功能，主要包括用戶(hù)管理、區(qū)域管理、空間管理、權(quán)限管理、訪(fǎng)問(wèn)控制、數(shù)據(jù)共享、數(shù)據(jù)遷移等，并通過(guò)統(tǒng)一接口以服務(wù)形式對(duì)外提供。

● 主體層：主要包含用戶(hù)及其應(yīng)用（如數(shù)值模擬、大數(shù)據(jù)、人工智能等典型應(yīng)用），可通過(guò)接口使用虛擬數(shù)據(jù)空間提供的各種服務(wù)。

4.1.3 虛擬數(shù)據(jù)空間軟件體系結(jié)構(gòu)

基于本文提出的模型和表示方式，將虛擬數(shù)據(jù)空間體系結(jié)構(gòu)相應(yīng)地設(shè)計(jì)為資源層、空間層、服務(wù)層、主體層4個(gè)層次，如圖3所示。

● 資源層：處于最底層，主要提供用于構(gòu)建虛擬數(shù)據(jù)空間的物理存儲(chǔ)資源。該層包含廣域分布的存儲(chǔ)資源，存儲(chǔ)資源分布于不同地理位置的超算中心之中。

● 空間層：位于資源層之上，通過(guò)聚合底層廣域分散的存儲(chǔ)資源，形成全局?jǐn)?shù)據(jù)空間。該層依次采用物理存儲(chǔ)資源聚合、局部存儲(chǔ)資源聚合、全局存儲(chǔ)資源聚合等資源聚合方法，實(shí)現(xiàn)廣域存儲(chǔ)資源的逐層聚合；同時(shí)，采用全局名字空間節(jié)點(diǎn)高可用方法實(shí)現(xiàn)全局元數(shù)據(jù)關(guān)鍵組件的高可用。

● 服務(wù)層：提供虛擬數(shù)據(jù)空間基本服務(wù)，如數(shù)據(jù)區(qū)域劃分和管理提供按需區(qū)域劃分服務(wù)；區(qū)域空間分配和管理提供區(qū)域映射和空間分配服務(wù)；區(qū)域隔離和權(quán)限管控提供區(qū)域隔離和數(shù)據(jù)安全保障；數(shù)據(jù)訪(fǎng)問(wèn)優(yōu)化通過(guò)元數(shù)據(jù)訪(fǎng)問(wèn)優(yōu)化和遠(yuǎn)程數(shù)據(jù)緩存提升元數(shù)據(jù)和數(shù)據(jù)的訪(fǎng)問(wèn)性能；數(shù)據(jù)訪(fǎng)問(wèn)帶寬聚合服務(wù)用來(lái)優(yōu)化頻繁訪(fǎng)問(wèn)數(shù)據(jù)的廣域布局，以提高帶寬利用率；數(shù)據(jù)遷移共享通過(guò)優(yōu)化應(yīng)用I/O與遷移速率、多源與多數(shù)據(jù)遷移性能提高數(shù)據(jù)遷移與共享效能；安全可靠傳輸機(jī)制提供構(gòu)造可靠遷移協(xié)議和高效安全遷移服務(wù)；存算協(xié)同調(diào)度提供數(shù)據(jù)傳輸、放置及任務(wù)布局協(xié)同的全局作業(yè)調(diào)度服務(wù)；訪(fǎng)問(wèn)接口服務(wù)為不同應(yīng)用對(duì)虛擬數(shù)據(jù)空間的統(tǒng)一訪(fǎng)問(wèn)提供命令行和文件視圖兩種接口使用方式，并提供數(shù)據(jù)聚合處理框架和并行I/O庫(kù)，以?xún)?yōu)化大型應(yīng)用常用的高級(jí)I/O接口，并支持復(fù)雜數(shù)據(jù)處理模式，提升數(shù)據(jù)訪(fǎng)問(wèn)性能。

● 主體層：主要包含各類(lèi)用戶(hù)及其應(yīng)用，如天氣預(yù)報(bào)模式、生物信息學(xué)、目標(biāo)協(xié)同識(shí)別等典型應(yīng)用，應(yīng)用可通過(guò)調(diào)用服務(wù)層提供的服務(wù)功能，在全局虛擬數(shù)據(jù)空間中使用資源層中的廣域分布存儲(chǔ)資源。

圖2 虛擬數(shù)據(jù)空間的層次化表示

圖3 虛擬數(shù)據(jù)空間體系結(jié)構(gòu)

4.1.4 虛擬數(shù)據(jù)空間系統(tǒng)關(guān)鍵技術(shù)

在本文建立的虛擬數(shù)據(jù)空間理論和模型的指導(dǎo)下，重點(diǎn)從跨域虛擬數(shù)據(jù)空間模型及構(gòu)建方法、虛擬數(shù)據(jù)空間中數(shù)據(jù)的共享與遷移方法、國(guó)家高性能計(jì)算環(huán)境中的虛擬數(shù)據(jù)空間運(yùn)行支撐技術(shù)、面向典型應(yīng)用的虛擬數(shù)據(jù)空間驗(yàn)證與優(yōu)化技術(shù)4個(gè)層面開(kāi)展研發(fā)工作，研發(fā)了一套面向高性能計(jì)算環(huán)境的廣域數(shù)據(jù)存儲(chǔ)與共享的技術(shù)體系和功能體系，具體涉及的關(guān)鍵技術(shù)如圖4所示。

（1）跨域虛擬數(shù)據(jù)空間構(gòu)建方法

針對(duì)廣域分散存儲(chǔ)資源的統(tǒng)一管理和高效訪(fǎng)問(wèn)需求，筆者依據(jù)虛擬數(shù)據(jù)空間理論模型，將廣域分散自治的存儲(chǔ)資源抽象為層次化模型，從本地、局域、廣域3個(gè)層級(jí)進(jìn)行聚合，構(gòu)建與本地?cái)?shù)據(jù)空間一致且能可靠地統(tǒng)一訪(fǎng)問(wèn)與管理的跨域虛擬數(shù)據(jù)空間，并定制化個(gè)人、群組、全局多級(jí)數(shù)據(jù)分區(qū)安全可靠共享，優(yōu)化跨域元數(shù)據(jù)與數(shù)據(jù)服務(wù)能力，以解決跨域分散存儲(chǔ)資源的統(tǒng)一管理和高效訪(fǎng)問(wèn)問(wèn)題，有效發(fā)揮資源聚合效應(yīng)。相比國(guó)外同類(lèi)典型系統(tǒng)的相關(guān)技術(shù)，本文的跨域虛擬數(shù)據(jù)空間構(gòu)建方法比OneData增加了管理數(shù)據(jù)的高可用能力，比Gfarm增加了管理數(shù)據(jù)高可用和數(shù)據(jù)區(qū)域劃分能力，比CalvinFS增加了數(shù)據(jù)區(qū)域劃分、跨域數(shù)據(jù)共享和賬號(hào)安全管理能力。在性能測(cè)試中，基于本文方法構(gòu)建的跨域資源聚合層軟件模塊在聚合訪(fǎng)問(wèn)本地單設(shè)備存儲(chǔ)資源、本地單超算中心局部存儲(chǔ)資源和跨廣域全局存儲(chǔ)資源方面，分別可達(dá)到直接訪(fǎng)問(wèn)存儲(chǔ)資源時(shí)性能的96%、86.73%和84.3%；客戶(hù)端元數(shù)據(jù)時(shí)延比基于最近最少使用（least recently used，LRU）的替換策略、基于目錄（directory-directed prefetching，DDP）的預(yù)取策略、基于概率圖（variant probability graph，VPG）的預(yù)取策略、基于Apriori關(guān)聯(lián)規(guī)則算法的預(yù)取策略和基于語(yǔ)義距離算法的預(yù)取策略分別減少27.8%、32.5%、19.37%、24.96%、22.17%的平均訪(fǎng)問(wèn)時(shí)間[23]；維護(hù)數(shù)據(jù)一致性的開(kāi)銷(xiāo)比Raft-log減少42 ms；每秒查詢(xún)數(shù)（quer ies-per-second，QPS）比Raft-log提升36倍，也優(yōu)于MaterSlave和Tintri等系統(tǒng)，并且通過(guò)數(shù)據(jù)副本的優(yōu)化布局，本地副本命中率達(dá)到68%，遠(yuǎn)程副本訪(fǎng)問(wèn)率下降至32%[24]。

圖4 高 性能計(jì)算虛擬數(shù)據(jù)空間關(guān)鍵技術(shù)

（2）廣域環(huán)境中的數(shù)據(jù)高效遷移方法

針對(duì)大規(guī)模高性能計(jì)算數(shù)據(jù)跨域遷移中的帶寬受限問(wèn)題，筆者研發(fā)了可突破廣域帶寬受限的數(shù)據(jù)高效遷移方法，將網(wǎng)絡(luò)擁塞控制過(guò)程抽象為可部分觀(guān)察的馬爾可夫決策過(guò)程，以動(dòng)態(tài)凸包和迭代加權(quán)混洗方法來(lái)決策多遷移任務(wù)的調(diào)度和傳輸帶寬分配，以多TCP流、流水線(xiàn)、并發(fā)傳輸?shù)刃问竭w移數(shù)據(jù)，滿(mǎn)足了廣域帶寬受限下的數(shù)據(jù)高效遷移需求，可有效跨域遷移數(shù)據(jù)。相比國(guó)外同類(lèi)典型系統(tǒng)的相關(guān)技術(shù)，本文的廣域環(huán)境中的數(shù)據(jù)高效遷移方法基于廣域非專(zhuān)用網(wǎng)絡(luò)，比Gfarm和CalvinFS增加了數(shù)據(jù)可靠安全遷移能力，比GPFS增加了數(shù)據(jù)區(qū)域劃分和多副本能力；相比于盤(pán)古系統(tǒng)，本文方法的跨廣域數(shù)據(jù)遷移性能提升2.96倍。實(shí)驗(yàn)表明，文件越大，本文方法的傳輸性能越好，小文件的傳輸性能也不低于網(wǎng)絡(luò)傳輸性能的35%，且網(wǎng)絡(luò)吞吐量可提高兩倍以上。

（3）廣域環(huán)境中的存算協(xié)同調(diào)度方法

針對(duì)廣域環(huán)境中計(jì)算任務(wù)與存儲(chǔ)資源的協(xié)同調(diào)度需求，筆者研發(fā)了廣域環(huán)境中計(jì)算任務(wù)與存儲(chǔ)資源的聯(lián)動(dòng)調(diào)度方法，將各中心資源聚合為虛擬隊(duì)列，按計(jì)算任務(wù)和數(shù)據(jù)分布情況、集群隊(duì)列排隊(duì)情況進(jìn)行歸一化，并根據(jù)時(shí)間成本來(lái)決策計(jì)算作業(yè)與存儲(chǔ)資源的協(xié)同調(diào)度，以有效發(fā)揮計(jì)算與存儲(chǔ)資源的聯(lián)動(dòng)效應(yīng)。實(shí)驗(yàn)結(jié)果表明，本文的廣域環(huán)境中的存算協(xié)同調(diào)度方法可有效地提升資源使用率和計(jì)算作業(yè)的調(diào)度性能[25]。相比國(guó)外同類(lèi)典型系統(tǒng)，本文方法創(chuàng)造性地提供了高性能計(jì)算環(huán)境中存儲(chǔ)和計(jì)算資源的協(xié)同調(diào)度及布局能力。

（4）跨域高并發(fā)數(shù)據(jù)聚合處理技術(shù)

針對(duì)虛擬數(shù)據(jù)空間中的資源異構(gòu)、數(shù)據(jù)流高并發(fā)且多源等特征，筆者研發(fā)了面向跨域高并發(fā)數(shù)據(jù)流模式的數(shù)據(jù)聚合處理技術(shù)，以代理方式跨域訪(fǎng)問(wèn)元數(shù)據(jù)，以高并發(fā)異步亂序數(shù)據(jù)流的細(xì)粒度任務(wù)調(diào)度形式匯聚跨域多源高并發(fā)數(shù)據(jù)流，優(yōu)化面向跨域環(huán)境的I/O接口，滿(mǎn)足了跨域作業(yè)的高效執(zhí)行需求，可有效發(fā)揮虛擬數(shù)據(jù)空間對(duì)大型應(yīng)用跨域運(yùn)行的支撐能力。相比國(guó)外同類(lèi)典型系統(tǒng)，上層應(yīng)用可基于本文提供的多副本和廣域環(huán)境中的存算協(xié)同調(diào)度能力，跨域高并發(fā)訪(fǎng)問(wèn)多源數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)聚合處理。相較于相關(guān)技術(shù)，上層應(yīng)用的遠(yuǎn)程數(shù)據(jù)請(qǐng)求率可減少38%～71%，命中率比自適應(yīng)替換緩存（adjustable replacement cache，ARC）和預(yù)取方法提升20.7%和28.8%，文件創(chuàng)建的吞吐率提升17%～93%，執(zhí)行時(shí)間減少37%。

4.2 虛擬數(shù)據(jù)空間系統(tǒng)

4.2.1 虛擬數(shù)據(jù)空間系統(tǒng)架構(gòu)

在關(guān)鍵技術(shù)研究的基礎(chǔ)上，筆者研發(fā)了面向高性能計(jì)算的虛擬數(shù)據(jù)空間系統(tǒng)GVDS，技術(shù)上覆蓋了虛擬數(shù)據(jù)空間模型和體系結(jié)構(gòu)、分散資源聚合方法、端到端數(shù)據(jù)傳輸方法、存儲(chǔ)與計(jì)算協(xié)同調(diào)度方法、跨節(jié)點(diǎn)數(shù)據(jù)聚合的I/O接口優(yōu)化等20多項(xiàng)關(guān)鍵技術(shù)，功能上覆蓋了全局?jǐn)?shù)據(jù)空間、跨域數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)區(qū)域劃分、多副本等10多項(xiàng)重要功能。系統(tǒng)的總體架構(gòu)如圖5所示。

筆者設(shè)計(jì)了高性能計(jì)算虛擬數(shù)據(jù)空間系統(tǒng)的操作界面，包括Web和命令行，如圖6所示。

Web界面展示了運(yùn)算時(shí)間、輸入輸出帶寬、容量信息、服務(wù)器、節(jié)點(diǎn)數(shù)量、用戶(hù)數(shù)量、總體容量等信息，以及部署的節(jié)點(diǎn)分布情況。命令行界面包括41條命令，如賬戶(hù)注冊(cè)命令、區(qū)域注冊(cè)命令、空間映射增加命令、管理員審批命令、用戶(hù)區(qū)域查詢(xún)命令等，命令的接口見(jiàn)表1。

圖5 虛擬 數(shù)據(jù)空間系統(tǒng)的總體架構(gòu)

相較國(guó)際同類(lèi)領(lǐng)先系統(tǒng)，GVDS具備更完整的技術(shù)體系和功能。在技術(shù)體系上，該系統(tǒng)覆蓋了數(shù)據(jù)空間模型、跨域空間構(gòu)建、廣域數(shù)據(jù)共享等20項(xiàng)關(guān)鍵技術(shù)，形成了完整的技術(shù)體系；在核心功能上，該系統(tǒng)與對(duì)標(biāo)系統(tǒng)相比，有所超越，涵蓋了全局名字空間、跨域數(shù)據(jù)共享、多數(shù)據(jù)副本等10項(xiàng)重要功能，形成了完整的功能體系，見(jiàn)表2。

表1 命令接口

表2 GVDS 與國(guó)際同類(lèi)系統(tǒng)的功能對(duì)比

所實(shí)現(xiàn)的虛擬數(shù)據(jù)空間符合文件系統(tǒng)的POSIX標(biāo)準(zhǔn)，可通過(guò)mount命令直接掛載，并支持多種異構(gòu)文件系統(tǒng)，目前測(cè)試通過(guò)的文件系統(tǒng)包括Lustre、Ceph、GPFS、Gluster、MooseFS、ParaStore等符合POSIX標(biāo)準(zhǔn)的文件系統(tǒng)。目前，GVDS已在國(guó)家高性能計(jì)算環(huán)境的6個(gè)廣域節(jié)點(diǎn)上部署，可管理PB級(jí)的跨域存儲(chǔ)資源，并在典型計(jì)算應(yīng)用上進(jìn)行了示范應(yīng)用。初步測(cè)試表明，在關(guān)鍵性能上，與對(duì)標(biāo)系統(tǒng)相比，該系統(tǒng)具有較大優(yōu)勢(shì)，跨域?qū)憯?shù)據(jù)和讀數(shù)據(jù)性能分別是對(duì)標(biāo)系統(tǒng)的1.3倍和1.6倍。

4.2.2 國(guó)家高性能計(jì)算環(huán)境部署

目前，筆者研發(fā)的系統(tǒng)已和國(guó)家高性能計(jì)算環(huán)境初步對(duì)接，虛擬數(shù)據(jù)空間與計(jì)算環(huán)境的訪(fǎng)問(wèn)接口采用REST風(fēng)格的API，提供基于HTTP的國(guó)家高性能計(jì)算環(huán)境訪(fǎng)問(wèn)接口，包括集群節(jié)點(diǎn)、環(huán)境應(yīng)用、環(huán)境隊(duì)列等接口，為計(jì)算服務(wù)平臺(tái)中的各類(lèi)服務(wù)提供虛擬數(shù)據(jù)空間數(shù)據(jù)的查詢(xún)、訪(fǎng)問(wèn)和傳輸。部署環(huán)境包括3個(gè)國(guó)家超級(jí)計(jì)算中心（國(guó)家超級(jí)計(jì)算廣州中心、國(guó)家超級(jí)計(jì)算濟(jì)南中心、國(guó)家超級(jí)計(jì)算長(zhǎng)沙中心）、兩個(gè)國(guó)家網(wǎng)格主節(jié)點(diǎn)（中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心（中國(guó)國(guó)家網(wǎng)格北方主節(jié)點(diǎn)）、上海超級(jí)計(jì)算中心（中國(guó)國(guó)家網(wǎng)格南方主節(jié)點(diǎn)））。另外，也在北京航空航天大學(xué)完成部署，形成了跨廣域6個(gè)節(jié)點(diǎn)測(cè)試驗(yàn)證環(huán)境。部署情況如圖7所示。

所有節(jié)點(diǎn)各部署一個(gè)管理節(jié)點(diǎn)，2～3個(gè)I/O代理節(jié)點(diǎn)，以及一套Lustre文件系統(tǒng)。目前，所部署的驗(yàn)證環(huán)境已經(jīng)匯聚1.57 PB存儲(chǔ)空間，匯聚的各中心資源見(jiàn)表3。

圖7 系統(tǒng)部署情況

表3 目前部署環(huán)境已聚合的存儲(chǔ)資源

目前，所研發(fā)的Web界面也被集成到中國(guó)國(guó)家網(wǎng)格門(mén)戶(hù)網(wǎng)站“聚合資源運(yùn)行支撐環(huán)境”AROSE平臺(tái)中，可以通過(guò)AROSE平臺(tái)進(jìn)入虛擬數(shù)據(jù)空間系統(tǒng)的Web界面。AROSE平臺(tái)集成如圖8所示。

4.3 典型應(yīng)用驗(yàn)證

為了驗(yàn)證虛擬數(shù)據(jù)空間對(duì)應(yīng)用的支撐效果，筆者在實(shí)驗(yàn)床上開(kāi)展了典型場(chǎng)景和應(yīng)用的測(cè)試驗(yàn)證工作。典型場(chǎng)景包括數(shù)據(jù)區(qū)域的定制化共享、遠(yuǎn)程大數(shù)據(jù)集的按需隨機(jī)訪(fǎng)問(wèn)、廣域分布數(shù)據(jù)的多中心協(xié)同處理、工作流作業(yè)的透明數(shù)據(jù)處理4 類(lèi)，典型應(yīng)用包括生物信息學(xué)應(yīng)用、跨域目標(biāo)協(xié)同識(shí)別、天氣預(yù)報(bào)模式等。驗(yàn)證方案如圖9所示，主要驗(yàn)證全局統(tǒng)一視圖、存儲(chǔ)計(jì)算協(xié)同、廣域數(shù)據(jù)共享等重要的特色功能。

截至目前，已經(jīng)驗(yàn)證了生物信息學(xué)方面的分子對(duì)接應(yīng)用、全基因組關(guān)聯(lián)分析應(yīng)用，以及天氣預(yù)報(bào)模式應(yīng)用，跨域目標(biāo)協(xié)同識(shí)別應(yīng)用還在部署中。具體應(yīng)用情況如下。

（1）分子對(duì)接應(yīng)用

分子對(duì)接應(yīng)用一般基于高通量計(jì)算框架來(lái)搜尋與受體大分子具備最佳結(jié)合模式的配體小分子，配體小分子則來(lái)自多個(gè)數(shù)據(jù)中心的用戶(hù)共享數(shù)據(jù)集。針對(duì)此場(chǎng)景，在筆者研發(fā)的虛擬數(shù)據(jù)空間系統(tǒng)中，分子對(duì)接應(yīng)用可透明地實(shí)現(xiàn)多中心數(shù)據(jù)聚合能力，將所有分子數(shù)據(jù)從邏輯上聚合起來(lái)，給用戶(hù)提供統(tǒng)一的數(shù)據(jù)視圖，直接以文件系統(tǒng)的形式訪(fǎng)問(wèn)不同中心的數(shù)據(jù)，同時(shí)也可以利用存算聯(lián)動(dòng)機(jī)制將計(jì)算任務(wù)合理分發(fā)到對(duì)應(yīng)數(shù)據(jù)所在的超算中心，以減少數(shù)據(jù)遷移，實(shí)現(xiàn)計(jì)算結(jié)果的自動(dòng)規(guī)約。具體驗(yàn)證情況如

圖10所示。

該應(yīng)用在驗(yàn)證環(huán)境中的4個(gè)節(jié)點(diǎn)上部署，驗(yàn)證結(jié)果表明，吞吐率達(dá)到了單個(gè)節(jié)點(diǎn)的3.07倍，有效提升了分子對(duì)接應(yīng)用的執(zhí)行效率。

圖8 AROSE 平臺(tái)集成

（2）全基因組關(guān)聯(lián)分析應(yīng)用

圖9 驗(yàn)證方案

圖10 分子對(duì)接應(yīng)用驗(yàn)證

全基因組關(guān)聯(lián)分析需要處理大規(guī)模數(shù)據(jù)，計(jì)算過(guò)程中會(huì)使用多個(gè)計(jì)算工具，產(chǎn)生大量階段性計(jì)算的中間文件。單個(gè)分析數(shù)據(jù)文件達(dá)數(shù)百兆，且與基因測(cè)序深度和測(cè)序人數(shù)相關(guān)，深度越大，人數(shù)越多，數(shù)據(jù)量越大，一般在幾百TB到PB級(jí)。實(shí)驗(yàn)所用基因數(shù)據(jù)測(cè)序深度為0.1×?xí)r，實(shí)驗(yàn)中用到的平均單個(gè)基因文件約為260 MB，測(cè)序100萬(wàn)人的基因組就需要處理100萬(wàn)個(gè)基因文件，數(shù)據(jù)量達(dá)幾百TB。若將測(cè)序深度提高到1×，則數(shù)據(jù)量可達(dá)PB級(jí)。此外，分析過(guò)程中用到的多個(gè)計(jì)算工具之間也不可避免地會(huì)產(chǎn)生中間文件，用于計(jì)算工具銜接和避免程序崩潰，從而在程序崩潰時(shí)不必重啟全部計(jì)算。這就使得在原有數(shù)據(jù)規(guī)模的基礎(chǔ)上，文件量又成倍地增加。如此大量的文件訪(fǎng)問(wèn)使得元數(shù)據(jù)服務(wù)器極易擁堵，因?yàn)樵诜植际轿募到y(tǒng)中，相比對(duì)象存儲(chǔ)服務(wù)器，元數(shù)據(jù)服務(wù)器更容易成為瓶頸。針對(duì)此場(chǎng)景，筆者在部署環(huán)境上進(jìn)行了相關(guān)實(shí)驗(yàn)，具體如圖11所示。

測(cè)試中，虛擬數(shù)據(jù)空間為超算中心的生物數(shù)據(jù)庫(kù)建設(shè)提供了支撐，一方面匯聚了各超算中心用戶(hù)提供的開(kāi)放數(shù)據(jù)，可供更多科研工作者共享；另一方面為應(yīng)用提供了跨多個(gè)超算中心提取數(shù)據(jù)的能力，并針對(duì)一些特定的數(shù)據(jù)查詢(xún)、匹配操作，采用存算協(xié)同機(jī)制，將計(jì)算任務(wù)分發(fā)到多個(gè)超算中心，以提高并發(fā)性。

（3）天氣預(yù)報(bào)模式應(yīng)用

天氣研究與預(yù)報(bào)（weather research and forecasting，WRF）模型是典型的中尺度天氣預(yù)報(bào)模式和同化系統(tǒng)，屬于計(jì)算密集型應(yīng)用，數(shù)據(jù)量小，但計(jì)算量大，需持續(xù)將數(shù)據(jù)輸入計(jì)算中心，而將各氣象站數(shù)據(jù)以文件傳輸方式匯聚到計(jì)算中心是一項(xiàng)繁雜的工作。此外，為了更精確地預(yù)測(cè)氣候變化，模式的精度和分辨率需求也在不斷提高，這使得模式的計(jì)算量大幅增加。

驗(yàn)證中采用基于嵌套降尺度的WRF應(yīng)用，在需要計(jì)算的區(qū)域嵌套多層、多塊不同分辨率的網(wǎng)格，細(xì)網(wǎng)格通過(guò)相鄰粗網(wǎng)格根據(jù)細(xì)化率進(jìn)行局部加密得到，從而將中心A和中心B的計(jì)算時(shí)間重疊，縮短整體計(jì)算時(shí)間，以更好地利用各中心的閑置資源，協(xié)同完成大尺度、高分辨率的天氣預(yù)報(bào)，具體如圖12所示。

虛擬數(shù)據(jù)空間的全局虛擬視圖可將多采集點(diǎn)數(shù)據(jù)邏輯匯聚到虛擬數(shù)據(jù)空間，各時(shí)序任務(wù)從虛擬數(shù)據(jù)空間獲取數(shù)據(jù)。在交互時(shí)，從虛擬數(shù)據(jù)空間查看所需數(shù)據(jù)的生成及完整性，傳統(tǒng)模式則通過(guò)ssh遠(yuǎn)程查詢(xún)。通過(guò)虛擬數(shù)據(jù)空間訪(fǎng)問(wèn)遠(yuǎn)程數(shù)據(jù)，數(shù)據(jù)的遷移和讀取可由系統(tǒng)自動(dòng)完成，基于系統(tǒng)提供的存算調(diào)度能力，也可以自適應(yīng)地選擇數(shù)據(jù)向任務(wù)遷移，或者任務(wù)向數(shù)據(jù)遷移，以提高資源利用率，避免跨廣域的通信開(kāi)銷(xiāo)。

圖11 全基因組關(guān)聯(lián)分析

4.4 系統(tǒng)性能綜合測(cè)試

為了驗(yàn)證虛擬數(shù)據(jù)空間系統(tǒng)的可靠性，筆者還開(kāi)展了性能綜合測(cè)試，測(cè)試模式如圖13所示。以國(guó)家超級(jí)計(jì)算濟(jì)南中心為中心，從國(guó)家超級(jí)計(jì)算長(zhǎng)沙中心、國(guó)家超級(jí)計(jì)算廣州中心、上海超級(jí)計(jì)算中心和中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心以總負(fù)載壓力超過(guò)1 GB/s的多類(lèi)型負(fù)載壓力對(duì)國(guó)家超級(jí)計(jì)算濟(jì)南中心進(jìn)行了為期25天的不間斷訪(fǎng)問(wèn)。

測(cè)試采用FIO、DD等壓力測(cè)試工具，從廣域網(wǎng)中不同超算中心的多個(gè)客戶(hù)端產(chǎn)生混合負(fù)載，不間斷訪(fǎng)問(wèn)遠(yuǎn)程中心，測(cè)試結(jié)果如圖14所示。

圖12 天氣預(yù)報(bào)模式應(yīng)用

測(cè)試中，中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心到國(guó)家超級(jí)計(jì)算濟(jì)南中心的吞吐量穩(wěn)定在105 MB/s左右，上海超級(jí)計(jì)算中心到中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心為50 MB/s左右，國(guó)家超級(jí)計(jì)算長(zhǎng)沙中心到上海超級(jí)計(jì)算中心為35 MB/s左右，這是因?yàn)楣?jié)點(diǎn)對(duì)間的物理帶寬不一樣。測(cè)得的節(jié)點(diǎn)對(duì)間廣域網(wǎng)帶寬如圖15所示。

圖13 測(cè)試模式

圖14 穩(wěn)定性測(cè)試

圖15 節(jié)點(diǎn)對(duì)間的廣域網(wǎng)帶寬

由于筆者研發(fā)的系統(tǒng)也提供了自適應(yīng)數(shù)據(jù)緩存、按需遠(yuǎn)程訪(fǎng)問(wèn)、數(shù)據(jù)塊級(jí)訪(fǎng)問(wèn)等能力，而且也對(duì)廣域網(wǎng)通信做了大量并發(fā)通信方面的優(yōu)化，測(cè)試結(jié)果基本上能保持在物理帶寬附近。這一方面表明在高負(fù)載壓力和長(zhǎng)時(shí)間運(yùn)行過(guò)程中，系統(tǒng)仍然能夠較好地保證可靠性和吞吐量的穩(wěn)定性；另一方面也表明系統(tǒng)在數(shù)據(jù)訪(fǎng)問(wèn)和廣域網(wǎng)帶寬優(yōu)化等方面的關(guān)鍵技術(shù)行之有效。

5 討論

本文設(shè)計(jì)的虛擬數(shù)據(jù)空間系統(tǒng)架構(gòu)在國(guó)家高性能計(jì)算環(huán)境中，可統(tǒng)一管理和利用國(guó)家高性能計(jì)算環(huán)境計(jì)算和存儲(chǔ)資源。目前，虛擬數(shù)據(jù)空間已部署并匯聚了國(guó)家高性能計(jì)算環(huán)境5個(gè)超算中心的存儲(chǔ)資源，通過(guò)統(tǒng)一名字空間進(jìn)行統(tǒng)一管理。此外，也可在計(jì)算時(shí)通過(guò)存算聯(lián)動(dòng)策略選擇最佳的用戶(hù)計(jì)算策略，并通過(guò)虛擬數(shù)據(jù)空間對(duì)用戶(hù)的計(jì)算作業(yè)和數(shù)據(jù)進(jìn)行調(diào)度，從而實(shí)現(xiàn)對(duì)國(guó)家高性能計(jì)算環(huán)境的資源匯聚及提升。

基于本文研究成果，預(yù)期可有效提高跨中心協(xié)同工作的效率，并推動(dòng)國(guó)家高性能計(jì)算環(huán)境中大型應(yīng)用跨域計(jì)算模式的發(fā)展，同時(shí)提高全系統(tǒng)的資源利用率。無(wú)虛擬數(shù)據(jù)空間下的數(shù)據(jù)訪(fǎng)問(wèn)方式（即當(dāng)前的跨域文件訪(fǎng)問(wèn)方式）如圖16所示。

圖16 當(dāng)前的跨域文件訪(fǎng)問(wèn)方式

目前對(duì)于跨廣域環(huán)境的基本文件操作，一般通過(guò)FTP、U盤(pán)郵寄、網(wǎng)絡(luò)文件系統(tǒng)、ssh訪(fǎng)問(wèn)等方式實(shí)現(xiàn)，導(dǎo)致數(shù)據(jù)傳輸量大、時(shí)延大，且需要用戶(hù)手動(dòng)通過(guò)多個(gè)賬號(hào)與各個(gè)超算中心進(jìn)行連接和登錄。基于本文的虛擬數(shù)據(jù)空間，則可以通過(guò)一站式登錄遠(yuǎn)程訪(fǎng)問(wèn)并執(zhí)行與本地訪(fǎng)問(wèn)一致的操作，同時(shí)也可實(shí)現(xiàn)存儲(chǔ)和計(jì)算的協(xié)同調(diào)度及數(shù)據(jù)和作業(yè)合理全局放置，如圖17所示。

例如，在刑偵、安防等大型應(yīng)用中，搜尋和追蹤一個(gè)目標(biāo)時(shí)往往涉及跨地域的多計(jì)算中心和多數(shù)據(jù)源，利用虛擬數(shù)據(jù)空間實(shí)現(xiàn)的多中心數(shù)據(jù)聚合能力，可以給用戶(hù)提供統(tǒng)一的數(shù)據(jù)視圖，并通過(guò)存儲(chǔ)計(jì)算協(xié)同機(jī)制將計(jì)算任務(wù)合理分發(fā)到對(duì)應(yīng)數(shù)據(jù)所在的中心，以減少數(shù)據(jù)遷移，實(shí)現(xiàn)計(jì)算結(jié)果的自動(dòng)規(guī)約。

圖17 基于虛擬數(shù)據(jù)空間的應(yīng)用訪(fǎng)問(wèn)與計(jì)算模式

6 結(jié)束語(yǔ)

本文針對(duì)國(guó)家高性能計(jì)算環(huán)境中聚合廣域分散存儲(chǔ)資源的技術(shù)短板及大型計(jì)算應(yīng)用對(duì)跨域全局虛擬數(shù)據(jù)空間的現(xiàn)實(shí)需求，建立了一套可用于構(gòu)建廣域全局虛擬數(shù)據(jù)空間的完整技術(shù)體系，研發(fā)了一個(gè)可運(yùn)行于國(guó)家高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間系統(tǒng)。該成果從核心技術(shù)層面解決了長(zhǎng)期困擾我國(guó)高性能計(jì)算環(huán)境發(fā)展的廣域存儲(chǔ)管理訪(fǎng)問(wèn)瓶頸問(wèn)題，填補(bǔ)了我國(guó)在廣域分散存儲(chǔ)資源統(tǒng)一管理和跨域訪(fǎng)問(wèn)方面的技術(shù)空白，為在國(guó)家高性能計(jì)算環(huán)境中建立跨域虛擬數(shù)據(jù)空間提供了技術(shù)手段和應(yīng)用經(jīng)驗(yàn)。對(duì)于推動(dòng)完善我國(guó)自主高性能計(jì)算環(huán)境軟件技術(shù)體系，支撐建設(shè)資源共享、統(tǒng)一管理、高效協(xié)同的國(guó)家高性能計(jì)算環(huán)境，促進(jìn)我國(guó)高性能計(jì)算環(huán)境自主可控和可持續(xù)發(fā)展具有重要意義。

筆者的下一步工作是進(jìn)一步提升國(guó)家高性能計(jì)算環(huán)境的部署規(guī)模和系統(tǒng)的功能擴(kuò)展，并開(kāi)展用戶(hù)推廣和宣傳工作，推動(dòng)研究成果與現(xiàn)有國(guó)家高性能計(jì)算環(huán)境的深度融合，高效聚合廣域分散資源，充分發(fā)揮資源聚合效應(yīng)，有效支撐大型計(jì)算應(yīng)用，促進(jìn)我國(guó)高性能計(jì)算環(huán)境及應(yīng)用的可持續(xù)發(fā)展。

致謝

感謝國(guó)家重點(diǎn)研發(fā)計(jì)劃“高性能計(jì)算虛擬數(shù)據(jù)空間”項(xiàng)目團(tuán)隊(duì)的各位老師和同學(xué)，以及為項(xiàng)目研發(fā)提供指導(dǎo)的各位項(xiàng)目專(zhuān)家。