何小雨，鄧筍根，欒海晶，牛北方

1. 中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100190；2. 中國科學(xué)院大學(xué)，北京 100190

1 引言

國家高性能計(jì)算環(huán)境（nation high performance computing environment，NHPCE）廣域分散、系統(tǒng)異構(gòu)的特點(diǎn)顯著增加了虛擬數(shù)據(jù)空間存儲(chǔ)設(shè)備的管理難度[1]。針對(duì)該問題，國家高性能計(jì)算環(huán)境中虛擬數(shù)據(jù)空間運(yùn)行支撐技術(shù)課題組擬研究國家高性能環(huán)境節(jié)點(diǎn)部署技術(shù)。通過對(duì)高性能計(jì)算環(huán)境典型文件系統(tǒng)的分析，采用針對(duì)性掛載方式，在不修改本地系統(tǒng)的情況下，實(shí)現(xiàn)虛擬數(shù)據(jù)空間中跨域存儲(chǔ)資源的高效接入，從而有效地降低虛實(shí)空間界面間的開銷。

虛擬數(shù)據(jù)空間系統(tǒng)的目標(biāo)是集成兩個(gè)國家網(wǎng)格主節(jié)點(diǎn)（中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心、上海超級(jí)計(jì)算中心）和3個(gè)國家超級(jí)計(jì)算中心（廣州、濟(jì)南、長沙）的數(shù)據(jù)存儲(chǔ)資源，每個(gè)中心需提供不少于300 TB的共享存儲(chǔ)空間。虛擬數(shù)據(jù)空間系統(tǒng)部署成功后，用戶提供可在統(tǒng)一的虛擬數(shù)據(jù)視圖上運(yùn)行上層的應(yīng)用。用戶負(fù)責(zé)選擇具體應(yīng)用，發(fā)送應(yīng)用數(shù)據(jù)到統(tǒng)一數(shù)據(jù)空間，然后提交應(yīng)用任務(wù)。在虛擬數(shù)據(jù)空間軟件部署運(yùn)行和應(yīng)用驗(yàn)證優(yōu)化方面，項(xiàng)目團(tuán)隊(duì)涵蓋上述3 個(gè)國家級(jí)超級(jí)計(jì)算中心以及兩個(gè)國家網(wǎng)格主節(jié)點(diǎn)，擁有“天河”“神威”“元”等超級(jí)計(jì)算機(jī)系統(tǒng)，總計(jì)算能力超過100 PFlops，在線存儲(chǔ)量近30 PB，活躍用戶超過6 000個(gè)，支撐數(shù)值模擬、大數(shù)據(jù)處理、人工智能等眾多大型計(jì)算應(yīng)用，為項(xiàng)目開展虛擬數(shù)據(jù)空間的軟件部署運(yùn)行和應(yīng)用驗(yàn)證優(yōu)化工作提供了資源和應(yīng)用基礎(chǔ)。

國家高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間運(yùn)行支撐技術(shù)研究包括：虛擬數(shù)據(jù)空間與國家高性能計(jì)算環(huán)境接口技術(shù)、計(jì)算與存儲(chǔ)協(xié)同調(diào)度技術(shù)、虛擬數(shù)據(jù)空間軟件部署及驗(yàn)證方法等。研究虛擬數(shù)據(jù)空間與國家高性能計(jì)算環(huán)境接口技術(shù)，實(shí)現(xiàn)虛擬數(shù)據(jù)空間與國家高性能計(jì)算環(huán)境的對(duì)接；突破計(jì)算與存儲(chǔ)協(xié)同調(diào)度技術(shù)，實(shí)現(xiàn)數(shù)據(jù)與計(jì)算任務(wù)的全局優(yōu)化調(diào)度；研究虛擬數(shù)據(jù)空間軟件部署及驗(yàn)證方法，提高軟件部署效率，從而實(shí)現(xiàn)虛擬數(shù)據(jù)空間構(gòu)建、數(shù)據(jù)共享遷移等技術(shù)的集成，構(gòu)建一個(gè)可運(yùn)行于國家高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間系統(tǒng)，并可被外部應(yīng)用訪問。

2 國內(nèi)外現(xiàn)狀

國家高性能計(jì)算環(huán)境又稱中國國家網(wǎng)格[2-6]，其發(fā)展建設(shè)最早可追溯至20世紀(jì)90年代末。21世紀(jì)初，國家863計(jì)劃出資建設(shè)了5個(gè)高性能計(jì)算中心，所構(gòu)建的高性能計(jì)算環(huán)境是未來國家網(wǎng)格環(huán)境的初級(jí)形態(tài)。隨后，該國家網(wǎng)格環(huán)境在我國“五年計(jì)劃”的大力支持下得到了長足的發(fā)展。目前，中國國家網(wǎng)格已涵蓋了眾多國內(nèi)外優(yōu)質(zhì)的高性能計(jì)算資源，可為普通用戶提供高效便捷的計(jì)算服務(wù)，同時(shí)為基于多領(lǐng)域計(jì)算平臺(tái)的應(yīng)用建設(shè)提供了有力的支持[7-8]。隨著中國國家網(wǎng)格的發(fā)展進(jìn)步，通用計(jì)算平臺(tái)、應(yīng)用社區(qū)等應(yīng)運(yùn)而生[9]。近年來，在大數(shù)據(jù)技術(shù)的推動(dòng)下，大規(guī)模數(shù)值計(jì)算的應(yīng)用不斷深入大型異構(gòu)并行系統(tǒng)，這種需求也反過來推動(dòng)了高性能計(jì)算環(huán)境的發(fā)展，解決了計(jì)算與存儲(chǔ)的協(xié)同問題，使得更多富有挑戰(zhàn)性的任務(wù)的解決成為可 能。除此之外，為了滿足快速增長的用戶計(jì)算需求，中國國家網(wǎng)格的底層關(guān)鍵模塊在不斷地進(jìn)行功能擴(kuò)展和優(yōu)化升級(jí)，以滿足在不同應(yīng)用領(lǐng)域中用戶對(duì)環(huán)境擴(kuò)展性、易用性和可靠性的需求。

1983年，美國國家科學(xué)基金會(huì)、國防部和能源部等多個(gè)部門和組織曾聯(lián)合向政府提出大力發(fā)展科學(xué)和工程計(jì)算工作的報(bào)告。此外，美國政府高度重視高性能計(jì)算項(xiàng)目的發(fā)展，并于1991年提出了“高性能計(jì)算與通信計(jì)劃”。該項(xiàng)目的目標(biāo)是通過深入研究高性能計(jì)算環(huán)境解決一系列科學(xué)難題。1994年，美國能源部開展了為期10年的“加速戰(zhàn)略計(jì)算創(chuàng)新”計(jì)劃，該計(jì)劃通過運(yùn)用超級(jí)計(jì)算機(jī)極大地加速了其核武庫的建設(shè)發(fā)展。1998年，美國能源部倡議在全國范圍內(nèi)實(shí)施“科學(xué)模擬”計(jì)劃，提出要加速“燃燒系統(tǒng)”與“全球氣候系統(tǒng)”的科學(xué)模擬研究。2002年，美國國防部啟動(dòng)了“高生產(chǎn)率計(jì)算系統(tǒng)”計(jì)劃，規(guī)劃了未來20年內(nèi)超級(jí)計(jì)算機(jī)體系結(jié)構(gòu)的發(fā)展，并計(jì)劃分階段有序?qū)嵤?/p>

美國極限科學(xué)與工程發(fā)現(xiàn) 環(huán)境（extreme science and engineering discovery environment，XSEDE）的用戶門戶提供了多樣化的計(jì)算和技術(shù)支持服務(wù)，借助Glo bus[10]實(shí)現(xiàn)大規(guī)模的數(shù)據(jù)傳輸。XSEDE的目標(biāo)是在TeraGrid[11]的基礎(chǔ)上建立一個(gè)可以提供私密安全環(huán)境的網(wǎng)絡(luò)基礎(chǔ)設(shè)施，使研究人員可以獲得所需資源、服務(wù)和合作的支持。例如，印第安納大學(xué)負(fù)責(zé)開發(fā)科學(xué)網(wǎng)關(guān)、在線工具和門戶，使科學(xué)家更易于訪問先進(jìn)計(jì)算資源。此外，印第安納大學(xué)還負(fù)責(zé)提供虛擬機(jī)、網(wǎng)絡(luò)監(jiān)控和備份操作等服務(wù)。田納西大學(xué)輔助創(chuàng)建美國高性能計(jì)算機(jī)與研究設(shè)施之間的新一代鏈接。新的XSEDE超級(jí)計(jì)算機(jī)網(wǎng)格將創(chuàng)造出強(qiáng)大的工具來解決部分高度復(fù)雜的科學(xué)問題，如通過氣候建模、藥物開發(fā)、DNA排序和各類模擬來解決氣候變化、不治之癥和能源危機(jī)等問題。此外，由田納西大學(xué)和橡樹嶺國家實(shí)驗(yàn)室聯(lián)合運(yùn)作的國家計(jì)算科學(xué)研究所負(fù)責(zé)改善高性能計(jì)算機(jī)、數(shù)據(jù)資源和實(shí)驗(yàn)設(shè)施之間的鏈接。

歐洲網(wǎng)格基礎(chǔ)設(shè)施（European grid infrastructure，EGI）是一個(gè)可持續(xù)的泛歐基礎(chǔ)設(shè)施。EGI的愿景是讓所有學(xué)科的研究人員通過簡單、完整和開放的渠道獲取先進(jìn)的數(shù)字功能、資源和專業(yè)知識(shí)，以及進(jìn)行計(jì)算和數(shù)據(jù)密集型科學(xué)研究和創(chuàng)新。EGI整合了各類資源，主要包括各研究機(jī)構(gòu)及國家的數(shù)字能力、數(shù)字資源和專業(yè)知識(shí)，從而為研究基礎(chǔ)設(shè)施創(chuàng)造并提供解決方案。截至2016年9月，EGI提供了826 500顆CPU核用于高通量計(jì)算、6 600顆CPU核用于云計(jì)算，在線存儲(chǔ)容量達(dá)到285 PB，檔案存儲(chǔ)容量達(dá)到280 PB。EGI的前身是歐洲數(shù)據(jù)網(wǎng)格（European data grid，EDG）和歐洲科研信息化網(wǎng)格（Enabling grid for e-science in Eruopean，EGEE），它們實(shí)現(xiàn)了對(duì)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的跨國訪問。然而，原有的整套服務(wù)是根據(jù)早期科學(xué)團(tuán)體的需求量身定制的，并不總是能滿足新團(tuán)體的需求，因此啟動(dòng)了EGI。EGI于2010年正式啟動(dòng)，第一階段為面向歐洲科研人員的集成可持續(xù)泛歐基礎(chǔ)設(shè)施（EGI-InSPIRE）項(xiàng)目，旨在創(chuàng)建一個(gè)無縫系統(tǒng)，滿足當(dāng)前和未來的科學(xué)工作需求。2014年12月EGIInSPIRE項(xiàng)目結(jié)束。2015年3月進(jìn)入第二階段，為促進(jìn)EGI社區(qū)邁向開放科學(xué)公地，EGI-Engage項(xiàng)目啟動(dòng)，旨在擴(kuò)展歐洲在計(jì)算、存儲(chǔ)、數(shù)據(jù)、通信、知識(shí)和技能方面的重要聯(lián)合服務(wù)能力，加速開放科學(xué)共享的實(shí)施，以補(bǔ)充特定社區(qū)功能。

歐洲WLGG（worldwide LHC computing grid）是世界范圍內(nèi)最大的高能物理計(jì)算和存儲(chǔ)設(shè)施，通過專門的文件服務(wù)，使用現(xiàn)有的協(xié)議（如HTTP、FTP和GridFTP等）提供文件傳輸和共享服務(wù)。WLCG創(chuàng)建于2002年，是一個(gè)全球性計(jì)算機(jī)中心合作項(xiàng)目，旨在提供資源，用于存儲(chǔ)、分發(fā)和分析大型強(qiáng)子對(duì)撞機(jī)（large hadron collider，LHC）每年產(chǎn)生的幾十PB的數(shù)據(jù)。2016年，大型強(qiáng)子對(duì)撞機(jī)產(chǎn)生的數(shù)據(jù)在過濾99%以后，還能達(dá)到50 PB，該數(shù)據(jù)量相當(dāng)于1 500萬部高清電影的總數(shù)據(jù)量。WLCG由歐洲核子研究組織（European Organization for Nuclear Research）負(fù)責(zé)協(xié)調(diào)，連接著全球42個(gè)國家的170多個(gè)計(jì)算中心，以及數(shù)個(gè)國家與國際網(wǎng)格，每天可運(yùn)行200萬個(gè)作業(yè)，是當(dāng)今世界上規(guī)模較大的網(wǎng)格計(jì)算環(huán)境之一。通過部署一個(gè)覆蓋全球范圍的計(jì)算網(wǎng)格服務(wù)，WLCG項(xiàng)目將歐洲、美洲、亞洲等地區(qū)的超級(jí)計(jì)算中心集成到一個(gè)虛擬的計(jì)算組織中，為大型強(qiáng)子對(duì)撞機(jī)實(shí)驗(yàn)提供計(jì)算資源，包括CPU計(jì)算資源、數(shù)據(jù)存儲(chǔ)能力、處理能力、傳感器、可視化工具、網(wǎng)絡(luò)通信設(shè)施及其他資源等。實(shí)驗(yàn)產(chǎn)生的數(shù)據(jù)分布于全球，歐洲核子研究組織會(huì)對(duì)原始數(shù)據(jù)進(jìn)行備份。數(shù)據(jù)經(jīng)過原始處理后，將在計(jì)算網(wǎng)格全天候運(yùn)行的支持下分布式地存儲(chǔ)到歐洲、北美和亞洲的13個(gè)高水平研究中心，再從那里分散到世界各地上百個(gè)研究中心，由全世界多位物理學(xué)家合作處理實(shí)驗(yàn)數(shù)據(jù)。

3 國家高性能計(jì)算環(huán)境接口研究

高性能計(jì)算（h igh p erfor ma nce computing，HPC）任務(wù)一般具有以下特征：

● 大規(guī)模并行，可上升至百萬核；

● 長時(shí)間計(jì)算；

● 穩(wěn)定的網(wǎng)絡(luò)通信和較大的存儲(chǔ)；

● 計(jì)算任務(wù)以批處理作業(yè)的方式完成，且從任務(wù)開始運(yùn)行直到結(jié)束，用戶不可交互。

高性能計(jì)算環(huán)境提供給用戶的使用方式主要包括圖形用戶界面（graphical user interface，GUI）、命令行（command line）和網(wǎng)站門戶（Web portal）3種。其中，GUI在界面友好性、功能完善性和響應(yīng)速度等方面革新了人機(jī)交互的方式，但需要在用戶的計(jì)算機(jī)上安裝軟件。命令行方式操作靈活、功能全面，但需要用戶具備較高水平的編程能力?；赪eb portal的HPC使用方式結(jié)合了前兩種方式的優(yōu)點(diǎn)，用戶可在Web圖形界面上完成作業(yè)提交和管理，由于其簡單易用性，這種使用方式已經(jīng)成為當(dāng)前HPC使用方式的潮流，如中國科學(xué)院超級(jí)計(jì)算環(huán)境、中國國家高性能計(jì)算環(huán)境、美國TeraGrid Portal群及其后續(xù)項(xiàng)目等都使用這種方式。

國家高性能計(jì)算環(huán)境普遍采用基于表述性狀態(tài)轉(zhuǎn)移（representational state transfer，REST）[11-13]風(fēng)格的應(yīng)用程序接口（application programming interface,API）。該API是連接環(huán)境系統(tǒng)軟件和計(jì)算應(yīng)用服務(wù)平臺(tái)的中間層，負(fù)責(zé)將各項(xiàng)請(qǐng)求信息傳遞到異構(gòu)計(jì)算資源，并且通過執(zhí)行操作來查詢和獲取信息，包括虛擬數(shù)據(jù)空間中計(jì)算數(shù)據(jù)（輸入/輸出數(shù)據(jù)）的分布信息（存儲(chǔ)信息）。API負(fù)責(zé)以合適的形式封裝環(huán)境系統(tǒng)軟件提供的功能，并優(yōu)化已有API的性能和效率。

在接口設(shè)計(jì)中，重點(diǎn)設(shè)計(jì)高性能計(jì)算任務(wù)中虛擬數(shù)據(jù)空間系統(tǒng)提供的多副本數(shù)據(jù)服務(wù)，包括大規(guī)模數(shù)據(jù)的快速傳輸、文件管理等功能接口；然后研究基于虛擬數(shù)據(jù)空間的多數(shù)據(jù)來源的作業(yè)提交、共享輸入數(shù)據(jù)和共享應(yīng)用軟件的批量作業(yè)管理等；在此基礎(chǔ)上，進(jìn)一步研究高性能計(jì)算環(huán)境的工作流任務(wù)模型，包括作業(yè)提交、狀態(tài)管理、數(shù)據(jù)傳輸、輸入文件格式轉(zhuǎn)換、輸出文件質(zhì)量檢查和依賴條件判斷等，并設(shè)計(jì)可擴(kuò)展的插件機(jī)制，利用已有成果完成作業(yè)調(diào)度、前后處理等功能，從而為不同學(xué)科領(lǐng)域的應(yīng)用計(jì)算和上層應(yīng)用社區(qū)提供定制化的開發(fā)功能。

高性能計(jì)算環(huán)境接口包括：機(jī)群節(jié)點(diǎn)列表查詢接口、應(yīng)用列表查詢接口、環(huán)境隊(duì)列查詢接口以及作業(yè)系統(tǒng)相關(guān)接口等。

高性能計(jì)算環(huán)境接口一方面在高性能計(jì)算環(huán)境中為虛擬數(shù)據(jù)空間提供統(tǒng)一的全局虛擬數(shù)據(jù)空間的數(shù)據(jù)訪問服務(wù)，另一方面為高性能計(jì)算環(huán)境中數(shù)據(jù)與計(jì)算的協(xié)同調(diào)度提供相應(yīng)的服務(wù)。除此之外，虛擬數(shù)據(jù)空間集成部署后，將在高性能計(jì)算環(huán)境中使用，因此還設(shè)計(jì)了相應(yīng)的接口供高性能計(jì)算環(huán)境調(diào)用。高性能計(jì)算環(huán)境接口和虛擬數(shù)據(jù)空間接口分別見表1和表2.

在接口設(shè)計(jì)過程中，對(duì)JSON響應(yīng)輸出格式進(jìn)行了內(nèi)容規(guī)范，具體如下：

● 如果交互正常，則返回的HTTP status code為200，其他錯(cuò)誤內(nèi)容參見HTTP的標(biāo)準(zhǔn)定義，以后將有詳細(xì)的編碼定義；

● 調(diào)用HTTP API時(shí)，平臺(tái)返回的響應(yīng)輸出由status_code、status_msg兩個(gè)參數(shù)組成，分別用于描述錯(cuò)誤碼和錯(cuò)誤信息。status_code為0，表示操作成功執(zhí)行，其他錯(cuò)誤碼參見具體函數(shù)的說明；

● 交互正常（http_code=200）時(shí)，響應(yīng)會(huì)生成request_id字段，該字段的值由服務(wù)端生成，并返回給用戶，以便進(jìn)行問題追查與定位。

表1 高性能計(jì)算環(huán)境接口

研究中使用response_params表示API 返回的結(jié)果，其是由n個(gè)包含對(duì)的元素組成的JSON對(duì)象。

表2 虛擬數(shù)據(jù)空間接口

4 數(shù)據(jù)與計(jì)算協(xié)同調(diào)度方法

計(jì)算任務(wù)的運(yùn)行時(shí)間高度依賴資源的布局和可用性，資源失配將顯著增加運(yùn)行時(shí)間。針對(duì)該問題，研究數(shù)據(jù)與計(jì)算任務(wù)的協(xié)同調(diào)度機(jī)制，基于設(shè)計(jì)的環(huán)境接口、特征模型，動(dòng)態(tài)監(jiān)視資源狀態(tài)，對(duì)全局資源進(jìn)行統(tǒng)一管理和分配，設(shè)計(jì)優(yōu)化解決方案，以實(shí)現(xiàn)數(shù)據(jù)與計(jì)算任務(wù)的協(xié)同調(diào)度。

在高性能計(jì)算環(huán)境中，各個(gè)超級(jí)計(jì)算中心集群的計(jì)算能力、調(diào)度系統(tǒng)、部署的應(yīng)用軟件以及網(wǎng)絡(luò)帶寬都有區(qū)別，為了避免傳統(tǒng)單一的計(jì)算任務(wù)調(diào)度，采用計(jì)算與數(shù)據(jù)協(xié)同調(diào)度算法，依據(jù)計(jì)算特征和數(shù)據(jù)布局選擇任務(wù)和數(shù)據(jù)節(jié)點(diǎn)，實(shí)現(xiàn)在廣域范圍內(nèi)高效合理的計(jì)算任務(wù)分布和數(shù)據(jù)布局，以降低應(yīng)用的跨域訪問開銷。

圖1 高性能計(jì)算環(huán)境計(jì)算與數(shù)據(jù)的協(xié)同調(diào)度系統(tǒng)的結(jié)構(gòu)示意圖

在傳統(tǒng)集群計(jì)算機(jī)系統(tǒng)中，計(jì)算系統(tǒng)與存儲(chǔ)系統(tǒng)是分開的，且其資源管理和任務(wù)調(diào)度系統(tǒng)相互獨(dú)立[11]。本部分進(jìn)行了計(jì)算與數(shù)據(jù)協(xié)同調(diào)度的研究，從圖1可以看出，計(jì)算與數(shù)據(jù)協(xié)同調(diào)度算法不僅考慮了高性能計(jì)算環(huán)境計(jì)算服務(wù)中的因素，還將結(jié)合虛擬數(shù)據(jù)空間中的與一些數(shù)據(jù)服務(wù)任務(wù)相關(guān)的數(shù)據(jù)屬性。在高性能計(jì)算環(huán)境中，系統(tǒng)接收到計(jì)算任務(wù)的請(qǐng)求時(shí)，通過計(jì)算與數(shù)據(jù)協(xié)同調(diào)度算法選擇高性能計(jì)算環(huán)境的目標(biāo)集群，同時(shí)計(jì)算該環(huán)境中的計(jì)算服務(wù)，通過虛擬數(shù)據(jù)空間系統(tǒng)的數(shù)據(jù)服務(wù)進(jìn)行計(jì)算任務(wù)輸入/輸出的廣域的虛擬數(shù)據(jù)空間中的數(shù)據(jù)訪問。如某個(gè)計(jì)算任務(wù)的執(zhí)行程序被部署在A、B、C 3個(gè)超級(jí)計(jì)算中心，在分配計(jì)算資源時(shí)，A、B、C都可以作為該計(jì)算任務(wù)的目標(biāo)執(zhí)行集群，這時(shí)需要關(guān)注該計(jì)算任務(wù)的輸入數(shù)據(jù)在分布式虛擬數(shù)據(jù)空間中的分布情況：首先查看該輸入文件是否在A、B、C中存在副本，若有，則在協(xié)同調(diào)度模型中該項(xiàng)因子的權(quán)重生效；判斷是否需要在A、B、C中創(chuàng)建該文件的副本，其中需考慮創(chuàng)建各個(gè)副本的代價(jià)情況；還需要考慮其他因素，如隊(duì)列、用戶權(quán)限等。

高性能計(jì)算環(huán)境計(jì)算與數(shù)據(jù)的協(xié)同調(diào)度模型充分考慮了高性能計(jì)算環(huán)境中的計(jì)算集群資源及隊(duì)列情況、數(shù)據(jù)分布狀態(tài)，各個(gè)超級(jí)計(jì)算中心之間的網(wǎng)絡(luò)互連情況、計(jì)算任務(wù)的需求，以及各個(gè)超級(jí)計(jì)算中心上的應(yīng)用部署情況。

高性能計(jì)算環(huán)境計(jì)算與數(shù)據(jù)的協(xié)同調(diào)度模型如圖2所示。其首先將接收到的由計(jì)算集群、輸入輸出數(shù)據(jù)、網(wǎng)絡(luò)、任務(wù)以及應(yīng)用部署5大類16個(gè)小項(xiàng)數(shù)據(jù)輸入?yún)?shù)組成的矩陣輸入?yún)f(xié)同調(diào)度模型中，通過參數(shù)匹配和參數(shù)優(yōu)化進(jìn)行任務(wù)和數(shù)據(jù)的調(diào)度。

從國家高性能計(jì)算環(huán)境來看，任務(wù)的啟動(dòng)包含數(shù)據(jù)準(zhǔn)備時(shí)間、任務(wù)在目標(biāo)中心集群上的調(diào)度時(shí)間。

基于虛擬數(shù)據(jù)空間的廣域數(shù)據(jù)的訪問，進(jìn)一步實(shí)現(xiàn)環(huán)境節(jié)點(diǎn)管理、環(huán)境任務(wù)管理以及環(huán)境數(shù)據(jù)管理等，具體如圖3所示。環(huán)境節(jié)點(diǎn)管理部分主要指高性能計(jì)算環(huán)境與虛擬數(shù)據(jù)空間環(huán)境調(diào)用接口之間的交互，針對(duì)高性能計(jì)算環(huán)境中的計(jì)算、數(shù)據(jù)、集群3個(gè)方面實(shí)現(xiàn)集群節(jié)點(diǎn)管理、集群隊(duì)列管理、集群作業(yè)管理和集群應(yīng)用管理；數(shù)據(jù)與計(jì)算協(xié)同調(diào)度模塊包括環(huán)境A PI、與虛擬數(shù)據(jù)空間對(duì)接的數(shù)據(jù)空間A PI，此模塊的任務(wù)是利用啟發(fā)式協(xié)同調(diào)度算法進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)遷移、任務(wù)遷移及任務(wù)特征匹配。

（1）對(duì)計(jì)算資源、存儲(chǔ)資源、數(shù)據(jù)準(zhǔn)備（包括數(shù)據(jù)遷移）、任務(wù)遷移以及任務(wù)預(yù)期運(yùn)行時(shí)間等調(diào)度要素進(jìn)行形式化定義，為接下來的調(diào)度模型算法設(shè)計(jì)奠定基礎(chǔ)。

● 應(yīng)用信息的相關(guān)信息如圖4所示，包括版本、部署的節(jié)點(diǎn)等。

● 數(shù)據(jù)信息的相關(guān)信息如圖5所示，包括大小、分布節(jié)點(diǎn)等。

● 隊(duì)列信息的相關(guān)信息如圖6所示，包括狀態(tài)、允許的核數(shù)、時(shí)間、排隊(duì)情況等。

在協(xié)同調(diào)度算法設(shè)計(jì)中，本文做出相應(yīng)的定義，具體如下。

圖2 高性能計(jì)算環(huán)境計(jì)算與數(shù)據(jù)的協(xié)同調(diào)度模型

圖3 虛擬數(shù)據(jù)空間協(xié)同調(diào)度設(shè)計(jì)框架

● 應(yīng)用的定義

Nodeapp表示應(yīng)用在各點(diǎn)的部署情況，其中，Nai表示應(yīng)用遷移情況。

● 數(shù)據(jù)的定義

Nodedata表示數(shù)據(jù)分布/遷移的情況，其中，Ndi表示應(yīng)用遷移代價(jià)。

● 隊(duì)列的定義

Nodequeue表示隊(duì)列是否滿足任務(wù)的條件以及任務(wù)執(zhí)行需要的等待時(shí)間，其中，Nqi表示隊(duì)列狀態(tài)。

圖4 應(yīng)用的相關(guān)信息

（2）建立協(xié)同調(diào)度的虛擬任務(wù)隊(duì)列，如圖7所示。

在全局的虛擬數(shù)據(jù)空間與高性能計(jì)算環(huán)境的計(jì)算與數(shù)據(jù)協(xié)同調(diào)度設(shè)計(jì)中，采用一種虛擬隊(duì)列的方式，將環(huán)境中各個(gè)點(diǎn)的資源虛擬成全局調(diào)度的一個(gè)隊(duì)列。根據(jù)各個(gè)點(diǎn)的資源和任務(wù)使用情況設(shè)定各個(gè)虛擬隊(duì)列的優(yōu)先級(jí)。

在調(diào)度過程中，結(jié)合任務(wù)的部署情況、數(shù)據(jù)準(zhǔn)備情況、各虛擬隊(duì)列的任務(wù)排隊(duì)情況，以及任務(wù)和數(shù)據(jù)遷移代價(jià)，綜合制定環(huán)境的調(diào)度目標(biāo)。

圖5 輸入/輸出數(shù)據(jù)的相關(guān)信息

圖6 隊(duì)列相關(guān)信息

圖7 協(xié)同調(diào)度的虛擬任務(wù)隊(duì)列

5 虛擬數(shù)據(jù)空間系統(tǒng)與高性能環(huán)境的集成

在高性能計(jì)算環(huán)境的相關(guān)接口以及計(jì)算與數(shù)據(jù)的協(xié)同調(diào)度模塊的基礎(chǔ)上，將虛擬數(shù)據(jù)空間接口集成到國家網(wǎng)格環(huán)境的服務(wù)器中，與高性能計(jì)算環(huán)境形成完整的系統(tǒng)。

如圖8所示，虛擬數(shù)據(jù)空間系統(tǒng)目前已完成五大超級(jí)計(jì)算中心的部署，這些中心同時(shí)也是國家高性能計(jì)算環(huán)境的節(jié)點(diǎn)，將虛擬數(shù)據(jù)空間系統(tǒng)服務(wù)的客戶端節(jié)點(diǎn)納入國家高性能計(jì)算環(huán)境中，用戶在高性能計(jì)算環(huán)境中使用虛擬數(shù)據(jù)空間系統(tǒng)提供的功能，實(shí)現(xiàn)虛擬數(shù)據(jù)空間系統(tǒng)對(duì)國家高性能計(jì)算環(huán)境的擴(kuò)展。

作為國家高性能計(jì)算環(huán)境的補(bǔ)充，虛擬數(shù)據(jù)空間系統(tǒng)為國家高性能計(jì)算環(huán)境提供了廣域環(huán)境下各中心數(shù)據(jù)存儲(chǔ)資源的統(tǒng)一虛擬訪問。本研究將虛擬數(shù)據(jù)空間系統(tǒng)集成到國家高性能計(jì)算環(huán)境中的數(shù)據(jù)與計(jì)算服務(wù)層，從而為上層的計(jì)算服務(wù)平臺(tái)提供廣域的虛擬數(shù)據(jù)空間的數(shù)據(jù)訪問服務(wù)。

（1）GVDS接口client命令供CNGrid client命令行使用

通過開發(fā)虛擬數(shù)據(jù)空間系統(tǒng)的接口為國家高性能計(jì)算環(huán)境提供支持。虛擬數(shù)據(jù)空間系統(tǒng)與國家高性能計(jì)算環(huán)境的調(diào)用接口，可為上層的計(jì)算服務(wù)平臺(tái)中的各類服務(wù)提供虛擬數(shù)據(jù)空間的數(shù)據(jù)查詢/訪問/傳輸。支持從多個(gè)輸入源選擇輸入文件或存儲(chǔ)輸出文件，使得高性能計(jì)算環(huán)境中的用戶能通過虛擬數(shù)據(jù)空間系統(tǒng)訪問廣域環(huán)境中其他網(wǎng)格節(jié)點(diǎn)的數(shù)據(jù)，實(shí)現(xiàn)高性能計(jì)算環(huán)境中計(jì)算任務(wù)能夠訪問跨域分散的存儲(chǔ)資源，使用戶能夠從使用角度看到一個(gè)與本地?cái)?shù)據(jù)空間一致、可提供統(tǒng)一訪問與管理的虛擬數(shù)據(jù)空間，并在國家高性能計(jì)算環(huán)境中為用戶的計(jì)算任務(wù)提供整個(gè)環(huán)境的計(jì)算與數(shù)據(jù)的協(xié)同能力。

將GVDS接口命令部署到高性能計(jì)算環(huán)境中。用戶調(diào)用已封裝好的命令可實(shí)現(xiàn)虛擬數(shù)據(jù)空間與國家高性能計(jì)算環(huán)境中的中國科學(xué)院超級(jí)計(jì)算中心、國家超級(jí)計(jì)算廣州中心、上海超級(jí)計(jì)算中心、國家超級(jí)計(jì)算長沙中心以及國家超級(jí)計(jì)算濟(jì)南中心的數(shù)據(jù)信息的全局統(tǒng)一訪問。

（2）GVDS API供CNGrid portal調(diào)用

在天氣預(yù)報(bào)典型應(yīng)用中，通過命令行方式調(diào)用系統(tǒng)中的POSIX接口，實(shí)現(xiàn)對(duì)虛擬數(shù)據(jù)空間系統(tǒng)的應(yīng)用數(shù)據(jù)的訪問。

（3）虛擬數(shù)據(jù)空間中用戶身份與高性能環(huán)境的認(rèn)證

虛擬數(shù)據(jù)空間系統(tǒng)作為一個(gè)社區(qū)，擁有獨(dú)立的一套用戶管理機(jī)制，包括賬戶注冊(cè)、登錄、注銷等。CNGrid client命令行與GVDS client命令行都與服務(wù)器用戶進(jìn)行一對(duì)一映射。CNGrid portal調(diào)用GVDS API時(shí)，CNGrid用戶與GVDS用戶一對(duì)一映射。

圖8 虛擬數(shù)據(jù)空間系統(tǒng)與國家高性能計(jì)算環(huán)境的集成系統(tǒng)結(jié)構(gòu)

6 虛擬數(shù)據(jù)空間系統(tǒng)接口實(shí)現(xiàn)

系統(tǒng)接口都是基于REST風(fēng)格的開發(fā)API實(shí)現(xiàn)的，REST已成為最主要的Web服務(wù)設(shè)計(jì)模型。RESTful Web service是一種輕量級(jí)的Web service架構(gòu)風(fēng)格，可完全通過HTTP實(shí)現(xiàn)，還可以利用緩存提高響應(yīng)速度，在性能、效率和易用性方面有很好的表現(xiàn)。REST API提供了基于HTTP的國家高性能計(jì)算環(huán)境訪問接口，包括用戶管理、作業(yè)管理、文件管理等基本功能，也提供了賬號(hào)管理等高級(jí)功能。該接口具有良好的跨語言特性和跨平臺(tái)特性，使得開發(fā)人員可自由選擇編程語言。

系統(tǒng)接口在高性能計(jì)算環(huán)境中為虛擬數(shù)據(jù)空間系統(tǒng)提供了統(tǒng)一的全局虛擬數(shù)據(jù)空間的數(shù)據(jù)訪問服務(wù)。

● 如圖9所示，vlu命令用于獲取虛擬數(shù)據(jù)空間用戶的信息。

● 如圖10所示，vlg命令用于獲取虛擬數(shù)據(jù)空間用戶組的信息。

圖9 虛擬數(shù)據(jù)空間用戶的信息

圖10 虛擬數(shù)據(jù)空間用戶組的信息

● 如圖11所示，vmkuser命令用于創(chuàng)建虛擬數(shù)據(jù)空間用戶。

● 如圖12所示，vmoduser命令用于修改虛擬數(shù)據(jù)空間用戶。

● 如圖13所示，vscheduling命令可用于獲取高性能計(jì)算環(huán)境信息。

● 如圖14所示，vscheduling命令也可用于獲取高性能計(jì)算環(huán)境的隊(duì)列信息。

● 如圖15所示，vscheduling命令還可用于獲取高性能環(huán)境的應(yīng)用信息。

環(huán)境用戶在單個(gè)節(jié)點(diǎn)就可通過虛擬數(shù)據(jù)空間系統(tǒng)訪問其分布在各個(gè)超級(jí)計(jì)算中心的數(shù)據(jù)資源（如同訪問單一節(jié)點(diǎn)的數(shù)據(jù)一樣），并能對(duì)這些數(shù)據(jù)資源進(jìn)行相應(yīng)的操作，如編輯、復(fù)制、備份等。在任何一個(gè)部署了虛擬數(shù)據(jù)空間系統(tǒng)的節(jié)點(diǎn)上，像使用普通Linux文件系統(tǒng)一樣，用戶能看到其在各個(gè)超級(jí)計(jì)算節(jié)點(diǎn)的數(shù)據(jù)目錄和文件，通過虛擬數(shù)據(jù)空間系統(tǒng)的命令能遠(yuǎn)程地使用和編輯文件。從用戶的角度來看，在虛擬數(shù)據(jù)空間系統(tǒng)中對(duì)文件的操作如同在Linux系統(tǒng)中操作本地文件一樣。高性能計(jì)算環(huán)境通過調(diào)用虛擬數(shù)據(jù)空間系統(tǒng)的相關(guān)命令接口實(shí)現(xiàn)網(wǎng)格環(huán)境中數(shù)據(jù)文件的操作：如在不同超級(jí)計(jì)算中心的副本上建立數(shù)據(jù)文件，在不同超級(jí)計(jì)算節(jié)點(diǎn)上訪問/傳輸文件等。

7 結(jié)束語

將虛擬數(shù)據(jù)空間系統(tǒng)部署到國家高性能計(jì)算環(huán)境中，可實(shí)現(xiàn)虛擬數(shù)據(jù)空間系統(tǒng)與國家高性能計(jì)算環(huán)境的深度融合。將虛擬數(shù)據(jù)空間系統(tǒng)提供的功能補(bǔ)充到國家高性能計(jì)算環(huán)境中，為國家高性能計(jì)算環(huán)境提供統(tǒng)一的數(shù)據(jù)訪問視圖，方便國家高性能計(jì)算環(huán)境的用戶使用。利用虛擬數(shù)據(jù)空間系統(tǒng)提供的數(shù)據(jù)存儲(chǔ)的統(tǒng)一視圖，并通過虛擬數(shù)據(jù)空間系統(tǒng)提供的數(shù)據(jù)共享等功能實(shí)現(xiàn)計(jì)算過程中的數(shù)據(jù)交換方式，可有效地解決高性能計(jì)算環(huán)境中的計(jì)算資源聚合、數(shù)據(jù)資源分散問題，對(duì)國家高性能計(jì)算環(huán)境的易用性方面起到良好的推動(dòng)作用。

圖11 創(chuàng)建虛擬數(shù)據(jù)空間用戶

圖12 修改虛擬數(shù)據(jù)空間用戶

圖13 獲取HPC 信息

圖14 獲取HPC 隊(duì)列信息

圖15 獲取HPC 應(yīng)用信息