亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        國家高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間運(yùn)行支撐技術(shù)研究

        2021-03-22 10:56:02何小雨鄧筍根欒海晶牛北方
        大數(shù)據(jù) 2021年2期
        關(guān)鍵詞:計(jì)算環(huán)境高性能調(diào)度

        何小雨,鄧筍根,欒海晶,牛北方

        1. 中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心,北京 100190;2. 中國科學(xué)院大學(xué),北京 100190

        1 引言

        國家高性能計(jì)算環(huán)境(nation high performance computing environment,NHPCE)廣域分散、系統(tǒng)異構(gòu)的特點(diǎn)顯著增加了虛擬數(shù)據(jù)空間存儲(chǔ)設(shè)備的管理難度[1]。針對(duì)該問題,國家高性能計(jì)算環(huán)境中虛擬數(shù)據(jù)空間運(yùn)行支撐技術(shù)課題組擬研究國家高性能環(huán)境節(jié)點(diǎn)部署技術(shù)。通過對(duì)高性能計(jì)算環(huán)境典型文件系統(tǒng)的分析,采用針對(duì)性掛載方式,在不修改本地系統(tǒng)的情況下,實(shí)現(xiàn)虛擬數(shù)據(jù)空間中跨域存儲(chǔ)資源的高效接入,從而有效地降低虛實(shí)空間界面間的開銷。

        虛擬數(shù)據(jù)空間系統(tǒng)的目標(biāo)是集成兩個(gè)國家網(wǎng)格主節(jié)點(diǎn)(中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心、上海超級(jí)計(jì)算中心)和3個(gè)國家超級(jí)計(jì)算中心(廣州、濟(jì)南、長沙)的數(shù)據(jù)存儲(chǔ)資源,每個(gè)中心需提供不少于300 TB的共享存儲(chǔ)空間。虛擬數(shù)據(jù)空間系統(tǒng)部署成功后,用戶提供可在統(tǒng)一的虛擬數(shù)據(jù)視圖上運(yùn)行上層的應(yīng)用。用戶負(fù)責(zé)選擇具體應(yīng)用,發(fā)送應(yīng)用數(shù)據(jù)到統(tǒng)一數(shù)據(jù)空間,然后提交應(yīng)用任務(wù)。在虛擬數(shù)據(jù)空間軟件部署運(yùn)行和應(yīng)用驗(yàn)證優(yōu)化方面,項(xiàng)目團(tuán)隊(duì)涵蓋上述3 個(gè)國家級(jí)超級(jí)計(jì)算中心以及兩個(gè)國家網(wǎng)格主節(jié)點(diǎn),擁有“天河”“神威”“元”等超級(jí)計(jì)算機(jī)系統(tǒng),總計(jì)算能力超過100 PFlops,在線存儲(chǔ)量近30 PB,活躍用戶超過6 000個(gè),支撐數(shù)值模擬、大數(shù)據(jù)處理、人工智能等眾多大型計(jì)算應(yīng)用,為項(xiàng)目開展虛擬數(shù)據(jù)空間的軟件部署運(yùn)行和應(yīng)用驗(yàn)證優(yōu)化工作提供了資源和應(yīng)用基礎(chǔ)。

        國家高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間運(yùn)行支撐技術(shù)研究包括:虛擬數(shù)據(jù)空間與國家高性能計(jì)算環(huán)境接口技術(shù)、計(jì)算與存儲(chǔ)協(xié)同調(diào)度技術(shù)、虛擬數(shù)據(jù)空間軟件部署及驗(yàn)證方法等。研究虛擬數(shù)據(jù)空間與國家高性能計(jì)算環(huán)境接口技術(shù),實(shí)現(xiàn)虛擬數(shù)據(jù)空間與國家高性能計(jì)算環(huán)境的對(duì)接;突破計(jì)算與存儲(chǔ)協(xié)同調(diào)度技術(shù),實(shí)現(xiàn)數(shù)據(jù)與計(jì)算任務(wù)的全局優(yōu)化調(diào)度;研究虛擬數(shù)據(jù)空間軟件部署及驗(yàn)證方法,提高軟件部署效率,從而實(shí)現(xiàn)虛擬數(shù)據(jù)空間構(gòu)建、數(shù)據(jù)共享遷移等技術(shù)的集成,構(gòu)建一個(gè)可運(yùn)行于國家高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間系統(tǒng),并可被外部應(yīng)用訪問。

        2 國內(nèi)外現(xiàn)狀

        國家高性能計(jì)算環(huán)境又稱中國國家網(wǎng)格[2-6],其發(fā)展建設(shè)最早可追溯至20世紀(jì)90年代末。21世紀(jì)初,國家863計(jì)劃出資建設(shè)了5個(gè)高性能計(jì)算中心,所構(gòu)建的高性能計(jì)算環(huán)境是未來國家網(wǎng)格環(huán)境的初級(jí)形態(tài)。隨后,該國家網(wǎng)格環(huán)境在我國“五年計(jì)劃”的大力支持下得到了長足的發(fā)展。目前,中國國家網(wǎng)格已涵蓋了眾多國內(nèi)外優(yōu)質(zhì)的高性能計(jì)算資源,可為普通用戶提供高效便捷的計(jì)算服務(wù),同時(shí)為基于多領(lǐng)域計(jì)算平臺(tái)的應(yīng)用建設(shè)提供了有力的支持[7-8]。隨著中國國家網(wǎng)格的發(fā)展進(jìn)步,通用計(jì)算平臺(tái)、應(yīng)用社區(qū)等應(yīng)運(yùn)而生[9]。近年來,在大數(shù)據(jù)技術(shù)的推動(dòng)下,大規(guī)模數(shù)值計(jì)算的應(yīng)用不斷深入大型異構(gòu)并行系統(tǒng),這種需求也反過來推動(dòng)了高性能計(jì)算環(huán)境的發(fā)展,解決了計(jì)算與存儲(chǔ)的協(xié)同問題,使得更多富有挑戰(zhàn)性的任務(wù)的解決成為可 能。除此之外,為了滿足快速增長的用戶計(jì)算需求,中國國家網(wǎng)格的底層關(guān)鍵模塊在不斷地進(jìn)行功能擴(kuò)展和優(yōu)化升級(jí),以滿足在不同應(yīng)用領(lǐng)域中用戶對(duì)環(huán)境擴(kuò)展性、易用性和可靠性的需求。

        1983年,美國國家科學(xué)基金會(huì)、國防部和能源部等多個(gè)部門和組織曾聯(lián)合向政府提出大力發(fā)展科學(xué)和工程計(jì)算工作的報(bào)告。此外,美國政府高度重視高性能計(jì)算項(xiàng)目的發(fā)展,并于1991年提出了“高性能計(jì)算與通信計(jì)劃”。該項(xiàng)目的目標(biāo)是通過深入研究高性能計(jì)算環(huán)境解決一系列科學(xué)難題。1994年,美國能源部開展了為期10年的“加速戰(zhàn)略計(jì)算創(chuàng)新”計(jì)劃,該計(jì)劃通過運(yùn)用超級(jí)計(jì)算機(jī)極大地加速了其核武庫的建設(shè)發(fā)展。1998年,美國能源部倡議在全國范圍內(nèi)實(shí)施“科學(xué)模擬”計(jì)劃,提出要加速“燃燒系統(tǒng)”與“全球氣候系統(tǒng)”的科學(xué)模擬研究。2002年,美國國防部啟動(dòng)了“高生產(chǎn)率計(jì)算系統(tǒng)”計(jì)劃,規(guī)劃了未來20年內(nèi)超級(jí)計(jì)算機(jī)體系結(jié)構(gòu)的發(fā)展,并計(jì)劃分階段有序?qū)嵤?/p>

        美國極限科學(xué)與工程發(fā)現(xiàn) 環(huán)境(extreme science and engineering discovery environment,XSEDE)的用戶門戶提供了多樣化的計(jì)算和技術(shù)支持服務(wù),借助Glo bus[10]實(shí)現(xiàn)大規(guī)模的數(shù)據(jù)傳輸。XSEDE的目標(biāo)是在TeraGrid[11]的基礎(chǔ)上建立一個(gè)可以提供私密安全環(huán)境的網(wǎng)絡(luò)基礎(chǔ)設(shè)施,使研究人員可以獲得所需資源、服務(wù)和合作的支持。例如,印第安納大學(xué)負(fù)責(zé)開發(fā)科學(xué)網(wǎng)關(guān)、在線工具和門戶,使科學(xué)家更易于訪問先進(jìn)計(jì)算資源。此外,印第安納大學(xué)還負(fù)責(zé)提供虛擬機(jī)、網(wǎng)絡(luò)監(jiān)控和備份操作等服務(wù)。田納西大學(xué)輔助創(chuàng)建美國高性能計(jì)算機(jī)與研究設(shè)施之間的新一代鏈接。新的XSEDE超級(jí)計(jì)算機(jī)網(wǎng)格將創(chuàng)造出強(qiáng)大的工具來解決部分高度復(fù)雜的科學(xué)問題,如通過氣候建模、藥物開發(fā)、DNA排序和各類模擬來解決氣候變化、不治之癥和能源危機(jī)等問題。此外,由田納西大學(xué)和橡樹嶺國家實(shí)驗(yàn)室聯(lián)合運(yùn)作的國家計(jì)算科學(xué)研究所負(fù)責(zé)改善高性能計(jì)算機(jī)、數(shù)據(jù)資源和實(shí)驗(yàn)設(shè)施之間的鏈接。

        歐洲網(wǎng)格基礎(chǔ)設(shè)施(European grid infrastructure,EGI)是一個(gè)可持續(xù)的泛歐基礎(chǔ)設(shè)施。EGI的愿景是讓所有學(xué)科的研究人員通過簡單、完整和開放的渠道獲取先進(jìn)的數(shù)字功能、資源和專業(yè)知識(shí),以及進(jìn)行計(jì)算和數(shù)據(jù)密集型科學(xué)研究和創(chuàng)新。EGI整合了各類資源,主要包括各研究機(jī)構(gòu)及國家的數(shù)字能力、數(shù)字資源和專業(yè)知識(shí),從而為研究基礎(chǔ)設(shè)施創(chuàng)造并提供解決方案。截至2016年9月,EGI提供了826 500顆CPU核用于高通量計(jì)算、6 600顆CPU核用于云計(jì)算,在線存儲(chǔ)容量達(dá)到285 PB,檔案存儲(chǔ)容量達(dá)到280 PB。EGI的前身是歐洲數(shù)據(jù)網(wǎng)格(European data grid,EDG)和歐洲科研信息化網(wǎng)格(Enabling grid for e-science in Eruopean,EGEE),它們實(shí)現(xiàn)了對(duì)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的跨國訪問。然而,原有的整套服務(wù)是根據(jù)早期科學(xué)團(tuán)體的需求量身定制的,并不總是能滿足新團(tuán)體的需求,因此啟動(dòng)了EGI。EGI于2010年正式啟動(dòng),第一階段為面向歐洲科研人員的集成可持續(xù)泛歐基礎(chǔ)設(shè)施(EGI-InSPIRE)項(xiàng)目,旨在創(chuàng)建一個(gè)無縫系統(tǒng),滿足當(dāng)前和未來的科學(xué)工作需求。2014年12月EGIInSPIRE項(xiàng)目結(jié)束。2015年3月進(jìn)入第二階段,為促進(jìn)EGI社區(qū)邁向開放科學(xué)公地,EGI-Engage項(xiàng)目啟動(dòng),旨在擴(kuò)展歐洲在計(jì)算、存儲(chǔ)、數(shù)據(jù)、通信、知識(shí)和技能方面的重要聯(lián)合服務(wù)能力,加速開放科學(xué)共享的實(shí)施,以補(bǔ)充特定社區(qū)功能。

        歐洲WLGG(worldwide LHC computing grid)是世界范圍內(nèi)最大的高能物理計(jì)算和存儲(chǔ)設(shè)施,通過專門的文件服務(wù),使用現(xiàn)有的協(xié)議(如HTTP、FTP和GridFTP等)提供文件傳輸和共享服務(wù)。WLCG創(chuàng)建于2002年,是一個(gè)全球性計(jì)算機(jī)中心合作項(xiàng)目,旨在提供資源,用于存儲(chǔ)、分發(fā)和分析大型強(qiáng)子對(duì)撞機(jī)(large hadron collider,LHC)每年產(chǎn)生的幾十PB的數(shù)據(jù)。2016年,大型強(qiáng)子對(duì)撞機(jī)產(chǎn)生的數(shù)據(jù)在過濾99%以后,還能達(dá)到50 PB,該數(shù)據(jù)量相當(dāng)于1 500萬部高清電影的總數(shù)據(jù)量。WLCG由歐洲核子研究組織(European Organization for Nuclear Research)負(fù)責(zé)協(xié)調(diào),連接著全球42個(gè)國家的170多個(gè)計(jì)算中心,以及數(shù)個(gè)國家與國際網(wǎng)格,每天可運(yùn)行200萬個(gè)作業(yè),是當(dāng)今世界上規(guī)模較大的網(wǎng)格計(jì)算環(huán)境之一。通過部署一個(gè)覆蓋全球范圍的計(jì)算網(wǎng)格服務(wù),WLCG項(xiàng)目將歐洲、美洲、亞洲等地區(qū)的超級(jí)計(jì)算中心集成到一個(gè)虛擬的計(jì)算組織中,為大型強(qiáng)子對(duì)撞機(jī)實(shí)驗(yàn)提供計(jì)算資源,包括CPU計(jì)算資源、數(shù)據(jù)存儲(chǔ)能力、處理能力、傳感器、可視化工具、網(wǎng)絡(luò)通信設(shè)施及其他資源等。實(shí)驗(yàn)產(chǎn)生的數(shù)據(jù)分布于全球,歐洲核子研究組織會(huì)對(duì)原始數(shù)據(jù)進(jìn)行備份。數(shù)據(jù)經(jīng)過原始處理后,將在計(jì)算網(wǎng)格全天候運(yùn)行的支持下分布式地存儲(chǔ)到歐洲、北美和亞洲的13個(gè)高水平研究中心,再從那里分散到世界各地上百個(gè)研究中心,由全世界多位物理學(xué)家合作處理實(shí)驗(yàn)數(shù)據(jù)。

        3 國家高性能計(jì)算環(huán)境接口研究

        高性能計(jì)算(h igh p erfor ma nce computing,HPC)任務(wù)一般具有以下特征:

        ● 大規(guī)模并行,可上升至百萬核;

        ● 長時(shí)間計(jì)算;

        ● 穩(wěn)定的網(wǎng)絡(luò)通信和較大的存儲(chǔ);

        ● 計(jì)算任務(wù)以批處理作業(yè)的方式完成,且從任務(wù)開始運(yùn)行直到結(jié)束,用戶不可交互。

        高性能計(jì)算環(huán)境提供給用戶的使用方式主要包括圖形用戶界面(graphical user interface,GUI)、命令行(command line)和網(wǎng)站門戶(Web portal)3種。其中,GUI在界面友好性、功能完善性和響應(yīng)速度等方面革新了人機(jī)交互的方式,但需要在用戶的計(jì)算機(jī)上安裝軟件。命令行方式操作靈活、功能全面,但需要用戶具備較高水平的編程能力?;赪eb portal的HPC使用方式結(jié)合了前兩種方式的優(yōu)點(diǎn),用戶可在Web圖形界面上完成作業(yè)提交和管理,由于其簡單易用性,這種使用方式已經(jīng)成為當(dāng)前HPC使用方式的潮流,如中國科學(xué)院超級(jí)計(jì)算環(huán)境、中國國家高性能計(jì)算環(huán)境、美國TeraGrid Portal群及其后續(xù)項(xiàng)目等都使用這種方式。

        國家高性能計(jì)算環(huán)境普遍采用基于表述性狀態(tài)轉(zhuǎn)移(representational state transfer,REST)[11-13]風(fēng)格的應(yīng)用程序接口(application programming interface,API)。該API是連接環(huán)境系統(tǒng)軟件和計(jì)算應(yīng)用服務(wù)平臺(tái)的中間層,負(fù)責(zé)將各項(xiàng)請(qǐng)求信息傳遞到異構(gòu)計(jì)算資源,并且通過執(zhí)行操作來查詢和獲取信息,包括虛擬數(shù)據(jù)空間中計(jì)算數(shù)據(jù)(輸入/輸出數(shù)據(jù))的分布信息(存儲(chǔ)信息)。API負(fù)責(zé)以合適的形式封裝環(huán)境系統(tǒng)軟件提供的功能,并優(yōu)化已有API的性能和效率。

        在接口設(shè)計(jì)中,重點(diǎn)設(shè)計(jì)高性能計(jì)算任務(wù)中虛擬數(shù)據(jù)空間系統(tǒng)提供的多副本數(shù)據(jù)服務(wù),包括大規(guī)模數(shù)據(jù)的快速傳輸、文件管理等功能接口;然后研究基于虛擬數(shù)據(jù)空間的多數(shù)據(jù)來源的作業(yè)提交、共享輸入數(shù)據(jù)和共享應(yīng)用軟件的批量作業(yè)管理等;在此基礎(chǔ)上,進(jìn)一步研究高性能計(jì)算環(huán)境的工作流任務(wù)模型,包括作業(yè)提交、狀態(tài)管理、數(shù)據(jù)傳輸、輸入文件格式轉(zhuǎn)換、輸出文件質(zhì)量檢查和依賴條件判斷等,并設(shè)計(jì)可擴(kuò)展的插件機(jī)制,利用已有成果完成作業(yè)調(diào)度、前后處理等功能,從而為不同學(xué)科領(lǐng)域的應(yīng)用計(jì)算和上層應(yīng)用社區(qū)提供定制化的開發(fā)功能。

        高性能計(jì)算環(huán)境接口包括:機(jī)群節(jié)點(diǎn)列表查詢接口、應(yīng)用列表查詢接口、環(huán)境隊(duì)列查詢接口以及作業(yè)系統(tǒng)相關(guān)接口等。

        高性能計(jì)算環(huán)境接口一方面在高性能計(jì)算環(huán)境中為虛擬數(shù)據(jù)空間提供統(tǒng)一的全局虛擬數(shù)據(jù)空間的數(shù)據(jù)訪問服務(wù),另一方面為高性能計(jì)算環(huán)境中數(shù)據(jù)與計(jì)算的協(xié)同調(diào)度提供相應(yīng)的服務(wù)。除此之外,虛擬數(shù)據(jù)空間集成部署后,將在高性能計(jì)算環(huán)境中使用,因此還設(shè)計(jì)了相應(yīng)的接口供高性能計(jì)算環(huán)境調(diào)用。高性能計(jì)算環(huán)境接口和虛擬數(shù)據(jù)空間接口分別見表1和表2.

        在接口設(shè)計(jì)過程中,對(duì)JSON響應(yīng)輸出格式進(jìn)行了內(nèi)容規(guī)范,具體如下:

        ● 如果交互正常,則返回的HTTP status code為200,其他錯(cuò)誤內(nèi)容參見HTTP的標(biāo)準(zhǔn)定義,以后將有詳細(xì)的編碼定義;

        ● 調(diào)用HTTP API時(shí),平臺(tái)返回的響應(yīng)輸出由status_code、status_msg兩個(gè)參數(shù)組成,分別用于描述錯(cuò)誤碼和錯(cuò)誤信息。status_code為0,表示操作成功執(zhí)行,其他錯(cuò)誤碼參見具體函數(shù)的說明;

        ● 交互正常(http_code=200)時(shí),響應(yīng)會(huì)生成request_id字段,該字段的值由服務(wù)端生成,并返回給用戶,以便進(jìn)行問題追查與定位。

        表1 高性能計(jì)算環(huán)境接口

        研究中使用response_params表示API 返回的結(jié)果,其是由n個(gè)包含對(duì)的元素組成的JSON對(duì)象。

        表2 虛擬數(shù)據(jù)空間接口

        4 數(shù)據(jù)與計(jì)算協(xié)同調(diào)度方法

        計(jì)算任務(wù)的運(yùn)行時(shí)間高度依賴資源的布局和可用性,資源失配將顯著增加運(yùn)行時(shí)間。針對(duì)該問題,研究數(shù)據(jù)與計(jì)算任務(wù)的協(xié)同調(diào)度機(jī)制,基于設(shè)計(jì)的環(huán)境接口、特征模型,動(dòng)態(tài)監(jiān)視資源狀態(tài),對(duì)全局資源進(jìn)行統(tǒng)一管理和分配,設(shè)計(jì)優(yōu)化解決方案,以實(shí)現(xiàn)數(shù)據(jù)與計(jì)算任務(wù)的協(xié)同調(diào)度。

        在高性能計(jì)算環(huán)境中,各個(gè)超級(jí)計(jì)算中心集群的計(jì)算能力、調(diào)度系統(tǒng)、部署的應(yīng)用軟件以及網(wǎng)絡(luò)帶寬都有區(qū)別,為了避免傳統(tǒng)單一的計(jì)算任務(wù)調(diào)度,采用計(jì)算與數(shù)據(jù)協(xié)同調(diào)度算法,依據(jù)計(jì)算特征和數(shù)據(jù)布局選擇任務(wù)和數(shù)據(jù)節(jié)點(diǎn),實(shí)現(xiàn)在廣域范圍內(nèi)高效合理的計(jì)算任務(wù)分布和數(shù)據(jù)布局,以降低應(yīng)用的跨域訪問開銷。

        圖1 高性能計(jì)算環(huán)境計(jì)算與數(shù)據(jù)的協(xié)同調(diào)度系統(tǒng)的結(jié)構(gòu)示意圖

        在傳統(tǒng)集群計(jì)算機(jī)系統(tǒng)中,計(jì)算系統(tǒng)與存儲(chǔ)系統(tǒng)是分開的,且其資源管理和任務(wù)調(diào)度系統(tǒng)相互獨(dú)立[11]。本部分進(jìn)行了計(jì)算與數(shù)據(jù)協(xié)同調(diào)度的研究,從圖1可以看出,計(jì)算與數(shù)據(jù)協(xié)同調(diào)度算法不僅考慮了高性能計(jì)算環(huán)境計(jì)算服務(wù)中的因素,還將結(jié)合虛擬數(shù)據(jù)空間中的與一些數(shù)據(jù)服務(wù)任務(wù)相關(guān)的數(shù)據(jù)屬性。在高性能計(jì)算環(huán)境中,系統(tǒng)接收到計(jì)算任務(wù)的請(qǐng)求時(shí),通過計(jì)算與數(shù)據(jù)協(xié)同調(diào)度算法選擇高性能計(jì)算環(huán)境的目標(biāo)集群,同時(shí)計(jì)算該環(huán)境中的計(jì)算服務(wù),通過虛擬數(shù)據(jù)空間系統(tǒng)的數(shù)據(jù)服務(wù)進(jìn)行計(jì)算任務(wù)輸入/輸出的廣域的虛擬數(shù)據(jù)空間中的數(shù)據(jù)訪問。如某個(gè)計(jì)算任務(wù)的執(zhí)行程序被部署在A、B、C 3個(gè)超級(jí)計(jì)算中心,在分配計(jì)算資源時(shí),A、B、C都可以作為該計(jì)算任務(wù)的目標(biāo)執(zhí)行集群,這時(shí)需要關(guān)注該計(jì)算任務(wù)的輸入數(shù)據(jù)在分布式虛擬數(shù)據(jù)空間中的分布情況:首先查看該輸入文件是否在A、B、C中存在副本,若有,則在協(xié)同調(diào)度模型中該項(xiàng)因子的權(quán)重生效;判斷是否需要在A、B、C中創(chuàng)建該文件的副本,其中需考慮創(chuàng)建各個(gè)副本的代價(jià)情況;還需要考慮其他因素,如隊(duì)列、用戶權(quán)限等。

        高性能計(jì)算環(huán)境計(jì)算與數(shù)據(jù)的協(xié)同調(diào)度模型充分考慮了高性能計(jì)算環(huán)境中的計(jì)算集群資源及隊(duì)列情況、數(shù)據(jù)分布狀態(tài),各個(gè)超級(jí)計(jì)算中心之間的網(wǎng)絡(luò)互連情況、計(jì)算任務(wù)的需求,以及各個(gè)超級(jí)計(jì)算中心上的應(yīng)用部署情況。

        高性能計(jì)算環(huán)境計(jì)算與數(shù)據(jù)的協(xié)同調(diào)度模型如圖2所示。其首先將接收到的由計(jì)算集群、輸入輸出數(shù)據(jù)、網(wǎng)絡(luò)、任務(wù)以及應(yīng)用部署5大類16個(gè)小項(xiàng)數(shù)據(jù)輸入?yún)?shù)組成的矩陣輸入?yún)f(xié)同調(diào)度模型中,通過參數(shù)匹配和參數(shù)優(yōu)化進(jìn)行任務(wù)和數(shù)據(jù)的調(diào)度。

        從國家高性能計(jì)算環(huán)境來看,任務(wù)的啟動(dòng)包含數(shù)據(jù)準(zhǔn)備時(shí)間、任務(wù)在目標(biāo)中心集群上的調(diào)度時(shí)間。

        基于虛擬數(shù)據(jù)空間的廣域數(shù)據(jù)的訪問,進(jìn)一步實(shí)現(xiàn)環(huán)境節(jié)點(diǎn)管理、環(huán)境任務(wù)管理以及環(huán)境數(shù)據(jù)管理等,具體如圖3所示。環(huán)境節(jié)點(diǎn)管理部分主要指高性能計(jì)算環(huán)境與虛擬數(shù)據(jù)空間環(huán)境調(diào)用接口之間的交互,針對(duì)高性能計(jì)算環(huán)境中的計(jì)算、數(shù)據(jù)、集群3個(gè)方面實(shí)現(xiàn)集群節(jié)點(diǎn)管理、集群隊(duì)列管理、集群作業(yè)管理和集群應(yīng)用管理;數(shù)據(jù)與計(jì)算協(xié)同調(diào)度模塊包括環(huán)境A PI、與虛擬數(shù)據(jù)空間對(duì)接的數(shù)據(jù)空間A PI,此模塊的任務(wù)是利用啟發(fā)式協(xié)同調(diào)度算法進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)遷移、任務(wù)遷移及任務(wù)特征匹配。

        (1)對(duì)計(jì)算資源、存儲(chǔ)資源、數(shù)據(jù)準(zhǔn)備(包括數(shù)據(jù)遷移)、任務(wù)遷移以及任務(wù)預(yù)期運(yùn)行時(shí)間等調(diào)度要素進(jìn)行形式化定義,為接下來的調(diào)度模型算法設(shè)計(jì)奠定基礎(chǔ)。

        ● 應(yīng)用信息的相關(guān)信息如圖4所示,包括版本、部署的節(jié)點(diǎn)等。

        ● 數(shù)據(jù)信息的相關(guān)信息如圖5所示,包括大小、分布節(jié)點(diǎn)等。

        ● 隊(duì)列信息的相關(guān)信息如圖6所示,包括狀態(tài)、允許的核數(shù)、時(shí)間、排隊(duì)情況等。

        在協(xié)同調(diào)度算法設(shè)計(jì)中,本文做出相應(yīng)的定義,具體如下。

        圖2 高性能計(jì)算環(huán)境計(jì)算與數(shù)據(jù)的協(xié)同調(diào)度模型

        圖3 虛擬數(shù)據(jù)空間協(xié)同調(diào)度設(shè)計(jì)框架

        ● 應(yīng)用的定義

        Nodeapp表示應(yīng)用在各點(diǎn)的部署情況,其中,Nai表示應(yīng)用遷移情況。

        ● 數(shù)據(jù)的定義

        Nodedata表示數(shù)據(jù)分布/遷移的情況,其中,Ndi表示應(yīng)用遷移代價(jià)。

        ● 隊(duì)列的定義

        Nodequeue表示隊(duì)列是否滿足任務(wù)的條件以及任務(wù)執(zhí)行需要的等待時(shí)間,其中,Nqi表示隊(duì)列狀態(tài)。

        圖4 應(yīng)用的相關(guān)信息

        (2)建立協(xié)同調(diào)度的虛擬任務(wù)隊(duì)列,如圖7所示。

        在全局的虛擬數(shù)據(jù)空間與高性能計(jì)算環(huán)境的計(jì)算與數(shù)據(jù)協(xié)同調(diào)度設(shè)計(jì)中,采用一種虛擬隊(duì)列的方式,將環(huán)境中各個(gè)點(diǎn)的資源虛擬成全局調(diào)度的一個(gè)隊(duì)列。根據(jù)各個(gè)點(diǎn)的資源和任務(wù)使用情況設(shè)定各個(gè)虛擬隊(duì)列的優(yōu)先級(jí)。

        在調(diào)度過程中,結(jié)合任務(wù)的部署情況、數(shù)據(jù)準(zhǔn)備情況、各虛擬隊(duì)列的任務(wù)排隊(duì)情況,以及任務(wù)和數(shù)據(jù)遷移代價(jià),綜合制定環(huán)境的調(diào)度目標(biāo)。

        圖5 輸入/輸出數(shù)據(jù)的相關(guān)信息

        圖6 隊(duì)列相關(guān)信息

        圖7 協(xié)同調(diào)度的虛擬任務(wù)隊(duì)列

        5 虛擬數(shù)據(jù)空間系統(tǒng)與高性能環(huán)境的集成

        在高性能計(jì)算環(huán)境的相關(guān)接口以及計(jì)算與數(shù)據(jù)的協(xié)同調(diào)度模塊的基礎(chǔ)上,將虛擬數(shù)據(jù)空間接口集成到國家網(wǎng)格環(huán)境的服務(wù)器中,與高性能計(jì)算環(huán)境形成完整的系統(tǒng)。

        如圖8所示,虛擬數(shù)據(jù)空間系統(tǒng)目前已完成五大超級(jí)計(jì)算中心的部署,這些中心同時(shí)也是國家高性能計(jì)算環(huán)境的節(jié)點(diǎn),將虛擬數(shù)據(jù)空間系統(tǒng)服務(wù)的客戶端節(jié)點(diǎn)納入國家高性能計(jì)算環(huán)境中,用戶在高性能計(jì)算環(huán)境中使用虛擬數(shù)據(jù)空間系統(tǒng)提供的功能,實(shí)現(xiàn)虛擬數(shù)據(jù)空間系統(tǒng)對(duì)國家高性能計(jì)算環(huán)境的擴(kuò)展。

        作為國家高性能計(jì)算環(huán)境的補(bǔ)充,虛擬數(shù)據(jù)空間系統(tǒng)為國家高性能計(jì)算環(huán)境提供了廣域環(huán)境下各中心數(shù)據(jù)存儲(chǔ)資源的統(tǒng)一虛擬訪問。本研究將虛擬數(shù)據(jù)空間系統(tǒng)集成到國家高性能計(jì)算環(huán)境中的數(shù)據(jù)與計(jì)算服務(wù)層,從而為上層的計(jì)算服務(wù)平臺(tái)提供廣域的虛擬數(shù)據(jù)空間的數(shù)據(jù)訪問服務(wù)。

        (1)GVDS接口client命令供CNGrid client命令行使用

        通過開發(fā)虛擬數(shù)據(jù)空間系統(tǒng)的接口為國家高性能計(jì)算環(huán)境提供支持。虛擬數(shù)據(jù)空間系統(tǒng)與國家高性能計(jì)算環(huán)境的調(diào)用接口,可為上層的計(jì)算服務(wù)平臺(tái)中的各類服務(wù)提供虛擬數(shù)據(jù)空間的數(shù)據(jù)查詢/訪問/傳輸。支持從多個(gè)輸入源選擇輸入文件或存儲(chǔ)輸出文件,使得高性能計(jì)算環(huán)境中的用戶能通過虛擬數(shù)據(jù)空間系統(tǒng)訪問廣域環(huán)境中其他網(wǎng)格節(jié)點(diǎn)的數(shù)據(jù),實(shí)現(xiàn)高性能計(jì)算環(huán)境中計(jì)算任務(wù)能夠訪問跨域分散的存儲(chǔ)資源,使用戶能夠從使用角度看到一個(gè)與本地?cái)?shù)據(jù)空間一致、可提供統(tǒng)一訪問與管理的虛擬數(shù)據(jù)空間,并在國家高性能計(jì)算環(huán)境中為用戶的計(jì)算任務(wù)提供整個(gè)環(huán)境的計(jì)算與數(shù)據(jù)的協(xié)同能力。

        將GVDS接口命令部署到高性能計(jì)算環(huán)境中。用戶調(diào)用已封裝好的命令可實(shí)現(xiàn)虛擬數(shù)據(jù)空間與國家高性能計(jì)算環(huán)境中的中國科學(xué)院超級(jí)計(jì)算中心、國家超級(jí)計(jì)算廣州中心、上海超級(jí)計(jì)算中心、國家超級(jí)計(jì)算長沙中心以及國家超級(jí)計(jì)算濟(jì)南中心的數(shù)據(jù)信息的全局統(tǒng)一訪問。

        (2)GVDS API供CNGrid portal調(diào)用

        在天氣預(yù)報(bào)典型應(yīng)用中,通過命令行方式調(diào)用系統(tǒng)中的POSIX接口,實(shí)現(xiàn)對(duì)虛擬數(shù)據(jù)空間系統(tǒng)的應(yīng)用數(shù)據(jù)的訪問。

        (3)虛擬數(shù)據(jù)空間中用戶身份與高性能環(huán)境的認(rèn)證

        虛擬數(shù)據(jù)空間系統(tǒng)作為一個(gè)社區(qū),擁有獨(dú)立的一套用戶管理機(jī)制,包括賬戶注冊(cè)、登錄、注銷等。CNGrid client命令行與GVDS client命令行都與服務(wù)器用戶進(jìn)行一對(duì)一映射。CNGrid portal調(diào)用GVDS API時(shí),CNGrid用戶與GVDS用戶一對(duì)一映射。

        圖8 虛擬數(shù)據(jù)空間系統(tǒng)與國家高性能計(jì)算環(huán)境的集成系統(tǒng)結(jié)構(gòu)

        6 虛擬數(shù)據(jù)空間系統(tǒng)接口實(shí)現(xiàn)

        系統(tǒng)接口都是基于REST風(fēng)格的開發(fā)API實(shí)現(xiàn)的,REST已成為最主要的Web服務(wù)設(shè)計(jì)模型。RESTful Web service是一種輕量級(jí)的Web service架構(gòu)風(fēng)格,可完全通過HTTP實(shí)現(xiàn),還可以利用緩存提高響應(yīng)速度,在性能、效率和易用性方面有很好的表現(xiàn)。REST API提供了基于HTTP的國家高性能計(jì)算環(huán)境訪問接口,包括用戶管理、作業(yè)管理、文件管理等基本功能,也提供了賬號(hào)管理等高級(jí)功能。該接口具有良好的跨語言特性和跨平臺(tái)特性,使得開發(fā)人員可自由選擇編程語言。

        系統(tǒng)接口在高性能計(jì)算環(huán)境中為虛擬數(shù)據(jù)空間系統(tǒng)提供了統(tǒng)一的全局虛擬數(shù)據(jù)空間的數(shù)據(jù)訪問服務(wù)。

        ● 如圖9所示,vlu命令用于獲取虛擬數(shù)據(jù)空間用戶的信息。

        ● 如圖10所示,vlg命令用于獲取虛擬數(shù)據(jù)空間用戶組的信息。

        圖9 虛擬數(shù)據(jù)空間用戶的信息

        圖10 虛擬數(shù)據(jù)空間用戶組的信息

        ● 如圖11所示,vmkuser命令用于創(chuàng)建虛擬數(shù)據(jù)空間用戶。

        ● 如圖12所示,vmoduser命令用于修改虛擬數(shù)據(jù)空間用戶。

        ● 如圖13所示,vscheduling命令可用于獲取高性能計(jì)算環(huán)境信息。

        ● 如圖14所示,vscheduling命令也可用于獲取高性能計(jì)算環(huán)境的隊(duì)列信息。

        ● 如圖15所示,vscheduling命令還可用于獲取高性能環(huán)境的應(yīng)用信息。

        環(huán)境用戶在單個(gè)節(jié)點(diǎn)就可通過虛擬數(shù)據(jù)空間系統(tǒng)訪問其分布在各個(gè)超級(jí)計(jì)算中心的數(shù)據(jù)資源(如同訪問單一節(jié)點(diǎn)的數(shù)據(jù)一樣),并能對(duì)這些數(shù)據(jù)資源進(jìn)行相應(yīng)的操作,如編輯、復(fù)制、備份等。在任何一個(gè)部署了虛擬數(shù)據(jù)空間系統(tǒng)的節(jié)點(diǎn)上,像使用普通Linux文件系統(tǒng)一樣,用戶能看到其在各個(gè)超級(jí)計(jì)算節(jié)點(diǎn)的數(shù)據(jù)目錄和文件,通過虛擬數(shù)據(jù)空間系統(tǒng)的命令能遠(yuǎn)程地使用和編輯文件。從用戶的角度來看,在虛擬數(shù)據(jù)空間系統(tǒng)中對(duì)文件的操作如同在Linux系統(tǒng)中操作本地文件一樣。高性能計(jì)算環(huán)境通過調(diào)用虛擬數(shù)據(jù)空間系統(tǒng)的相關(guān)命令接口實(shí)現(xiàn)網(wǎng)格環(huán)境中數(shù)據(jù)文件的操作:如在不同超級(jí)計(jì)算中心的副本上建立數(shù)據(jù)文件,在不同超級(jí)計(jì)算節(jié)點(diǎn)上訪問/傳輸文件等。

        7 結(jié)束語

        將虛擬數(shù)據(jù)空間系統(tǒng)部署到國家高性能計(jì)算環(huán)境中,可實(shí)現(xiàn)虛擬數(shù)據(jù)空間系統(tǒng)與國家高性能計(jì)算環(huán)境的深度融合。將虛擬數(shù)據(jù)空間系統(tǒng)提供的功能補(bǔ)充到國家高性能計(jì)算環(huán)境中,為國家高性能計(jì)算環(huán)境提供統(tǒng)一的數(shù)據(jù)訪問視圖,方便國家高性能計(jì)算環(huán)境的用戶使用。利用虛擬數(shù)據(jù)空間系統(tǒng)提供的數(shù)據(jù)存儲(chǔ)的統(tǒng)一視圖,并通過虛擬數(shù)據(jù)空間系統(tǒng)提供的數(shù)據(jù)共享等功能實(shí)現(xiàn)計(jì)算過程中的數(shù)據(jù)交換方式,可有效地解決高性能計(jì)算環(huán)境中的計(jì)算資源聚合、數(shù)據(jù)資源分散問題,對(duì)國家高性能計(jì)算環(huán)境的易用性方面起到良好的推動(dòng)作用。

        圖11 創(chuàng)建虛擬數(shù)據(jù)空間用戶

        圖12 修改虛擬數(shù)據(jù)空間用戶

        圖13 獲取HPC 信息

        圖14 獲取HPC 隊(duì)列信息

        圖15 獲取HPC 應(yīng)用信息

        猜你喜歡
        計(jì)算環(huán)境高性能調(diào)度
        云計(jì)算環(huán)境下網(wǎng)絡(luò)安全等級(jí)保護(hù)的實(shí)現(xiàn)途徑
        《調(diào)度集中系統(tǒng)(CTC)/列車調(diào)度指揮系統(tǒng)(TDCS)維護(hù)手冊(cè)》正式出版
        一種基于負(fù)載均衡的Kubernetes調(diào)度改進(jìn)算法
        虛擬機(jī)實(shí)時(shí)遷移調(diào)度算法
        大數(shù)據(jù)云計(jì)算環(huán)境下的數(shù)據(jù)安全
        電子制作(2017年20期)2017-04-26 06:57:48
        一款高性能BGO探測(cè)器的研發(fā)
        電子制作(2017年19期)2017-02-02 07:08:49
        高性能砼在橋梁中的應(yīng)用
        云計(jì)算環(huán)境中任務(wù)調(diào)度策略
        SATA推出全新高性能噴槍SATAjet 5000 B
        高性能可變進(jìn)氣岐管降低二氧化碳排放
        汽車零部件(2014年8期)2014-12-28 02:03:03
        男男做h嗯啊高潮涩涩| 精品香蕉久久久午夜福利| 欧洲午夜视频| 亚洲一区二区三区在线中文| 国产午夜福利小视频在线观看| 亚洲av色影在线| 久久久天堂国产精品女人| 国产高清吃奶成免费视频网站| 色哟哟精品中文字幕乱码| 亚洲天堂成人av影院| 欧美性猛交xxxx富婆| 黄色毛片视频免费| 在线一区二区三区免费视频观看| 久久久免费看少妇高潮| 粗大猛烈进出高潮视频| 97久久精品人人妻人人| 蜜臀av一区二区三区精品| 国产极品裸体av在线激情网| 国产 字幕 制服 中文 在线| 亚洲国产成人精品福利在线观看| 亚洲无人区乱码中文字幕| 久久久久久夜精品精品免费啦 | 免费国产一级片内射老| 国产在线视频一区二区三区不卡| 国产精品永久在线观看| 欧美性大战久久久久久久| 九九99久久精品在免费线97| 亚洲三级中文字幕乱码| 中文字幕乱码熟妇五十中出| 午夜一级韩国欧美日本国产| 亚洲av永久综合网站美女| 精品国产一区二区三区色搞| 久久精品99久久香蕉国产色戒| 精精国产xxx在线视频app| 色婷婷精品午夜在线播放| 巨大巨粗巨长 黑人长吊| 欧美一区波多野结衣第一页| 亚洲一区二区日韩在线| 久久亚洲精品国产亚洲老地址| 亚洲av无码成人黄网站在线观看| 中日韩字幕中文字幕一区|