錢德沛 欒鐘治 劉軼

(北京航空航天大學(xué) 計(jì)算機(jī)學(xué)院, 北京 100083)

1 計(jì)算機(jī)使用模式的演變

計(jì)算機(jī)是20 世紀(jì)人類社會最偉大的發(fā)明之一,它的出現(xiàn),徹底改變了人類生活、工作的面貌。計(jì)算與模擬和理論與分析、實(shí)驗(yàn)與觀測一起,成為人類認(rèn)識客觀世界、開展科學(xué)研究的重要手段。對現(xiàn)代科學(xué)研究而言,計(jì)算的重要性不言而喻。利用計(jì)算,可以更清晰地揭示客觀世界的發(fā)展規(guī)律,探索和預(yù)測未知的事物。 例如,大數(shù)據(jù)處理分析、人工智能大模型訓(xùn)練和推理、新能源及其利用、新材料設(shè)計(jì)、工業(yè)產(chǎn)品創(chuàng)新設(shè)計(jì)、創(chuàng)新藥物研發(fā)、精確天氣預(yù)報(bào)、全球氣候變化預(yù)測、社會治理和決策支持等,都依賴計(jì)算機(jī)的強(qiáng)大算力。 因此,算力已經(jīng)成為一個(gè)國家創(chuàng)新能力和綜合國力的體現(xiàn)。

伴隨算力的提高,如何能更容易地使用計(jì)算機(jī),便捷地獲得所需的算力,也是人們一直追求的目標(biāo)。 計(jì)算機(jī)誕生70 多年來,其使用方式一直在不斷變化。 早期,人圍著計(jì)算機(jī)轉(zhuǎn),用戶要跑到專門的機(jī)房去上機(jī),計(jì)算機(jī)被一個(gè)用戶單道程序所獨(dú)占。 隨著操作系統(tǒng)的進(jìn)步,計(jì)算機(jī)的使用方式逐漸從單道程序的主機(jī)模式向多道程序的批作業(yè)模式[1]和分時(shí)交互模式[2]發(fā)展。 在分時(shí)計(jì)算系統(tǒng)[3]中,眾多用戶可以通過終端,同時(shí)使用一臺計(jì)算機(jī),每個(gè)用戶在分配給他的時(shí)間片內(nèi)使用計(jì)算機(jī),但感覺上似乎是在獨(dú)占這臺計(jì)算機(jī)。 20 世紀(jì)80 年代,個(gè)人計(jì)算機(jī)的出現(xiàn)使計(jì)算機(jī)進(jìn)入千家萬戶,但是個(gè)人計(jì)算機(jī)的性能有限,孤立的個(gè)人計(jì)算機(jī)難以勝任大的計(jì)算任務(wù)。 直到20 世紀(jì)另一個(gè)偉大發(fā)明計(jì)算機(jī)網(wǎng)絡(luò)的出現(xiàn)和普及,帶來網(wǎng)絡(luò)計(jì)算的新變革,計(jì)算機(jī)的使用方式才發(fā)生了影響更深遠(yuǎn)的變化。 所謂網(wǎng)絡(luò)計(jì)算,就是通過網(wǎng)絡(luò)連接網(wǎng)上分散的計(jì)算機(jī),匯聚網(wǎng)絡(luò)連接的各類硬件和軟件資源,形成能力更為強(qiáng)大的計(jì)算系統(tǒng)。 用戶可以通過網(wǎng)絡(luò)隨時(shí)隨地訪問計(jì)算機(jī),使用計(jì)算資源,完成自身任務(wù),而無需關(guān)心計(jì)算資源的物理所在。

美國的超算中心聯(lián)網(wǎng)是網(wǎng)絡(luò)計(jì)算系統(tǒng)的早期范例。 20 世紀(jì)80 年代中期,美國國防用途的Arpanet 進(jìn)入商用,Internet 誕生。 在美國國家科學(xué)基金會(NSF)支持下,建設(shè)了主干速率56 Kbps、運(yùn)行TCP/IP 協(xié)議的NSFNET 網(wǎng)絡(luò)。 NSFNET 將美國加利福尼亞大學(xué)的圣地亞哥超級計(jì)算機(jī)中心(SDSC)、伊利諾伊大學(xué)的國家超級計(jì)算應(yīng)用中心(NCSA)、康奈爾大學(xué)的康奈爾國家超級計(jì)算機(jī)研究室(CNSF)、匹茲堡超級計(jì)算機(jī)中心(PBC)、馮·諾依曼國家超級計(jì)算機(jī)中心(JVNNSC)和美國國家大氣研究中心(NCAR)的科學(xué)計(jì)算分部連接起來,對大學(xué)和科研用戶提供可遠(yuǎn)程使用的計(jì)算資源[4]。

20 世紀(jì)90 年代中期,網(wǎng)格計(jì)算(grid computing)的概念在美國興起[5]。 網(wǎng)格(grid)一詞最初是指電力網(wǎng)(power grid),網(wǎng)格計(jì)算借用電力網(wǎng)的概念,提出要利用高速互聯(lián)網(wǎng)把分布于不同地理位置的計(jì)算、數(shù)據(jù)、存儲和軟件等資源連為一體,通過調(diào)度、管理和安全保障機(jī)制,建立一個(gè)像電網(wǎng)一樣的計(jì)算網(wǎng)格,把算力像電力那樣輸送給終端用戶,支持共享使用和協(xié)同工作[6]。 在美國NSF的支持下,分別由NCSA 和SDSC 牽頭,實(shí)施了2個(gè)網(wǎng)格計(jì)算項(xiàng)目,初步建立了計(jì)算網(wǎng)格的雛形[7]。 網(wǎng)格計(jì)算研究在20 世紀(jì)末到21 世紀(jì)最初10 年達(dá)到高潮。 在美國的倡導(dǎo)下,成立了全球網(wǎng)格論壇GGF,與此對應(yīng),國際IT 大公司聯(lián)合成立了企業(yè)網(wǎng)格論壇EGF。 2006 年,GGF 和EGF 合并,成為開放網(wǎng)格論壇OGF。 GGF 提出了開放網(wǎng)格服務(wù)基礎(chǔ)設(shè)施OGSI 和開放網(wǎng)格服務(wù)體系架構(gòu)OGSA 等標(biāo)準(zhǔn)[8-9],協(xié)調(diào)全球網(wǎng)格計(jì)算的研究和開發(fā)力量,研究資源管理,安全、信息服務(wù)及數(shù)據(jù)管理等網(wǎng)格計(jì)算基本理論和關(guān)鍵技術(shù)。 在Globus項(xiàng)目[10]支持下研發(fā)了Globus Toolkit 3. 0 (GT3)軟件,GT3 作為OGSI 的一個(gè)完整的參考實(shí)現(xiàn),成為網(wǎng)格計(jì)算的事實(shí)標(biāo)準(zhǔn)。

在網(wǎng)格計(jì)算熱潮中,美國、歐盟、日本、中國都實(shí)施了一批網(wǎng)格計(jì)算研究計(jì)劃或項(xiàng)目。 部分代表性項(xiàng)目如表1 所示。

表1 世界部分網(wǎng)格相關(guān)研究計(jì)劃Table 1 Part of grid-related programs in the world

美國是網(wǎng)格計(jì)算的發(fā)源地,該方向的研究計(jì)劃持續(xù)時(shí)間最長,實(shí)施的項(xiàng)目數(shù)量最多。 美國NSF 專門設(shè)立Cyberinfrastructure 部門,持續(xù)穩(wěn)定支持網(wǎng)格計(jì)算方向的研究。 美國的網(wǎng)格項(xiàng)目主要有2 類。 第1 類由美國NSF 支持,在先進(jìn)計(jì)算伙伴計(jì)劃PACI 之后,從20 世紀(jì)末開始實(shí)施Tera-Grid 項(xiàng)目[11],其主要目標(biāo)是用網(wǎng)格計(jì)算技術(shù)推動(dòng)國家科技進(jìn)步,保持美國的科技領(lǐng)先地位。 2011年,TeraGrid 的后繼項(xiàng)目XSEDE 項(xiàng)目(https://www.xsede.org/)正式啟動(dòng),該項(xiàng)目旨在連接全球的計(jì)算機(jī)、數(shù)據(jù)和研究人員,建立可供科學(xué)家共享的計(jì)算環(huán)境。 美國NSF 資助的開放科學(xué)網(wǎng)格(OSG)在其基礎(chǔ)軟件HTCondor(https://htcondor.org/)支持下,實(shí)現(xiàn)了眾多大學(xué)與國家實(shí)驗(yàn)室的計(jì)算資源共享,為科學(xué)家提供了科學(xué)計(jì)算的環(huán)境。 第2 類網(wǎng)格項(xiàng)目由美國國防部、能源部等支持,其主要目標(biāo)是更好地完成本部門的任務(wù)。 2類研究的應(yīng)用目標(biāo)有所不同,但共同點(diǎn)是要發(fā)展先進(jìn)的基于網(wǎng)絡(luò)的應(yīng)用基礎(chǔ)設(shè)施,實(shí)現(xiàn)應(yīng)用層面的互聯(lián)互通、資源共享、協(xié)同工作。

歐盟于2000 年和2001 年分別啟動(dòng)了歐洲網(wǎng)格計(jì)劃(EuroGrid)(https://www. eurogrid. org/)和歐洲數(shù)據(jù)網(wǎng)格計(jì)劃(European DataGrid)[12]。在歐洲數(shù)據(jù)網(wǎng)格計(jì)劃的基礎(chǔ)上,2004 年3 月,歐盟框架研究計(jì)劃啟動(dòng)了EGEE 項(xiàng)目[13],其目標(biāo)是基于網(wǎng)格技術(shù)開發(fā)歐洲的服務(wù)網(wǎng)格基礎(chǔ)設(shè)施,供科學(xué)家全天候使用。 2011 年,歐盟框架計(jì)劃又啟動(dòng)了EGEE 的后繼項(xiàng)目EGI(https://www. egi.eu/)。 在這些項(xiàng)目支持下,研發(fā)了歐盟的網(wǎng)格中間件gLite (http://glite. cern. ch/),建立了可持續(xù)運(yùn)維的泛歐計(jì)算基礎(chǔ)設(shè)施。

英國的網(wǎng)格研究計(jì)劃是UK e-Science[14],其目標(biāo)是用網(wǎng)格技術(shù)改變科學(xué)研究的模式,推動(dòng)科學(xué)技術(shù)的進(jìn)步,長遠(yuǎn)目標(biāo)是影響未來的信息技術(shù)基礎(chǔ)設(shè)施。 在UK e-Science 計(jì)劃支持下,英國在大學(xué)和研究機(jī)構(gòu)建立了一批國家e-Science中心,依托OMII-UK 項(xiàng)目研發(fā)了英國的開放網(wǎng)格中間件,開發(fā)了一批面向e-Science 的網(wǎng)格應(yīng)用系統(tǒng)。

日本文部科學(xué)省(MEXT)在2003 年啟動(dòng)了“國家研究網(wǎng)格基礎(chǔ)設(shè)施”項(xiàng)目NAREGI[15]。 NAREGI 構(gòu)建在日本教育科研網(wǎng)SuperSINET 之上,旨在研制并部署面向科學(xué)研究的網(wǎng)格基礎(chǔ)設(shè)施,并參與全球開放網(wǎng)格組織OGF 的工作,為網(wǎng)格的標(biāo)準(zhǔn)化活動(dòng)提供支持。 在NAREGI 之后,日本政府又結(jié)合E 級超級計(jì)算機(jī)的研制,啟動(dòng)了日本高性能計(jì)算基礎(chǔ)設(shè)施項(xiàng)目HPCI。 HPCI 通過Super-SINET 連接日本大學(xué)和研究機(jī)構(gòu)中的10 個(gè)大超算中心和2 個(gè)大數(shù)據(jù)中心,形成日本的國家級計(jì)算基礎(chǔ)設(shè)施。

中國的網(wǎng)格計(jì)算研究起步于20 世紀(jì)90 年代末,科學(xué)技術(shù)部(以下簡稱科技部)是支持網(wǎng)格計(jì)算研究的主要政府部門,從1999 年起,中國在高性能計(jì)算和網(wǎng)格方向連續(xù)實(shí)施了多個(gè)國家863 重大項(xiàng)目和國家重點(diǎn)研發(fā)專項(xiàng),表2 列出了科技部在該方向支持的主要項(xiàng)目。 在這些項(xiàng)目的持續(xù)支持下,研發(fā)了國家高性能計(jì)算環(huán)境系統(tǒng)軟件CNGrid GOS 和CNGrid Suite,使用環(huán)境系統(tǒng)軟件,聚合了分布在全國各地近20 個(gè)超算中心和高性能計(jì)算中心的計(jì)算資源,實(shí)現(xiàn)了資源的互聯(lián)互通與統(tǒng)一共享、作業(yè)的提交與全局調(diào)度、數(shù)據(jù)的全局管理和環(huán)境的安全管控,在此基礎(chǔ)上,成功構(gòu)建了基于網(wǎng)格/網(wǎng)絡(luò)計(jì)算技術(shù)的國家高性能計(jì)算環(huán)境——中國國家網(wǎng)格服務(wù)環(huán)境CNGrid(參見http://www. cngrid. org)。 CNGrid 歷經(jīng)20 余年的發(fā)展,正從“可用”邁向“好用”,目前的聚合計(jì)算能力超過50 億億次,存儲容量近500 PB,部署了600 多個(gè)應(yīng)用軟件和工具軟件,支撐了數(shù)千項(xiàng)國家科技計(jì)劃項(xiàng)目和重要工程項(xiàng)目的研究工作,用戶覆蓋基礎(chǔ)研究、工業(yè)設(shè)計(jì)、能源環(huán)境和信息服務(wù)等眾多領(lǐng)域,極大促進(jìn)了中國科技創(chuàng)新能力的提高,已經(jīng)成為科學(xué)研究、技術(shù)創(chuàng)新、工程設(shè)計(jì)中不可或缺的新型信息基礎(chǔ)設(shè)施。

表2 中國科技部的網(wǎng)格和高性能計(jì)算項(xiàng)目Table 2 Grid and high performance computing projects under the Ministry of Science and Technology of China

2006 年興起的云計(jì)算是網(wǎng)絡(luò)計(jì)算技術(shù)與應(yīng)用模式的一次大變革。 與以往由學(xué)術(shù)界主導(dǎo)的技術(shù)熱潮不同,云計(jì)算從開始就是由IT 公司提出并引領(lǐng)的。 2006 年3 月,亞馬遜公司推出彈性計(jì)算云EC2(http://aws. amazon. com/ec2),2006 年8 月,谷歌公司首席執(zhí)行官埃里克·施密特在搜索引擎大會首次提出“云計(jì)算”的概念。 此后,微軟、戴爾、IBM 等國際IT 巨頭和百度、阿里等中國互聯(lián)網(wǎng)公司都紛紛跟進(jìn)。 在學(xué)術(shù)界,美國加利福尼亞大學(xué)伯克利分校的Armbrust 等也專門發(fā)文,闡述云計(jì)算的學(xué)術(shù)問題[16]。 幾年之內(nèi),云計(jì)算已從新興技術(shù)發(fā)展成為全球的熱點(diǎn)技術(shù)。 云的資源被虛擬化,可以動(dòng)態(tài)升級,資源被所有云計(jì)算用戶通過網(wǎng)絡(luò)方便地使用。 云計(jì)算的出現(xiàn)改變了IT應(yīng)用系統(tǒng)部署運(yùn)行的方式。 在傳統(tǒng)IT 應(yīng)用模式下,應(yīng)用部門需要自行采購計(jì)算機(jī)硬件和軟件,在私有的計(jì)算系統(tǒng)上安裝部署自己的應(yīng)用軟件,運(yùn)行和維護(hù)應(yīng)用系統(tǒng)。 在云計(jì)算模式下,用戶無須自行采購維護(hù)計(jì)算機(jī),而是從云服務(wù)商那里租賃所需的計(jì)算資源,在云中安裝特定的應(yīng)用軟件,存放應(yīng)用的數(shù)據(jù),完成應(yīng)用系統(tǒng)的部署,應(yīng)用系統(tǒng)就能夠運(yùn)行在云端。 應(yīng)用部門本身不需要采購和維護(hù)私有的計(jì)算機(jī),當(dāng)應(yīng)用需求變化時(shí),可以根據(jù)需要增加或減少租賃的云計(jì)算資源。 服務(wù)和按用付費(fèi)是云計(jì)算的商業(yè)模式,是計(jì)算向基礎(chǔ)設(shè)施形態(tài)邁出的一大步。 根據(jù)所提供的服務(wù)內(nèi)容,云計(jì)算可分為IaaS(提供基礎(chǔ)資源)、PaaS(提供平臺服務(wù))和SaaS(提供應(yīng)用軟件)[17]。 根據(jù)服務(wù)的范圍和應(yīng)用的性質(zhì),云計(jì)算又可分為公有云、私有云和混合云[18]。 按照服務(wù)封裝部署方式又可分為虛擬機(jī)、容器、裸金屬服務(wù)器等[19]。 今天,幾乎所有大數(shù)據(jù)中心都在某種程度上使用云計(jì)算技術(shù),提供云服務(wù)。 云計(jì)算技術(shù)也被引入傳統(tǒng)的高性能計(jì)算領(lǐng)域,出現(xiàn)了以云方式運(yùn)行超級計(jì)算中心的“云超算”和提供高性能計(jì)算能力的“超算云”[20]。

中國的云計(jì)算和國際同步發(fā)展。 國家863 計(jì)劃在2010 年就啟動(dòng)了“中國云”重大項(xiàng)目,支持阿里、百度等互聯(lián)網(wǎng)公司研發(fā)云計(jì)算系統(tǒng)。 “十三五”期間實(shí)施了“云計(jì)算與大數(shù)據(jù)”重點(diǎn)專項(xiàng),更加系統(tǒng)全面地推進(jìn)云計(jì)算關(guān)鍵技術(shù)和系統(tǒng)的研發(fā)與應(yīng)用。 今天,阿里云、華為云、百度云、浪潮云等已經(jīng)在國內(nèi)市場舉足輕重。

物聯(lián)網(wǎng)(IoT)、基于移動(dòng)互聯(lián)網(wǎng)應(yīng)用的蓬勃發(fā)展催生了邊緣計(jì)算[21]。 邊緣計(jì)算的目的是使應(yīng)用程序、數(shù)據(jù)和計(jì)算能力(服務(wù))更加靠近端用戶,而不是更靠近集中的云,這樣就能減少數(shù)據(jù)的移動(dòng),降低數(shù)據(jù)傳輸?shù)难舆t,降低端系統(tǒng)和數(shù)據(jù)中心之間的傳輸帶寬需求,達(dá)到更低的成本和更好的用戶體驗(yàn)的效果。 隨著邊緣計(jì)算技術(shù)的進(jìn)步,云-邊-端融合的IT 應(yīng)用模式也日趨流行,成為滲透更寬廣應(yīng)用領(lǐng)域的網(wǎng)絡(luò)計(jì)算的新形態(tài)。

2 國家高性能計(jì)算基礎(chǔ)設(shè)施CNGrid

建設(shè)國家級高性能計(jì)算基礎(chǔ)設(shè)施是創(chuàng)新型國家建設(shè)的戰(zhàn)略需求。 基于網(wǎng)絡(luò)計(jì)算的計(jì)算基礎(chǔ)設(shè)施具有如下特征:①動(dòng)態(tài)性。 系統(tǒng)的狀態(tài)和行為動(dòng)態(tài)變化,資源動(dòng)態(tài)接入和退出、設(shè)備隨時(shí)會出故障、網(wǎng)絡(luò)可能擁塞甚至斷開、用戶的數(shù)量會不斷變化等。 ②自治性。 地理分散的資源在支持廣泛共享的同時(shí),仍能保持原有的隸屬和管理屬性。 ③開放性。 硬件、軟件和服務(wù)來自不同的廠商,由不同的團(tuán)隊(duì)開發(fā),遵循不同的技術(shù)規(guī)范,兼容并蓄,形成自然生長演化的計(jì)算生態(tài)環(huán)境。 這種動(dòng)態(tài)、自治、開放的基礎(chǔ)設(shè)施不同于資源集中擁有和控制的云計(jì)算環(huán)境。

在開放、動(dòng)態(tài)的互聯(lián)網(wǎng)環(huán)境下,聚合網(wǎng)上異構(gòu)、自治的分散資源,構(gòu)建在全國范圍共享使用的國家高性能計(jì)算基礎(chǔ)設(shè)施,面臨重大技術(shù)挑戰(zhàn):①在動(dòng)態(tài)環(huán)境下如何應(yīng)對系統(tǒng)資源的不確定性,對用戶提供穩(wěn)定的高質(zhì)量服務(wù);②在不改變原有資源隸屬關(guān)系和管理模式的條件下,如何實(shí)現(xiàn)受控共享;③在開放異構(gòu)的環(huán)境下,如何高效開發(fā)和運(yùn)行大規(guī)模分布并行應(yīng)用,建立高性能計(jì)算應(yīng)用的生態(tài)環(huán)境。 國家高性能計(jì)算基礎(chǔ)設(shè)施CNGrid 通過體系結(jié)構(gòu)、系統(tǒng)軟件、應(yīng)用模式、應(yīng)用開發(fā)與優(yōu)化技術(shù)等創(chuàng)新應(yīng)對上述挑戰(zhàn),為在中國形成高性能計(jì)算資源提供、應(yīng)用開發(fā)和運(yùn)行服務(wù)的完整產(chǎn)業(yè)鏈奠定了技術(shù)基礎(chǔ)。

2.1 非集中層次虛擬化體系結(jié)構(gòu)及系統(tǒng)軟件

針對開放動(dòng)態(tài)環(huán)境下分布異構(gòu)資源的統(tǒng)一管理與受控共享、系統(tǒng)安全及服務(wù)質(zhì)量保障等重大技術(shù)難題,設(shè)計(jì)并實(shí)現(xiàn)了國家高性能計(jì)算基礎(chǔ)設(shè)施“三橫兩縱”的非集中層次虛擬化體系結(jié)構(gòu),如圖1所示。 “三橫”是指自底向上的內(nèi)核系統(tǒng)層、系統(tǒng)服務(wù)層和應(yīng)用層。 內(nèi)核系統(tǒng)層通過資源實(shí)體和虛擬組織等抽象,將地理分布、自治的高性能計(jì)算物理資源抽象和聚合為可動(dòng)態(tài)劃分、申請和調(diào)度的虛擬資源,通過運(yùn)行時(shí)虛擬地址空間和自治安全策略,解決資源視圖、資源發(fā)現(xiàn)及定位、異構(gòu)資源統(tǒng)一訪問等基礎(chǔ)性問題。 系統(tǒng)服務(wù)層通過訪問虛擬資源,以服務(wù)化形式向上層應(yīng)用提供作業(yè)管理、數(shù)據(jù)訪問與傳輸、應(yīng)用編程、用戶映射等功能。 應(yīng)用層使用系統(tǒng)服務(wù)層提供的功能,實(shí)現(xiàn)應(yīng)用的業(yè)務(wù)邏輯,服務(wù)最終用戶。 “兩縱”是貫穿內(nèi)核系統(tǒng)層、系統(tǒng)服務(wù)層、應(yīng)用層3 個(gè)層次的環(huán)境監(jiān)控管理和安全機(jī)制,保障環(huán)境的可管理性和安全性。

圖1 國家高性能計(jì)算基礎(chǔ)設(shè)施的非集中層次虛擬化體系結(jié)構(gòu)Fig.1 Decentralized hierarchical virtualization architecture for national high performance computing infrastructure

體系結(jié)構(gòu)的非集中是指CNGrid 的管控采用地理分布模式,即在每個(gè)CNGrid 結(jié)點(diǎn)部署一臺運(yùn)行系統(tǒng)軟件的服務(wù)器,通過覆蓋網(wǎng)絡(luò)將各個(gè)CNGrid結(jié)點(diǎn)動(dòng)態(tài)組織成星型、網(wǎng)狀或混合結(jié)構(gòu),以適應(yīng)國家高性能計(jì)算基礎(chǔ)設(shè)施對資源的分層分域管理的需求。

基于非集中層次虛擬化體系結(jié)構(gòu),研發(fā)了基礎(chǔ)設(shè)施系統(tǒng)軟件CNGrid Suite,其系統(tǒng)架構(gòu)如圖2 所示。 CNGrid Suite 提出并實(shí)現(xiàn)了“資源實(shí)體”、“虛擬組織”和“運(yùn)行時(shí)虛擬地址空間”等3個(gè)系統(tǒng)核心抽象,來表達(dá)系統(tǒng)中的各種資源要素、要素間的靜態(tài)關(guān)系和運(yùn)行時(shí)的動(dòng)態(tài)關(guān)系,通過這些抽象,將分散、異構(gòu)、無序的計(jì)算機(jī)硬件資源、軟件資源和用戶組織成邏輯有序、可受控共享的虛擬資源,支持資源的動(dòng)態(tài)聚合、調(diào)度和安全訪問。

圖2 CNGrid Suite 系統(tǒng)架構(gòu)Fig.2 CNGrid suite system architecture

2.2 資源組織與作業(yè)調(diào)度

針對國家高性能計(jì)算基礎(chǔ)設(shè)施特點(diǎn)和應(yīng)用需求,提出了“資源實(shí)體”、“虛擬組織”和“運(yùn)行時(shí)虛擬地址空間”等系統(tǒng)軟件創(chuàng)新概念,應(yīng)對資源描述、組織和訪問的挑戰(zhàn)。

在CNGrid 中,用戶、資源和社區(qū)都被統(tǒng)一抽象為資源實(shí)體。 每個(gè)資源實(shí)體由一個(gè)全局id 來標(biāo)識,代表一個(gè)可以訪問其他實(shí)體,也可被其他實(shí)體所訪問的全局資源要素。 系統(tǒng)軟件的全局命名管理模塊對資源實(shí)體實(shí)施統(tǒng)一管控,完成資源實(shí)體創(chuàng)立與消除、資源定位、資源解耦等功能。

多個(gè)相關(guān)資源實(shí)體可構(gòu)成一個(gè)虛擬組織。 虛擬組織描述資源實(shí)體之間的靜態(tài)關(guān)系,實(shí)現(xiàn)資源實(shí)體注冊、資源實(shí)體接入與剔除、資源實(shí)體元信息管理、資源實(shí)體權(quán)限管理、資源實(shí)體訪問控制等功能。 通過虛擬組織把資源實(shí)體組織成可有效管控、相互協(xié)同的資源集合。

運(yùn)行時(shí)虛擬地址空間描述了資源實(shí)體間的動(dòng)態(tài)訪問和調(diào)用關(guān)系,結(jié)合動(dòng)態(tài)綁定的安全策略,解決了資源命名、資源視圖、資源發(fā)現(xiàn)及定位、資源統(tǒng)一安全訪問等基礎(chǔ)性問題。 與傳統(tǒng)操作系統(tǒng)的進(jìn)程概念相對應(yīng),CNGrid 提出了網(wǎng)程(Grip)概念。 網(wǎng)程在運(yùn)行時(shí)虛擬地址空間中代表資源實(shí)體動(dòng)態(tài)訪問其他資源,實(shí)施訪問控制,分配、管理和回收資源,實(shí)現(xiàn)應(yīng)用的可控啟動(dòng)和終止。

CNGrid 聚合了分布在不同地域、不同組織機(jī)構(gòu)中的各種各樣的高性能計(jì)算資源,面向用戶提供統(tǒng)一的系統(tǒng)映像和透明的作業(yè)調(diào)度是基本需求。 CNGrid 的作業(yè)調(diào)度由服務(wù)端、驅(qū)動(dòng)器和客戶端3 部分組成[22]。 面向用戶提供統(tǒng)一的訪問入口和使用方式。 系統(tǒng)軟件根據(jù)用戶作業(yè)請求性質(zhì)為其自動(dòng)匹配適當(dāng)?shù)母咝阅苡?jì)算資源。 另外,也提供開放接口,為作業(yè)調(diào)度模型和調(diào)度策略的優(yōu)化提供了可能。 作業(yè)調(diào)度核心模塊由資源收集器、資源匹配器和資源調(diào)度器構(gòu)成,通過引入多種優(yōu)先級作業(yè)隊(duì)列,細(xì)化作業(yè)的系統(tǒng)狀態(tài),改善了作業(yè)調(diào)度策略的可配置性[23]。

2.3 監(jiān)控管理和安全機(jī)制

針對資源的分布性、異構(gòu)性和動(dòng)態(tài)性,服務(wù)和應(yīng)用的多樣性及管理需求的各異性等特征,CNGrid 提出了統(tǒng)一實(shí)體監(jiān)控管理、管理功能動(dòng)態(tài)構(gòu)造、管理功能跨域動(dòng)態(tài)部署及協(xié)同工作等創(chuàng)新概念與機(jī)制,設(shè)計(jì)了基于統(tǒng)一實(shí)體的監(jiān)控管理體系架構(gòu),研發(fā)了一體化的監(jiān)控管理系統(tǒng)(見圖3),實(shí)現(xiàn)了CNGrid 的資源監(jiān)控和運(yùn)行管理,為多層次資源的按需共享和自主協(xié)同提供了支撐。

圖3 一體化基礎(chǔ)設(shè)施監(jiān)控管理體系結(jié)構(gòu)框架Fig.3 Architectural framework of integrated infrastructure monitoring and management

與CNGrid 系統(tǒng)軟件中的資源實(shí)體抽象相對應(yīng),設(shè)計(jì)了基于實(shí)體的資源管理信息描述方法,采用統(tǒng)一的“被管對象”抽象建立全局信息模型,對各類資源信息進(jìn)行有效的建模與表示,形成對不同層次、不同類別資源精確監(jiān)控和管理的基礎(chǔ)。

針對資源的動(dòng)態(tài)性和多樣性,提供了監(jiān)控管理功能的動(dòng)態(tài)生成、部署、運(yùn)行的能力,支持管理功能的動(dòng)態(tài)擴(kuò)展和更新,實(shí)現(xiàn)監(jiān)控管理系統(tǒng)的動(dòng)態(tài)構(gòu)造與演化。 針對資源的跨域特點(diǎn),提出了監(jiān)控管理功能跨域動(dòng)態(tài)部署的概念。 基礎(chǔ)設(shè)施的監(jiān)控管理按分布層次式組織,監(jiān)控管理功能分布在各個(gè)監(jiān)控管理域中,各管理域既局部自治又相互協(xié)作。 管理域設(shè)立自身的監(jiān)控管理中心,形成多級監(jiān)控管理中心的協(xié)同機(jī)制。 同時(shí),實(shí)現(xiàn)了基于復(fù)雜事件處理的監(jiān)控信息高效獲取、傳輸和控制的機(jī)制。 這些措施有效減少了與監(jiān)控管理有關(guān)的數(shù)據(jù)流量,降低了監(jiān)控管理對基礎(chǔ)設(shè)施正常應(yīng)用業(yè)務(wù)的影響。

針對CNGrid 環(huán)境下資源種類繁多、數(shù)目巨大的現(xiàn)狀,設(shè)計(jì)實(shí)現(xiàn)了單維度、多維度及基于日志等多種故障掃描、識別和應(yīng)對方法,能夠準(zhǔn)確定位故障,分析故障根因,及時(shí)通告故障事件并推薦應(yīng)對的策略,為提高CNGrid 的可用性、可靠性和可管理性提供了保障。

CNGrid 的安全機(jī)制采用基于證書的身份認(rèn)證和訪問權(quán)限控制,系統(tǒng)軟件基于代理證書實(shí)現(xiàn)用戶認(rèn)證和權(quán)限代理。 首先定義訪問控制的策略構(gòu)建資源共享操作上下文,操作上下文包含用戶在CNGrid 中的身份信息(用戶的代理證書)、用戶所屬虛擬組織及其所在組別,以及虛擬組織簽發(fā)的資源訪問令牌。 資源提供者能夠在虛擬組織中注冊資源并對其進(jìn)行持續(xù)的管理,通過向用戶分配相應(yīng)的權(quán)限,控制應(yīng)用占用的資源并有效支持多個(gè)應(yīng)用間的協(xié)同。 在運(yùn)行時(shí),由網(wǎng)程維護(hù)用戶身份并實(shí)施訪問控制。 當(dāng)用戶需要訪問資源時(shí),把自己的操作上下文從用戶端傳送到資源端,基于證書權(quán)限驗(yàn)證的結(jié)果控制資源的訪問[24]。CNGrid 中部署了證書的認(rèn)證中心(CA),用戶可通過CA 的Web 界面申請用戶證書。 CNGrid 安全機(jī)制基于公鑰基礎(chǔ)設(shè)施(PKI),使用標(biāo)準(zhǔn)的X.509證書,提供用戶和資源的雙向認(rèn)證。

CNGrid 的安全機(jī)制在權(quán)限控制的前提下,盡可能地支持基礎(chǔ)設(shè)施資源的共享。 受控共享是CNGrid 提出的一個(gè)重要概念。 在受控共享機(jī)制下,只要訪問控制權(quán)限允許,非屬主用戶和屬主用戶均可完成對資源的操作,此過程稱為屬主用戶和非屬主用戶對資源的受控共享。

2.4 數(shù)據(jù)管理和高效傳輸

高效存儲和訪問分布、異構(gòu)、自治的數(shù)據(jù)資源是CNGrid 要解決的另一個(gè)關(guān)鍵問題。 針對科學(xué)研究和行業(yè)應(yīng)用的實(shí)際需求,設(shè)計(jì)并實(shí)現(xiàn)了基于虛擬數(shù)據(jù)空間的數(shù)據(jù)管理體系,有效集成了環(huán)境中的數(shù)據(jù)資源,構(gòu)建了統(tǒng)一的數(shù)據(jù)管理空間,為用戶提供了透明統(tǒng)一的數(shù)據(jù)存儲、訪問和管理能力。CNGrid 的數(shù)據(jù)資源主要包括文件系統(tǒng)和數(shù)據(jù)庫系統(tǒng)。 虛擬數(shù)據(jù)空間為文件系統(tǒng)的集成共享提供虛擬文件系統(tǒng),為數(shù)據(jù)庫系統(tǒng)的集成共享提供虛擬數(shù)據(jù)庫系統(tǒng)。 在這兩者之上,虛擬數(shù)據(jù)空間提供數(shù)據(jù)基礎(chǔ)服務(wù),簡化了存儲和數(shù)據(jù)的使用邏輯,為用戶或應(yīng)用提供便利。

針對CNGrid 中數(shù)據(jù)分布存儲和自治管理等特點(diǎn),虛擬數(shù)據(jù)空間采用面向服務(wù)的分布式層次結(jié)構(gòu)進(jìn)行構(gòu)建。 設(shè)計(jì)了基于分布域的聯(lián)邦數(shù)據(jù)存儲管理機(jī)制,在各數(shù)據(jù)域的自治管理基礎(chǔ)上實(shí)現(xiàn)全局統(tǒng)一管理,保障數(shù)據(jù)管理的可擴(kuò)展性。 通過數(shù)據(jù)域之間的協(xié)作來滿足應(yīng)用的分布式存儲需求,系統(tǒng)根據(jù)用戶的訪問位置等信息實(shí)現(xiàn)數(shù)據(jù)資源的就近存儲和管理,以便提高用戶對數(shù)據(jù)的訪問效率。 設(shè)計(jì)實(shí)現(xiàn)了異構(gòu)數(shù)據(jù)庫的整合機(jī)制,以統(tǒng)一的接口實(shí)現(xiàn)對不同數(shù)據(jù)庫管理系統(tǒng)的數(shù)據(jù)訪問,并且通過并行機(jī)制保障在大規(guī)模分布式環(huán)境下的訪問效率。

影響CNGrid 中數(shù)據(jù)傳輸效率的主要因素包括單次傳輸?shù)臄?shù)據(jù)量、網(wǎng)絡(luò)帶寬的利用率和傳輸引入的額外開銷。 因此,提高效率的關(guān)鍵在于減小單次傳輸?shù)臄?shù)據(jù)量,充分利用網(wǎng)絡(luò)帶寬,降低傳輸額外開銷。 數(shù)據(jù)傳輸不可靠的主要原因是網(wǎng)絡(luò)鏈路及主機(jī)的不穩(wěn)定,增強(qiáng)可靠性的關(guān)鍵在于克服不穩(wěn)定因素,減少數(shù)據(jù)傳輸錯(cuò)誤造成的損失。CNGrid 通過多個(gè)副本并行傳輸來提高帶寬利用率,通過文件的分塊傳輸來減少每次傳輸?shù)臄?shù)據(jù)量,通過就近傳輸來提高傳輸速度和可靠性,提供斷點(diǎn)續(xù)傳和三方傳輸來提高數(shù)據(jù)傳輸效率,減少額外開銷。

CNGrid 環(huán)境的動(dòng)態(tài)變化特性使數(shù)據(jù)存儲資源難以保證持續(xù)的服務(wù)。 CNGrid 引入數(shù)據(jù)副本管理機(jī)制來保證數(shù)據(jù)服務(wù)的可靠性。 數(shù)據(jù)副本的引入帶來數(shù)據(jù)一致性維護(hù)問題。 為此設(shè)計(jì)實(shí)現(xiàn)了并行化的一致性有限狀態(tài)機(jī),有效降低了數(shù)據(jù)一致性維護(hù)的代價(jià)。 數(shù)據(jù)按照其使用頻度被定義為冷熱數(shù)據(jù),系統(tǒng)根據(jù)數(shù)據(jù)溫度動(dòng)態(tài)調(diào)整其副本數(shù)量,在提高訪問效率的同時(shí)減少了不必要的開銷。此外,還設(shè)計(jì)實(shí)現(xiàn)了位置及網(wǎng)絡(luò)實(shí)時(shí)狀態(tài)感知的數(shù)據(jù)副本放置策略,在保證一致性的同時(shí)提高了數(shù)據(jù)訪問的效率。

CNGrid 的數(shù)據(jù)管理服務(wù)通過靈活和自適應(yīng)的數(shù)據(jù)訪問授權(quán)控制,解決了數(shù)據(jù)安全性與環(huán)境復(fù)雜動(dòng)態(tài)性之間的矛盾。 其采用細(xì)粒度的訪問控制策略,為不同的資源擁有者和使用者對不同粒度的數(shù)據(jù)資源的訪問,提供個(gè)性化的訪問控制策略,滿足了自治性和個(gè)性化的要求。

2.5 基于應(yīng)用社區(qū)的應(yīng)用新模式

針對以公共計(jì)算平臺支撐個(gè)性化領(lǐng)域應(yīng)用的需求,CNGrid 提出了體現(xiàn)領(lǐng)域應(yīng)用特點(diǎn)的個(gè)性化領(lǐng)域應(yīng)用社區(qū)概念。 應(yīng)用社區(qū)具有“批零”結(jié)合的資源管控與按需服務(wù)機(jī)制,既有網(wǎng)格聚合分散資源的能力,又有云計(jì)算集中管控、按用付費(fèi)的特點(diǎn),成為國家高性能計(jì)算基礎(chǔ)設(shè)施的應(yīng)用新模式。為了支撐應(yīng)用社區(qū)的構(gòu)建和運(yùn)行,發(fā)展了領(lǐng)域應(yīng)用中間件Xfinity,實(shí)現(xiàn)了多層次的用戶管理機(jī)制、按域劃分的資源管理模式、基于模板的應(yīng)用零開發(fā)熱部署技術(shù)及資源動(dòng)態(tài)綁定的工作流技術(shù)等體系架構(gòu)和關(guān)鍵技術(shù)創(chuàng)新。

按需定制的服務(wù)模式體現(xiàn)在服務(wù)方式和內(nèi)容的定制,可為不同用戶定制滿足其特定需求的專用社區(qū)。 通過社區(qū)動(dòng)態(tài)配置、資源動(dòng)態(tài)綁定與復(fù)用、應(yīng)用按需集成與動(dòng)態(tài)部署等技術(shù),實(shí)現(xiàn)了服務(wù)的按需定制。 按需付費(fèi)的交易模式貫穿服務(wù)交易全過程。 資源擁有者在社區(qū)發(fā)布資源與價(jià)格信息,用戶通過社區(qū)選擇能滿足其需求且價(jià)格合適的服務(wù)。 社區(qū)監(jiān)督服務(wù)交易過程和服務(wù)完成情況,保證交易各方的利益。

為實(shí)現(xiàn)按需調(diào)配的資源管理模式,提出了權(quán)屬策略靈活配置的社區(qū)資源管理技術(shù),將特定資源組織成資源子域授權(quán)給不同用戶使用。不同資源子域的用戶相互隔離,互不干擾。 用戶對其資源子域擁有完全的支配權(quán),可做更精細(xì)的分級授權(quán)管理,實(shí)現(xiàn)社區(qū)內(nèi)資源的有效調(diào)配和充分共享。

社區(qū)通過基于角色的權(quán)限訪問控制、組管理和雙層映射等技術(shù)實(shí)現(xiàn)了多層次、分角色的用戶與資源的精細(xì)管理。 實(shí)現(xiàn)了與企業(yè)業(yè)務(wù)系統(tǒng)相容的低開銷安全機(jī)制,允許獨(dú)立制定和修改國家高性能計(jì)算基礎(chǔ)設(shè)施、社區(qū)、企業(yè)這3 個(gè)管理域的安全機(jī)制,在管理域之間建立信任關(guān)系和映射機(jī)制,消解各管理域不同安全策略間的矛盾。

工業(yè)創(chuàng)新設(shè)計(jì)社區(qū)是該新型應(yīng)用模式的一個(gè)實(shí)例,其系統(tǒng)框架如圖4 所示。 工業(yè)社區(qū)將國家高性能計(jì)算基礎(chǔ)設(shè)施的計(jì)算服務(wù)推送到汽車制造、核電、飛機(jī)制造等行業(yè)的企業(yè)內(nèi)部,加快了產(chǎn)品設(shè)計(jì),降低了研發(fā)成本,提高了企業(yè)競爭力,取得很好的經(jīng)濟(jì)效益。

圖4 工業(yè)社區(qū)系統(tǒng)框架Fig.4 Industrial community system framework

2.6 分布異構(gòu)環(huán)境下應(yīng)用軟件的開發(fā)與優(yōu)化

CNGrid 的地理分布、資源異構(gòu)的特征給大型應(yīng)用的開發(fā)帶來新的挑戰(zhàn)。 針對大規(guī)模應(yīng)用的流程化與跨結(jié)點(diǎn)分布特征,CNGrid 突破了構(gòu)件與流程相結(jié)合的工作流編排、部署和運(yùn)行技術(shù),實(shí)現(xiàn)了流程在線組裝、即時(shí)協(xié)作、即插即用的服務(wù)適配機(jī)制,支持分布資源的動(dòng)態(tài)綁定、應(yīng)用的快速開發(fā)和靈活部署執(zhí)行,允許領(lǐng)域?qū)I(yè)人員以低代碼方式開發(fā)應(yīng)用。

針對國產(chǎn)超級計(jì)算機(jī)多級并行和多種異構(gòu)的特點(diǎn),提出并實(shí)現(xiàn)了一系列并行程序優(yōu)化方法和技術(shù)。 例如,提出了節(jié)點(diǎn)間MPI、節(jié)點(diǎn)內(nèi)OpenMP、處理器內(nèi)多核并行的多級混合并行模式。 提出了適用于不同異構(gòu)平臺的區(qū)域分解和動(dòng)態(tài)負(fù)載平衡方法,通過動(dòng)態(tài)可調(diào)的區(qū)域劃分,實(shí)現(xiàn)加速器和通用處理器之間的負(fù)載均衡,隱藏加速器和通用處理器間的通信開銷。 提出了定制緩存及計(jì)算/訪存重疊技術(shù),充分發(fā)揮數(shù)據(jù)在片內(nèi)核間的最佳重用。 提出以定制DMA 傳輸?shù)确绞綄?shí)現(xiàn)計(jì)算和訪存的最優(yōu)化重疊,緩解內(nèi)存帶寬對應(yīng)用整體性能的限制,大幅提升系統(tǒng)效率。 研發(fā)了應(yīng)用級斷點(diǎn)保護(hù)技術(shù),保證了大規(guī)模長時(shí)間作業(yè)的正確執(zhí)行。發(fā)展了屏蔽硬件細(xì)節(jié)的并行算法庫和編程接口,使不熟悉并行計(jì)算的應(yīng)用領(lǐng)域?qū)＜夷芫帉懜咝У牟⑿袘?yīng)用軟件。

在上述關(guān)鍵技術(shù)突破的基礎(chǔ)上,研發(fā)了面向國家高性能計(jì)算基礎(chǔ)設(shè)施的應(yīng)用集成開發(fā)環(huán)境。集成開發(fā)環(huán)境包含基礎(chǔ)算法庫、應(yīng)用模塊庫、程序模板庫、優(yōu)化工具庫、拖拽式的工作流編排器、適配多種國產(chǎn)處理器的跨異構(gòu)結(jié)點(diǎn)編譯環(huán)境等,其系統(tǒng)架構(gòu)如圖5 所示。 開發(fā)人員可以使用集成開發(fā)環(huán)境中基于模板庫的開發(fā)向?qū)?自動(dòng)生成程序代碼框架,重用基本算法和模塊庫中的代碼,快速構(gòu)建應(yīng)用程序,并在國家高性能計(jì)算基礎(chǔ)設(shè)施中交互式地部署、優(yōu)化和運(yùn)行。

圖5 高性能計(jì)算應(yīng)用集成開發(fā)環(huán)境系統(tǒng)架構(gòu)Fig.5 System architecture of integrated development environment for high performance computing applications

3 算力基礎(chǔ)設(shè)施發(fā)展趨勢與展望

3.1 新興應(yīng)用和技術(shù)趨勢

3.1.1 新興應(yīng)用及算力需求

近年來,一系列新興技術(shù)與應(yīng)用的快速發(fā)展對算力基礎(chǔ)設(shè)施提出了更高的要求。 其中,最具代表性的有人工智能、大數(shù)據(jù)和云計(jì)算等。

新一代人工智能的核心驅(qū)動(dòng)力來自深度學(xué)習(xí)技術(shù)。 通過對多層大規(guī)模人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并用于推理,促進(jìn)了計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域的突破性進(jìn)展。 雖然人工神經(jīng)網(wǎng)絡(luò)概念的出現(xiàn)和應(yīng)用已有數(shù)十年,但之所以近年來才取得快速發(fā)展,離不開算力的支持。 深度學(xué)習(xí)是一種計(jì)算和數(shù)據(jù)驅(qū)動(dòng)的技術(shù),由于深度神經(jīng)網(wǎng)絡(luò)規(guī)模龐大,且通常需要使用大量的數(shù)據(jù)進(jìn)行訓(xùn)練,這帶來了巨大的計(jì)算量。 表3[25]給出了幾種典型神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練計(jì)算量。 龐大的計(jì)算量使得神經(jīng)網(wǎng)絡(luò)訓(xùn)練通常需要借助加速部件進(jìn)行,即使這樣,一次模型訓(xùn)練也需要花費(fèi)數(shù)小時(shí)到數(shù)天時(shí)間。

表3 典型深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練計(jì)算量[25]Table 3 Training computations of typical deep neural networks[25]

大數(shù)據(jù)和云計(jì)算是另一種推動(dòng)算力設(shè)施發(fā)展的新興技術(shù)。 在虛擬機(jī)和容器技術(shù)的支持下,人們可以在硬件平臺上實(shí)現(xiàn)計(jì)算資源的靈活劃分和隔離,以及軟件環(huán)境的快速部署,這使得用戶可以從云平臺獲得按需分配、可動(dòng)態(tài)伸縮、易于部署且穩(wěn)定可靠的硬軟件平臺和算力服務(wù),這一特性吸引越來越多的用戶將網(wǎng)站、業(yè)務(wù)平臺和信息系統(tǒng)等遷移托管到云數(shù)據(jù)中心。 由于企事業(yè)單位數(shù)量眾多,此類應(yīng)用的需求聚合到一起形成了對算力資源的龐大需求。

3.1.2 體系結(jié)構(gòu)及算力設(shè)施的發(fā)展趨勢

隨著集成電路延續(xù)數(shù)十年的“摩爾定律”減緩并走向停滯,計(jì)算機(jī)體系結(jié)構(gòu)進(jìn)入了變革期,多樣化的體系結(jié)構(gòu)不斷涌現(xiàn)。 為了在集成電路規(guī)模和性能增長減緩的背景下持續(xù)提升應(yīng)用性能,定制化(customization)成為近年來體系結(jié)構(gòu)發(fā)展的一大特點(diǎn),即通過設(shè)計(jì)面向不同應(yīng)用的加速部件/處理器,持續(xù)提升應(yīng)用性能,典型代表有GPU 和深度學(xué)習(xí)處理器/加速器。 在GPU 方面,除了Nvidia GPU 外,傳統(tǒng)處理器廠商AMD 和Intel 也陸續(xù)推出自己的GPU,國內(nèi)也已研發(fā)出多款自主GPU 芯片,為人工智能、科學(xué)計(jì)算、圖形/圖像處理等應(yīng)用提供了高性能計(jì)算平臺;在深度學(xué)習(xí)處理器/加速器方面,比較有代表性的有寒武紀(jì)、Google TPU、華為昇騰等,這些處理器/加速器專為神經(jīng)網(wǎng)絡(luò)計(jì)算而設(shè)計(jì),其性價(jià)比和能效均優(yōu)于通用CPU 和GPU。

在多種新興應(yīng)用的推動(dòng)下,各種處理器/加速器被應(yīng)用于算力設(shè)施中,這帶來了以下2 方面的變化:

1) 算力中心內(nèi)的異構(gòu)化。 在算力中心內(nèi)部,異構(gòu)已成為主流架構(gòu)。 表4[26]給出了TOP500 超級計(jì)算機(jī)排行榜中前十位高性能計(jì)算機(jī)的體系結(jié)構(gòu)。 可以看出,10 臺機(jī)器中僅有1 臺(富岳)采用同構(gòu)架構(gòu),其他9 臺均為異構(gòu)架構(gòu),除CPU +GPU結(jié)構(gòu)外,中國的神威·太湖之光采用片內(nèi)異構(gòu)眾核處理器,天河2A 采用CPU + 加速器結(jié)構(gòu)。 算力中心異構(gòu)化的另一個(gè)體現(xiàn)是面向人工智能應(yīng)用的異構(gòu)體系結(jié)構(gòu),除了CPU +GPU 結(jié)構(gòu)外,CPU +深度學(xué)習(xí)處理器/加速器結(jié)構(gòu)也被智算中心廣泛采用,如CPU +Google TPU、CPU +寒武紀(jì)、CPU +華為昇騰等。

表4 TOP500 排名前十的高性能計(jì)算機(jī)(2022 年6 月)[26]Table 4 TOP10 in TOP500 high performance computing systems (June 2022)[26]

2) 算力中心的多樣化(算力中心間的異構(gòu)化)。 傳統(tǒng)的超算中心主要面向科學(xué)/工程計(jì)算,應(yīng)用類型以并行數(shù)值模擬為主,主要特征是以雙精度浮點(diǎn)運(yùn)算為核心的計(jì)算密集型應(yīng)用。 與之相比,人工智能應(yīng)用的計(jì)算類型主要是單精度/半精度浮點(diǎn)和定點(diǎn)運(yùn)算,而大數(shù)據(jù)和云計(jì)算則以數(shù)據(jù)密集型應(yīng)用為主。 為了適應(yīng)這些新興應(yīng)用的需求,算力中心的硬件配置也開始出現(xiàn)變化,出現(xiàn)了配置深度學(xué)習(xí)處理器/加速器、主要面向人工智能應(yīng)用的智算中心,以及配置大容量內(nèi)存和網(wǎng)絡(luò)虛擬化設(shè)備、主要面向大數(shù)據(jù)和云計(jì)算應(yīng)用的云算中心,同時(shí),超算中心也開始支持人工智能和大數(shù)據(jù)應(yīng)用。

3.2 算力基礎(chǔ)設(shè)施面臨的技術(shù)挑戰(zhàn)

隨著“東數(shù)西算”國家戰(zhàn)略的實(shí)施,西部多個(gè)算力樞紐將建設(shè)算力中心,并面向東部經(jīng)濟(jì)發(fā)達(dá)地區(qū)提供算力服務(wù)。 在這一背景下,如果由各個(gè)算力中心單打獨(dú)斗,分散運(yùn)營,則算力中心需投入人力物力自行發(fā)展用戶,容易出現(xiàn)算力中心間的負(fù)載不均衡,導(dǎo)致算力碎片化和算力資源浪費(fèi);而在用戶側(cè),由于各算力平臺的硬件配置、軟件資源、服務(wù)接口存在差異,也將給用戶的軟件開發(fā)和資源使用帶來諸多不便。 因此,通過將多個(gè)算力中心互聯(lián),向用戶提供一站式、集成化的算力服務(wù),形成覆蓋全國的算力基礎(chǔ)設(shè)施,對于提升算力資源利用效率和服務(wù)水平,促進(jìn)國產(chǎn)軟件和應(yīng)用生態(tài)發(fā)展,支撐“東數(shù)西算”國家戰(zhàn)略具有重要意義。

為了構(gòu)建算力基礎(chǔ)設(shè)施,需要解決算力中心異構(gòu)化和多樣化帶來的諸多技術(shù)挑戰(zhàn),主要體現(xiàn)在以下幾方面:

1) 計(jì)算任務(wù)在異構(gòu)算力中心間的透明調(diào)度。算力基礎(chǔ)設(shè)施必須具備的一項(xiàng)功能是:用戶通過算力基礎(chǔ)設(shè)施的服務(wù)平臺提交一個(gè)計(jì)算任務(wù)后,可以直接得到計(jì)算結(jié)果,無需關(guān)心該計(jì)算任務(wù)在哪個(gè)算力中心上運(yùn)行。 這需要按照計(jì)算任務(wù)的類型和需求確定其所需資源,并根據(jù)各個(gè)算力中心的硬軟件配置及可用資源數(shù)量進(jìn)行任務(wù)分配和調(diào)度。 例如,如果用戶提交的是一個(gè)使用CUDA 編寫的可執(zhí)行程序,就要在各算力中心尋找配置Nvidia GPU 的節(jié)點(diǎn)并獲取其當(dāng)前使用狀態(tài),在此基礎(chǔ)上進(jìn)行調(diào)度;而如果用戶只是希望在指定的數(shù)據(jù)集上完成深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練,或者只是希望對所設(shè)計(jì)零件進(jìn)行結(jié)構(gòu)強(qiáng)度分析,那么計(jì)算任務(wù)的分派調(diào)度就不但要考慮硬件資源,還要考慮是否具備所需的軟件資源。 在以上基本調(diào)度功能的基礎(chǔ)上,如果進(jìn)一步考慮用戶的服務(wù)質(zhì)量和計(jì)費(fèi)需求,如限定任務(wù)完成時(shí)間、限定資費(fèi)水平等,任務(wù)調(diào)度要考慮的因素就更多。

2) 如何提供多層次、多樣化的算力服務(wù)。 算力服務(wù)的層次與云計(jì)算服務(wù)相似,也可分為基礎(chǔ)設(shè)施(IaaS)、平臺(PaaS)、應(yīng)用軟件(SaaS)3 個(gè)層次。 在基礎(chǔ)設(shè)施層,算力服務(wù)以處理器/加速器/計(jì)算節(jié)點(diǎn)的形式提供;在平臺層,算力服務(wù)在基礎(chǔ)設(shè)施之上還提供系統(tǒng)軟件和支撐軟件,如高性能計(jì)算用戶需要的MPI 環(huán)境和基礎(chǔ)算法庫,人工智能用戶需要的深度學(xué)習(xí)框架,大數(shù)據(jù)用戶需要的分布式處理框架等;在應(yīng)用軟件層次,用戶則可以直接使用不同種類的應(yīng)用軟件和服務(wù)。 在算力基礎(chǔ)設(shè)施中,算力中心的異構(gòu)化和多樣化使得算力服務(wù)變得更加復(fù)雜。 以平臺層為例,即使是高性能計(jì)算所需的MPI 環(huán)境和基礎(chǔ)算法庫,在不同的算力中心中也會有不小的差異,用戶在不同算力中心中使用這些服務(wù)時(shí)往往需要進(jìn)行適配和修改(如修改作業(yè)腳本等)。 由于算力基礎(chǔ)設(shè)施需要向用戶提供透明、一致的算力服務(wù),如何屏蔽這些差異,就是需要著力研究和解決的問題。

3) 多算力中心分布式協(xié)同計(jì)算與虛擬超級計(jì)算機(jī)。 在過去,由于算力中心間的網(wǎng)絡(luò)帶寬有限,計(jì)算任務(wù)通常分配在單個(gè)算力中心上完成,即使進(jìn)行跨中心計(jì)算,一般也僅限于工作流中的不同計(jì)算階段。 近年來,隨著網(wǎng)絡(luò)基礎(chǔ)設(shè)施和算網(wǎng)融合技術(shù)的發(fā)展,算力中心間的網(wǎng)絡(luò)互聯(lián)帶寬不斷提升,傳輸延遲顯著下降。 國內(nèi)已有超算中心間網(wǎng)絡(luò)互聯(lián)達(dá)到傳輸帶寬10 Gbps、延遲接近1 ms的水平,這給多個(gè)算力中心進(jìn)行分布式協(xié)同計(jì)算提供了可能性。 這一方面需要算力中心基礎(chǔ)支撐軟件互聯(lián)互通構(gòu)成分布式計(jì)算環(huán)境,另一方面,還需要研究在這種環(huán)境中的任務(wù)劃分、調(diào)度和遷移等技術(shù)。 更進(jìn)一步,在互聯(lián)帶寬和延遲滿足要求的情況下,是否可能將多個(gè)超算中心互聯(lián)成為統(tǒng)一管理、統(tǒng)一調(diào)度的單一計(jì)算系統(tǒng),形成可完成數(shù)倍于原有規(guī)模并行計(jì)算的“虛擬超級計(jì)算機(jī)”,也是值得研究和探討的問題。

4) 多樣化算力中心和異構(gòu)化體系結(jié)構(gòu)的編程問題。 異構(gòu)體系結(jié)構(gòu)顯著增加了并行編程的復(fù)雜性,該問題在多樣化算力中心場景下更加突出。為了支持異構(gòu)處理器/加速器編程,廠商推出了相應(yīng)的 編 程 語 言/接 口, 如 用 于 Nvidia GPU 的CUDA、用于申威眾核處理器的Athread、用于AMD GPU 的ROCm/HIP 等,并基于這些編程接口開發(fā)/移植了各種基礎(chǔ)算法庫、求解器、深度學(xué)習(xí)框架等,但異構(gòu)平臺編程的復(fù)雜度仍然遠(yuǎn)高于傳統(tǒng)的CPU 平臺。 在多樣化算力中心中,異構(gòu)硬件平臺的種類更多,為使程序具有更好的平臺適應(yīng)性,在軟件編程模型和語言方面還需要進(jìn)行更多的工作。 雖然近年來已經(jīng)出現(xiàn)了一些獨(dú)立于廠商的加速器編程接口,如OpenCL、OpenAcc、SYCL等,但這些編程接口在不同硬件平臺上的實(shí)現(xiàn)仍然有差異,為一種平臺編寫的程序通常難以不加修改地在另一種平臺上編譯和運(yùn)行。 有鑒于此,仍然有必要提出獨(dú)立于硬件平臺且可屏蔽硬件細(xì)節(jié)的編程模型/語言,與此同時(shí),研究開發(fā)異構(gòu)程序轉(zhuǎn)換工具,實(shí)現(xiàn)并行程序在不同硬件平臺間的透明轉(zhuǎn)換和自動(dòng)編譯,進(jìn)而支持并行程序在多樣化算力中心的透明調(diào)度和運(yùn)行,也將是一項(xiàng)很有價(jià)值的工作。

5) 數(shù)據(jù)在分布式算力中心間的放置問題。無論是科學(xué)工程計(jì)算,還是人工智能或大數(shù)據(jù)應(yīng)用,其數(shù)據(jù)規(guī)模都較為龐大。 由于算力中心間的數(shù)據(jù)傳輸和訪問開銷較大,在算力中心間進(jìn)行計(jì)算任務(wù)調(diào)度和遷移時(shí),數(shù)據(jù)放置就成為必須考慮的一個(gè)重要因素。

6) 公共算力中心的數(shù)據(jù)安全和隱私問題。在人工智能領(lǐng)域,為了滿足數(shù)據(jù)隱私和安全需求,提出了聯(lián)邦學(xué)習(xí)技術(shù)(federated learning)[27],通過多個(gè)數(shù)據(jù)擁有者協(xié)同完成訓(xùn)練,避免了數(shù)據(jù)向其他實(shí)體公開。 這種數(shù)據(jù)隱私和安全性需求同樣存在于大數(shù)據(jù)分析、科學(xué)與工程計(jì)算等領(lǐng)域。 為了使用公共算力中心的計(jì)算服務(wù),用戶往往需要將數(shù)據(jù)上傳至算力中心,雖然通過VPN 等技術(shù)可以保證數(shù)據(jù)在網(wǎng)絡(luò)中傳輸時(shí)的安全性,但在多用戶共享的算力中心中,數(shù)據(jù)在外存中的存放,以及計(jì)算過程中數(shù)據(jù)在內(nèi)存的存放,仍然存在數(shù)據(jù)外泄的可能性。 為滿足對數(shù)據(jù)安全性要求較高用戶的需求,如何在大數(shù)據(jù)分析和科學(xué)工程計(jì)算領(lǐng)域提供類似于聯(lián)邦學(xué)習(xí)的機(jī)制,或?qū)崿F(xiàn)“可計(jì)算但不可讀寫”,是值得深入研究的問題。

3.3 中國超算應(yīng)用生態(tài)存在問題和算力基礎(chǔ)設(shè)施未來展望

3.3.1 中國超算應(yīng)用生態(tài)存在的問題

近年來,中國高性能計(jì)算技術(shù)水平取得了長足進(jìn)步,超級計(jì)算機(jī)研制水平已處于國際前列,擁有性能排名前列的超級計(jì)算機(jī),生產(chǎn)和部署的高性能計(jì)算系統(tǒng)數(shù)量也世界領(lǐng)先。 在高性能計(jì)算應(yīng)用軟件方面,面向國產(chǎn)超算系統(tǒng)研發(fā)了一批重點(diǎn)行業(yè)/領(lǐng)域應(yīng)用軟件,取得了眾多的應(yīng)用成果,大規(guī)模并行算法及應(yīng)用也2 次獲得代表國際超算應(yīng)用最高水平的Gordon Bell 獎(jiǎng),但總體上,高性能計(jì)算軟件與應(yīng)用的發(fā)展相對不足,應(yīng)用生態(tài)也不夠豐富。 產(chǎn)生這種現(xiàn)象的原因有多個(gè)方面:

1) 軟件和應(yīng)用研發(fā)投入不足。 中國科研領(lǐng)域和產(chǎn)業(yè)界長期存在著“重硬輕軟”的現(xiàn)象,在高性能計(jì)算領(lǐng)域,國家投入經(jīng)費(fèi)的大部分都用于高性能計(jì)算機(jī)系統(tǒng)研制,軟件和應(yīng)用處于配合和支撐地位,與發(fā)達(dá)國家超算研究計(jì)劃中硬軟件投入接近1:1 相比,中國的軟件和應(yīng)用研發(fā)投入明顯不足。

2) 軟件和應(yīng)用種類多、研發(fā)持續(xù)時(shí)間長。 軟件和應(yīng)用種類繁多,應(yīng)用生態(tài)的建立需要長期持續(xù)的努力。 一種新型處理器/加速器推出后,初期往往只具備操作系統(tǒng)和編譯等核心軟件,而單靠硬件研發(fā)單位完成多種編程語言編譯器、調(diào)試及性能分析工具、基礎(chǔ)算法庫、求解器、各種領(lǐng)域應(yīng)用軟件的研發(fā)非常困難,需要多方參與,經(jīng)過若干年的持續(xù)努力,逐步研發(fā)和完善。

3) 用戶使用習(xí)慣不利于國產(chǎn)軟件的推廣。中國超算應(yīng)用軟件研發(fā)起步相對較晚,西方國家在很多行業(yè)和領(lǐng)域已推出了商業(yè)化軟件,用戶已形成了商業(yè)軟件使用習(xí)慣和對商業(yè)軟件的認(rèn)知度,某些行業(yè)甚至只認(rèn)可某種軟件的仿真結(jié)果,這給國內(nèi)應(yīng)用軟件的自主研發(fā)和推廣應(yīng)用帶來了很大困難。 一種軟件研發(fā)完成后,需要通過推廣應(yīng)用來支撐驅(qū)動(dòng)軟件維護(hù)和持續(xù)升級,通過軟件持續(xù)升級,不斷增強(qiáng)功能并改善用戶體驗(yàn),進(jìn)而吸引更多用戶使用,然而,目前國產(chǎn)超算軟件研發(fā)還未能形成這種良性循環(huán)。

軟件和應(yīng)用生態(tài)存在的不足使得中國高性能計(jì)算領(lǐng)域存在著“大而不強(qiáng)”的現(xiàn)象,與此同時(shí),高性能基礎(chǔ)和應(yīng)用軟件大量依賴國外軟件,也存在“卡脖子”的風(fēng)險(xiǎn)。

3.3.2 中國算力基礎(chǔ)設(shè)施的發(fā)展展望

“東數(shù)西算”戰(zhàn)略的實(shí)施將形成算力中心建設(shè)的新高潮,為了構(gòu)建國家算力基礎(chǔ)設(shè)施,需要在研發(fā)突破關(guān)鍵技術(shù)的基礎(chǔ)上,補(bǔ)足中國超算軟件與應(yīng)用的短板,并通過運(yùn)營模式和機(jī)制創(chuàng)新,建立起豐富且自我發(fā)展的國產(chǎn)軟件應(yīng)用生態(tài)。 為此,需要在以下方面開展重點(diǎn)工作:

1) 研究突破關(guān)鍵技術(shù),支撐算力基礎(chǔ)設(shè)施發(fā)展。 圍繞算力中心異構(gòu)化和多樣化帶來的技術(shù)挑戰(zhàn),解決算力基礎(chǔ)設(shè)施面臨的技術(shù)難題,研發(fā)核心軟件和服務(wù)平臺,實(shí)現(xiàn)多樣化算力中心的互聯(lián)互通、資源共享和服務(wù)提供,為國家算力基礎(chǔ)設(shè)施的構(gòu)建和發(fā)展提供技術(shù)支撐。

2) 強(qiáng)化計(jì)算軟件研發(fā),補(bǔ)足國產(chǎn)軟件與應(yīng)用短板。 以國產(chǎn)處理器/加速器的興起為契機(jī),加強(qiáng)基于國產(chǎn)硬件的工具鏈、算法庫、求解器、領(lǐng)域應(yīng)用等基礎(chǔ)和應(yīng)用軟件研發(fā),通過若干年的持續(xù)努力,建立較為完備的國產(chǎn)硬件支撐和應(yīng)用軟件棧,形成可自我發(fā)展的國產(chǎn)軟件與應(yīng)用生態(tài)。

3) 改變單一機(jī)時(shí)服務(wù)方式,推動(dòng)算力中心能力建設(shè)。 國內(nèi)已建成的超算中心為了彌補(bǔ)運(yùn)行經(jīng)費(fèi)的不足,普遍以提供機(jī)時(shí)服務(wù)為主,即俗稱的“賣機(jī)時(shí)”。 這種低層次的算力服務(wù)消耗了較多的人力和精力,制約了算力中心向更高水平發(fā)展。通過建立國家算力基礎(chǔ)設(shè)施,可以推動(dòng)算力中心從機(jī)時(shí)提供者向應(yīng)用研發(fā)者和解決方案提供者轉(zhuǎn)變。 同時(shí),各超算中心通過研發(fā)建立領(lǐng)域應(yīng)用平臺,可以突出自己的技術(shù)特色,進(jìn)而形成算力中心各有所長的態(tài)勢,也可以避免算力中心發(fā)展同質(zhì)化。

4) 創(chuàng)新算力運(yùn)營模式和機(jī)制,打造多方共贏的應(yīng)用生態(tài)。 算力中心涉及地方政府、投資方、設(shè)備提供方和運(yùn)營方,在構(gòu)建國家算力基礎(chǔ)設(shè)施的過程中,需要以多方共贏為目標(biāo),通過運(yùn)營模式和機(jī)制創(chuàng)新,鼓勵(lì)多方參與,通過競爭促進(jìn)技術(shù)進(jìn)步和服務(wù)水平提升,與此同時(shí),以應(yīng)用商店(App store)等模式打造研發(fā)、服務(wù)、運(yùn)營等多方共贏的軟件和應(yīng)用生態(tài),進(jìn)而推動(dòng)國家算力基礎(chǔ)設(shè)施做大做強(qiáng)。

4 結(jié)束語

CNGird 在國家科技計(jì)劃支持下歷經(jīng)20 余年發(fā)展,已經(jīng)成為不可或缺的國家高性能計(jì)算基礎(chǔ)設(shè)施,并為“東數(shù)西算”背景下國家算力基礎(chǔ)設(shè)施的建設(shè)積累了寶貴經(jīng)驗(yàn),奠定了技術(shù)基礎(chǔ)。 溫故而知新。 面對“東數(shù)西算”的新任務(wù),要認(rèn)真總結(jié)CNGrid 建設(shè)的歷史經(jīng)驗(yàn),分析應(yīng)用和技術(shù)發(fā)展的新趨勢,定位亟待解決的瓶頸技術(shù)問題,探索新的應(yīng)用模式和機(jī)制,更高效地構(gòu)建新一代國家算力基礎(chǔ)設(shè)施,實(shí)現(xiàn)“東數(shù)西算”的國家戰(zhàn)略。 這是國家創(chuàng)新發(fā)展賦予的歷史使命。