李銘軒 常 培 崔 童 李朝霞

1 中國聯(lián)通研究院 北京 100048

2 中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司 北京 100032

3 聯(lián)通數(shù)字科技有限公司 北京 100085

引言

傳統(tǒng)云計(jì)算技術(shù)的研究領(lǐng)域主要集中在虛擬化、存儲(chǔ)等資源的集中管理和調(diào)度等方面，而對于網(wǎng)絡(luò)資源的納管，更多關(guān)注領(lǐng)域是研究如何通過建立網(wǎng)絡(luò)連接，實(shí)現(xiàn)計(jì)算、存儲(chǔ)等資源的互聯(lián)互通。而隨著算網(wǎng)融合技術(shù)的發(fā)展以及面向底層計(jì)算架構(gòu)的多樣化，目前云計(jì)算技術(shù)的發(fā)展更多需要考慮兩個(gè)方面：一方面，對底層異構(gòu)計(jì)算單元的統(tǒng)一納管；另一方面，網(wǎng)絡(luò)資源不單單只提供計(jì)算資源的網(wǎng)絡(luò)連接，更多的能夠面向不同的計(jì)算場景提供不同的網(wǎng)絡(luò)類型。文獻(xiàn)[1]具體闡述了在算力網(wǎng)絡(luò)發(fā)展過程中，網(wǎng)絡(luò)如何更好滿足計(jì)算的需求，同時(shí)也提出“將邊緣節(jié)點(diǎn)、云計(jì)算節(jié)點(diǎn)以及含廣域網(wǎng)在內(nèi)的各類網(wǎng)絡(luò)資源深度融合在一起……其能夠根據(jù)客戶需求，在云、網(wǎng)、邊之間按需分配和靈活調(diào)度計(jì)算資源、存儲(chǔ)資源以及網(wǎng)絡(luò)資源”。

另外，云原生技術(shù)的興起，改變了傳統(tǒng)對于云計(jì)算資源的交付模式，從傳統(tǒng)的云主機(jī)、云存儲(chǔ)等計(jì)算單位逐漸發(fā)展到面向服務(wù)能力的交付，使得使用者不再需要關(guān)注底層計(jì)算資源的使用情況，而更加關(guān)注服務(wù)能力以及其之上業(yè)務(wù)場景和需求的開發(fā)[2]，而Serverless模式的概念正是滿足了這種模式發(fā)展的需求。本文從不同的算網(wǎng)資源的角度出發(fā)，研究了底層異構(gòu)算力的統(tǒng)一管理，同時(shí)面向上層業(yè)務(wù)和場景不同，提供面向FaaS的服務(wù)能力，以期能夠屏蔽底層的異構(gòu)資源，更好地為業(yè)務(wù)創(chuàng)新和開發(fā)提供便捷的環(huán)境[3]。

1 Serverless介紹

Serverless是一種構(gòu)建和管理基于微服務(wù)架構(gòu)的完整流程，允許在服務(wù)部署級別而不是服務(wù)器部署級別來管理應(yīng)用部署。與傳統(tǒng)架構(gòu)的不同之處在于，服務(wù)完全由第三方管理，由事件觸發(fā)，存在于無狀態(tài)(Stateless)、暫存(可能只存在于一次調(diào)用的過程中)計(jì)算容器內(nèi)。構(gòu)建無服務(wù)器應(yīng)用程序意味著開發(fā)者可以專注于產(chǎn)品代碼開發(fā)上，而無須管理和操作云端或本地的服務(wù)器或運(yùn)行時(shí)，Serverless真正做到了部署應(yīng)用無需涉及基礎(chǔ)設(shè)施的建設(shè)，自動(dòng)構(gòu)建、部署和啟動(dòng)服務(wù)[4]。

FaaS(Function as a Service,函數(shù)即服務(wù))和BaaS(Backend as a Service，后端即服務(wù))目前是Serverless技術(shù)發(fā)展所涵蓋的兩個(gè)主流方向，其中FaaS意在無須自行管理服務(wù)器系統(tǒng)或自己的服務(wù)器應(yīng)用程序，即可直接運(yùn)行后端代碼。FaaS可以取代一些服務(wù)處理服務(wù)器，不僅僅不需要自行供應(yīng)服務(wù)器，也不需要全時(shí)運(yùn)行應(yīng)用程序[5]。

1.1 Knative技術(shù)架構(gòu)

Knative是谷歌開源的Serverless架構(gòu)方案，旨在提供一套簡單易用的Serverless方案，把Serverless標(biāo)準(zhǔn)化。目前參與的公司主要有Google、Pivtal、IBM等，自2018年7月24日對外發(fā)布以來，迅速得到業(yè)務(wù)的廣泛關(guān)注，又由于是谷歌開放的開源架構(gòu)[6]，因此和Kubernetes天然耦合，因此處于快速發(fā)展的階段。根據(jù)官方的闡述，其主要架構(gòu)如圖1所示。

圖1 Knative技術(shù)架構(gòu)

基于上述架構(gòu)，Knative基于Kubernetes進(jìn)行部署，并且能夠通過Kubernetes調(diào)度到底層的容器資源，同時(shí)對外暴露API接口以便于開發(fā)者進(jìn)行開發(fā)和部署，而上層用戶可以基于Istio的Service Mesh(服務(wù)網(wǎng)格)來承載應(yīng)用的編排。通過這種方式可以進(jìn)一步屏蔽掉用戶和開發(fā)者共用同一個(gè)Kubernetes平臺(tái)入口，一方面為開發(fā)者提供基于Knative實(shí)現(xiàn)應(yīng)用DevOps開發(fā)；另一方面，為用戶提供基于Istio的應(yīng)用服務(wù)部署。同時(shí)兩者都不再需要關(guān)心Kubernetes本身的容器資源調(diào)度情況和人工手動(dòng)編寫腳本來實(shí)現(xiàn)業(yè)務(wù)層的編排調(diào)度的煩惱，而進(jìn)一步關(guān)注于業(yè)務(wù)代碼開發(fā)本身。

1.2 Knative核心概念

Knative本身主要由Build、Serving和Eventing三大核心組件構(gòu)成。Knative正是依靠著這三個(gè)核心組件來實(shí)現(xiàn)整個(gè)Serverless的運(yùn)作機(jī)制的。

1)Build：基于Kubernetes能力之上，提供一套完整的標(biāo)準(zhǔn)化、可移植、可復(fù)用的容器鏡像構(gòu)建方式。

2)Serving：主要用來提供服務(wù)，其構(gòu)建于Kubernetes和Istio之上，為Serverless應(yīng)用提供部署和服務(wù)支持。應(yīng)用服務(wù)可以基于Serving進(jìn)行自動(dòng)擴(kuò)縮容，并且基于Istio組件提供路由和網(wǎng)絡(luò)編程等。

3)Eventing：滿足云原生開發(fā)中通用需求，以提供可組合的方式綁定事件源和事件消費(fèi)者。

2 算力網(wǎng)絡(luò)技術(shù)架構(gòu)

算力網(wǎng)絡(luò)是從傳統(tǒng)的云網(wǎng)融合的角度出發(fā)，結(jié)合邊緣計(jì)算、云化網(wǎng)絡(luò)以及智能控制等優(yōu)勢，在算力網(wǎng)絡(luò)連接下實(shí)現(xiàn)更加廣泛的算力資源的納管和動(dòng)態(tài)調(diào)度。在資源納管方面，算力網(wǎng)絡(luò)與傳統(tǒng)的云網(wǎng)融合不同，更加注重網(wǎng)絡(luò)連接和控制對于“云、邊、端”的異構(gòu)資源的納管和多集群協(xié)調(diào)的影響和融合[7]。算力網(wǎng)絡(luò)整體技術(shù)架構(gòu)如圖2所示。

圖2 算力網(wǎng)絡(luò)技術(shù)架構(gòu)

依據(jù)上述技術(shù)架構(gòu)，算力網(wǎng)絡(luò)的云原生資源統(tǒng)一調(diào)度平臺(tái)對底層實(shí)現(xiàn)對于存儲(chǔ)、計(jì)算和網(wǎng)絡(luò)控制節(jié)點(diǎn)的統(tǒng)一管理，通過網(wǎng)絡(luò)插件實(shí)現(xiàn)對于底層算力承載網(wǎng)的控制，從而實(shí)現(xiàn)網(wǎng)絡(luò)連接和網(wǎng)絡(luò)質(zhì)量控制，而通過存儲(chǔ)插件實(shí)現(xiàn)對于共享存儲(chǔ)的調(diào)度和管理。另外通過Kubernetes的多集群管理能力，實(shí)現(xiàn)對于邊緣云的對接，從而可以實(shí)現(xiàn)和遠(yuǎn)端邊緣嵌入式終端的資源管理和調(diào)度[8]。

基于上述的算力網(wǎng)絡(luò)技術(shù)架構(gòu)，底層算力網(wǎng)絡(luò)資源和邊緣云終端資源納管基于云原生資源編排調(diào)度技術(shù)實(shí)現(xiàn)統(tǒng)一納管。而上層則通過平臺(tái)能力下沉等方式形成算力網(wǎng)絡(luò)的服務(wù)能力，結(jié)合算力網(wǎng)絡(luò)的第三方算力能力和自有的算力能力形成一個(gè)統(tǒng)一的算力網(wǎng)絡(luò)能力集并通過算力網(wǎng)絡(luò)統(tǒng)一開放平臺(tái)對外進(jìn)行開放。從而為上層的用戶和開發(fā)者提供應(yīng)用商店實(shí)現(xiàn)一鍵部署，同時(shí)統(tǒng)一提供API接口為實(shí)現(xiàn)第三方的開發(fā)提供基礎(chǔ)。

3 基于FaaS的算網(wǎng)異構(gòu)算力調(diào)度方案

基于上述的算力網(wǎng)絡(luò)技術(shù)架構(gòu)，傳統(tǒng)的云網(wǎng)融合技術(shù)只能通過基礎(chǔ)設(shè)施層提供虛擬化計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的統(tǒng)一納管，并且對于上層應(yīng)用場景只能夠單純提供虛機(jī)資源、共享存儲(chǔ)以及虛擬網(wǎng)絡(luò)等資源，用戶還需要在此基礎(chǔ)上進(jìn)行平臺(tái)的部署和二次開發(fā)。并且在開發(fā)過程中同樣需要考慮算力和網(wǎng)絡(luò)資源的整合等問題，從而也提高了整個(gè)面向算力網(wǎng)絡(luò)資源的利用率。而基于FaaS的算網(wǎng)異構(gòu)資源統(tǒng)一調(diào)度環(huán)境下，整合了底層算力網(wǎng)絡(luò)資源的能力，對上通過服務(wù)網(wǎng)格的方式實(shí)現(xiàn)應(yīng)用服務(wù)的編排調(diào)度，同時(shí)通過API和服務(wù)鏡像打包的方式提供算力網(wǎng)絡(luò)開放能力，這樣使用者可以基于算力網(wǎng)絡(luò)本身的服務(wù)能力進(jìn)行開發(fā)，因此使用者可以更多地關(guān)注業(yè)務(wù)代碼本身。

3.1 技術(shù)架構(gòu)

基于上述的算網(wǎng)異構(gòu)資源的統(tǒng)一調(diào)度和面向使用者的FaaS服務(wù)開放，本文提出了基于云原生的異構(gòu)算力資源的Serverless模式的技術(shù)架構(gòu)，其技術(shù)架構(gòu)如圖3所示。

圖3 FaaS異構(gòu)算力技術(shù)架構(gòu)

依據(jù)圖3的技術(shù)架構(gòu)，面向FaaS的算網(wǎng)異構(gòu)資源調(diào)度由算力管理層實(shí)現(xiàn)對底層網(wǎng)絡(luò)、存儲(chǔ)、邊緣計(jì)算和中心云進(jìn)行統(tǒng)一管理和編排調(diào)度。在算力管理層包括算力注冊、算力發(fā)現(xiàn)、算力路由來實(shí)現(xiàn)對于底層異構(gòu)算力的生命周期管理，并且基于開源的云原生資源調(diào)度平臺(tái)Kubernetes來實(shí)現(xiàn)對于算力的調(diào)度管理，同時(shí)基于網(wǎng)絡(luò)接口和存儲(chǔ)接口來實(shí)現(xiàn)對于網(wǎng)絡(luò)和存儲(chǔ)的管理。

通過Kubernetes底層資源的調(diào)度能力對上層提供面向異構(gòu)資源的編排調(diào)度能力[9]，與無服務(wù)框架Knative進(jìn)行融合和對接，從而提供函數(shù)服務(wù)能力。而在函數(shù)服務(wù)能力中結(jié)合Knative的Build組件來實(shí)現(xiàn)代碼的鏡像打包、部署和版本管理等，底層算力管理層也依托函數(shù)服務(wù)能力來封裝底層資源，從而提供開放的API函數(shù)接口。依托Knative的Service組件來實(shí)現(xiàn)面向上層的服務(wù)編排，整個(gè)開發(fā)者的代碼由函數(shù)服務(wù)能力層中的代碼托管來進(jìn)行統(tǒng)一管理，而打包生成的鏡像則由鏡像倉庫來進(jìn)行管理。所有版本更新和新函數(shù)事件發(fā)布等則是由核心組件Event來進(jìn)行統(tǒng)一的事件消息發(fā)布等。

基于上述的整體技術(shù)架構(gòu)，為上層應(yīng)用提供了封裝好的算力網(wǎng)絡(luò)異構(gòu)資源的函數(shù)級調(diào)度和封裝能力，開發(fā)者或者用戶本身不需要關(guān)注底層的資源部署在什么位置或者服務(wù)器上，不需要關(guān)心需要申請多少硬件或者虛機(jī)資源等，而將更多的精力關(guān)注在業(yè)務(wù)邏輯代碼的開發(fā)和業(yè)務(wù)創(chuàng)新上面。從而可以大大降低算網(wǎng)異構(gòu)資源作為新基建在應(yīng)用過程中的門檻。

3.2 異構(gòu)資源管理

面向FaaS的算網(wǎng)異構(gòu)資源調(diào)度管理機(jī)制是基于云原生的底層異構(gòu)算力節(jié)點(diǎn)統(tǒng)一資源納管，通過底層異構(gòu)計(jì)算芯片作為算力節(jié)點(diǎn)在云原生編排調(diào)度平臺(tái)上進(jìn)行節(jié)點(diǎn)管理和注冊，并且通過標(biāo)簽的方式來實(shí)現(xiàn)算力節(jié)點(diǎn)的管理，同時(shí)將容器作為原子級的算力調(diào)度單元實(shí)現(xiàn)了算力節(jié)點(diǎn)的資源獲取和應(yīng)用部署，從而實(shí)現(xiàn)了異構(gòu)資源的統(tǒng)一管理。

基于上述的異構(gòu)算力資源的整體納管機(jī)制，本文采用多集群管理和異構(gòu)計(jì)算芯片資源抽象的方式來實(shí)現(xiàn)分級的異構(gòu)資源統(tǒng)一管理，其中在多集群管理中基于Kubernetes云原生的Operator多集群管理機(jī)制實(shí)現(xiàn)對于不同數(shù)據(jù)中心、邊緣集群以及網(wǎng)絡(luò)連接的融合管理[10]。在跨數(shù)據(jù)中心的集群選擇和算力路由等方面，結(jié)合業(yè)務(wù)需求和算力推薦，通過Operator來選擇合適的數(shù)據(jù)中心位置和算力集群來承載應(yīng)用運(yùn)行。

而對于異構(gòu)算力資源抽象機(jī)制，如圖4所示，在底層的異構(gòu)算力芯片的管理方面，通過云原生Kubernetes的CRD資源抽象的方式來進(jìn)行定義[11]，通過底層驅(qū)動(dòng)層將算力節(jié)點(diǎn)注冊到資源編排調(diào)度層中，并且在CRD資源抽象層進(jìn)行資源定義和抽象。通過Kubernetes的配置腳本yaml在云原生應(yīng)用中將所需運(yùn)行的資源進(jìn)行調(diào)用，Kubelet在接收到配置腳本時(shí)，則會(huì)根據(jù)yaml腳本將POD創(chuàng)建在指定的算力節(jié)點(diǎn)上執(zhí)行，從而實(shí)現(xiàn)了異構(gòu)資源的調(diào)度。

圖4 異構(gòu)算力資源抽象調(diào)度圖

3.3 面向FaaS的服務(wù)能力開放

基于底層異構(gòu)算力資源的抽象定義機(jī)制能夠?qū)崿F(xiàn)對于算力資源的統(tǒng)一納管和調(diào)度，并且在資源層實(shí)現(xiàn)了統(tǒng)一，而基于FaaS的算網(wǎng)異構(gòu)資源調(diào)度機(jī)制能夠在服務(wù)層實(shí)現(xiàn)算力網(wǎng)絡(luò)能力的統(tǒng)一，通過云原生技術(shù)來實(shí)現(xiàn)底層資源的調(diào)度以及面向上層應(yīng)用的服務(wù)能力開放[12]。其平臺(tái)的整體功能架構(gòu)如圖5所示。

依據(jù)圖5所示，在資源層主要實(shí)現(xiàn)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的整體管理。在調(diào)度層基于云原生基礎(chǔ)實(shí)現(xiàn)網(wǎng)絡(luò)、算力和存儲(chǔ)的調(diào)度，同時(shí)結(jié)合能力下沉的研發(fā)模式，不斷積累和豐富相關(guān)能力集從而形成算力網(wǎng)絡(luò)的中臺(tái)能力。而編排層則主要負(fù)責(zé)將底層的資源進(jìn)一步轉(zhuǎn)化為服務(wù)能力，基于Service Mesh實(shí)現(xiàn)服務(wù)路由、服務(wù)注冊和服務(wù)發(fā)現(xiàn)等功能。而在應(yīng)用層則進(jìn)一步采用Serverless模式，結(jié)合開源框架Knative實(shí)現(xiàn)鏡像打包、業(yè)務(wù)代碼托管和應(yīng)用商店能力，并且通過函數(shù)服務(wù)為上層的自服務(wù)門戶和開發(fā)者門戶提供API函數(shù)接口和調(diào)用服務(wù)。

圖5 異構(gòu)算網(wǎng)資源能力開放平臺(tái)

依據(jù)上述異構(gòu)算網(wǎng)資源能力開放平臺(tái)的整體架構(gòu)，主要分為以下幾個(gè)部分。

1)資源層主要對基礎(chǔ)設(shè)施進(jìn)行統(tǒng)一納管，包括異構(gòu)算力，諸如X86、GPU、ARM、TPU、NPU等各種架構(gòu)的算力，各種存儲(chǔ)類型以及網(wǎng)絡(luò)的管理和調(diào)度能力。

2)調(diào)度層主要分為兩部分的能力，一方面具備對于底層資源層的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的基本調(diào)度能力以及異構(gòu)資源的抽象；另一方面能夠?qū)崿F(xiàn)能力下沉，結(jié)合服務(wù)應(yīng)用場景的調(diào)度能力形成基礎(chǔ)能力集。根據(jù)不同的應(yīng)用場景分為計(jì)算能力集、機(jī)器學(xué)習(xí)能力集以及網(wǎng)絡(luò)方面的控制能力集，從而可以更好地銜接基礎(chǔ)算力能力和上層服務(wù)編排需求。

3)編排層基于目前主流的云原生Kubernetes和服務(wù)網(wǎng)格Service Mesh實(shí)現(xiàn)服務(wù)注冊、服務(wù)發(fā)現(xiàn)、服務(wù)路由以及邊車管理等功能來實(shí)現(xiàn)微服務(wù)組件之間的連接和通訊。

4)函數(shù)服務(wù)是基于云原生的Kubernetes和Service Mesh的服務(wù)編排基于開源Serverless框架Knative的API網(wǎng)關(guān)來實(shí)現(xiàn)服務(wù)編排能力的API開放以及業(yè)務(wù)的代碼的托管和鏡像打包，并且通過應(yīng)用商店能力提供可視化的服務(wù)能力瀏覽和一鍵化部署等能力。

5)自服務(wù)門戶/開發(fā)者門戶為用戶提供不同的業(yè)務(wù)服務(wù)渠道，自服務(wù)門戶為用戶提供業(yè)務(wù)部署和業(yè)務(wù)運(yùn)營的服務(wù)門戶，提供應(yīng)用商店的服務(wù)部署等功能；而開發(fā)者門戶為用戶提供業(yè)務(wù)代碼開發(fā)和API調(diào)用，代碼托管等方面的功能。

6)監(jiān)控層實(shí)現(xiàn)整個(gè)異構(gòu)算網(wǎng)資源開放平臺(tái)常規(guī)的平臺(tái)運(yùn)行、資源監(jiān)控以及安全告警等方面的功能。

異構(gòu)算網(wǎng)資源調(diào)度服務(wù)平臺(tái)，從底層逐步統(tǒng)一納管異構(gòu)算力網(wǎng)絡(luò)資源的管理和調(diào)度，到逐步轉(zhuǎn)向面向應(yīng)用的服務(wù)化編排調(diào)度能力，再到上層的函數(shù)服務(wù)能力開放，從而將異構(gòu)的算力網(wǎng)絡(luò)資源進(jìn)行了有效的統(tǒng)一和開放。這樣開發(fā)者或者應(yīng)用使用者不需要關(guān)心底層計(jì)算資源的分配或者網(wǎng)絡(luò)帶寬的連接，而將更多的精力關(guān)注到面向業(yè)務(wù)代碼的開發(fā)和邏輯編排上來，從而可以更好地促進(jìn)算力網(wǎng)絡(luò)平臺(tái)架構(gòu)下的多場景應(yīng)用的業(yè)務(wù)創(chuàng)新，真正可以引入互聯(lián)網(wǎng)化的“前店后廠”業(yè)務(wù)創(chuàng)新模式和思維。

4 總結(jié)

異構(gòu)算力網(wǎng)絡(luò)技術(shù)的發(fā)展是下一代云網(wǎng)融合2.0技術(shù)的發(fā)展趨勢，而在傳統(tǒng)的基礎(chǔ)設(shè)施建設(shè)過程中，云原生技術(shù)和網(wǎng)絡(luò)新技術(shù)的引入為算力網(wǎng)絡(luò)的發(fā)展注入了新的活力[13]。而本文所提出的面向FaaS的算網(wǎng)異構(gòu)資源調(diào)度技術(shù)，在傳統(tǒng)納管各種新型異構(gòu)計(jì)算資源的基礎(chǔ)上，采用云原生架構(gòu)提出了面向FaaS的Serverless框架，從而可以很好地屏蔽掉紛繁復(fù)雜且異構(gòu)多變的算力網(wǎng)絡(luò)資源，從而使得用戶更多地關(guān)注于上層業(yè)務(wù)邏輯的開發(fā)和編排，以更好地促進(jìn)算力網(wǎng)絡(luò)技術(shù)的發(fā)展。