楊鑫/YANG Xin，趙慧玲/ZHAO Huiling

（1.中國電信股份有限公司云計算分公司，北京100093；2.工業(yè)和信息化部通信科技委，北京100035）

(1.China Telecom eCloud Corporation, Beijing 100093, China;2.Communications Science and Technology Commission of the Ministry of Industry and Information Technology of the People's Republic of China, Beijing 100035, China)

隨著5G 獨立組網(wǎng)（SA）的正式建設(shè)，作為5G SA核心能力之一的移動邊緣計算（MEC）[1]也正式啟動商業(yè)部署和運營。雖然MEC試點已開展較多，但其作為一個IT和CT融合平臺，存在多重挑戰(zhàn)[2]。充滿不確定性但似乎又有無限可能，這既是MEC讓人困惑之處，也是MEC被寄予厚望之處。全球電信運營商對MEC的技術(shù)選擇與商業(yè)運營思路并不完全相同，對于將云計算作為戰(zhàn)略型業(yè)務(wù)發(fā)展的主導(dǎo)運營商來說，MEC不僅僅是5G邊緣計算平臺，還普遍被認為是云戰(zhàn)略的重要差異化優(yōu)勢之一。MEC與中心云協(xié)同為客戶提供云網(wǎng)邊一體化服務(wù)成為必然選擇。

1 云邊協(xié)同應(yīng)用場景

除了少數(shù)在邊緣節(jié)點終結(jié)處理的業(yè)務(wù)（如部分園區(qū)私有云業(yè)務(wù)）外，對于大部分邊緣計算業(yè)務(wù)來說，云邊協(xié)同的業(yè)務(wù)需求普遍存在。邊緣計算產(chǎn)業(yè)聯(lián)盟和云計算開源產(chǎn)業(yè)聯(lián)盟總結(jié)了內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）、工業(yè)互聯(lián)網(wǎng)、能源、智能家庭、智慧交通、安防監(jiān)控、農(nóng)業(yè)生產(chǎn)、醫(yī)療保健、云游戲等云邊協(xié)同應(yīng)用場景[3-4]。其中，有的是因為業(yè)務(wù)低時延需求，在業(yè)務(wù)系統(tǒng)云端部署的同時將部分時延敏感實時處理任務(wù)下沉到邊緣，如工業(yè)大數(shù)據(jù)在云端綜合分析處理時可編程邏輯控制器（PLC）采集數(shù)據(jù)在邊緣實時分析處理與控制設(shè)備；有的是著眼于降低云端計算壓力和網(wǎng)絡(luò)帶寬成本，如CDN應(yīng)用場景在邊緣部署緩存和計算服務(wù)，提供邊緣加速或作為CDN的進一步下沉節(jié)點，以在降低總體成本的同時提升用戶的就近服務(wù)體驗；有的則綜合時延、成本、性能、可靠性等，以實現(xiàn)系統(tǒng)架構(gòu)的優(yōu)化并充分發(fā)揮云與邊的不同優(yōu)勢，如視頻安防監(jiān)控中涉及到視頻人工智能（AI）的應(yīng)用處理，它通過在邊緣的視頻預(yù)分析和AI推理執(zhí)行，實現(xiàn)視頻監(jiān)控場景實時異常事件的感知及快速處理，在云端則發(fā)揮云端算力、開發(fā)工具的優(yōu)勢，完成AI模型的訓(xùn)練以及AI分析應(yīng)用的開發(fā)并按需下發(fā)給邊緣部署。

2 云邊協(xié)同參考框架

邊緣計算產(chǎn)業(yè)聯(lián)盟認為云邊協(xié)同包含云端與邊端基礎(chǔ)設(shè)施即服務(wù)（IaaS）、平臺即服務(wù)（PaaS）、軟件即服務(wù)（SaaS）的多種協(xié)同[3]，邊端邊緣計算（EC）-IaaS與云端IaaS應(yīng)可實現(xiàn)對網(wǎng)絡(luò)、虛擬化資源等的資源協(xié)同；邊端EC-PaaS與云端PaaS應(yīng)可實現(xiàn)數(shù)據(jù)協(xié)同、智能協(xié)同、應(yīng)用編排協(xié)同、業(yè)務(wù)管理協(xié)同；邊端EC-SaaS與云端SaaS應(yīng)可實現(xiàn)應(yīng)用服務(wù)協(xié)同。云計算開源產(chǎn)業(yè)聯(lián)盟則進一步提出在IaaS資源、PaaS平臺、SaaS應(yīng)用的協(xié)同基礎(chǔ)上面還需要考慮計費、運維、安全等方面的協(xié)同[4]。

華為作為信息與通信技術(shù)（ICT）產(chǎn)業(yè)的設(shè)備與服務(wù)提供商，在邊緣計算領(lǐng)域的布局涉及“云、管、邊、端、芯”。其中，華為云提出基于Kubernetes擴展的云邊協(xié)同開源項目——KubeEdge[5]，并將其貢獻給云原生計算基金會（CNCF）。作為一個智能邊緣平臺，KubeEdge包含了邊端的計算節(jié)點部分和云端的管理控制部分，其云邊協(xié)同體現(xiàn)在：1）基于 WebSocket 和Quic協(xié)議構(gòu)建了可靠、高效的云邊消息通信，并作為云邊控制協(xié)同、數(shù)據(jù)協(xié)同的通信基礎(chǔ)；2）擴展了Kubernetes，實現(xiàn)云邊協(xié)同編排管理，包括基于云端的邊緣控制器EdgeController等控制 Kubernetes應(yīng)用程序編程接口（API）服務(wù)器與邊緣節(jié)點、應(yīng)用和配置的狀態(tài)同步，支持直接通過 kubectl 命令行在云端管理邊緣節(jié)點、設(shè)備和應(yīng)用；3）提供了DeviceTwin模塊，實現(xiàn)邊緣計算節(jié)點下掛的邊緣設(shè)備與云端設(shè)備管理之間的同步和控制。

作為云服務(wù)提供商，阿里云也進軍了邊緣計算領(lǐng)域，并積極布局云邊協(xié)同：1）發(fā)布了邊緣節(jié)點服務(wù)（ENS）[6]。ENS當前主要提供邊緣IaaS服務(wù)，但其目標是建立大規(guī)模分布式邊緣算力融合調(diào)度平臺，融合虛機、容器、函數(shù)、流式計算等計算形態(tài)，屏蔽分布在各個邊緣數(shù)據(jù)中心（DC）硬件環(huán)境與網(wǎng)絡(luò)環(huán)境的異構(gòu)差異，無縫支持各類邊緣資源，為規(guī)模覆蓋的云邊一體化計算提供底座能力支持。2）與華為類似，基于“云端統(tǒng)一管控，邊緣適度定制”的理念，阿里云將Kubernetes容器服務(wù)拓展至邊緣，推出邊緣容器產(chǎn)品——阿里云容器服務(wù)Kubernetes版ACK Edge Kubernetes[6]，并提供了云邊協(xié)同通道——EdgeTunnel，實現(xiàn)云端管控與邊緣worker節(jié)點之間的消息交互。同時，阿里云還重點考慮了邊緣節(jié)點日志監(jiān)控運維、邊緣應(yīng)用編排管控的云邊協(xié)同等需求。ACK Edge Kubernetes可以認為是邊緣PaaS服務(wù)。

3 MEC的云邊協(xié)同

行業(yè)聯(lián)盟的邊緣計算云邊協(xié)同參考框架是針對業(yè)界各種邊緣計算的一個總體參考，而邊緣計算卻存在多種形態(tài)。華為和阿里在各種邊緣計算產(chǎn)品中也給出了針對性的云邊協(xié)同設(shè)計與研發(fā)實現(xiàn)。對于MEC，其云邊協(xié)同架構(gòu)總體符合業(yè)界的參考框架，同時也有自身需要重點關(guān)注的問題。

目前，MEC有廣義和狹義之分。狹義的MEC指遵循ETSI標準架構(gòu)的多接入邊緣計算平臺[1]，該平臺一般基于網(wǎng)絡(luò)功能虛擬化（NFV）和管理編排技術(shù)構(gòu)建，5G 用戶面功能（UPF）被納入MEC系統(tǒng)中統(tǒng)一考慮。廣義的MEC則指運營商在網(wǎng)絡(luò)邊緣部署邊緣計算平臺，特別是對于自身提供公有云和CDN服務(wù)的運營商，可以基于自身的公有云和CDN資源延伸打造MEC平臺（不一定命名為MEC平臺），該平臺一般與UPF分離部署。在邊緣云技術(shù)層面，該平臺雖然與網(wǎng)絡(luò)功能虛擬化基礎(chǔ)設(shè)施解決方案（NFVI）有共通之處，但其并不完全遵循NFV的架構(gòu)和標準，而是有一套互聯(lián)網(wǎng)化的邊緣計算平臺。綜上所述，MEC云邊協(xié)同參考架構(gòu)如圖1所示，分為4個層面的云邊協(xié)同。

3.1 MEC邊緣網(wǎng)絡(luò)服務(wù)協(xié)同

1）邊緣承載網(wǎng)絡(luò)協(xié)同。MEC的邊緣資源池與中心云資源池之間的云邊網(wǎng)絡(luò)互聯(lián)，主要基于城域網(wǎng)/移動承載網(wǎng)+IP骨干網(wǎng)承載（理想的狀態(tài)是基于軟件定義網(wǎng)絡(luò)/NFV實現(xiàn)云、邊之間的網(wǎng)絡(luò)資源統(tǒng)一調(diào)度）。近期，云邊網(wǎng)絡(luò)互聯(lián)以跨網(wǎng)絡(luò)隧道技術(shù)為出發(fā)點進行構(gòu)建[8]，例如以軟件定義廣域網(wǎng)（SD-WAN）為代表的Overlay方案和SRv6為代表的Underlay方案等。這些方案均通過云端集中部署的SDWAN控制器和網(wǎng)絡(luò)運營管理系統(tǒng)實現(xiàn)云邊網(wǎng)絡(luò)之間Overlay與Underlay連接的資源調(diào)度，滿足云邊業(yè)務(wù)應(yīng)用協(xié)同等網(wǎng)絡(luò)需求。

2）5G 核心網(wǎng)網(wǎng)絡(luò)協(xié)同。無論MEC與UPF是否物理集成部署，兩者在運營層面需要統(tǒng)一打造“連接+計算”的對外服務(wù)。MEC的云邊協(xié)同連接包括UPF與5G核心網(wǎng)控制面的網(wǎng)元，特別是會話管理功能（SMF）與網(wǎng)絡(luò)開放功能（NEF）之間交互。當前，UPF與SMF之間仍然是廠商私有接口。中國移動提出 “OpenUPF 合作伙伴計劃”[9]，面向垂直行業(yè)場景制定標準N4接口，打造開放的行業(yè)UPF，以更好地支持企業(yè)現(xiàn)場等場景的MEC/UPF部署。

圖1 MEC的云邊協(xié)同參考架構(gòu)

3.2 MEC邊緣運營管理協(xié)同

MEC的邊緣運營管理主要包括邊緣云資源管理、邊緣云平臺管理、邊緣應(yīng)用編排、邊緣業(yè)務(wù)運營管理，均是對邊端不同層面的集中云端管控。狹義和廣義MEC的邊緣運營管理協(xié)同存在較大差異。

對于狹義MEC，MEC/UPF與邊緣編排和網(wǎng)絡(luò)管理（MANO）實現(xiàn)云邊協(xié)同管理交互。邊緣MANO參考NFV MANO標準并基于邊緣特性進行定制和擴展[10]，實現(xiàn)云端的應(yīng)用編排和分發(fā)，并對邊端MEC平臺和應(yīng)用實現(xiàn)集中化的資源管理和監(jiān)控運維等。相比標準MANO，邊緣MANO的主要定制化包括：1）優(yōu)先采用輕量化VIM，可與計算節(jié)點合設(shè)，以盡可能減少邊緣節(jié)點資源開銷；2）提供單獨的移動邊緣應(yīng)用編排（MEAO）系統(tǒng)，實現(xiàn)MEC應(yīng)用編排。MEAO提供全局統(tǒng)一的MEC資源管理、編排和調(diào)度，提供移動邊緣（ME）App應(yīng)用軟件包管理及App生命周期管理，并可與5G核心網(wǎng)的NEF或PCF交互，實現(xiàn)分流規(guī)則的設(shè)置。

對于廣義MEC，基于Kubernetes和容器提供邊緣容器集群服務(wù)成為主流選擇，邊緣容器集群可以構(gòu)建在輕量級Openstack和虛機/裸金屬服務(wù)器之上。邊緣集群形態(tài)分為云端管控集群和邊緣分布集群兩類。對于云端管控集群，Kubernetes master節(jié)點在云端，node節(jié)點在邊緣端。云端管控集群適用于邊緣資源較少的情況，例如華為KubeEdge以及阿里ACK Edge Kubernetes。對于邊緣分布集群，kubernetes master和node節(jié)點均在邊緣端，邊緣部署一個完整的Kubernetes簡化版本。邊緣分布集群中，云端針對多集群進行管控，適用于邊緣規(guī)模較大的情況，例如Rancher K3S[11]。

無論是狹義還是廣義MEC，我們都要考慮邊緣業(yè)務(wù)運營協(xié)同，包括在云端提供邊緣應(yīng)用開發(fā)測試環(huán)境（重點包括MEC能力的調(diào)用支持）、邊緣應(yīng)用商城與鏡像倉庫、邊緣應(yīng)用的安全認證、邊緣應(yīng)用的能力調(diào)用計費日志查詢等服務(wù)。在邊端，基于云端編排調(diào)度加載邊緣應(yīng)用軟件包并進行可信執(zhí)行，從而對邊緣應(yīng)用提供MEC能力和服務(wù)使用計費日志服務(wù)。

3.3 MEC云邊平臺服務(wù)協(xié)同

MEC云邊平臺服務(wù)協(xié)同主要是指MEC與公有云上的各種云平臺服務(wù)與邊緣服務(wù)形成協(xié)同，包括為邊緣應(yīng)用提供云端能力的調(diào)用交互，以及將云端能力延伸下沉到邊緣云，作為一個服務(wù)在本地為邊緣應(yīng)用提供服務(wù)。這種本地服務(wù)可以根據(jù)場景按需部署，在云邊協(xié)同場景中需求較多的云邊平臺服務(wù)包括視頻類、AI類、物聯(lián)網(wǎng)大數(shù)據(jù)類。理想情況是，公有云的計算和存儲等云計算基礎(chǔ)服務(wù)與MEC形成云邊一體，即讓計算和數(shù)據(jù)在云邊自由流動，云端租戶虛擬機可以調(diào)度遷移至邊端，并基于業(yè)務(wù)需求、計算負載等實現(xiàn)云邊算力的統(tǒng)一調(diào)度；而云端存儲與邊端存儲可以基于策略統(tǒng)一調(diào)度，實現(xiàn)熱點數(shù)據(jù)的邊端存儲、全量數(shù)據(jù)和結(jié)構(gòu)化分析數(shù)據(jù)的云端上傳、保存等。對于狹義的MEC，基于NFV的邊緣云運營管理和公有云運營管理管理是兩套體系，云邊協(xié)同需要兩個體系對接。對于廣義上的MEC，邊緣云運營管理和公有云運營管理是一套體系，即MEC云邊平臺服務(wù)協(xié)同真正形成一體，并為上層業(yè)務(wù)應(yīng)用屏蔽底層云邊網(wǎng)絡(luò)與資源、能力的差異。其未來的技術(shù)發(fā)展目標是類似于無服務(wù)器（Serverless）的概念，MEC云邊協(xié)同為應(yīng)用提供無邊緣感知（Edgeless）平臺服務(wù)。這是狹義MEC與廣義MEC的最大區(qū)別之一。

3.4 MEC云邊業(yè)務(wù)應(yīng)用協(xié)同

云邊業(yè)務(wù)應(yīng)用協(xié)同主要指業(yè)務(wù)應(yīng)用自身的云邊協(xié)同，具體包括業(yè)務(wù)應(yīng)用部分處理任務(wù)作為一個邊緣應(yīng)用下沉到MEC；云端業(yè)務(wù)應(yīng)用從MEC邊緣云IaaS和PaaS 獲取邊緣應(yīng)用狀態(tài)及日志等信息并進行集中分析，對邊緣應(yīng)用實例、邊緣云資源、邊緣平臺能力等進行策略調(diào)度。 MEC云邊協(xié)同體系的最終是為了支持上層業(yè)務(wù)應(yīng)用實現(xiàn)計算的最佳分布，MEC云邊業(yè)務(wù)應(yīng)用協(xié)同的理想狀況是云端業(yè)務(wù)應(yīng)用根據(jù)用戶請求分布、自身算力負載以及業(yè)務(wù)需求體驗實現(xiàn)部分處理任務(wù)按需下沉到MEC，對用戶終端訪問請求精準調(diào)度到MEC，并觸發(fā)邊緣云和邊緣網(wǎng)絡(luò)資源的調(diào)度與保障，實現(xiàn)業(yè)務(wù)應(yīng)用的計算效率、客戶體驗、網(wǎng)絡(luò)成本的最佳分布組合。

4 結(jié)束語

云邊協(xié)同是MEC發(fā)展過程中面臨的重要問題，不同運營商有不同的選擇。在美國，主導(dǎo)運營商與公有云巨頭之間開展了5G云邊協(xié)同的合作，如Verizon與AWS的合作——AWS Wavelength平臺，它提供了5G邊緣網(wǎng)絡(luò)和數(shù)據(jù)中心的基礎(chǔ)設(shè)施服務(wù)，而兩者主要進行邊緣網(wǎng)絡(luò)的協(xié)同。運營商與外部公有云服務(wù)提供商之間是多云網(wǎng)合作。同時，AWS也和Vodafone、SK Telecom 和 KDDI 等運營商進行合作，將 Wavelength區(qū)域擴展到更多地方。與美國不同的是，中國運營商正在大力發(fā)展自有的公有云業(yè)務(wù)，MEC云邊協(xié)同的含義非常豐富。運營商的MEC云邊協(xié)同策略有多種選擇，如何助力運營商進行云網(wǎng)融合戰(zhàn)略同時又能夠?qū)崿F(xiàn)產(chǎn)業(yè)共贏，將是運營商5G MEC成功與否的重要衡量標準之一。