1 引言

在整個行業(yè)數(shù)字化轉型的大背景下，IoT、5G、VR、AI、區(qū)塊鏈、邊緣計算、云原生等新興技術和業(yè)務的迅猛發(fā)展，進一步推動了云計算向海量大規(guī)模、多業(yè)務集約承載的分布式云架構演進。相對于經(jīng)典云計算帶來的“云端”的海量計算能力，邊緣計算實現(xiàn)了資源和服務向邊緣位置的下沉，從而能夠降低交互時延、減輕網(wǎng)絡負擔、豐富業(yè)務類型、優(yōu)化服務處理，提升服務質量和用戶體驗；分布式云則能夠基于邊云協(xié)同能力，面向業(yè)務/用戶需求，靈活、敏捷、按需、智能地提供分布式、低延遲、高性能、安全可靠、綠色節(jié)能、能力開放的信息化基礎設施，滿足全社會各行業(yè)數(shù)字化轉型需要。

技術層面，業(yè)界各大主流標準化和行業(yè)組織都在積極推進，其中，ETSI MEC提出了面向4G、5G等移動業(yè)務場景的邊緣計算應用平臺架構與標準，并正在向固移融合方向發(fā)展；3GPP將對MEC的支持納入標準研究計劃，作為ETSI MEC的有效補充，正在加速MEC商用化進程；IEEE聯(lián)合OpenFog聯(lián)盟成立IEEE P1934工作組，旨在以OpenFog參考架構為基礎，加速霧計算的推廣和商用進程；ITU-T 2016年啟動分布式云架構和功能相關研究工作，目前已發(fā)布第一版的框架和需求標準；ECC邊緣計算產(chǎn)業(yè)聯(lián)盟等各類行業(yè)組織，也都是邊緣計算的積極推動者，定位于搭建邊緣計算產(chǎn)業(yè)合作平臺，推動“政產(chǎn)學研用”產(chǎn)業(yè)開放協(xié)作，孵化行業(yè)應用最佳實踐，促進邊緣計算產(chǎn)業(yè)健康與可持續(xù)發(fā)展，目前主要面向IoT場景。

開源方面，分布式云/邊緣計算領域整體處于發(fā)展初期，Linux基金會和OpenStack基金會是主要推動者。Linux基金會主推CORD、Akraino、EdgeX等項目，ONAP、OPNFV等也涉及邊緣相關工作，其中，CORD旨在將數(shù)據(jù)中心生態(tài)和云計算靈活性引入電信COs，涵蓋有線接入、企業(yè)網(wǎng)絡、5G移動等多種場景；EdgeX Foundry 2017年創(chuàng)建，目標是為物聯(lián)網(wǎng)邊緣計算開發(fā)標準化的開源互操作性框架，旨在實現(xiàn)跨邊緣分析、安全性、系統(tǒng)管理和服務的互操作性代碼，并簡化IoT網(wǎng)關和智能邊緣設備的集成；Akraino 2018年初成立，旨在構建開源軟件棧，提升面向運營商、云提供商、IoT等場景的邊緣云基礎設施能力，代碼主要來自ATT和Intel。OpenStack基金會成立Edge Computing WG統(tǒng)籌協(xié)調，并于2018年創(chuàng)建獨立于OpenStack項目的Airship、StarlingX邊緣項目（皆為Linux Akraino核心組件），其中，Airship旨在實現(xiàn)OOK 整體環(huán)境的自動化部署和生命周期管理，主要貢獻者是ATT、SK Telecom、Intel；StarlingX旨在提供面向邊緣計算的OpenStack集成平臺，主要貢獻者是Wind River、Intel。此外，還有CNCF KubeEdge、Open Edge、微軟Azure IoT Edge等開源項目也都在積極推進。

對運營商而言，“網(wǎng)絡云改、云網(wǎng)融合、云原生、智能化、邊緣云”成為運營商重點工作，全球各大運營商都在對既有云計算架構和能力進行規(guī)劃與重構，構建包括核心云、區(qū)域云、邊緣云在內的完善的分布式云體系，提供面向全網(wǎng)各類ICT服務的云化承載。面向上述發(fā)展目標，在云基礎設施層面，要求構建整體規(guī)劃、層次化布局、統(tǒng)一管理的大規(guī)模分布式云基礎設施，面向IT、CT等，提供跨專業(yè)集約承載、按需分發(fā)的統(tǒng)一IaaS能力。因此，大規(guī)模分布式云基礎設施的統(tǒng)一管理，成為亟待解決的問題。

2 關鍵技術

2.1 OpenStack邊緣參考架構

OpenStack邊緣計算工作組給出的邊緣參考架構如圖1所示。

圖1 OpenStack 邊緣計算工作組-邊緣參考架構

其中，主要包括如下幾個層級：

（1）中心DC：大型云基礎設施，數(shù)量較少，時延約100 ms；

（2）邊緣站點：小型站點，數(shù)量較多（百），時延約2.5～4 ms；

（3）遠端邊緣站點：小型站點，數(shù)量多（千），時延約2 ms；

（4）用戶側邊緣站點：設備物理位置靠近用戶（同一樓宇），數(shù)量很多（萬），時延1～2 ms。

上述邊緣參考架構在部署模式方面，存在分布式控制面、集中式控制面兩種：

（1）分布式控制面情況下，每個邊緣站點都部署有獨立控制面，有助于應對網(wǎng)絡中斷情況下的站點自治，如圖2所示。也可按需靈活選擇部署方式，例如，可不包括遠端邊緣站點。

圖2 OpenStack邊緣部署-分布式控制面

（2）集中式控制面部署方式下，核心DC的集中式控制面實現(xiàn)對邊緣和遠端邊緣站點的統(tǒng)一管理，有助于實現(xiàn)跨region的資源管理，但無法滿足邊緣站點網(wǎng)絡間斷場景下管理需求，如圖3所示。同樣也可按需靈活部署。

圖3 OpenStack邊緣部署-集中式控制面

2.2 StarlingX

StarlingX是OpenStack邊緣計算工作組聯(lián)合ATT、Intel、Wind river等廠商，與2018年發(fā)布的由OpenStack基金會托管的獨立開源項目，由OpenStack邊緣計算工作組與Linux Akraino項目共同推進，目前已經(jīng)先后于2018年10月、2019年8月發(fā)布兩個版本。StarlingX基于Wind River Titanium Cloud R5商業(yè)版本，Intel和Wind River是主要貢獻者。

StarlingX定位于提供開源的功能豐富、高性能的邊緣云軟件棧，并提供集成的OpenStack平臺，旨在滿足邊緣計算相關業(yè)務場景對高可用、QoS、性能、低時延等的需求。

StarlingX v1.0系統(tǒng)框架如圖4所示。其中主要包括如下組件。

圖4 StarlingX v1.0系統(tǒng)框架

（1）配置管理：提供主機安裝、資源發(fā)現(xiàn)和主機配置；提供系統(tǒng)級配置，及StarlingX平臺服務配置；為所有核心組件提供API、Horizon、CLI服務。

（2）主機管理：提供主機生命周期管理、運營管理；提供主機故障監(jiān)控告警，并觸發(fā)故障恢復處理。

（3）服務管理：為控制節(jié)點的StarlingX和OpenStack服務提供高可用集群管理。

（4）軟件管理：軟件補丁管理和部署；軟件版本升級管理。

（5）故障管理：為其他StarlingX組件提供告警和日志報告服務。

（6）基礎設施編排管理：提供VM高可用管理；提供軟件補丁和升級編排服務。

StarlingX v2.0系統(tǒng)框架如圖5所示。其中，新增Kubernetes組件，用于實現(xiàn)OpenStack服務的容器化部署和管理。

在部署框架層面，StarlingX v1.0支持基于OpenStack region機制的分布式云架構，region間通過REST API進行通信，具體包括如下兩類region：

（1）中心云：提供集中系統(tǒng)控制，托管OpenStack共享服務，提供整體基礎設施編排功能，包括邊緣云的部署和管理、邊緣云配置管理、故障匯總、整體補丁管理等。

（2）邊緣站點：部署在遠端的分布式邊緣站點，控制面簡化，通過L3網(wǎng)絡連接至中心云。

圖5 StarlingX v2.0系統(tǒng)框架

3 分布式云基礎設施管理需求分析

給出分布式云整體體系框架如圖6所示。

圖6 分布式云體系框架

分布式云體系主要包括兩類組件：分布式云節(jié)點和分布式云管理系統(tǒng)。

（1）分布式云節(jié)點：是具備自治管理能力的獨立的云節(jié)點，提供云基礎設施及服務，為各類業(yè)務和應用提供運行環(huán)境；根據(jù)所處的位置、節(jié)點規(guī)模及在分布式云系統(tǒng)中的作用，分為核心云、區(qū)域云、邊緣云等不同的云節(jié)點。

（2）分布式云管理系統(tǒng)：實現(xiàn)對分布式云節(jié)點的統(tǒng)一管理，包括統(tǒng)一的資源管理、網(wǎng)元和應用管理、業(yè)務編排、運營管理、服務管理、安全管理、研發(fā)支持、系統(tǒng)集成管理、數(shù)據(jù)管理等。

給出分布式云管理系統(tǒng)邏輯功能架構如圖7所示。

圖7 分布式云管理系統(tǒng)邏輯架構

其中，分布式云基礎設施管理定位于基礎設施資源管理，需支持對各類異構云節(jié)點資源的統(tǒng)一管理和動態(tài)管控，實現(xiàn)對各類分布式/邊緣業(yè)務的承載，具體需求體現(xiàn)在：

（1）海量異構：核心、區(qū)域、邊緣云節(jié)點，在技術實現(xiàn)、部署位置、性能/可靠性等方面各異。

（2）邊緣受限：邊緣節(jié)點適應多種業(yè)務場景環(huán)境，資源受限，潛在不可靠的網(wǎng)絡連接，遠程管控。

（3）隔離自治：節(jié)點間既能夠互聯(lián)互通、統(tǒng)一管控，也要求具備自治能力和業(yè)務提供能力，互不影響。

（4）統(tǒng)一管控：支持對各類異構云節(jié)點的基礎設施資源的統(tǒng)一管理和監(jiān)控運維。

（5）業(yè)務承載：支持5GC、IMS、視頻、AI、IoT等多種網(wǎng)元和App對底層資源的不同需求。

4 分布式云基礎設施管理體系框架

分布式云基礎設施管理旨在實現(xiàn)對分布式云基礎設施軟硬件資源的統(tǒng)一管理，包括大規(guī)模異構分布式節(jié)點的隔離自治、統(tǒng)一管控，支持應對邊緣云節(jié)點資源受限、網(wǎng)絡不可靠等風險，要求構建“分層多級、統(tǒng)一管理、節(jié)點自治、協(xié)同調度”的分布式云基礎設施管理體系。其體系框架如圖8所示：

圖8 分布式云基礎設施管理體系框架

其中，主要包括如下要點：

（1）分層多級

① 分布式云管體系按需部署在集團、省、地市核心和邊緣等多層級；

② 核心/區(qū)域云采用標準適配層；邊緣云按需采用輕量適配層等實現(xiàn)，并可考慮按需采用標準開放的一體化云基礎設施解決方案；

③ 基于匯聚層支持多層級納管，按需采用多適配層、計算拉遠等多種方式。

（2）統(tǒng)一管理

① 全網(wǎng)資源統(tǒng)一呈現(xiàn)、鑒權認證、編排管理；

② 規(guī)范化業(yè)務模型和接口，推進多專業(yè)云管的融合；

③ 提供IT、CT、公有云等資源域分權分域分管理，集團統(tǒng)一控制鑒權；

④ 支持虛機、容器資源統(tǒng)一管理，按需部署；

⑤ 支持各種軟硬件性能加速資源管理，按需配置。

（3）節(jié)點自治

① 各節(jié)點具備自治管理能力，以應對網(wǎng)絡中斷、統(tǒng)一管理故障等突發(fā)情況。

（4）協(xié)同調度

① IT云、對外服務云資源池化，面向業(yè)務系統(tǒng)需求，資源按需分發(fā)、部署；

② CT云大區(qū)制或屬地化部署，面向服務需求，資源按需分發(fā)、優(yōu)化調度。

5 基于StarlingX的分布式云基礎設施管理系統(tǒng)

邊緣云的實現(xiàn)是多種形態(tài)的，一體化的集成交付邊緣解決方案對中國電信而言是全新的、有待探索的方案。給出基于開源StarlingX的分布式云基礎設施邊云協(xié)同管理系統(tǒng)邏輯功能架構，如圖9所示。

圖9 分布式云分布式云基礎設施管理系統(tǒng)邏輯功能架構

其中，主要包括如下組件：

（1）統(tǒng)一管理中心：對云資源池內的計算、存儲和網(wǎng)絡資源的統(tǒng)一調度和協(xié)同管理，并通過對資源的性能、故障的采集，實現(xiàn)監(jiān)控和故障管理。

（2）StarlingX適配層：以開源OpenStack為基礎，由認證管理和鏡像管理兩大模塊組成，實現(xiàn)統(tǒng)一鑒權管理和鏡像操作，其他計算、存儲、網(wǎng)絡等組件由StarlingX自帶OpenStack提供。

（3）StarlingX中心云：作為中間管理層，基于StarlingX提供的配置管理、主機管理、服務管理、故障管理等功能組件，實現(xiàn)對所納管的邊緣站點的統(tǒng)一認證鑒權、統(tǒng)一鏡像管理和統(tǒng)一資源管理；

（4）StarlingX邊緣子云：實現(xiàn)對本節(jié)點的自治管理，并對外提供虛擬資源服務。

基于上述系統(tǒng)設計，項目組采用中國電信云管平臺作為統(tǒng)一管理中心，對中國電信云管平臺適配層進行簡化作為StarlingX適配層，并基于開源StarlingX v1.0版本版本進行二次開發(fā)和系統(tǒng)對接與集成，構建了分布式云原型系統(tǒng)。系統(tǒng)具備如下功能：

基于開源StarlingX的分布式云基礎設施邊云協(xié)同管理技術方案主要提供如下功能：

（1）統(tǒng)一認證鑒權：中國電信云管平臺將邊緣云納入統(tǒng)一的分權分域管理體系，實現(xiàn)對邊緣云的統(tǒng)一認證和鑒權管理。

（2）統(tǒng)一鏡像管理：中國電信云管平臺將邊緣云納入統(tǒng)一的鏡像管理體系，實現(xiàn)對邊緣云鏡像的統(tǒng)一管理和分發(fā)。

（3）統(tǒng)一資源管理：邊緣云管具備對所納管多個邊緣站點資源的統(tǒng)一管理能力。中國電信云管平臺具備對多個邊緣云資源的統(tǒng)一管理，并能夠通過統(tǒng)一的管理門戶進行邊緣云資源管理相關操作。

（4）統(tǒng)一監(jiān)控告警：邊緣云管具備對所納管多個邊緣站點的監(jiān)控告警管理能力。中國電信云管平臺具備對多個邊緣云資源的統(tǒng)一監(jiān)控和告警管理，并能夠通過統(tǒng)一的管理門戶進行邊緣云監(jiān)控告警相關操作。

（5）資源調度部署：中國電信云管平臺統(tǒng)一接收上層系統(tǒng)資源部署和調度需求，并分發(fā)至相關邊緣云站點。中國電信云管平臺能夠通過API網(wǎng)關統(tǒng)一訪問和調用StarlingX邊緣云提供的OpenStack服務。

（6）邊緣自治：邊緣站點具備自治管理能力。

（7）應用適配承載：實現(xiàn)對人體姿態(tài)識別、邊緣視頻處理等邊緣應用的適配和承載，如GPU等。

6 展望

整體而言，分布式云/邊緣計算仍處于發(fā)展初期，在Gartner發(fā)展成熟度曲線上位于炒作巔峰，已被公認為是IoT、5G、增強和混合現(xiàn)實、人工智能、數(shù)字商業(yè)等業(yè)務場景的核心關鍵技術，“邊緣+云+智能”成為整個產(chǎn)業(yè)的戰(zhàn)略核心，相關技術、業(yè)務日新月異，各大行業(yè)組織、標準開源項目都在如火如荼的開展，未來將迎來爆發(fā)式增長。對運營商而言，5G、MEC等新興網(wǎng)絡業(yè)務云化承載的研發(fā)和應用正在密集推進，邊云協(xié)同管理成為核心基礎承載能力和關鍵環(huán)節(jié)。

鑒于開源版本成熟度，本文中基于開源StarlingX的系統(tǒng)設計與實現(xiàn)，主要基于StarlingX v1.0社區(qū)版本，實現(xiàn)了基礎的邊云資源統(tǒng)一納管和協(xié)同管理，但在監(jiān)控告警、快速分發(fā)、容器化部署、異構管理等方面，仍有待于進一步研究與提升。