歸律 王悅 張鐘琴

(上海郵電設計咨詢研究院有限公司，上海 200092)

0 引言

2015年以來，以通信運營商、互聯(lián)網(wǎng)廠家為實施主體的云網(wǎng)融合相關技術持續(xù)演進，積累了大量的技術和經(jīng)驗。2021年，國家提出了東數(shù)西算的戰(zhàn)略，同時相關核心樞紐節(jié)點布局也在逐步推進落地。之前由于行業(yè)特性的約束，云網(wǎng)融合的各類落地大都局限于某個企業(yè)內(nèi)部，而東數(shù)西算的提出，使得云網(wǎng)融合真正找到了跨地域、跨企業(yè)、跨行業(yè)、跨要素的應用落地場景，而跨云服務商(簡稱“云商”)、跨地域的多云管理技術是東數(shù)西算落地的技術前提，同時東數(shù)西算戰(zhàn)略也為多云管理技術提供了真正廣闊的應用場景。本文首先介紹云網(wǎng)融合的發(fā)展歷程，然后描述東數(shù)西算對云網(wǎng)融合尤其是多云管理技術的需求，最后分析多云管理的技術和功能架構及在東數(shù)西算中的應用方式。

1 云網(wǎng)融合的背景

隨著云計算和網(wǎng)絡的互相滲透，信息通信行業(yè)需求不斷整合變化，使得以網(wǎng)為代表的通信技術(Communications Technology，CT)和以云為代表的信息技術(Information Technology，IT)不斷實現(xiàn)深度融合，這是云網(wǎng)融合的基本內(nèi)涵[1]。

(1)2015—2016年，以中國電信為代表的通信運營商提出了云網(wǎng)融合的總體戰(zhàn)略，截至2022年云網(wǎng)融合基本已經(jīng)發(fā)展到了第三個階段，即云網(wǎng)融合3.0。

云網(wǎng)融合1.0主要實現(xiàn)云網(wǎng)協(xié)同和能力整合，云網(wǎng)融合2.0主要實現(xiàn)網(wǎng)隨云動和融合賦能，云網(wǎng)融合3.0的特征是實現(xiàn)數(shù)字要素升級以及要素集成創(chuàng)新。其中，數(shù)字要素包含DC+網(wǎng)+算力+云+大數(shù)據(jù)/AI+安全+綠色等多種云網(wǎng)要素的一體化統(tǒng)籌、一體化規(guī)劃、一體化建設、一體化調度和一體化運營，以要素化的聯(lián)動升級，實現(xiàn)基于場景化的端到端集成[1-2]。

(2)中國聯(lián)通提出的CUBE-NET 2.0和3.0可以認為分別對應了云網(wǎng)融合1.0+2.0與云網(wǎng)融合3.0[2]。

(3)中國移動提出算網(wǎng)融合戰(zhàn)略可以認為是云網(wǎng)融合3.0中的重要要素組成部分和關鍵落地方式。

云網(wǎng)融合持續(xù)向一體化布局、一體化編排、一體化調度深入演進。其中，多云管理成為了云網(wǎng)融合中的核心焦點之一，多云管理主要含義為對不同云商的云網(wǎng)資源實現(xiàn)統(tǒng)一連通和統(tǒng)一調度[3-4]。

2 東數(shù)西算的技術需求

2.1 東數(shù)西算的提出

為推動數(shù)字經(jīng)濟發(fā)展，我國陸續(xù)出臺了多項政策，正加快構建以算力和網(wǎng)絡為核心的新型基礎設施體系。

2020年12月，國家發(fā)展和改革委員會、中共中央網(wǎng)絡安全和信息化委員會辦公室、工業(yè)和信息化部、國家能源局聯(lián)合發(fā)布《關于加快構建全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系的指導意見》，提出“布局大數(shù)據(jù)中心國家樞紐節(jié)點，形成全國算力樞紐體系”的具體要求。要優(yōu)化數(shù)據(jù)中心基礎設施建設布局，加快實現(xiàn)數(shù)據(jù)中心集約化、規(guī)模化、綠色化發(fā)展，加強跨部門、跨區(qū)域、跨層級的數(shù)據(jù)流通與治理。到2025年，全國范圍內(nèi)數(shù)據(jù)中心將形成布局合理、綠色集約的基礎設施一體化格局，東、西部數(shù)據(jù)中心實現(xiàn)結構性平衡，數(shù)據(jù)中心集約化、規(guī)?；?、綠色化水平顯著提高，使用率明顯提升。

2021年5月，國家發(fā)展和改革委員會、中共中央網(wǎng)絡安全和信息化委員會辦公室、工業(yè)和信息化部、國家能源局聯(lián)合發(fā)布《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》，明確提出布局建設全國算力網(wǎng)絡國家樞紐節(jié)點，加快實施“東數(shù)西算”工程，提升跨區(qū)域算力調度水平，構建國家算力網(wǎng)絡體系。統(tǒng)籌圍繞國家重大區(qū)域發(fā)展戰(zhàn)略，根據(jù)能源結構、產(chǎn)業(yè)布局、市場發(fā)展、氣候環(huán)境等，在京津冀、長三角、粵港澳大灣區(qū)、成渝，以及貴州、內(nèi)蒙古、甘肅、寧夏等地布局建設全國一體化算力網(wǎng)絡國家樞紐節(jié)點，發(fā)展數(shù)據(jù)中心集群，引導數(shù)據(jù)中心集約化、規(guī)?；⒕G色化發(fā)展[8]。

2.2 東數(shù)西算對云網(wǎng)融合的技術需求

總體來看，實現(xiàn)東數(shù)西算所需的云網(wǎng)融合技術較為龐雜，涵蓋算力基礎設施、網(wǎng)絡基礎設施、編排管理和運營服務、算力封裝與感知、云網(wǎng)安全、綠色低碳等，其中算力網(wǎng)絡為其核心基礎技術，而跨云管理的調度是其核心應用場景(見圖1)[9]。

圖1 ONAP云網(wǎng)融合技術底座

東數(shù)西算可以視作云網(wǎng)融合最新階段各基礎技術要素集成創(chuàng)新的典型場景，目標是實現(xiàn)端到端的算力統(tǒng)一標準化封裝編排及自適應調度，將數(shù)據(jù)流通和算力適配結合起來，將算網(wǎng)的按需使用變?yōu)楝F(xiàn)實。另一方面，東數(shù)西算不能單純地被看成算力和數(shù)據(jù)的調配，伴隨在一起調度的還有安全能力、存儲能力、網(wǎng)絡能力、綠色低碳能力等，東數(shù)西算是一種端到端的云網(wǎng)多要素融合的應用方式。東數(shù)西算的現(xiàn)實內(nèi)涵就是實現(xiàn)跨云的統(tǒng)一調度和編排，其中不同云服務商間的打通成為了難點[6,10,11]。

2.3 東數(shù)西算中多云管理的需求

東數(shù)西算的現(xiàn)實情況是國內(nèi)各云商已采用不同的云系統(tǒng)架構和技術體系推出自己的云業(yè)務品牌和服務，一般情況下，不同云商的云資源系統(tǒng)是不互通的。在國家實施東數(shù)西算工程的大背景下，跨地域、跨網(wǎng)絡、跨云商、跨架構的算力、存力資源調度能力成為工程實現(xiàn)的關鍵要素。

多云管理技術是解決上述難點的重要基礎，可提供對不同技術架構、不同模式云的統(tǒng)一集成管理，屏蔽底層不同云商架構和技術體系的差異，提供統(tǒng)一資源管理和調度能力[12]。

3 多云管理技術實現(xiàn)方案

在未來東數(shù)西算的場景下，多云調度管理技術實現(xiàn)的互聯(lián)互通場景包括以下內(nèi)容。

(1) 異構多云管理：多云調度管理平臺通過對接云商API，實現(xiàn)第三方云產(chǎn)品在多云平臺的統(tǒng)一納管，屏蔽底層云平臺架構的差異，靈活調度異構算力資源，實現(xiàn)各類應用在異構云間的靈活部署?？蛻艨梢酝ㄟ^多云調度管理平臺一鍵訂購、開通、納管及出賬，并可實現(xiàn)和相關云商的結算[13]。

(2)云間互聯(lián)服務：通過多云網(wǎng)絡承載和多云調度管理平臺能力，滿足應用系統(tǒng)在多個異構云資源間的互訪與數(shù)據(jù)傳遞需求，實現(xiàn)云間數(shù)據(jù)調度。

(3)多云接入：通過采用通信運營商各類專線產(chǎn)品，連接專線傳輸網(wǎng)絡平面邊緣路由和多云調度管理網(wǎng)絡平面路由，打通客戶專線端到達公有云內(nèi)部網(wǎng)絡接口的虛擬電路通道，形成專線接入各云商資源池客戶內(nèi)部網(wǎng)絡的能力[7]。

(4)企業(yè)分支互聯(lián)：用戶通過云專網(wǎng)或采用SD-WAN組網(wǎng)上云服務，實現(xiàn)駐地或分支機構接入企業(yè)云側內(nèi)部系統(tǒng)，全過程由多云調度管理平臺網(wǎng)絡管理平面自動分發(fā)配置并跟蹤交付[8]。

多云管理技術可借助多云管理平臺實現(xiàn)對各類云資源的管理和調度[24]。

3.1 多云管理平臺功能

多云管理平臺核心目標為實現(xiàn)跨云商、跨網(wǎng)絡的多云接入和資源管理需求，實現(xiàn)專線入云、云間互聯(lián)、公有云資源分配、整合一點計費和一站式云網(wǎng)管理能力(見圖2)。多云調度管理平臺將協(xié)助企業(yè)客戶向云轉型，依托多租戶賬戶體系實現(xiàn)自助服務交付、按使用量計費、智能運營等支撐能力，提供多云之間的“網(wǎng)隨云動”能力，構建低成本、高可靠、擴容靈活且安全合規(guī)的云架構IT系統(tǒng)[5,20,21]。

多云管理平臺主要應對多云應用場景下的融合問題，以交付最終用戶一體化服務為目標，整體協(xié)調各方利益滿足廣義上的云網(wǎng)“使用者”需求，核心價值包括以下內(nèi)容。

(1)資源整合：構建基于數(shù)據(jù)中心(Data Center Interconnection，DCI)網(wǎng)絡及云商網(wǎng)絡接入基礎上的云網(wǎng)融合組織及調度能力，提供較完整的互聯(lián)互通基礎服務體系。

(2)流程融合：對接異構資源核心能力標準化接口，實現(xiàn)與第三方異構業(yè)務平臺信息和流程同步，從而實現(xiàn)異構云網(wǎng)產(chǎn)品的開通流程融合。

(3)能力開放：利用資源互聯(lián)和接口開放機制，實踐增值產(chǎn)品和安全服務體系加載，實現(xiàn)圍繞客戶為中心的平臺賦能架構[24]。

3.2 多云管理平臺的技術架構

多云管理平臺是在基于多云之間交互的DCI網(wǎng)絡平面上構建的云網(wǎng)一體運營管理系統(tǒng)，其技術架構中包括微服務架構、云網(wǎng)接入、運營管理等關鍵要素。

多云管理平臺可采用微服務、模塊化、組件化架構設計，通過彈性部署提高自身穩(wěn)定性和工作效率。采用插件化集成適配技術，提升平臺的擴展性和集成能力。通過可視化編排技術提供所見即所得的服務目錄，縱向提供端到端的全面服務。具備部門、組織機構管理體系，支持對云租戶的映射，實現(xiàn)多云多租戶的統(tǒng)一管理和資源分配[24]。多云管理總體技術架構如圖3所示。

圖2 多云管理平臺定位示意圖

圖3 多云管理總體技術架構示意圖

(1)微服務靈活架構

多云管理平臺軟件實現(xiàn)可基于微服務架構，基礎結構如下：平臺架構所有的服務具備動態(tài)負載均衡、高并發(fā)以及高可用能力?？刹捎萌萜鞒休d實現(xiàn)分模塊按需實現(xiàn)部署容量控制，按需局部平滑升級，不中斷業(yè)務?？刹捎脙?nèi)存數(shù)據(jù)庫集群提供系統(tǒng)數(shù)據(jù)緩存，提升系統(tǒng)可靠性及運行效率。建立分布式同步及集群管理集群為服務發(fā)現(xiàn)和注冊提供支撐，并與各注冊/發(fā)現(xiàn)服務維持心跳信號[15,6]。

(2)云網(wǎng)通用接入

多云管理的網(wǎng)絡平面自上而下可分為業(yè)務運營層、業(yè)務編排/協(xié)同層、網(wǎng)絡采控層和網(wǎng)絡承載層。其網(wǎng)絡承載層可采用SRv6(Segment Routing v6)+ EVPN(Ethernet Virtual Private Network)等靈活的網(wǎng)絡技術實現(xiàn)云網(wǎng)業(yè)務極簡承載，用戶可以方便地接入多云。

多云管理網(wǎng)絡將基本網(wǎng)元分為云網(wǎng)關(CECloud Gate Way，CGW)和網(wǎng)網(wǎng)關(PDN Gate Way，PGW)。CGW與云資源池進行預置網(wǎng)絡連接，節(jié)省云網(wǎng)連接的資源規(guī)劃及部署時間，構筑泛云生態(tài)，為企業(yè)提供任意云之間的高速安全互聯(lián)和混合云服務；PGW負責與用戶側租賃的各運營商專用網(wǎng)絡(例如STN、PON以及新興SD-WAN、5G切片等接入專網(wǎng))連為一體，覆蓋客戶各種入云接入的辦公場所和托管區(qū)域。

CGW與PGW間可通過SRv6技術提供SLA保證路徑預部署能力，能夠根據(jù)業(yè)務的帶寬、時延等要求，預先部署符合質量要求的業(yè)務路徑，并通過SRv6封裝為網(wǎng)絡服務，進而通過標準接口被網(wǎng)絡控制器靈活調用，為應用提供所需的連接。

(3)云網(wǎng)運營管理

多云管理面對的是多種復雜的多云網(wǎng)絡納管環(huán)境，需具備靈活、彈性的云網(wǎng)運營管理能力，實現(xiàn)組網(wǎng)、入云、互聯(lián)網(wǎng)訪問等全方位的業(yè)務綜合承載。依賴多云調度管理平臺提供的運營管理功能，提供業(yè)務和帶寬隨選、按需調用云網(wǎng)能力，可在客戶側不做任何變動的情況下根據(jù)實際業(yè)務需求快速增刪各類業(yè)務。平臺需加強業(yè)務自動化部署功能，實現(xiàn)云網(wǎng)端到端拉通及協(xié)同，提高部署和運維效率。下發(fā)的網(wǎng)絡配置應適配業(yè)務的動態(tài)配置，促進網(wǎng)隨云動，網(wǎng)絡隨遷，最終為企業(yè)帶來云網(wǎng)的靈活承載。

(4)網(wǎng)絡切片隔離

多云管理可結合切片管理提供專網(wǎng)級隔離保障能力，對高價值用戶提供獨享資源，對高等級保障需求的業(yè)務進行隔離保障(見圖4)。通過將不同用戶類型或不同接入類型的專線劃分到各自的業(yè)務切片中，切片間實現(xiàn)隔離、業(yè)務不相互影響，不同的切片內(nèi)基于業(yè)務等級要求配置不同的QoS保障等級。

圖4 多云調度管理網(wǎng)絡切片管理示意圖

此外，面向多云服務商的復雜賬號環(huán)境，多云調度管理平臺需要構建一套獨立且外延的賬號管理體系，通過核心賬號授權映射多個異構云平臺賬號，在不影響云商賬號獨立使用的前提下，由多云調度管理平臺協(xié)同多個異構資源域賬號完成端到端關聯(lián)服務的開通。由于云網(wǎng)融合體系穿越了多個異構服務域(如公有云商、數(shù)據(jù)中心服務商以及獨立網(wǎng)絡運營商等)，各異構服務域的認證方式迥異，為給用戶提供一致性體驗，多云調度管理平臺需建立多云網(wǎng)絡運營平臺與多運營域的賬號映射關系，屏蔽異構賬號體系差異[20, 26]。

3.3 多云管理平臺功能架構

多云調度管理平臺將側重實現(xiàn)跨云服務商、跨異構平臺的資源開通和管理能力。平臺可基于算力網(wǎng)絡對接各大主流云服務商資源，貫通數(shù)據(jù)業(yè)務接入和傳輸線路，實現(xiàn)云網(wǎng)一體化受理、開通、管理、出賬能力，支撐最終客戶和云服務提供商實現(xiàn)云網(wǎng)一體融合交付。為更好地支撐國家東數(shù)西算工程，多云調度管理平臺需具備以下能力。

(1)多云調度管理平臺通過開放的API接口架構以及靈活的資源適配能力，需要支持對接多種異構云服務平臺(例如天翼云、阿里云、騰訊云、華為云、AWS云等)，并能夠調度x86算力、ARM算力、AI算力等多種異構算力資源。

(2)多云調度管理平臺需要支持對各種計算、存儲、網(wǎng)絡、容器資源和服務等進行統(tǒng)一管理和調度，可實現(xiàn)應用部署在異構云環(huán)境下的云間互聯(lián)，同時支持傳統(tǒng)應用、云原生應用等在異構云之間的靈活部署，可通過策略匹配合適的算力資源進行應用的部署。

(3)多云調度管理平臺需要具備統(tǒng)一運營能力，支持多租戶管理、異構虛擬資源池管理、分級分域管理，并通過賬號賬戶體系和資源配置能力，支持二次運營場景下的配額、計量、流程等靈活適配。

(4)多云調度管理平臺具備完備的資源和業(yè)務統(tǒng)計功能，通過算力感知模塊獲得各云服務域的設備容量、額定功耗、實際功耗等資源池信息和算力資源利用率、性能、告警數(shù)據(jù)，支持統(tǒng)計各云服務域的云服務總容量、已分配總容量、實際利用率等信息。

平臺功能架構總體可分多云服務門戶、云網(wǎng)接入層、業(yè)務開通層、支撐管理層、接口管理層五個大的層次和模塊(見圖5)。多云服務門戶提供給客戶和MSP服務商通過門戶進行自助式業(yè)務申請、信息查詢和運維服務等功能；云網(wǎng)接入層主要實現(xiàn)云商對接、云網(wǎng)資源匯聚、產(chǎn)品拓展及多種專線/網(wǎng)絡對接能力；業(yè)務開通層實現(xiàn)多云業(yè)務的業(yè)務訂購、激活、編排及開通；支撐管理層實現(xiàn)流程管理、賬單管理、租戶管理、多云運營管理等IT管理功能；接口管理層實現(xiàn)與外部系統(tǒng)的接口，提供服務API的統(tǒng)一入口，包括對接各云商的云管API，實現(xiàn)對主流云商云業(yè)務的配置和開通，對接云網(wǎng)運營系統(tǒng)，實現(xiàn)云網(wǎng)資源一體化編排開通和配置下發(fā)[26]。

圖5 多云調度管理平臺功能架構圖

4 多云管理的應用

基于多云管理技術的算力調度在國際和國內(nèi)已有類似的應用案例，可以參考業(yè)界的情況，制定符合我國需求的算力布局和調度使用模式。從國際云商的算網(wǎng)布局和調度來看，主要的方式為聚焦核心樞紐節(jié)點建設，按需擴展；就我國東數(shù)西算的定位來看，除了強化核心樞紐節(jié)點能力和規(guī)模之外，還應按需布局邊緣節(jié)點。

對東數(shù)西算的資源調度而言，通過基于多云管理技術的云調度平臺可實現(xiàn)跨地域、跨云商實時算力、存力調度，并通過切片技術確保不同的服務等級，靈活匹配客戶需求(見圖6)。

圖6 東數(shù)西算場景布局探討

從業(yè)務對云資源需求角度分析，公有云用戶可考慮搬遷到西部，典型適配應用為小企業(yè)上云、開發(fā)測試等，主要是為了實現(xiàn)綠色低碳。時延<100 ms，業(yè)務遷移到西部后，可做到不影響用戶感知。

對計算機較為密集的需求，可通過層分類部署來布局，對應用分層、智能動態(tài)負載、跨區(qū)域多活等所需的前端靜態(tài)緩存部署東部，后端則部署西部。

對存儲型的應用，數(shù)據(jù)存儲實現(xiàn)云災備、冷溫數(shù)據(jù)存儲。災備存儲 VPC 部署在西部數(shù)據(jù)中心，通過 IP 網(wǎng)傳輸存儲災備數(shù)據(jù)，兩地三中心實現(xiàn)數(shù)據(jù)異地災備。

對于智能算力需求，可考慮通過混合云AI算力實現(xiàn)西算東用，適合的典型解決方案為非實時分析系統(tǒng)AI訓練、大數(shù)據(jù)分析等，通過智能云骨干網(wǎng)實現(xiàn)數(shù)據(jù)傳輸，完成訓練數(shù)據(jù)收集和訓練結果反饋，以滿足帶寬敏感的需求。

5 結束語

東數(shù)西算工程是云網(wǎng)融合的最佳工程實踐之一，而多云管理技術是實現(xiàn)東數(shù)西算的核心基礎。多云管理、算力網(wǎng)絡、AI、內(nèi)生安全等云網(wǎng)融合要素是組成東數(shù)西算體系的關鍵技術底座。隨著云網(wǎng)融合在各行各業(yè)的深度推進及云網(wǎng)融合關鍵技術的持續(xù)發(fā)展，東數(shù)西算工程也將同步漸次落地，從而實現(xiàn)跨地域、跨行業(yè)的數(shù)據(jù)流通和基礎技術要素交易。東數(shù)西算也必將與南水北調、西氣東輸、西電東送一樣成為新時代新型基礎設施和新型信息資源統(tǒng)籌大布局的新范例，在世界范圍內(nèi)創(chuàng)造領先的技術新業(yè)態(tài)。