周 振 周楠鈞

1.中國電信股份有限公司江蘇分公司；2.華南理工大學(xué)

0 引言

隨著云計算技術(shù)的發(fā)展，大型企事業(yè)單位趨向于依托原私有云接入多個公有云，組建混合多云，滿足自身數(shù)字化轉(zhuǎn)型及業(yè)務(wù)創(chuàng)新的需求。中小企業(yè)選擇一線入多云的自助拎包式服務(wù)，敏捷地架構(gòu)企業(yè)IT環(huán)境?！盎旌隙嘣啤薄鄠€云服務(wù)混合部署的新模式將逐漸成為一種趨勢。

1 混合多云驅(qū)動力分析

1.1 競爭性市場的選擇

采用混合多云，客戶可以在不同云商之間營造良性的競爭氛圍，有效避免在價格、服務(wù)上受制于單一云商，充分享受不同云的營銷活動，掌握更大的招標(biāo)采購議價權(quán)，也會享有更好的售中及售后服務(wù)。

1.2 促進云商服務(wù)互補

不同云商的服務(wù)各有優(yōu)勢，客戶希望能夠得到最合適的服務(wù)，同一云商往往無法滿足客戶的全部需求，需要多云進行差異化互補。對于運營商而言，內(nèi)部存在著諸多不同的功能性、區(qū)域性資源池，需要通過多云管理技術(shù)對資源進行整合。

1.3 提升業(yè)務(wù)安全保障

客戶將業(yè)務(wù)系統(tǒng)部署在不同云商的資源池中，可以有效提高業(yè)務(wù)系統(tǒng)的可用性。相比于同一云商多AZ節(jié)點的容災(zāi)架構(gòu)，多云異構(gòu)部署模式可有效防范因單一云商全局性障礙而導(dǎo)致的業(yè)務(wù)中斷。

2 混合多云整體架構(gòu)

混合多云架構(gòu)主要包括四個部分：第一部分為公有云，用于匹配用戶需求的云能力；第二部分為客戶私有云，為客戶在各類虛擬化環(huán)境下部署的私有IT架構(gòu)，需要與公有云互聯(lián)；第三部分為多云專網(wǎng)，提供多云、私有云、辦公環(huán)境之間的高速專用網(wǎng)絡(luò)連接；第四部分為智能云網(wǎng)管理門戶，包括智能網(wǎng)絡(luò)管理、多云聚合管理，實現(xiàn)云網(wǎng)資源的整體編排及運營管理能力?；旌隙嘣普w架構(gòu)如圖1所示。

圖1 混合多云整體架構(gòu)

3 混合多云網(wǎng)絡(luò)方案

多云專網(wǎng)是要實現(xiàn)從客戶到不同云VPC間的安全組網(wǎng)，是混合多云的核心技術(shù)基礎(chǔ)，其技術(shù)架構(gòu)的不同會帶來服務(wù)、交付及運維體驗的差異。目前多云專網(wǎng)的實現(xiàn)方式主要有互聯(lián)網(wǎng)VPN和數(shù)據(jù)專線兩種，前者基于VxLAN、IPSec等技術(shù)。運營商的數(shù)據(jù)專線服務(wù)在安全合規(guī)及QoS方面優(yōu)勢明顯，此處重點講述運營商基于MPLS及SRv6技術(shù)實現(xiàn)多云專網(wǎng)的方式及演進方向。

3.1 多云專網(wǎng)實現(xiàn)

根據(jù)運營商網(wǎng)絡(luò)現(xiàn)狀，可將多云專網(wǎng)分為三個層面：（1）多云交換網(wǎng)，用于云間流量的傳輸，并對接客戶入云網(wǎng)及云側(cè)網(wǎng)；（2）一線入云網(wǎng)，用于客戶側(cè)接入，含接入網(wǎng)、城域網(wǎng)段落；（3）云側(cè)網(wǎng)，由云內(nèi)VPC及虛擬三層網(wǎng)關(guān)構(gòu)成。這些網(wǎng)絡(luò)建設(shè)的年代、采用的技術(shù)不盡相同，端到端開通實現(xiàn)難度較大，需要對不同段落的VPN進行映射，實現(xiàn)方案如圖2所示。

圖2 多云組網(wǎng)專線實現(xiàn)方式

3.1.1 一線入云實現(xiàn)

傳統(tǒng)的云專線需要從客戶接入點至每個云單獨開通專線，云間流量繞行客戶側(cè)，多云專網(wǎng)模式下，只需要在客戶側(cè)和最近的多云交換網(wǎng)絡(luò)PE間開通專線，即可實現(xiàn)一線入多云，且云間流量通過云PE分流。

一線入云可通過PON或IPRAN接入城域網(wǎng)。以PON為例，客戶側(cè)CIDR（192.168.0.0/24）由用戶指定，ONU網(wǎng)關(guān)進行NAT轉(zhuǎn)換，將內(nèi)網(wǎng)地址轉(zhuǎn)換為由運營商統(tǒng)一分配的WAN IP（172.19.1.2/30），ONU網(wǎng)關(guān)創(chuàng)建云專網(wǎng)子接口，配置MSE與網(wǎng)關(guān)WAN端口間的互聯(lián)地址，MSE地址由城域網(wǎng)網(wǎng)管進行靜態(tài)分配，通過ITMS向用戶網(wǎng)關(guān)下發(fā)到城域網(wǎng)MSE的缺省路由；目前絕大部分城域網(wǎng)僅支持MPLS VPN，首先需在MSE和ASBR間配置IGP、BGP協(xié)議，然后創(chuàng)建L3VPN實例，城域網(wǎng)ASBR和多云交換PE通過子接口和VRF隔離，這樣就建立了從客戶至多云交換網(wǎng)的L3 VPN隧道。

3.1.2 云側(cè)網(wǎng)實現(xiàn)

云資源池內(nèi)部通過不同的VxLAN來進行區(qū)隔，客戶自定 義VPC1（172.16.100.0/24）、VPC2（172.16.200.0/24），并將云資源調(diào)整至相應(yīng)VPC，在VPC和VRouter之間分別構(gòu)建VxLan2000、3000隧道。VRouter作為三層網(wǎng)關(guān)，與相應(yīng)的云POP設(shè)備互聯(lián)，云POP作為CE設(shè)備通過預(yù)開通高速中繼電路就近接入多云交換網(wǎng)PE設(shè)備。

3.1.3 多云交換實現(xiàn)

多云交換網(wǎng)絡(luò)應(yīng)充分考慮網(wǎng)絡(luò)的可靠性、擴展性、先進性、兼容性、專業(yè)性，盡管中國電信已經(jīng)具備163、CN2兩張骨干IP網(wǎng)絡(luò)，仍應(yīng)為其構(gòu)造專用傳輸平面，建設(shè)多云交換OTN傳輸專網(wǎng)。在IP網(wǎng)絡(luò)層面，SRv6是基于IPv6數(shù)據(jù)平面實現(xiàn)的Segment Routing網(wǎng)絡(luò)，通過在路徑起始點向報文插入操作轉(zhuǎn)發(fā)指令來指導(dǎo)報文轉(zhuǎn)發(fā)，其原生IP屬性簡化了基礎(chǔ)網(wǎng)絡(luò)的復(fù)雜性，是運營商構(gòu)建多云交換網(wǎng)的主流選擇。

SRv6多云交換實現(xiàn)過程為：多云資源池POP及城域網(wǎng)ASBR通過云網(wǎng)PE接入多云交換網(wǎng)絡(luò)，各PE節(jié)點預(yù)先完成IPv6地址、IGP、BGP的配置，保證基礎(chǔ)網(wǎng)絡(luò)連通；在PE1、PE2上分別配置SID、環(huán)回地址、VPN SID（Function：End.DT4）等信息，該SRv6 VPNv4用于接云POP側(cè)及入云側(cè)的IPv4業(yè)務(wù)，云側(cè)網(wǎng)分別通過VLAN200、VLAN300子接口映射至該VPN，客戶入云網(wǎng)通過VLAN100映射至該VPN；PE1、PE2將SID、環(huán)回地址通過IGP發(fā)布到各節(jié)點，各節(jié)點形成路由轉(zhuǎn)發(fā)表；當(dāng)PE2學(xué)習(xí)到來自云POP的私網(wǎng)路由（172.16.200.0/24）后，將路由及對應(yīng)的VPN SID通過BGP通告遠端的BGP Peer PE1，PE1學(xué)習(xí)到路由后，將私網(wǎng)地址（172.16.200.0/24）下發(fā)到本地轉(zhuǎn)發(fā)表，此路由下一跳設(shè)為PE2環(huán)回地址；PE1將學(xué)習(xí)到的來自于PoP1及客戶側(cè)的私有路由（172.16.100.0/24）、（192.168.0.0/24）通告PE2，PE2下發(fā)本地轉(zhuǎn)發(fā)表，至此便建立了多云交換的SRv6 L3VPNv4的轉(zhuǎn)發(fā)隧道。

數(shù)據(jù)轉(zhuǎn)發(fā)時，PE1會根據(jù)入接口綁定的VPN查找相應(yīng)的轉(zhuǎn)發(fā)表，并根據(jù)VPN的SID信息，將原始報文封裝IPv6報文頭轉(zhuǎn)發(fā)，中間的轉(zhuǎn)發(fā)節(jié)點（P設(shè)備）可以是不支持SRv6的普通IPv6節(jié)點，PE2接收到報文后，彈出IPv6報文頭，使用IPv4目的地址，并轉(zhuǎn)發(fā)至云網(wǎng)PoP2。

上述過程實現(xiàn)了本地私有環(huán)境（192.168.0.0/24）、天翼云（VPC1：172.16.100.0/24）、華為云（VPC1：172.16.200.0/24）的L3 VPN網(wǎng)絡(luò)貫通。在端到端數(shù)據(jù)轉(zhuǎn)發(fā)時，會經(jīng)過多個VPN的封裝、拆解、映射，管理難度大，故應(yīng)設(shè)置協(xié)同編排器，對接終端管理系統(tǒng)（ITMS）、PON網(wǎng)管、城域網(wǎng)網(wǎng)管、SRv6網(wǎng)絡(luò)編排器，設(shè)計整體業(yè)務(wù)流程，并上聯(lián)智能云網(wǎng)管理門戶，實現(xiàn)云網(wǎng)資源的統(tǒng)一編排，敏捷交付多云整體服務(wù)環(huán)境。

3.2 多云專網(wǎng)演進策略

在本例中入云網(wǎng)采用MPLS技術(shù)、多云交換網(wǎng)采用SRv6技術(shù)，云內(nèi)采用VxLan技術(shù)，不同網(wǎng)絡(luò)的互通，需要通過VLAN來相互映射，部署難度大、效率低。SRv6具備類似VxLAN僅依賴IP可達性即可工作的簡單性，未來可能被部署在數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)，甚至可能直達虛機應(yīng)用，SRv6將各種業(yè)務(wù)的承載統(tǒng)一定義為SID，實現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)轉(zhuǎn)發(fā)的大一統(tǒng)，與互聯(lián)網(wǎng)VPN技術(shù)相比，端到端服務(wù)便捷性相同，服務(wù)保障特性更高。

相比傳統(tǒng)的MPLS技術(shù)，SRv6優(yōu)勢明顯：具有更好的后向兼容性，支持IPv6網(wǎng)絡(luò)平滑的演進；網(wǎng)絡(luò)真正可編程，通過豐富的轉(zhuǎn)發(fā)行為實現(xiàn)智慧網(wǎng)絡(luò)；跨域部署便捷，MPLS在跨域交界節(jié)點要生成大量的轉(zhuǎn)發(fā)表，SRv6只需通過BGP引入IPv6即可；擴展性強。

因此，為充分釋放SRv6優(yōu)勢，有必要考慮多云專網(wǎng)整體的SRv6演進策略。首先需將網(wǎng)絡(luò)從IPv4升級至IPv6網(wǎng)絡(luò)，一般是升級到IPv4/IPv6雙棧；其次，按需升級IP承載網(wǎng)邊緣的PE節(jié)點，使其支持SRv6應(yīng)用，比如在客戶接入側(cè)，可直接安裝支持SRv6的CPE終端設(shè)備，在城域網(wǎng)側(cè)，升級MSE和ASBR設(shè)備；再次，按需升級IP承載網(wǎng)的部分中間設(shè)備，如城域網(wǎng)的P設(shè)備，以使能網(wǎng)絡(luò)的流量路徑優(yōu)化能力；最后，全網(wǎng)升級到SRv6網(wǎng)絡(luò)，充分利用其網(wǎng)絡(luò)編程能力，實現(xiàn)云網(wǎng)端到端服務(wù)。

4 混合多云聚合管理方案

混合多云中，各種公有云、私有云的管理API端點、指令集各不相同，因此混合多云管理的關(guān)鍵是多云管理平臺至各云間的API通信網(wǎng)絡(luò)、通信方式設(shè)計。混合多云聚合管理方案如圖3所示。

圖3 混合多云聚合管理方案

4.1 公有云管理方案

主流的公有云都提供了基于互聯(lián)網(wǎng)的API端點，并向開發(fā)者和第三方提供了Open API服務(wù)。為確保網(wǎng)絡(luò)隔離及維護便利，混合多云管理應(yīng)根據(jù)需要接入的公有云，確定具體對接的網(wǎng)絡(luò)端口，同時提供相應(yīng)的API插件服務(wù)，插件包含了相關(guān)API全量指令集及調(diào)用方式。以天翼云為例，根據(jù)云資源池所在區(qū)域可確定API接入端點，首先需要向IAM認(rèn)證端點發(fā)送POST請求認(rèn)證用戶身份，認(rèn)證成功后會返回token，通過編程將token放入到操作請求中，發(fā)送到計算、存儲、網(wǎng)絡(luò)、鏡像、物理機、云數(shù)據(jù)庫等具體的API操作端點，通過POST、GET、DELETE、HEAD等具體的操作動作，即可實現(xiàn)相應(yīng)資源的查看、創(chuàng)建、配置、刪除、變更、開關(guān)機等具體的云管操作，操作可采用異步或同步的方式進行，并反饋云管平臺相應(yīng)JSON格式的操作結(jié)果，實現(xiàn)操作的閉環(huán)。

4.2 私有云管理方案

私有云一般用于承載客戶的核心系統(tǒng)業(yè)務(wù)，安全保護等級較高，其API端點一般不向公網(wǎng)開放，因此可以考慮建設(shè)專用網(wǎng)絡(luò)，如采用數(shù)字電路接入，也可依托互聯(lián)網(wǎng)組網(wǎng)，在私有云側(cè)應(yīng)部署防火墻，通過NAT將公網(wǎng)地址轉(zhuǎn)換為私網(wǎng)地址，同時配置ACL訪問列表，實現(xiàn)對私有云API網(wǎng)關(guān)的安全訪問。目前，私有云環(huán)境通常為Vmware、Kvm或Xen架構(gòu)，OPenstack或libCloud等開源軟件可以對上述虛擬化環(huán)境提供良好的兼容性管理，可以通過API網(wǎng)關(guān)對上述虛擬化的API指令進一步封裝，改造為私有的API指令集，在保證多云聚合管理兼容性基礎(chǔ)上，進一步提升系統(tǒng)的安全性及擴展性。

中國電信的“云聚”管理平臺，可兼容管理多個公有云、私有云的API，通過定義云網(wǎng)資源依賴關(guān)系，實現(xiàn)多云環(huán)境搭建的自動化、運維自動化；通過模板下發(fā)在不同云之間快速復(fù)制環(huán)境，實現(xiàn)云容災(zāi)遷移等混合多云高階應(yīng)用場景。

5 跨云能力調(diào)度實現(xiàn)方案

跨云API調(diào)用方案如圖4所示?；旌隙嘣茖＞W(wǎng)通過封閉的私有網(wǎng)絡(luò)將不同云環(huán)境連接起來，各公有云商均提供了豐富的生態(tài)服務(wù)內(nèi)容，如天翼云的短信、物聯(lián)網(wǎng)，華為云的大數(shù)據(jù)、AI服務(wù)等，這些服務(wù)的API端點位于互聯(lián)網(wǎng)，私有云無法直接調(diào)用；公有云同樣也存在調(diào)用私有云服務(wù)的需要，如調(diào)用RDS API服務(wù)。如何實現(xiàn)不同云環(huán)境下調(diào)用API服務(wù)的一致性、透明性、安全性，以共享多云的生態(tài)能力，需確定混合多云的跨云API調(diào)用方案。

圖4 跨云API調(diào)用方案

雖然從技術(shù)上可以為各私有云、公有云單獨設(shè)置互聯(lián)網(wǎng)出口，但出于安全因素，多云環(huán)境應(yīng)只允許從單一出口訪問互聯(lián)網(wǎng)。設(shè)想一個天翼云和客戶私有云組建混合多云的場景，天翼云設(shè)置互聯(lián)網(wǎng)出口，私有云VPC無法訪問互聯(lián)網(wǎng)，VPC A、B加入同一個專網(wǎng)VPN構(gòu)建多云專網(wǎng)，客戶私有云環(huán)境，可在VPC內(nèi)分配一臺VM，部署DNS服務(wù)，天翼云VPC內(nèi)通過ECS部署DNS及代理服務(wù)器，當(dāng)私有云VPC中ECS的Url調(diào)用目標(biāo)地址為ctyun.cn時，轉(zhuǎn)發(fā)至天翼云內(nèi)部的DNS服務(wù)器解析處理域名，由天翼云DNS解析至代理服務(wù)器，并由代理服務(wù)器完成白名單認(rèn)證工作，只有10.0.0.0/16網(wǎng)段的IP地址的VM得到訪問許可，然后該請求經(jīng)互聯(lián)網(wǎng)網(wǎng)關(guān)，送達擁有公網(wǎng)地址的天翼云服務(wù)API端點。如天翼云環(huán)境下調(diào)用私有云API，則在通過反向DNS解析后，并經(jīng)過私有云內(nèi)部增加API網(wǎng)關(guān)，通過API協(xié)議轉(zhuǎn)換后送內(nèi)部定制API端點。

通過上述機制，私有云可以調(diào)用天翼云市場中的短信、S3等API服務(wù)，并將其整合到客戶自身的應(yīng)用系統(tǒng)中，天翼云的ECS也可實現(xiàn)對私有云環(huán)境中RDS服務(wù)的調(diào)用，從而實現(xiàn)多重云的PaaS、SaaS服務(wù)組件及能力的調(diào)度互補，為云生態(tài)市場的運營奠定技術(shù)基礎(chǔ)。

6 混合多云應(yīng)用場景

6.1 安全的高可用服務(wù)

利用多個云服務(wù)商的基礎(chǔ)資源，借助多云專網(wǎng)，可快速搭建業(yè)務(wù)高可用平臺。如在天翼云和華為云分別開通一套ECS和RDS實例，分別部署主備用業(yè)務(wù)系統(tǒng)和數(shù)據(jù)庫系統(tǒng)，通過多云專網(wǎng)對RDS間的數(shù)據(jù)準(zhǔn)實時遠程同步，當(dāng)天翼云的主用系統(tǒng)發(fā)生障礙時，可人工或通過DNS自動切換至華為云節(jié)點，即可實現(xiàn)多云間災(zāi)備服務(wù)，提升業(yè)務(wù)系統(tǒng)的RTO及RPO。

6.2 靈活的組網(wǎng)服務(wù)

依托運營商的多云專網(wǎng)及管理平臺，客戶側(cè)僅需要一次外線裝維施工，后續(xù)的邏輯專線可秒級開通，以多重云為核心，在客戶和多云之間，提供一線多云、云間高速互聯(lián)、多分支接入及跨域組網(wǎng)的多云綜合服務(wù)場景。

6.3 便捷的跨云共享服務(wù)

客戶可利用跨云調(diào)度能力充分共享、自由組合各云商服務(wù)，如利用天翼云ECS、云電腦服務(wù)，華為云的HPC、OBS服務(wù)，阿里云的大數(shù)據(jù)服務(wù)，構(gòu)建跨云智能制造生產(chǎn)設(shè)計IT環(huán)境。此外，將企業(yè)核心系統(tǒng)部署在私有云，創(chuàng)新應(yīng)用、客服系統(tǒng)部署在公有云，當(dāng)私有云資源短缺時，實時調(diào)用公有云能力。

6.4 豐富的多云生態(tài)服務(wù)

多云生態(tài)包括云商、軟件供應(yīng)商、集成商、用戶等角色。用戶可以通過云市場采購不同云平臺的軟件服務(wù)，用戶以鏡像的形式安裝使用配置完畢的軟件環(huán)境，屏蔽了調(diào)用各云特有API的繁瑣過程；運營商可通過軟件應(yīng)用的銷售降低云資源銷售難度；軟件供應(yīng)商減少了許可銷售管理的麻煩；集成方可基于云網(wǎng)資源、軟件、API為客戶提供深度定制服務(wù)。

7 結(jié)束語

企業(yè)的多云需求涵蓋了上述場景化服務(wù)的內(nèi)容與能力，并在不斷的演進和變革，同時，企業(yè)在IT開發(fā)測試、運維、安全保護等方面也會產(chǎn)生劇烈的變化，這樣的變革勢必會孕育出全新的市場機會，也不可避免地對運營商的傳統(tǒng)業(yè)務(wù)（如組網(wǎng)專線、主機托管等）帶來更大的沖擊，運營商需要主動擁抱革新進程，充分發(fā)揮云網(wǎng)融合優(yōu)勢，在多云商務(wù)模式、生態(tài)合作、資費策略、信安管理等層面作深入探索。