張世華,胡 祎,張 奎,趙以爽,文湘江(.中訊郵電咨詢(xún)?cè)O(shè)計(jì)院有限公司鄭州分公司,河南 鄭州 450007;.中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司,北京 00033)
隨著互聯(lián)網(wǎng)+、中國(guó)制造2025、智慧城市等概念的提出,智能終端以及云服務(wù)的普及和應(yīng)用,促使網(wǎng)絡(luò)的規(guī)模和流量快速激增,這也使傳統(tǒng)的數(shù)據(jù)通信網(wǎng)絡(luò)面臨眾多新的挑戰(zhàn)。通信云作為電信運(yùn)營(yíng)商主流的解決方案,能夠解決傳統(tǒng)專(zhuān)用硬件設(shè)備成本高、靈活性差、開(kāi)發(fā)周期長(zhǎng)等問(wèn)題,滿(mǎn)足5G 網(wǎng)絡(luò)、大數(shù)據(jù)、物聯(lián)網(wǎng)/車(chē)聯(lián)網(wǎng)等新興業(yè)務(wù)的需求。以5G 核心網(wǎng)業(yè)務(wù)為代表,運(yùn)營(yíng)商正在大規(guī)模部署通信云資源池,穩(wěn)步推進(jìn)網(wǎng)絡(luò)云化改造。
通信云網(wǎng)絡(luò)通常采用數(shù)據(jù)中心經(jīng)典的Spine/Leaf架構(gòu),完成DC 內(nèi)流量快速、無(wú)阻塞轉(zhuǎn)發(fā)。若通信云網(wǎng)絡(luò)使用傳統(tǒng)的VLAN 方案存在著明顯的缺點(diǎn):VLAN數(shù)量有限,難以滿(mǎn)足大規(guī)模組網(wǎng);容易造成廣播風(fēng)暴,通過(guò)STP/RSTP協(xié)議破環(huán)導(dǎo)致鏈路利用率低,故障恢復(fù)時(shí)間長(zhǎng);未能實(shí)現(xiàn)網(wǎng)絡(luò)和業(yè)務(wù)的解耦,主要通過(guò)手工配置,無(wú)法滿(mǎn)足業(yè)務(wù)快速開(kāi)通。SDN 作為一項(xiàng)顛覆傳統(tǒng)網(wǎng)絡(luò)架構(gòu)的新技術(shù),是未來(lái)網(wǎng)絡(luò)演進(jìn)的重要方向,有效推動(dòng)網(wǎng)絡(luò)和基礎(chǔ)設(shè)施新一輪的變革。通過(guò)SDN可以有效提升通信云網(wǎng)絡(luò)的自動(dòng)化、智能化編排能力,實(shí)現(xiàn)云網(wǎng)協(xié)同的目標(biāo)。
但是由于通信云承載各種網(wǎng)絡(luò)云化、創(chuàng)新平臺(tái)業(yè)務(wù),通信云的云平臺(tái)(Hypervisor 虛擬化層+虛擬化集群管理組件)通常是由主流電信設(shè)備提供商基于ETSI NFV 標(biāo)準(zhǔn)進(jìn)行定制化開(kāi)發(fā),無(wú)法與SDN 控制器自動(dòng)適配,再考慮到通信業(yè)務(wù)的可靠性要求高,網(wǎng)絡(luò)協(xié)議配置復(fù)雜,也增加了云平臺(tái)和SDN 控制器對(duì)接的難度。本文從通信云業(yè)務(wù)特征分析入手,探討云平臺(tái)和SDN控制器的對(duì)接方案。
隨著技術(shù)標(biāo)準(zhǔn)演進(jìn),服務(wù)化(SBA)、軟件化成為通信系統(tǒng)的發(fā)展趨勢(shì),通信網(wǎng)元也從虛擬化向云化發(fā)展?;谀壳斑\(yùn)營(yíng)商的部署測(cè)試情況,5GC、VoLTE 短信網(wǎng)關(guān)、視頻彩鈴等業(yè)務(wù)網(wǎng)元已通過(guò)虛擬化測(cè)試驗(yàn)證,滿(mǎn)足商用部署條件。根據(jù)網(wǎng)元云化成熟度,現(xiàn)階段適合云化部署的業(yè)務(wù)包括管理平臺(tái)、創(chuàng)新業(yè)務(wù)平臺(tái)以及控制類(lèi)網(wǎng)元?;诓煌臉I(yè)務(wù)特征、網(wǎng)絡(luò)需求通信網(wǎng)元可分為主機(jī)型VNF和路由型VNF。
主機(jī)型VNF 直接使用VM 網(wǎng)卡(vNIC)的IP 和MAC 地址對(duì)外通信,VNF 沒(méi)有業(yè)務(wù)地址,不對(duì)外部網(wǎng)絡(luò)建立路由鄰居、BFD 協(xié)議,發(fā)布路由等。由于采用分布式網(wǎng)關(guān),VNF 將Leaf 設(shè)置為默認(rèn)網(wǎng)關(guān),Leaf 根據(jù)VNF 報(bào)文目的地址查找EVPN 的MAC/IP 路由表,將報(bào)文封裝進(jìn)VxLAN 隧道發(fā)往對(duì)端DCGW/Leaf,DCGW/Leaf 終結(jié)VxLAN,同樣根據(jù)MAC/IP 路由表,將報(bào)文轉(zhuǎn)發(fā)到外部網(wǎng)絡(luò)/內(nèi)部其他VNF。若VNF采用主備保護(hù),主備VNF 所在的VM 需綁定相同的浮動(dòng)IP 地址。主機(jī)型VNF的網(wǎng)絡(luò)接口與通信模型如圖1所示。
對(duì)于路由型網(wǎng)元,除了VM 配置的vNIC IP 外,VNF 本身有業(yè)務(wù)IP 和Loopback 地址。路由型VNF 將按需對(duì)外建立路由鄰居(主要是與DCGW 建立BGP 鄰居),通過(guò)BFD 進(jìn)行主備路由倒換,提高收斂性能,因此路由型VNF 將產(chǎn)生大量的業(yè)務(wù)路由。路由型VNF業(yè)務(wù)地址配置在Loopback 上,接口板VM 采用N+1 方式分擔(dān)流量,VNF 通過(guò)動(dòng)態(tài)路由對(duì)外通信。路由型VNF的網(wǎng)絡(luò)接口與通信模型如圖2所示。
圖1 主機(jī)型VNF的網(wǎng)絡(luò)接口與通信模型
圖2 路由型VNF的網(wǎng)絡(luò)接口與通信模型
通信云網(wǎng)絡(luò)可以分為Underlay 網(wǎng)絡(luò)、Overlay 網(wǎng)絡(luò)和業(yè)務(wù)層網(wǎng)絡(luò)。Underlay 網(wǎng)絡(luò)就是數(shù)據(jù)中心的內(nèi)部物理網(wǎng)絡(luò),負(fù)責(zé)底層網(wǎng)絡(luò)互聯(lián)互通和報(bào)文的高速轉(zhuǎn)發(fā)。Overlay 網(wǎng)絡(luò)是由SDN 控制器根據(jù)VIM 傳遞的網(wǎng)絡(luò)需求構(gòu)建的虛擬網(wǎng)絡(luò),承載在Underlay 網(wǎng)絡(luò)之上。Over?lay 網(wǎng)絡(luò)通過(guò)VTEP 和VxLAN 網(wǎng)關(guān)之間建立VxLAN 隧道,來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)端到端打通,支持多租戶(hù)、大二層以及按需配置和自動(dòng)化部署。業(yè)務(wù)層網(wǎng)絡(luò)是由路由型VNF 和DCGW 建立動(dòng)態(tài)路由鄰居,進(jìn)行收發(fā)路由而形成的,由于主機(jī)型VNF 無(wú)需與外部網(wǎng)絡(luò)建立路由鄰居,因此業(yè)務(wù)層網(wǎng)絡(luò)對(duì)其不可見(jiàn)。通信云網(wǎng)絡(luò)架構(gòu)解決方案如圖3所示。
通信云Underlay 網(wǎng)絡(luò)采用Spine-Leaf 架構(gòu)提供無(wú)阻塞網(wǎng)絡(luò),通過(guò)IGP 協(xié)議打通物理層網(wǎng)絡(luò)。DCGW 建議采用高端路由器,對(duì)于主機(jī)型VNF,DCGW 配置為VRRP,提供虛擬IP 地址;對(duì)于路由型VNF,DCGW 獨(dú)立部署,分別與VNF 建立BGP 鄰居。Spine 建議采用高性能交換機(jī),成對(duì)獨(dú)立部署,對(duì)上對(duì)下的接口配置IGP 協(xié)議進(jìn)行三層報(bào)文轉(zhuǎn)發(fā),并作為BGP 路由反射器,負(fù)責(zé)轉(zhuǎn)發(fā)DCGW 與Leaf 間的BGP 路由信息;Leaf 建議采用高端口密度的盒式交換機(jī)(典型TOR 設(shè)備端口為48×10GE+6×100GE/40GE),成對(duì)配置為一組VTEP group,上行接口配置IGP 協(xié)議與Spine 互通,下行與服務(wù)器側(cè)的接口采用MC-LAG提高鏈路可靠性。
圖3 通信云網(wǎng)絡(luò)架構(gòu)解決方案
Overlay 網(wǎng)絡(luò)中根據(jù)VxLAN 網(wǎng)關(guān)(VTEP)選擇設(shè)備不同以及控制面協(xié)議不同,可以分為硬件Overlay 方案和混合Overlay方案。
a)硬件Overlay 組網(wǎng)方案。選用硬件Leaf 交換機(jī)作為VTEP,DCGW 作為資源池的唯一出口,配置為VxLAN 網(wǎng)關(guān),在Leaf 和DCGW 之間、Leaf 和Leaf 之間建立VxLAN 隧道。硬件Overlay 網(wǎng)絡(luò)方案采用EVPN為控制面協(xié)議,SDN 控制器通過(guò)Netconf協(xié)議在相應(yīng)交換機(jī)設(shè)備上配置。
b)混合Overlay 組網(wǎng)方案。選擇硬件Leaf交換機(jī)或者vSwitch 作為VTEP。對(duì)于普通VM 采用vSwitch 作為VTEP,對(duì)于裸金屬服務(wù)器或其他特殊訴求的VM(如SRIOV 虛機(jī))采用硬件Leaf 交換機(jī)作為VTEP。DCGW 配置為VxLAN 網(wǎng)關(guān),在Leaf/vSwitch 和DCGW之間、Leaf/vSwitch 和Leaf/vSwitch 之間建立VxLAN 隧道。對(duì)于vSwitch 做VTEP,SDN 控制器通過(guò)OVSDB 和OpenFlow協(xié)議對(duì)vSwitch進(jìn)行配置下發(fā)和轉(zhuǎn)發(fā)控制;對(duì)于硬件交換機(jī)做VTEP,控制面基于NetConf,控制器通過(guò)Netconf配置Leaf和DCGW。
業(yè)務(wù)層網(wǎng)絡(luò)是為路由型VNF 配置的,VNF 使用BGP 協(xié)議與DCGW 建立路由鄰居,進(jìn)行收發(fā)路由,DC?GW 通過(guò)VRF 將不同業(yè)務(wù)平面的路由進(jìn)行隔離,并通過(guò)eBGP/靜態(tài)路由與外部網(wǎng)絡(luò)互聯(lián)。
通信云中存在大量虛擬子網(wǎng)和業(yè)務(wù)路由,采用傳統(tǒng)VLAN 方案部署時(shí),內(nèi)部網(wǎng)絡(luò)需要手工配置,網(wǎng)絡(luò)無(wú)法敏捷調(diào)整以適應(yīng)新業(yè)務(wù)的部署需求。在通信云資源池引入SDN 控制器,是通過(guò)云平臺(tái)VIM 北向REST接口向SDN 控制器下發(fā)配置需求,由SDN 控制器負(fù)責(zé)網(wǎng)絡(luò)自動(dòng)化編排。相較傳統(tǒng)VLAN 方案,主要變化如表1所示。
a)邏輯網(wǎng)絡(luò)配置。通信云平臺(tái)通過(guò)Neutron 集成擴(kuò)展插件SDN Driver向SDN控制器發(fā)送創(chuàng)建邏輯網(wǎng)絡(luò)虛擬網(wǎng)絡(luò)資源請(qǐng)求,云平臺(tái)創(chuàng)建的邏輯網(wǎng)絡(luò)為VLAN類(lèi)型,SDN 控制器為邏輯網(wǎng)絡(luò)分配VxLAN 資源,根據(jù)分層網(wǎng)絡(luò)拓?fù)溥M(jìn)行層次化綁定。具體流程見(jiàn)圖4。
表1 傳統(tǒng)VLAN與SDN方案的差異分析
圖4 邏輯網(wǎng)絡(luò)配置流程圖
b)BGP 鄰居配置。通信云平臺(tái)通過(guò)Neutron 集成擴(kuò)展插件SDN Plugin 向SDN 控制器發(fā)送創(chuàng)建BGP 鄰居的請(qǐng)求,控制器獲取DCGW 設(shè)備信息,并將請(qǐng)求轉(zhuǎn)化為具體命令行配置到DCGW 上。通信云平臺(tái)和SDN 控制器應(yīng)支持VNF 和DCGW 之間BGP 鄰居的增/刪/查/改功能,實(shí)現(xiàn)路由型VNF 通過(guò)BGP 收發(fā)業(yè)務(wù)路由。具體流程如圖5所示。
c)VPC 互通配置。VPC 互通用于設(shè)置2 個(gè)vRout?er 的指定CIDR(無(wú)類(lèi)別域間路由)進(jìn)行互通。通信云平臺(tái)通過(guò)Neutron 集成擴(kuò)展插件SDN Plugin,向SDN 控制器發(fā)送vpc_connection請(qǐng)求,控制器將請(qǐng)求轉(zhuǎn)化為具體命令行配置到DCGW 上,完成不同VPC 間的網(wǎng)絡(luò)互通。具體流程如圖6所示。
通信云平臺(tái)與SDN 控制器支持異構(gòu)方式進(jìn)行解耦化部署,異構(gòu)方式對(duì)接時(shí)相關(guān)組件分工建議如表2所示。
目前通信云已在國(guó)內(nèi)運(yùn)營(yíng)商大規(guī)模部署,支撐5GC、VoLTE 短信網(wǎng)關(guān)等業(yè)務(wù)的順利開(kāi)通。通信網(wǎng)絡(luò)向云化演進(jìn)過(guò)程中,網(wǎng)絡(luò)自動(dòng)化編排是不可或缺的一部分,只有實(shí)現(xiàn)云網(wǎng)協(xié)同,才能真正實(shí)現(xiàn)端到端的業(yè)務(wù)和資源統(tǒng)一編排,形成敏捷、彈性的智能化網(wǎng)絡(luò),為智慧城市、智能制造提供無(wú)處不在的云網(wǎng)業(yè)務(wù),以此加快推動(dòng)經(jīng)濟(jì)社會(huì)的數(shù)字化、網(wǎng)絡(luò)化、智能化進(jìn)程。
圖5 BGP鄰居配置流程圖
圖6 VPC互通配置流程圖
表2 通信云平臺(tái)與SDN控制器異構(gòu)對(duì)接分工建議