張淏湜 王新寬 謝 敏

1.中國(guó)移動(dòng)通信集團(tuán)江蘇有限公司揚(yáng)州分公司；2.南京郵電大學(xué)通達(dá)學(xué)院

0 引言

軟件定義網(wǎng)絡(luò)（Software Defined Network，SDN）是由美國(guó)斯坦福大學(xué)Clean-Slate課題研究組提出的一種新型網(wǎng)絡(luò)創(chuàng)新架構(gòu)，是網(wǎng)絡(luò)虛擬化的一種實(shí)現(xiàn)方式。其核心技術(shù)OpenFlow通過(guò)將網(wǎng)絡(luò)設(shè)備的控制面與數(shù)據(jù)面分離開(kāi)來(lái)，從而實(shí)現(xiàn)了網(wǎng)絡(luò)流量的靈活控制，使網(wǎng)絡(luò)作為管道變得更加智能，為核心網(wǎng)絡(luò)及應(yīng)用的創(chuàng)新提供了良好的平臺(tái)。

利用分層的思想，SDN將數(shù)據(jù)與控制相分離。在控制層，包括具有邏輯中心化和可編程的控制器，可掌握全局網(wǎng)絡(luò)信息，方便運(yùn)營(yíng)商和科研人員管理配置網(wǎng)絡(luò)和部署新協(xié)議等。在數(shù)據(jù)層，包括啞的交換機(jī)（與傳統(tǒng)的二層交換機(jī)不同，專指用于轉(zhuǎn)發(fā)數(shù)據(jù)的設(shè)備），僅提供簡(jiǎn)單的數(shù)據(jù)轉(zhuǎn)發(fā)功能，可以快速處理匹配的數(shù)據(jù)包，適應(yīng)流量日益增長(zhǎng)的需求。兩層之間標(biāo)準(zhǔn)規(guī)則，交換機(jī)僅需按照這些規(guī)則執(zhí)行相應(yīng)的動(dòng)作即可。

軟件定義網(wǎng)絡(luò)的思想是通過(guò)控制與轉(zhuǎn)發(fā)分離，將網(wǎng)絡(luò)中交換設(shè)備的控制邏輯集中到一個(gè)計(jì)算設(shè)備上，為提升網(wǎng)絡(luò)管理配置能力帶來(lái)新的思路。SDN的本質(zhì)特點(diǎn)是控制平面和數(shù)據(jù)平面的分離以及開(kāi)放可編程性。通過(guò)分離控制平面和數(shù)據(jù)平面以及開(kāi)放的通信協(xié)議，SDN打破了傳統(tǒng)網(wǎng)絡(luò)設(shè)備的封閉性。此外，南北向和東西向的開(kāi)放接口及可編程性，也使得網(wǎng)絡(luò)管理變得更加簡(jiǎn)單、動(dòng)態(tài)和靈活。

目前揚(yáng)州移動(dòng)IDC有省干、國(guó)干等多個(gè)出口，因業(yè)務(wù)流量流向問(wèn)題，導(dǎo)致各個(gè)出口利用率不均衡，會(huì)出現(xiàn)省干出口空閑。如果通過(guò)手工調(diào)整，容易出現(xiàn)調(diào)整不均衡或者調(diào)整故障的情況。同時(shí)5G、云網(wǎng)互聯(lián)等業(yè)務(wù)對(duì)IP承載網(wǎng)絡(luò)提出高速率、低時(shí)延的承載要求。基于SDN流量智能調(diào)度方案，可以很好地解決因流量流向問(wèn)題導(dǎo)致的流量不均衡問(wèn)題，同時(shí)滿足：（1）骨干網(wǎng)全局流量集中控制能力，快速實(shí)現(xiàn)網(wǎng)絡(luò)性能優(yōu)化；（2）按需實(shí)現(xiàn)DCI網(wǎng)絡(luò)自動(dòng)創(chuàng)建，為不同級(jí)別租戶提供差異化服務(wù)；（3）實(shí)現(xiàn)企業(yè)分支到企業(yè)分支的L3VPN業(yè)務(wù)自動(dòng)開(kāi)通；（4）實(shí)現(xiàn)企業(yè)上云服務(wù)的自動(dòng)開(kāi)通，按需提供差異化服務(wù)。

1 系統(tǒng)模型及方案

1.1 E2E網(wǎng)絡(luò)方案

DCI underlay場(chǎng)景下端到端網(wǎng)絡(luò)承載，可以實(shí)現(xiàn)在編排器的統(tǒng)一控制下，DC1與DC2兩個(gè)數(shù)據(jù)中心之間的鏈路互通。在underlay場(chǎng)景下，DCN側(cè)、域間、WAN側(cè)的實(shí)現(xiàn)方案如下：

（1）DCN側(cè)方案：DC1與DC2內(nèi)部網(wǎng)絡(luò)組網(wǎng)方案。

DC內(nèi)采用VXLAN方案，用戶三層網(wǎng)關(guān)到border-leaf為VXLAN，用戶三層網(wǎng)關(guān)跨DC的VPC互聯(lián)業(yè)務(wù)路由下一跳為border-leaf節(jié)點(diǎn)，border-leaf節(jié)點(diǎn)通過(guò)VRF隔離用戶。

（2）域間方案：DC與WAN控制器之間的組網(wǎng)結(jié)構(gòu)，如何通過(guò)網(wǎng)絡(luò)進(jìn)行互聯(lián)互通。

DCN的border-leaf通過(guò)綁定用戶VRF的三層VLAN子接口與WAN PE對(duì)接，采用靜態(tài)路由實(shí)現(xiàn)互通；在本地DC border-leaf上創(chuàng)建指向遠(yuǎn)端DC的VPC子網(wǎng)前綴靜態(tài)路由，下一跳指向本地WAN PE。

（3）WAN側(cè) 方 案：WAN網(wǎng) 絡(luò)PE間 采 用MPLS L3VPN，每用戶每VPN；在本地PE上創(chuàng)建指向本地DC用戶VPC子網(wǎng)的靜態(tài)路由（用戶VPN靜態(tài)路由），下一跳為本地DC的border-leaf，同時(shí)將該靜態(tài)路由前綴通過(guò)MP-BGP發(fā)布給遠(yuǎn)端PE；WAN網(wǎng)絡(luò)通過(guò)SR-TE承載MPLS L3VPN（按DCI基線能力）。

本文在DCI underlay場(chǎng)景下移動(dòng)編排器分別對(duì)接DC1和DC2的Openstack云平臺(tái)、DC1和DC2的DCN控制器，以及WAN控制器。網(wǎng)絡(luò)拓?fù)淙鐖D1所示。

圖1 拓?fù)鋱D

1.2 E2E業(yè)務(wù)發(fā)放方案

租戶VPC在接入DC后，編排器通過(guò)統(tǒng)一的指令對(duì)VPC進(jìn)行業(yè)務(wù)發(fā)放，實(shí)現(xiàn)租戶的業(yè)務(wù)接入。同時(shí)租戶的網(wǎng)絡(luò)可達(dá)性也由編排器統(tǒng)一控制，路由從DC1至PE，再到最終的DC2，均由編排器進(jìn)行統(tǒng)一業(yè)務(wù)發(fā)放。

（1）租戶VPC業(yè)務(wù)以各DC云平臺(tái)Portal作為入口；

（2）WAN網(wǎng)絡(luò)DCI云互聯(lián)專線業(yè)務(wù)發(fā)放以移動(dòng)編排器提供的Portal作為入口；

（3）云網(wǎng)互聯(lián)專線（即DC接入DCI）業(yè)務(wù)，由移動(dòng)編排器作為發(fā)放入口：

①DC云平臺(tái)北向接口提供查詢功能，編排器能夠通過(guò)云平臺(tái)北向API接口，查詢獲取租戶信息，包括租戶UUID、租戶VPC子網(wǎng)（含vRouter）、租戶VIF/VBR、VPC與VIF/VBR的綁定關(guān)系；

②DCN控制器北向提供L3接入DCI的功能、靜態(tài)路由配置功能，由移動(dòng)編排器下發(fā)DC與DCI對(duì)接的云網(wǎng)互聯(lián)專線業(yè)務(wù)；

③編排器負(fù)責(zé)租戶VIF/VBR與DCI-PE對(duì)接的資源分配（租戶子接口VLAN、IP/掩碼、MTU等）和網(wǎng)絡(luò)關(guān)系編排映射，即租戶VPC@DC1《---》VIF/VBR@DC1《---》DCI-PE1---MPLS L3VPN-- DCI-PE2《---》VIF/VBR@DC2《---》VPC@DC2。

1.3 接入側(cè)業(yè)務(wù)部署

針對(duì)租戶接入側(cè)，通過(guò)L3VPN實(shí)現(xiàn)每個(gè)租戶的隔離，同時(shí)通過(guò)私網(wǎng)EBGP實(shí)現(xiàn)租戶到目的地址的路由轉(zhuǎn)發(fā)，詳細(xì)的接入拓?fù)淙鐖D2所示。

圖2 接入側(cè)組網(wǎng)

（1）業(yè)務(wù)類型：DC-GW接入L3業(yè)務(wù)。

（2）DC-GW部署（以DC-GW1為例）：①Eth-trunk2/3分別部署子接口，和PE通過(guò)EBGP或者靜態(tài)路由相連（DC L3互聯(lián)）；②基于子接口部署EBGP或者靜態(tài)路由，并部署B(yǎng)FD進(jìn)行檢測(cè)。

（3）PE與CE部署：每用戶每VRF（L3VPN），建立私網(wǎng)EBGP，部署PE側(cè)的VPN FRR。

（4）接入側(cè)可靠性保護(hù)：對(duì)于L3流量，采用負(fù)載分擔(dān)加快收斂：①對(duì)于EBGP接入，部署B(yǎng)FD for EBGP加快收斂；②對(duì)于靜態(tài)路由接入，PE和CE部署bfd，在PE和CE上靜態(tài)路由器track BFD。

1.4 QoS設(shè)計(jì)-接入側(cè)兩級(jí)HQoS的方案

當(dāng)網(wǎng)絡(luò)發(fā)生擁塞的時(shí)候，所有的數(shù)據(jù)流都有可能被丟棄。為滿足租戶對(duì)不同應(yīng)用不同服務(wù)質(zhì)量的要求，就需要能根據(jù)用戶的要求分配和調(diào)度資源，對(duì)不同的數(shù)據(jù)流提供不同的服務(wù)質(zhì)量：對(duì)實(shí)時(shí)性強(qiáng)且重要的數(shù)據(jù)報(bào)文優(yōu)先處理；對(duì)于實(shí)時(shí)性不強(qiáng)的普通數(shù)據(jù)報(bào)文，提供較低的處理優(yōu)先級(jí)，網(wǎng)絡(luò)擁塞時(shí)甚至丟棄。QoS的設(shè)計(jì)如圖3所示。

圖3 QoS設(shè)計(jì)

（1）基于VLAN/QinQ子接口做上下行總帶寬控制，將業(yè)務(wù)流按照ip-precedence分成金、銀、銅三種類型。對(duì)金類型的業(yè)務(wù)帶寬進(jìn)行限制，銀、銅業(yè)務(wù)帶寬按照比例限制。

（2）NCE（IP域）下發(fā)QoS策略和隧道帶寬至DCIPE1、DCI-PE3和DCI-PE4，各個(gè)PE之間再通過(guò)金、銀、銅業(yè)務(wù)進(jìn)行業(yè)務(wù)的疏導(dǎo)。實(shí)現(xiàn)了在接入側(cè)兩級(jí)的HQoS方案，對(duì)相關(guān)業(yè)務(wù)的重要性進(jìn)行識(shí)別并疏導(dǎo)，實(shí)現(xiàn)業(yè)務(wù)的等級(jí)劃分。

2 落地測(cè)試

2.1 業(yè)務(wù)測(cè)試步驟

（1）升級(jí)PE1、PE2設(shè)備至目標(biāo)版本；安裝控制器，并升級(jí)至目標(biāo)版本。NE40E設(shè)備需要配置SNMP、NETCONF、Segment-routing、MPLS、ISIS、BGP、PCEP等業(yè)務(wù)配置以及與NCE-IP對(duì)接需要的配置。

（2）6臺(tái)路由器使能ISIS和Segment Routing，路由器分別配置Node SID。

（3）路由器之間建立MP-IBGP鄰居，并開(kāi)啟Netconf Server功能，路由器與WAN控制器建立Active Stateful PCEP session、BGP-LS session。

（4）通過(guò)編排器在DC1和DC2之間為租戶1創(chuàng)建一個(gè)跨DC的二/三層虛擬網(wǎng)絡(luò)，并設(shè)置時(shí)延、帶寬等要求。

（5）編排器對(duì)DC控制器1、WAN控制器、DC控制器2下發(fā)指令，在TOR1、GW1，GW2、TOR2之間建立EVPN/VxLAN隧道，PE1與PE3之間創(chuàng)建雙向SR-TE隧道，且PE1與PE3之間的DCI流量由SR-TE承載。

（6）用虛擬機(jī)通過(guò)iperf模擬二層/三層流量。

（7）假設(shè)PE1<->PE3之間鏈路擁塞，可以通過(guò)控制器SR-TE的路徑改為PE1<->PE2<->PE4 <->PE3。

2.2 業(yè)務(wù)驗(yàn)證

通過(guò)編排層（Orchestrator）實(shí)現(xiàn)DCI業(yè)務(wù)與網(wǎng)絡(luò)資源統(tǒng)一調(diào)度，做到一鍵式開(kāi)通，差異化服務(wù)，實(shí)現(xiàn)云網(wǎng)聯(lián)動(dòng)。業(yè)務(wù)驗(yàn)證是模擬路徑擁塞的情況下，在NCE-IP上調(diào)整SR-TE隧道路徑，將SR隧道路徑從PE1-PE3，調(diào)整為PE1-PE2-PE4-PE3。

（1）NCE-IP界面上修改隧道的顯式路徑；（2）在設(shè)備上查看隧道配置及隧道路徑；（3）通過(guò)NCE-IP查看路徑信息，如圖4所示。

圖4 NCE-IP路徑信息

3 方案創(chuàng)新性

3.1 DC間業(yè)務(wù)問(wèn)題解決

SDN在數(shù)據(jù)中心主要解決了兩個(gè)問(wèn)題：（1）SDN能夠構(gòu)建許多L2層以太子網(wǎng)來(lái)承載多租戶應(yīng)用，還可以輕松地集成云部署工具，像OpenStack、Docker、DevOps等，便于部署和重新部署；（2）SDN能夠給云提供商構(gòu)建一個(gè)彈性的網(wǎng)絡(luò)結(jié)構(gòu)，避免了純分層交換機(jī)和單宿主交換機(jī)之間Trunks不匹配的情況，節(jié)省成本的同時(shí)，更加優(yōu)化網(wǎng)絡(luò)。

SDN為DCI支持的最重要功能是SDN控制器間協(xié)作或聯(lián)合，每個(gè)SDN數(shù)據(jù)中心都有自己的控制器，且大多數(shù)SDN子網(wǎng)可能都是建立在一個(gè)單獨(dú)的數(shù)據(jù)中心內(nèi)。項(xiàng)目引入了移動(dòng)編排器，在DCI之間優(yōu)化擴(kuò)展SDN，按需調(diào)度出口流量。

3.2 業(yè)務(wù)流量可視化

流量可視化技術(shù)、調(diào)度可預(yù)測(cè)技術(shù)，實(shí)現(xiàn)靈活便捷調(diào)度。（1）流量流向數(shù)據(jù)采集：實(shí)現(xiàn)分布式、可擴(kuò)展的通用流量流向數(shù)據(jù)采集平臺(tái)。（2）多維度互聯(lián)網(wǎng)流量流向分析服務(wù)：具有靈活、開(kāi)放的流量分析平臺(tái)，并基于該平臺(tái)提供面向用戶/業(yè)務(wù)/網(wǎng)絡(luò)的流量流向分析，指導(dǎo)流量?jī)?yōu)化。（3）網(wǎng)絡(luò)可視化服務(wù)：結(jié)合網(wǎng)絡(luò)路由拓?fù)浼傲髁?、流向?shù)據(jù)，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)及流量分布情況進(jìn)行可視化呈現(xiàn)。

4 結(jié)束語(yǔ)

本研究只需部署編排器分別對(duì)接數(shù)據(jù)機(jī)房的Openstack云平臺(tái)、DCN控制器，以及WAN控制器即可，經(jīng)濟(jì)性高。NCE-IP和NE40E的對(duì)接，包括BGP-LS和PCEP會(huì)話建立；AC-DCN和DC-GW及TOR設(shè) 備 的 對(duì) 接；通 過(guò)NCE-IP在PE1-PE3間創(chuàng)建SR-TE隧道；通過(guò)中移動(dòng)編排器分別向ACDCN和NCE-IP控制器下發(fā)業(yè)務(wù)，一鍵式開(kāi)通業(yè)務(wù)；模擬路徑擁塞，在NCE-IP上調(diào)整SR-TE隧道路徑。同時(shí)為用戶提供高品質(zhì)網(wǎng)絡(luò)通信服務(wù)，根據(jù)網(wǎng)絡(luò)通道的擁塞情況實(shí)時(shí)疏導(dǎo)用戶流量，提升用戶感知。通過(guò)引入SDN功能，在IDC各出口之間按需調(diào)度流量，最大化利用各城域網(wǎng)出口方向的空閑帶寬，實(shí)現(xiàn)流量的智能調(diào)度。