李國(guó)春，馬睿，馬季春，李伯中，劉惠明，張桂玉

（1.國(guó)家電網(wǎng)有限公司信息通信分公司，北京 100761；2.中訊郵電咨詢?cè)O(shè)計(jì)院有限公司，北京 100048）

1 引言

云計(jì)算、虛擬化、軟件定義等技術(shù)在運(yùn)營(yíng)商網(wǎng)絡(luò)逐步應(yīng)用的實(shí)踐表明，新型網(wǎng)絡(luò)技術(shù)只有互相結(jié)合才能產(chǎn)生更多正反饋。隨著數(shù)據(jù)和應(yīng)用向云端遷移的節(jié)奏不斷加快，混合IT或混合云的架構(gòu)將成為業(yè)界主流[1]。云服務(wù)商提供IT應(yīng)用服務(wù)并依據(jù)用戶需求調(diào)用運(yùn)營(yíng)商優(yōu)質(zhì)網(wǎng)絡(luò)資源，運(yùn)營(yíng)商按照“云服務(wù)”的要求提供可配置按需調(diào)用的網(wǎng)絡(luò)資源，用戶獲得良好的使用體驗(yàn)，三方形成穩(wěn)固的合作關(guān)系。

從2009年Martin Casado項(xiàng)目組創(chuàng)建Openflow協(xié)議[2]開(kāi)始，業(yè)界掀起軟件定義網(wǎng)絡(luò)（SDN，software defined network）的浪潮。網(wǎng)絡(luò)架構(gòu)轉(zhuǎn)控分離的思想已深入人心，OpenFlow通過(guò)將網(wǎng)絡(luò)設(shè)備控制面與數(shù)據(jù)面分離開(kāi)來(lái)，從而實(shí)現(xiàn)了網(wǎng)絡(luò)流量的靈活控制。隨著相關(guān)技術(shù)的不斷演進(jìn)，SDN超越原有Openflow協(xié)議本身，向著網(wǎng)絡(luò)架構(gòu)精簡(jiǎn)化、網(wǎng)元設(shè)備虛擬化、產(chǎn)品形態(tài)白盒化、底層傳送可編程化、運(yùn)維管理自動(dòng)化等多方向同時(shí)演進(jìn)。

運(yùn)營(yíng)商目前構(gòu)建虛擬專(zhuān)網(wǎng)（VPN，virtual private network）基本是以多協(xié)議標(biāo)簽交換[4]（MPLS，multi-protocol label switching）、分段路由[5]（SR，segment routing）技術(shù)為基礎(chǔ)，從某種意義上可看作一種Overlay虛擬網(wǎng)絡(luò)形態(tài)。當(dāng)前主流Overlay網(wǎng)絡(luò)底層封裝技術(shù)主要有虛擬拓展局域網(wǎng)[6]（VXLAN，virtual extensible local area network）、MPLS/SR等。MPLS/SR在運(yùn)營(yíng)商網(wǎng)絡(luò)接受程度較高，以太網(wǎng)虛擬專(zhuān)用網(wǎng)絡(luò)（EVPN，Ethernet virtual private network）可提供L2、L3VPN服務(wù)，底層支持VXLAN、MPLS/SR封裝。未來(lái)，隨著SR在數(shù)據(jù)中心接受度進(jìn)一步提高，運(yùn)營(yíng)商可統(tǒng)一使用EVPN/SR方案。SR能簡(jiǎn)化網(wǎng)絡(luò)層次，實(shí)現(xiàn)底層數(shù)據(jù)傳送可編程性，具體簡(jiǎn)化網(wǎng)絡(luò)架構(gòu)如圖1所示。和MPLS網(wǎng)絡(luò)類(lèi)似，SR以標(biāo)簽交換為基礎(chǔ)，通過(guò)一組有序的標(biāo)簽棧來(lái)標(biāo)識(shí)網(wǎng)絡(luò)路徑，改變標(biāo)簽棧的內(nèi)容即可改變業(yè)務(wù)的路徑，這種靈活的可編程特性與SDN架構(gòu)無(wú)縫融合。相比傳統(tǒng)MPLS網(wǎng)絡(luò)需依靠外部協(xié)議實(shí)現(xiàn)標(biāo)簽的動(dòng)態(tài)分發(fā)、流量工程等功能，SR只對(duì)現(xiàn)有內(nèi)部網(wǎng)關(guān)協(xié)議（IGP，internal gateway protocol）/邊界網(wǎng)關(guān)協(xié)議（BGP，border gateway protocol）[7]進(jìn)行擴(kuò)展，轉(zhuǎn)發(fā)表也更簡(jiǎn)潔。在流量調(diào)度管理方面，在分段路由流量工程[8]（SR-TE，segment routing traffic engineering）中，不用維護(hù)資源預(yù)留協(xié)議（RSVP，resource reservation protocol）的復(fù)雜信令，網(wǎng)絡(luò)狀態(tài)減少很多。新一代分段路由策略[9]（SR Policy,segment routing policy）架構(gòu)相比傳統(tǒng)的SR-TE占用更少的設(shè)備資源，能夠提供更靈活的流量牽引方案。

圖1 SR簡(jiǎn)化網(wǎng)絡(luò)架構(gòu)示意Figure 1 Simplified network architecture of SR

2 網(wǎng)絡(luò)流量調(diào)度需求分析

高清視頻、云計(jì)算的蓬勃發(fā)展帶來(lái)流量持續(xù)增長(zhǎng)，廣域網(wǎng)出口經(jīng)常發(fā)生擁塞，這部分的網(wǎng)絡(luò)流量調(diào)度設(shè)計(jì)將直接影響終端客戶的上網(wǎng)體驗(yàn)。傳統(tǒng)網(wǎng)絡(luò)工程師主要通過(guò)BGP策略調(diào)整解決這一問(wèn)題，這種方式實(shí)現(xiàn)起來(lái)不夠靈活。BGP設(shè)計(jì)的初衷是提供穩(wěn)定的網(wǎng)絡(luò)連通性，沒(méi)有考慮網(wǎng)絡(luò)資源狀況是隨時(shí)變化的。理想的路由策略除了考慮網(wǎng)絡(luò)拓?fù)?，還需要綜合考慮帶寬、時(shí)延、丟包需求、設(shè)備端口容量、性能及擁塞等因素。

通常企業(yè)用戶的網(wǎng)絡(luò)可以看作懸浮在運(yùn)營(yíng)商骨干互聯(lián)網(wǎng)之上的信息島[10]，用戶通過(guò)運(yùn)營(yíng)商寬帶或移動(dòng)互聯(lián)網(wǎng)訪問(wèn)其資源。另外，部分大型企業(yè)自建骨干網(wǎng)直接提供高品質(zhì)私有網(wǎng)絡(luò)服務(wù)，削弱對(duì)傳統(tǒng)轉(zhuǎn)接通信（transit）和多方互聯(lián)（public peering）流量中轉(zhuǎn)模式[11]的依賴(lài)性。而采用與運(yùn)營(yíng)商Internet Access網(wǎng)絡(luò)高效直通方式實(shí)現(xiàn)IP洪流卸載，企業(yè)網(wǎng)絡(luò)與運(yùn)營(yíng)商網(wǎng)絡(luò)的聯(lián)系從點(diǎn)到點(diǎn)互聯(lián)變成多點(diǎn)到多點(diǎn)、面到面的多出口互聯(lián)模式。同時(shí)，企業(yè)可借助自身的優(yōu)勢(shì)，使用重定向、新型傳輸控制協(xié)議（TCP，transmission control protocol）的擁塞控制算法、超文本傳輸協(xié)議（HTTP，hyper text transfer protocol）的自適應(yīng)碼流控制技術(shù)等，配合BGP路由策略及新型SDN架構(gòu)，實(shí)現(xiàn)理想中的應(yīng)用/性能感知路由調(diào)配模式，把網(wǎng)間互聯(lián)出口變成隨需使用的資源池。

廣域網(wǎng)出口面向主要企業(yè)用戶、數(shù)據(jù)中心，與其他運(yùn)營(yíng)商建立了大量網(wǎng)間外部邊界網(wǎng)關(guān)協(xié)議[12]（EBGP，external border gateway protocol）通路。相比而言，在出口帶寬調(diào)配方面是有不同側(cè)重點(diǎn)的，但同時(shí)面臨更多挑戰(zhàn)，主要如下。

（1）應(yīng)用感知

企業(yè)用戶希望通過(guò)流量調(diào)度保證用戶體驗(yàn)持續(xù)改善，同時(shí)提高端口利用率。一方面，可以通過(guò)調(diào)整路由策略；另一方面，利用其他技術(shù)手段，如HTTP 碼流、TCP協(xié)議棧改善、次優(yōu)鏈路非平衡復(fù)雜等實(shí)現(xiàn)其業(yè)務(wù)目的。運(yùn)營(yíng)商的解決方案更關(guān)注整網(wǎng)流量模型優(yōu)化，保證資源均衡使用、避免出現(xiàn)熱點(diǎn)區(qū)域，故障發(fā)生時(shí)能保證有足夠備份容量支撐業(yè)務(wù)，采用大顆粒流量調(diào)度而不關(guān)注應(yīng)用細(xì)節(jié)體驗(yàn)。

（2）設(shè)備松耦合、混合場(chǎng)景部署

廣域網(wǎng)由于規(guī)模巨大，設(shè)備類(lèi)型、出廠年代、軟件版本參差不齊，對(duì)SDN的支持不一致。諸多新型網(wǎng)絡(luò)協(xié)議棧如Openflow、MPLS/SR、SR-TE/SR Policy[13]等需對(duì)現(xiàn)網(wǎng)進(jìn)行適當(dāng)軟硬件升級(jí)才能實(shí)現(xiàn)，因此在多廠家異構(gòu)場(chǎng)景下保證方案的可實(shí)施性、兼容性、互操作性將是重點(diǎn)考慮之處。

（3）可靠性、擴(kuò)展性要求高

廣域網(wǎng)擁有大量網(wǎng)間互聯(lián)出口，EBGP peer session數(shù)量巨大，路由表容量在不斷增長(zhǎng)，出口設(shè)備容量、鏈路帶寬、時(shí)延參差不齊，很難通過(guò)單一策略尋找流量調(diào)配的最優(yōu)或次優(yōu)路徑，大多時(shí)候錯(cuò)誤參數(shù)調(diào)整反而使整個(gè)網(wǎng)絡(luò)更加不穩(wěn)定，因此，需要通過(guò)大量網(wǎng)絡(luò)仿真才能制定相對(duì)理想的決策。

3 國(guó)內(nèi)外相關(guān)工作

Google于2017年對(duì)外發(fā)布了兩種不同的Peering Fabric設(shè)計(jì)理念[14]，依此成功部署業(yè)界第一個(gè)SDN B4數(shù)據(jù)中心互通網(wǎng)絡(luò)[15]。Google的全新Espresso Peering Fabric架構(gòu)如圖2所示，采用SDN技術(shù)動(dòng)態(tài)調(diào)整應(yīng)用出口帶寬，在全局及本地控制器配合下，Espresso可比傳統(tǒng)BGP路由傳送更多的客戶流量，同時(shí)顯著提高每條鏈路利用率和端到端用戶體驗(yàn)。

Espresso要求動(dòng)態(tài)感知每用戶或每應(yīng)用流量狀況并據(jù)此進(jìn)行全局出口資源調(diào)配，在提高Peer路由器出口鏈路利用率的同時(shí)，盡量避免高優(yōu)先級(jí)業(yè)務(wù)擁塞。特別地，引入了全局和本地控制器實(shí)現(xiàn)Peer路由器轉(zhuǎn)控分離，不僅將傳統(tǒng)Peer路由器控制面（CP）集中交由自研BGP Agent集中處理，同時(shí)將Peer路由器部分轉(zhuǎn)發(fā)面（DP）功能、訪問(wèn)控制列表/轉(zhuǎn)發(fā)信息庫(kù)（ACL/FIB,access control list/forward information base）功能卸載到主機(jī)Host實(shí)現(xiàn)。主機(jī)直接引導(dǎo)出口流量選擇最優(yōu)Peer路由器及其外部鏈路，實(shí)現(xiàn)從Host到Peer出口的精細(xì)化應(yīng)用流量控制。借助SDN“轉(zhuǎn)控”分離的想法，Google工程師解耦傳統(tǒng)Peer路由器，并將其演進(jìn)為Peering Fabric（數(shù)據(jù)轉(zhuǎn)發(fā)面）和服務(wù)器集群（控制面+反向代理/緩存功能）相結(jié)合的新型網(wǎng)絡(luò)架構(gòu)。

圖2 Google Espresso Peering Fabric架構(gòu)Figure 2 Architecture of Google Espresso Peering Fabric

相比而言，F(xiàn)acebook Edge Fabric架構(gòu)[16]采用SDN Controller集中控制方式，大量使用現(xiàn)有成熟或可實(shí)現(xiàn)技術(shù)。限制流量調(diào)度在單個(gè)入網(wǎng)點(diǎn)（PoP，point of presence）實(shí)現(xiàn)，基于實(shí)時(shí)流量、拓?fù)?、路由、策略等信息，無(wú)狀態(tài)設(shè)計(jì)的SDN控制器每隔30 s生成針對(duì)應(yīng)用流量的最優(yōu)及次優(yōu)出口，并通過(guò)調(diào)整BGP local preference參數(shù)來(lái)改變Prefix的下一跳，使用BGP route insertion方式指導(dǎo)不同流量（Prefix）在多個(gè)自治系統(tǒng)邊界路由器（ASBR，autonomous system boundary router）之間的均衡負(fù)載。

Facebook Edge Fabric架構(gòu)如圖3所示，SDN控制器的多個(gè)功能組件負(fù)責(zé)采集各種網(wǎng)絡(luò)資源信息。BMP Collector和多個(gè)Peer路由器之間建立BMP session搜集Prefix/Peer信息，Traffic Collector利用網(wǎng)絡(luò)數(shù)據(jù)包交換技術(shù)或簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議（SNMP，simple network management protocol）搜集接口/Prefix流量，同時(shí)SDN控制器會(huì)搜集PoP網(wǎng)絡(luò)拓?fù)浼安呗孕畔?。因BGP不能感知應(yīng)用服務(wù)質(zhì)量，Edge Server動(dòng)態(tài)隨機(jī)選一小部分流量做標(biāo)記，并用來(lái)測(cè)量使用最優(yōu)及次優(yōu)BGP路徑的性能，以評(píng)估主BGP路徑擁塞或未達(dá)理想目標(biāo)時(shí)是否可調(diào)配部分流量通過(guò)次優(yōu)出口。當(dāng)調(diào)度仍然發(fā)生在主用Peer路由器上，借助SDN控制器，出向擁塞的主用Peer路由器可以借助策略路由將部分流量重定向到非擁塞的Peer路由器出口上。

從圖3可以看出， Facebook采用業(yè)界廠商支持的主流網(wǎng)絡(luò)協(xié)議。最早嘗試Google的Host Routing方式直接選路到Peer路由器，從Host建立到Peer路由器出口的通道，Host 負(fù)責(zé)標(biāo)識(shí)DCSP值，Peer路由器根據(jù)DSCP值轉(zhuǎn)發(fā)到不同端口。在技術(shù)實(shí)施方面，需考慮如合適的路由及轉(zhuǎn)發(fā)軟件、大量主機(jī)狀態(tài)及時(shí)同步等各項(xiàng)問(wèn)題，最終Facebook選擇了相對(duì)成熟的BGP Inject@PR方案，這是現(xiàn)階段比較適合Facebook的Edge Fabric架構(gòu)方案，未來(lái)會(huì)考慮轉(zhuǎn)向BGP 出口流量工程（EPE，egress peering engineering）和SR。

圖3 Facebook Edge Fabric架構(gòu)Figure 3 Architecture components of Facebook Edge Fabric

4 基于SR Policy/EPE方式的流量調(diào)度優(yōu)化方案

本節(jié)提出廣域網(wǎng)出口流量調(diào)度的SDN部署方案，首先總結(jié)了廣域網(wǎng)出口流量調(diào)度目標(biāo)；然后針對(duì)基于SR Policy/EPE方式的流量調(diào)度優(yōu)化方法進(jìn)行詳細(xì)介紹；最后對(duì)仿真驗(yàn)證進(jìn)行說(shuō)明。

4.1 廣域網(wǎng)出口流量調(diào)度目標(biāo)

廣域網(wǎng)之間流量調(diào)度需求非常普遍。通常采用BGP路由策略實(shí)現(xiàn)，難以有效利用次優(yōu)線路資源實(shí)現(xiàn)多出口等價(jià)或非等價(jià)負(fù)載均衡、實(shí)現(xiàn)遠(yuǎn)端非直連自動(dòng)引流（AS，auto steering）流量調(diào)度、故障情況流量切換。企業(yè)客戶出于投資成本考慮，會(huì)將自己服務(wù)器托管在運(yùn)營(yíng)商數(shù)據(jù)中心，同時(shí)希望運(yùn)營(yíng)商提供相關(guān)網(wǎng)內(nèi)（省際出口）、網(wǎng)間（國(guó)內(nèi)三大運(yùn)營(yíng)商網(wǎng)間互聯(lián)出口）甚至網(wǎng)際（國(guó)際互聯(lián)網(wǎng)出口）多點(diǎn)均衡流量調(diào)度方案。

4.2 基于SR Policy/EPE方式的流量調(diào)度方法及仿真驗(yàn)證

下面介紹利用SR Policy/ EPE方式實(shí)現(xiàn)互聯(lián)網(wǎng)出口流量調(diào)度優(yōu)化方法。圖4是一個(gè)典型廣域網(wǎng)多出口調(diào)度場(chǎng)景。

網(wǎng)絡(luò)AS100分別與其托管數(shù)據(jù)中心AS300及其他運(yùn)營(yíng)商AS200建立多條互聯(lián)互通EBGP Peer連接通路，每個(gè)方向通路包括多臺(tái)Peer路由器及出口鏈路。正常情況下，為保證服務(wù)質(zhì)量，會(huì)預(yù)留較多帶寬，所有方向鏈路聚合帶寬足夠滿足網(wǎng)內(nèi)及網(wǎng)間流量需求，但由于BGP路由參數(shù)配置、設(shè)備支持能力等，網(wǎng)絡(luò)存在熱點(diǎn)區(qū)域，峰值情況下部分EBGP鏈路利用率會(huì)接近100%，而有些其他區(qū)域鏈路利用率不到50%。因此，優(yōu)化流量調(diào)度的目的為確保在擁塞情況下運(yùn)營(yíng)商有足夠的能力分析、調(diào)配部分流量分流去次優(yōu)方向或?qū)㈥P(guān)鍵流量調(diào)往專(zhuān)門(mén)鏈路。

在該場(chǎng)景中，網(wǎng)內(nèi)客戶（AS100）要求提供國(guó)際互聯(lián)網(wǎng)和數(shù)據(jù)中心云訪問(wèn)服務(wù)。不同業(yè)務(wù)對(duì)網(wǎng)絡(luò)的需求不同，互聯(lián)網(wǎng)訪問(wèn)提供盡力而為的服務(wù)，數(shù)據(jù)中心AS300云服務(wù)訪問(wèn)則要求保證低時(shí)延、低丟包率、高可靠，但應(yīng)用對(duì)帶寬要求不高。因出口方向流量可選擇去往路徑較多，各流量方向會(huì)經(jīng)過(guò)不同廠家設(shè)備類(lèi)型，表項(xiàng)容量、鏈路帶寬及使用率、軟件支持能力不盡相同，僅依靠調(diào)整BGP路由參數(shù)，配置復(fù)雜，可能效果不明顯。

圖4 典型廣域網(wǎng)多出口調(diào)度場(chǎng)景Figure 4 Multi-interface scheduling scenario of WAN

網(wǎng)絡(luò)設(shè)計(jì)通常建議將用戶策略（flow-tag/DSCP標(biāo)識(shí)）及路由策略（forwarding class/color標(biāo)識(shí)/簡(jiǎn)單下一跳）分離，前者負(fù)責(zé)標(biāo)識(shí)應(yīng)用流量，后者定義路徑策略?？蛻羧胂蛟O(shè)備實(shí)施應(yīng)用分類(lèi)，確定流量去往互聯(lián)網(wǎng)出口或云服務(wù)數(shù)據(jù)中心。最簡(jiǎn)單的方法是使用Destination Prefix Set，如果認(rèn)為顆粒度太細(xì)，可以使用BGP Community或AS-Path屬性進(jìn)行限制，部分用戶會(huì)增加Source Prefix Set、應(yīng)用優(yōu)先級(jí)的訴求。流量調(diào)度通常只需要建立用戶策略與路由策略之間的動(dòng)態(tài)映射關(guān)系即可方便實(shí)現(xiàn)流量全向靈活調(diào)度，具體需要依據(jù)廠家及設(shè)備支持能力。

針對(duì)路徑策略分類(lèi)采用全新SR Policy架構(gòu)解決，其封裝部署模型如圖5所示。從架構(gòu)上來(lái)說(shuō)，SR Policy遵從國(guó)際互聯(lián)網(wǎng)工程任務(wù)組（IETF，The Internet Engineering Task Force）架構(gòu)草案，由一個(gè)元組標(biāo)識(shí)：端點(diǎn)endpoint代表SR Policy 的終結(jié)點(diǎn)，是一個(gè) IPv4/IPv6 地址，顏色color代表意圖，表示到達(dá)端點(diǎn)的特定方式。每條SR Policy可以包含多條備選路徑，基于preference參數(shù)優(yōu)選，被選中的路徑可以包含多條加權(quán)負(fù)載均衡路由供選擇，這樣便于將流量在多個(gè)最優(yōu)、次優(yōu)路徑實(shí)施負(fù)載均衡調(diào)度。備選路徑支持BGP、路徑計(jì)算單元通信協(xié)議（PCEP，path computation element communication protocol）多種方式下發(fā)，用戶可通過(guò)命令行界面手工配置、SDN控制器甚至BGP RR反射器（基于用戶流量調(diào)度請(qǐng)求或主動(dòng)通過(guò)Netconf、PCEP或BGP ）等方式下發(fā)。用戶流量如果希望牽引使用SR Policy定義的路徑，只需對(duì)BGP路由標(biāo)色（color）。如果路由顏色和下一跳地址與元組匹配，此時(shí)SR Policy基于color模版和Endpoint動(dòng)態(tài)生成，即成為按需下一跳（ODN，on-demand next-hop），流量會(huì)自動(dòng)按照SR Policy定義的路徑SR標(biāo)簽轉(zhuǎn)發(fā)。

color字段還提供一個(gè)Flag選項(xiàng)，缺省00代表完全匹配，當(dāng)flag設(shè)置成01時(shí)，如果不能找到完全匹配，可以只依據(jù)color，endpoint 0.0.0.0/0任意匹配，不關(guān)注流量是IPv4還是IPv6，由此實(shí)現(xiàn)一種Color-only AF-agnostic Automated Steering流量調(diào)度牽引模式，如圖6所示。

在圖4的典型廣域網(wǎng)多出口調(diào)度場(chǎng)景中，由于最初路由器硬件并不支持SR和SR Policy功能，只能實(shí)現(xiàn)MPLS標(biāo)簽轉(zhuǎn)發(fā)。為達(dá)到用戶流量調(diào)度要求，利用BGP EPE方式為Peer路由器出口鏈路分配標(biāo)簽標(biāo)識(shí)，通過(guò)BGP多標(biāo)簽（BGP-LU，border gateway protocol labeled unicast）強(qiáng)行為Destination Prefix壓入一層EPE標(biāo)簽，基于BGP LU下一跳地址，ingress設(shè)備自動(dòng)遞歸解析出相應(yīng)Peer路由器的MPLS路徑。這種方法能夠在一定程度上解決邊界 Peer出口鏈路流量調(diào)度問(wèn)題，但存在局限性，即只能基于Prefix-set細(xì)顆粒度下發(fā)流量，入口流量設(shè)備到Peer路由器只能實(shí)現(xiàn)盡力而為的轉(zhuǎn)發(fā)，BGP LU壓標(biāo)簽棧方式無(wú)法提供路徑檢測(cè)機(jī)制，易出現(xiàn)黑洞。通過(guò)適當(dāng)軟/硬件升級(jí)，使設(shè)備及網(wǎng)絡(luò)支持SR和SR Policy功能。

圖5 SR Policy封裝部署模型Figure 5 Packaging and deployment model of SR policy

圖6 Color-only AF-agnostic Automated Steering流量調(diào)度牽引模式Figure 6 Traffic scheduling mode of Color-only AF-agnostic Automated Steering

為仿真和驗(yàn)證改進(jìn)后的基于SR Policy/EPE方式的流量調(diào)度優(yōu)化方案的可行性，采用Mininet+OpenDayLight網(wǎng)絡(luò)仿真平臺(tái)來(lái)搭建拓?fù)?，Mininet網(wǎng)絡(luò)仿真工具版本為2.1.0，控制平面利用開(kāi)源的OpenDayLight SDN控制器0.8.0版本，并在其上安裝BMP服務(wù)功能，仿真流量調(diào)度數(shù)據(jù)流如圖7所示。

在圖7中，黑、黃、橙3種顏色箭頭分別對(duì)應(yīng)不同方案（Best Effort/ SR Policy / SR Policy +BGP EPE）下用戶流量（1.1.1.1 color 99和2.2.2.2）所要經(jīng)過(guò)的完整路徑。黑色箭頭代表系統(tǒng)缺省選擇的最短路徑方案，即根據(jù)BGP 1.1.1.1/2.2.2.2從AS 100 R1經(jīng)R4到達(dá)AS 200 R8。因所有流量缺省都經(jīng)由這條線路到達(dá)R8，若某一階段R3到R5中間鏈路出現(xiàn)擁塞，則需要網(wǎng)絡(luò)告警通知運(yùn)維人工干預(yù)。

圖7 仿真流量調(diào)度數(shù)據(jù)流Figure 7 Data flow of simulated traffic scheduling

黃色箭頭代表只使用SR Rolicy方案對(duì)用戶流量進(jìn)行調(diào)度，借助控制器（XTC）北向Restconf API開(kāi)放接口向網(wǎng)絡(luò)發(fā)送SR Policy流量調(diào)整策略。本文方案采用最短時(shí)延或TE最短路徑到達(dá)出口路由器R5，此時(shí)數(shù)據(jù)流流向如圖8所示。和系統(tǒng)缺省方案不同，此時(shí)R5向域內(nèi)（AS100）發(fā)布路由時(shí)，對(duì)于1.1.1.1/32標(biāo)記color 99,對(duì)于2.2.2.2/32不使用color標(biāo)記。當(dāng)R3收到color標(biāo)記為99的路由時(shí)（1.1.1.1/32），R3向R10（XTC）請(qǐng)求并獲取SR Policy，在R3上配置針對(duì)color標(biāo)記99的動(dòng)態(tài)SR Policy并將其放在轉(zhuǎn)發(fā)表后，實(shí)現(xiàn)流量的引流，按照TE最短路徑或最低時(shí)延去往R5。數(shù)據(jù)流驗(yàn)證結(jié)果表明，從R1到1.1.1.1的流量，在R3上根據(jù)SR Policy指定的SRTE路徑經(jīng)過(guò)R3-R2-R7到達(dá)R5，并經(jīng)過(guò)R8（AS300）達(dá)到R9（AS400）。此時(shí)，部分流量（1.1.1.1 color 99 黃色）經(jīng)由R3-R4-R5調(diào)整至R3-R2-R7-R5。若不希望所有（1.1.1.1 color 99 黃色）流量都通過(guò)新的路徑，則定義這條SR Policy包含兩條加權(quán)路徑，一條走原來(lái)的R3-R4-R5，一條走R3-R2-R7-R5，將（1.1.1.1 color 99 黃色）流量按一定比例在這兩條路徑非平衡負(fù)載。經(jīng)處理之后，原有R3-R4-R5擁塞鏈路告警消失，所有AS 100訪問(wèn)流量（1.1.1.1/2.2.2.2）均通過(guò)到AS 300的跨域連接到達(dá)R8，R5-R8之間跨域鏈路相對(duì)使用率較高。

圖8 基于SR Policy方式的數(shù)據(jù)流Figure 8 Data flow based on SR policy

改進(jìn)后的基于SR Policy/EPE方式的流量調(diào)度優(yōu)化方案對(duì)應(yīng)圖7中的橙色箭頭指向，在AS100域內(nèi)通過(guò)XTC控制器計(jì)算路徑并下發(fā)SR Policy之后，在出口路由器R5上應(yīng)用EPE功能引導(dǎo)跨域出口流量調(diào)度，從而合理選擇下一跳經(jīng)由R6（AS200）去往R9（AS400）。利用OpenDayLight控制器從出口路由器R5收集pre-policy and post-policy RIB路由信息，經(jīng)分析發(fā)現(xiàn)目標(biāo)網(wǎng)段（1.1.1.1 color 99）經(jīng)由AS200也可以到達(dá)，因?yàn)槭欠亲顑?yōu)路由，在傳給R3的BGP update這一部分次優(yōu)路由信息被丟失。為持續(xù)改善用戶體驗(yàn)，可嘗試將部分流量經(jīng)由次優(yōu)路徑傳送并評(píng)估效果，如效果不好則回撤。具體可通過(guò)修改（PUT）之前下發(fā)的SR Policy，增加下一跳AS 200 Link EBGP EPE標(biāo)簽將流量調(diào)整經(jīng)由AS 200轉(zhuǎn)發(fā)。業(yè)務(wù)低谷期間，可通過(guò)Netflow/SNMP等手段獲?。?.1.1.1/2.2.2.2）Flow流量信息，如發(fā)現(xiàn)業(yè)務(wù)流量持續(xù)下降可通過(guò)刪除SR Policy，恢復(fù)初期最短路徑路由方案，將占用的R2-R7的鏈路資源讓出來(lái)。

SR Policy提供基于流量和時(shí)延的鏈路優(yōu)化策略，加上EPE對(duì)多路徑負(fù)載均衡的支持后變?yōu)楦屿`活的流量調(diào)配方式。該調(diào)度方式對(duì)圖4的典型廣域網(wǎng)多出口調(diào)度場(chǎng)景中托管數(shù)據(jù)中心DC流量（AS 300）調(diào)度尤為重要。DC出互聯(lián)網(wǎng)方向可以有兩條路徑（綠色箭頭指向）：直連“AS 200”和經(jīng)由“AS100，AS200”，前者從BGP路由策略的角度看為最優(yōu)路徑，如果此時(shí)部分流量分流繞道至相對(duì)較遠(yuǎn)的路徑（即AS-Path較長(zhǎng)），則需通過(guò)BGP放明細(xì)路由方法，但此時(shí)負(fù)載分擔(dān)比例無(wú)法精細(xì)化調(diào)整，在應(yīng)用基于SR Policy/EPE方式的流量調(diào)度方法后，以SR Policy策略加上出口流量的多路徑加權(quán)負(fù)載均衡流量調(diào)度優(yōu)化可提供次優(yōu)路徑的分析選擇，以優(yōu)化廣域網(wǎng)的鏈路擁塞問(wèn)題。

5 總結(jié)與展望

本節(jié)對(duì)基于SR Policy/EPE方式的流量調(diào)度優(yōu)化方法的技術(shù)優(yōu)勢(shì)、方案創(chuàng)新點(diǎn)及后期改進(jìn)方向進(jìn)行總結(jié)。

5.1 方案創(chuàng)新點(diǎn)

SR Policy將運(yùn)營(yíng)商最擅長(zhǎng)的BGP路由置于整個(gè)體系的核心。在運(yùn)營(yíng)商網(wǎng)絡(luò)的流量調(diào)度方面有以下的創(chuàng)新。

（1）SR Policy以O(shè)DN的方式動(dòng)態(tài)指定候選路徑，此時(shí)所有邊緣節(jié)點(diǎn)只需要配置少量相同的模板，不再需要預(yù)先手動(dòng)配置任何全網(wǎng)狀的互聯(lián)隧道。與原先的RSVP預(yù)置于網(wǎng)絡(luò)中的大量的全網(wǎng)狀隧道相比，SR Policy ODN模式極大地簡(jiǎn)化了運(yùn)營(yíng)商網(wǎng)絡(luò)，同時(shí)提升了網(wǎng)絡(luò)的可擴(kuò)展性。

圖9 基于SR Policy/EPE方式的數(shù)據(jù)流Figure 9 Data flow based on SR Policy/EPE

（2）本文提出的基于SR Policy/EPE方式的流量調(diào)度方法通過(guò)BGP直接將SR Policy中的各條候選路徑和路由裝載到路由器的轉(zhuǎn)發(fā)表上，避免了以往運(yùn)營(yíng)商網(wǎng)絡(luò)實(shí)現(xiàn)引流的各種復(fù)雜方式，實(shí)現(xiàn)每條流的自動(dòng)引流，進(jìn)一步實(shí)現(xiàn)運(yùn)營(yíng)商對(duì)網(wǎng)絡(luò)流量的精細(xì)化控制。

（3）SR Policy利用定義了端到端的備選路徑。通過(guò)備選路徑上應(yīng)用Weight值可以很容易地實(shí)現(xiàn)不同路徑之間的負(fù)載分擔(dān)，或不同路徑按比例分配流量。這種端到端的流量分配與調(diào)度機(jī)制，實(shí)現(xiàn)運(yùn)營(yíng)商全網(wǎng)尤其是出口流量調(diào)度的優(yōu)化，為提高骨干鏈路的利用率提供了適用且高效的方法。

5.2 工作展望

總體而言，采用SR Policy方式實(shí)施SDN部署相比傳統(tǒng)方案具備不少后發(fā)優(yōu)勢(shì)。初期SR技術(shù)通常利用標(biāo)簽交換，與MPLS LDP/RSVP-TE有完善互操作方案，適合運(yùn)營(yíng)商混合組網(wǎng)分階段引入。與傳統(tǒng)SR架構(gòu)相比，本文所提SR Policy/EPE方法旨在為運(yùn)營(yíng)商提供更為高效的流量調(diào)控方案。其中，網(wǎng)絡(luò)數(shù)據(jù)采集、遙測(cè)、基于大數(shù)據(jù)的智能流量調(diào)度等沒(méi)太多涉及，這是下一階段需要持續(xù)創(chuàng)新改進(jìn)的地方。

受SR設(shè)計(jì)理念影響，初期SR Policy設(shè)計(jì)沒(méi)有太多考慮帶寬、時(shí)延及流量?jī)?yōu)先級(jí)需求。利用BGP-LS采集拓?fù)洳](méi)有完整收集時(shí)延、端口速率、帶寬等信息，這使當(dāng)前版本僅能依賴(lài)XTC控制器計(jì)算路徑方案，解決這一問(wèn)題需借助網(wǎng)優(yōu)建模規(guī)劃軟件及一些其他技術(shù)手段，如SR轉(zhuǎn)發(fā)計(jì)數(shù)（SR forwarding counter）、鏈路時(shí)延檢測(cè)及相關(guān)路徑計(jì)算（link delay performance measurement）等。

后續(xù)改進(jìn)方案會(huì)考慮引入網(wǎng)絡(luò)流量規(guī)劃設(shè)計(jì)、業(yè)務(wù)部署及中心調(diào)度方案，同時(shí)更新升級(jí)PCE控制器進(jìn)行路徑計(jì)算優(yōu)化、擴(kuò)展BGP-LS拓?fù)洳杉畔?，?shí)現(xiàn)與SR網(wǎng)絡(luò)更緊密的整合。通用路徑計(jì)算交由XTC控制器完成，與帶寬相關(guān)的應(yīng)用交由網(wǎng)絡(luò)流量規(guī)劃設(shè)計(jì)工具提供類(lèi)似的服務(wù)，如帶寬隨需申請(qǐng)（service-driven BW on demand）、網(wǎng)絡(luò)帶寬模型優(yōu)化（network tactical BW optimization）、帶寬分時(shí)共享（bandwidth calendaring）等創(chuàng)新服務(wù)類(lèi)型，業(yè)務(wù)調(diào)度平臺(tái)負(fù)責(zé)業(yè)務(wù)下發(fā)及整個(gè)網(wǎng)絡(luò)方案的自動(dòng)化流程管理。

6 結(jié)束語(yǔ)

本文介紹的廣域網(wǎng)出口流量調(diào)度優(yōu)化部署方案在SDN架構(gòu)基礎(chǔ)上，將新型技術(shù)架構(gòu)SR Policy和傳統(tǒng)BGP協(xié)議相結(jié)合，在盡量保護(hù)原有設(shè)備投資及運(yùn)維體系基礎(chǔ)上成功實(shí)現(xiàn)了廣域網(wǎng)出口流量操控。隨著SDN相關(guān)產(chǎn)品技術(shù)的不斷完善，流量調(diào)度方案進(jìn)一步完善，可以預(yù)見(jiàn)，未來(lái)更多符合中國(guó)運(yùn)營(yíng)商以及企業(yè)廣域網(wǎng)應(yīng)用場(chǎng)景的新方案、新技術(shù)將不斷涌現(xiàn)。