孫穎，林睿，聶世忠

?

隨選網(wǎng)絡(luò)系統(tǒng)架構(gòu)及關(guān)鍵技術(shù)實踐

孫穎1，林睿2，聶世忠1

(1. 中國電信股份有限公司北京研究院，北京 102209；2. 中國電信集團公司，北京 100032）

分析了中國電信對SD-WAN應(yīng)用場景和技術(shù)方案的選擇，同時，對中國電信隨選網(wǎng)絡(luò)系統(tǒng)整體架構(gòu)和研發(fā)涉及的關(guān)鍵技術(shù)進行了闡述，包括EVPN技術(shù)、Devops平臺技術(shù)、VxLAN中繼引流技術(shù)的選擇和應(yīng)用方案。

隨選網(wǎng)絡(luò)；SD-WAN；編排器；控制器

1 引言

中國電信作為國內(nèi)最大的基礎(chǔ)網(wǎng)絡(luò)服務(wù)商之一，通過SDN/NFV/云計算技術(shù)強化大網(wǎng)優(yōu)勢、提升業(yè)務(wù)體驗是首要著眼點。因此中國電信隨選網(wǎng)絡(luò)實踐中，選擇了以軟件定義方式建立端到端WAN路徑為業(yè)務(wù)切入點，結(jié)合質(zhì)量、可靠性等需求，為客戶提供分鐘級業(yè)務(wù)開通時限以及后續(xù)業(yè)務(wù)使用中的自動化調(diào)整功能。在技術(shù)實現(xiàn)方面，選擇了對現(xiàn)網(wǎng)改造要求最小的overlay方案，作為現(xiàn)網(wǎng)實施的第一步，即基于SDN技術(shù)在基礎(chǔ)網(wǎng)絡(luò)之上實現(xiàn)自動化、智能化的端到端邏輯通路，對客戶屏蔽底層網(wǎng)絡(luò)的復(fù)雜性。這條邏輯通路可以構(gòu)建在互聯(lián)網(wǎng)上，也可以構(gòu)建在CN2網(wǎng)絡(luò)（中國電信高等級骨干網(wǎng)）上，對客戶接入方式?jīng)]有特定要求。

從2006年SDN（software defined network，軟件定義網(wǎng)絡(luò)）概念誕生至今，國內(nèi)外業(yè)界一直在探索和擴大其應(yīng)用領(lǐng)域。SDN初期關(guān)注點在云和數(shù)據(jù)中心內(nèi)，逐步延展到互聯(lián)網(wǎng)、廣域IP網(wǎng)、傳輸網(wǎng)，近兩年聚焦于企業(yè)市場和廣域網(wǎng)范疇的SD-WAN（software defined wide area network，軟件定義廣域網(wǎng)）。所謂SD-WAN，既有技術(shù)內(nèi)涵，又有業(yè)務(wù)內(nèi)涵。技術(shù)內(nèi)涵，即SD-WAN 是以SDN技術(shù)為基礎(chǔ)，實現(xiàn)廣域網(wǎng)通道開通、傳送質(zhì)量改善、客戶成本降低等相關(guān)技術(shù)；業(yè)務(wù)內(nèi)涵，即SD-WAN基于以上技術(shù)向客戶提供WAN服務(wù)。AT&T、NTT、DT等全球多家運營商以及眾多新興服務(wù)商在SD-WAN服務(wù)中，都選擇了面向政企客戶、以企業(yè)互聯(lián)和云/數(shù)據(jù)中心互聯(lián)為主的業(yè)務(wù)場景。在主要業(yè)務(wù)功能上，可以歸納為3類：IP VPN（virtual private network，虛擬專用網(wǎng)絡(luò)）業(yè)務(wù)的自助訂購和敏捷發(fā)放、入云/云間通道的自動配置、專網(wǎng)與互聯(lián)網(wǎng)混合路徑選擇。在這三大類業(yè)務(wù)功能中，又有多種技術(shù)實現(xiàn)方式，各方均依據(jù)自身的既有技術(shù)優(yōu)勢實現(xiàn)，無分優(yōu)劣，各有千秋。筆者認為，以上這些業(yè)務(wù)形態(tài)均屬于SD-WAN范疇，隨選網(wǎng)絡(luò)即中國電信在SD-WAN領(lǐng)域的一次深入實踐。

從技術(shù)路線上來說，中國電信的隨選網(wǎng)絡(luò)是基于WAN中的集中控制，結(jié)合質(zhì)量、可靠性等需求，以軟件定義的方式建立端到端WAN邏輯路徑，提供日常業(yè)務(wù)調(diào)整和查看手段。

2 系統(tǒng)架構(gòu)設(shè)計

中國電信隨選網(wǎng)絡(luò)系統(tǒng)基于SD-WAN技術(shù)路線，以SDN技術(shù)為基礎(chǔ)，整個系統(tǒng)由業(yè)務(wù)門戶、SDN編排器、SDN控制器、SDN設(shè)備四大組件組成，如圖1所示。

圖1中，業(yè)務(wù)門戶是業(yè)務(wù)自助訂購與網(wǎng)絡(luò)可視化操作界面，提供客戶角色、客戶經(jīng)理角色、網(wǎng)絡(luò)管理員角色的相關(guān)功能；SDN編排器北向提供面向業(yè)務(wù)的網(wǎng)絡(luò)能力封裝和業(yè)務(wù)功能編排，南向整合多廠商控制器接口，實現(xiàn)跨廠商、跨業(yè)務(wù)的能力統(tǒng)一化；SDN控制器實現(xiàn)對底層SDN設(shè)備的配置下發(fā)、資源狀態(tài)收集和路徑計算以及異常情況下的設(shè)備倒換；SDN設(shè)備執(zhí)行SDN控制器配置指令、完成相關(guān)數(shù)據(jù)處理和轉(zhuǎn)發(fā)。在中國電信隨選網(wǎng)絡(luò)方案中，SDN設(shè)備主要包括CPE（customer premise equipment，客戶終端設(shè)備）、vCPE（virtual customer premise equipment，虛擬客戶終端設(shè)備）、VxLAN（virtual extensible LAN，可擴展虛擬局域網(wǎng)）中繼。

圖1 隨選網(wǎng)絡(luò)系統(tǒng)四大組件

應(yīng)該指出的是，在業(yè)界諸多具體實現(xiàn)中對SDN控制器、編排器的功能界定各異，有的廠商甚至將編排器和控制器合一。參考圖2的模型，可以看到在整體架構(gòu)中，控制器北向提供功能模型，編排器北向提供業(yè)務(wù)模型。在一些具體實現(xiàn)中，控制器可以實現(xiàn)業(yè)務(wù)模型，由控制器直接對接業(yè)務(wù)平臺或門戶，這種做法雖然在業(yè)務(wù)場景單一情況下實施簡便，但未來會對異廠商互通及編排器的業(yè)務(wù)功能編排造成障礙。

圖2 SDN系統(tǒng)層次劃分

SDN編排器決定業(yè)務(wù)能力和業(yè)務(wù)形態(tài)，為業(yè)務(wù)運營單位提供業(yè)務(wù)編排手段，決定業(yè)務(wù)編排操作難易度。對編排器來說，業(yè)務(wù)是一系列相關(guān)事務(wù)，事務(wù)對應(yīng)一些串行的配置動作，這些動作全部有序配置成功即完成一個業(yè)務(wù)功能，有一個配置動作沒有成功即視為業(yè)務(wù)配置失敗，其他配置動作全部回滾。因此，從系統(tǒng)設(shè)計角度來說，編排器是對業(yè)務(wù)進行理解的“大腦”，真正被上層軟件定義的關(guān)鍵就在編排器這一層。在隨選網(wǎng)絡(luò)的架構(gòu)設(shè)計中，要求編排器和控制器嚴格按照業(yè)務(wù)模型和功能模型進行劃分，控制器不做業(yè)務(wù)層面的組織工作，只向編排器提供單純的、細顆粒度的原子能力，這樣有利于日后編排器根據(jù)業(yè)務(wù)需求進行靈活的業(yè)務(wù)功能編排。

從部署方式上說，編排器和控制器可部署在云資源池中，相互IP地址可達即可。由于編排器開發(fā)采用了松耦合微服務(wù)方式，因此編排器各軟件模塊及原子能力可根據(jù)需求分布式部署，相互IP地址可達即可。編排器作為系統(tǒng)資源編排的統(tǒng)一入口，建議全國或全省一套；而控制器通常是單域、單專業(yè)的。從編排器視角看，對控制器的部署方式?jīng)]有特別要求。編排器和控制器的作用主要是控制面的配置下發(fā)，并不涉及轉(zhuǎn)發(fā)面的處理，因而一般不會出現(xiàn)高并發(fā)重負載的情況。

3 系統(tǒng)關(guān)鍵技術(shù)

3.1 EVPN技術(shù)

隨選網(wǎng)絡(luò)系統(tǒng)控制器和設(shè)備開發(fā)采用EVPN（ethernet VPN，以太網(wǎng)VPN）技術(shù)，控制面為MP-BGP，數(shù)據(jù)面為VxLAN。EVPN技術(shù)體系如圖3所示。

圖3 EVPN技術(shù)體系

MP-BGP在BGP基礎(chǔ)上擴展了RD（route distinguisher，路由區(qū)分符）和RT（route target，路由目標符）兩個標識，實現(xiàn)VPN路由隔離。在中國電信隨選網(wǎng)絡(luò)系統(tǒng)四大組件中，要求SDN控制器和CPE/vCPE設(shè)備支持MP-BGP，按需建立BGP鄰居關(guān)系，從而實現(xiàn)跨廣域網(wǎng)的二/三層路由信息交換。要求CPE/vCPE支持VxLAN，作為VxLAN的VTEP（VxLAN tunnel end point，VxLAN隧道端點），提供VxLAN隧道數(shù)據(jù)分組封裝和解封裝功能。實施初期，由于網(wǎng)絡(luò)規(guī)模小，節(jié)點數(shù)量少，可采用純分布式路由方式，SDN設(shè)備運行MP-BGP，完成路由信息交互。后續(xù)隨著網(wǎng)絡(luò)規(guī)模擴展，計劃在控制器層面增加RR（路由反射器）模塊，與所有節(jié)點建立鄰居關(guān)系，解決大量節(jié)點之間Full Mash的N2問題。由于采用了EVPN技術(shù)，中國電信隨選網(wǎng)絡(luò)系統(tǒng)可同時提供二/三層VPN以及Full Mash和Hub-Spoke組網(wǎng)方式。在CPE/vCPE處理VxLAN封裝和解封裝時，需識別內(nèi)層源IP地址與目的源IP地址是否屬于同一子網(wǎng)，如屬同一子網(wǎng)，則啟用二層VPN處理能力，即橋接方式，如圖4所示；如屬不同子網(wǎng)，則啟用三層VPN處理能力，即路由方式，如圖5所示。

隨選網(wǎng)絡(luò)系統(tǒng)選用EVPN技術(shù)，還基于以下幾點考慮。

? 控制面采用成熟的、標準化的MP-BGP，更適用于運營商的網(wǎng)絡(luò)規(guī)模和業(yè)務(wù)穩(wěn)定性要求。

圖4 VxLAN橋接方式

圖5 VxLAN路由方式

? 通過MP-BGP控制MAC/ARP的學習，而非L2廣播自學習方式，有效避免廣播風暴，保障業(yè)務(wù)安全性。

? 通過MP-BGP實現(xiàn)VxLAN隧道的自動創(chuàng)建，簡化業(yè)務(wù)配置，降低網(wǎng)絡(luò)部署難度。

3.2 Devops平臺技術(shù)

隨選網(wǎng)絡(luò)系統(tǒng)中SDN編排器的開發(fā)引入了DevOps平臺及其理念，通過內(nèi)部流程與自動化工具的整合，將開發(fā)、測試、部署、運維構(gòu)成自動化閉環(huán)，如圖6所示。

圖6 Devops自動化閉環(huán)

DevOps流程中的集成與測試、部署、運維3部分覆蓋了從軟件產(chǎn)品開發(fā)到運維的全過程，通過管理工具（例如Jenkins）完成3部分間的無縫銜接。代碼被提交到源代碼管理服務(wù)器上，自動觸發(fā)代碼的構(gòu)建與單元測試，在單元測試成功后觸發(fā)功能測試和壓力測試。測試的范圍不僅包含軟件代碼部分，也包含編排形成的業(yè)務(wù)模型、策略模型等。在開發(fā)中選用Git作為源代碼管理工具，Jenkins作為持續(xù)集成與部署的工具，Ansible作為配置管理工具，Docker和Kubernetes作為部署工具。

中國電信隨選網(wǎng)絡(luò)編排器基于DevOps平臺開發(fā)，架構(gòu)上分為開發(fā)態(tài)和運行態(tài)，軟件從開發(fā)態(tài)送入沙箱調(diào)測，測試通過自動進入正式系統(tǒng)運行，整個流程中無需人工干預(yù)。軟件模塊之間采用通用總線進行調(diào)用、尋址、負載均衡等。同一軟件模塊可以部署在不同的物理位置、不同實例上。

從軟件系統(tǒng)架構(gòu)的角度看，隨選網(wǎng)絡(luò)系統(tǒng)SDN編排器的目標既包含了穩(wěn)定可靠的軟件系統(tǒng)，也包含了用于實現(xiàn)新需求新功能的集成開發(fā)環(huán)境。基于這套自動化測試部署的底層平臺，還將實現(xiàn)面向網(wǎng)絡(luò)維護人員的業(yè)務(wù)編排界面，運維人員只需理解業(yè)務(wù)邏輯，通過簡單的拖拽動作就可以完成新的業(yè)務(wù)能力配置，不需要學習命令行和代碼技術(shù)。因此，這套系統(tǒng)也為企業(yè)實施新型人力資源組織提供了技術(shù)手段，要求未來的業(yè)務(wù)運營團隊既包含研發(fā)測試團隊，也包含傳統(tǒng)運維團隊，兩部分人員有機融合。

3.3 VxLAN中繼引流技術(shù)

在一些業(yè)務(wù)場景中，希望客戶的流量能自動進入CN2網(wǎng)絡(luò)中，從而規(guī)避可能的網(wǎng)絡(luò)擁塞點，實現(xiàn)差異化承載。這個功能是通過隨選網(wǎng)絡(luò)系統(tǒng)中的VxLAN中繼來實現(xiàn)的。

VxLAN中繼引流實現(xiàn)原理如圖7所示。

中國電信隨選網(wǎng)絡(luò)系統(tǒng)的VxLAN中繼設(shè)備部署于引流目標網(wǎng)絡(luò)的邊緣，負責前段VxLAN隧道的終結(jié)和后段通道（可以是VxLAN隧道，也可以是MPLS通道）的數(shù)據(jù)分組封裝?？蛻赳v地網(wǎng)出口位置的CPE通過識別數(shù)據(jù)分組的目的IP地址，將需要導(dǎo)流的數(shù)據(jù)分組分離出來，在封裝VxLAN數(shù)據(jù)分組時，將外層目的IP地址填上VxLAN中繼的IP地址。這樣，這部分數(shù)據(jù)分組就會沿著引流策略設(shè)置好的通道進行傳送。

當數(shù)據(jù)分組離開引流目標網(wǎng)絡(luò)時，還需經(jīng)過一個VxLAN中繼，終結(jié)目標網(wǎng)絡(luò)中的數(shù)據(jù)通道，重新封裝一個VxLAN數(shù)據(jù)分組，其外層目的IP地址是對端CPE的IP地址，從而將數(shù)據(jù)分組繼續(xù)向目的地進行傳送。可見，整個傳送通道是由3段通道粘接而成的，兩端CPE和VxLAN中繼之間的粘接關(guān)系由SDN控制器進行配置。

通過VxLAN中繼引流方案解決客戶高等級業(yè)務(wù)的承載問題，好處在于客戶側(cè)不必有兩條接入鏈路（分別接入專網(wǎng)和互聯(lián)網(wǎng)），對客戶的接入方式也沒有特殊要求?？蛻袅髁拷?jīng)引流繞過網(wǎng)絡(luò)中最易發(fā)生擁堵的鏈路段，能夠明顯提升傳送質(zhì)量。

圖7 VxLAN中繼引流實現(xiàn)原理

圖8 城域網(wǎng)VPN方式引流實現(xiàn)原理

另外一個實現(xiàn)引流的方案是預(yù)先配置城域網(wǎng)VPN，客戶數(shù)據(jù)在BRAS（broadband remote access server，寬帶遠程接入服務(wù)器）設(shè)備進行分流，如圖8所示。

中國電信各城域網(wǎng)均雙掛163和CN2網(wǎng)絡(luò)，可通過策略路由配置的方式使得城域網(wǎng)VPN流量進入CN2 MPLS VPN，這樣一條端到端VxLAN VPN共享的基礎(chǔ)網(wǎng)專用通道就搭建完成了。在面向客戶的業(yè)務(wù)開通層面，SDN編排器和控制器根據(jù)相關(guān)業(yè)務(wù)參數(shù)，向分別部署在客戶網(wǎng)絡(luò)和對端系統(tǒng)中的CPE/vCPE設(shè)備下發(fā)參數(shù)，業(yè)務(wù)發(fā)放即可在幾分鐘之內(nèi)完成。

目前，隨選網(wǎng)絡(luò)系統(tǒng)已經(jīng)在江蘇、浙江、重慶、廣東、江西等多個省份完成部署，以統(tǒng)一架構(gòu)實現(xiàn)了隨選園區(qū)、隨選云網(wǎng)協(xié)同、物聯(lián)網(wǎng)隨選專網(wǎng)、隨選VPN4個業(yè)務(wù)場景。

4 結(jié)束語

在隨選網(wǎng)絡(luò)系統(tǒng)設(shè)計中，更多地考慮了系統(tǒng)面向業(yè)務(wù)的可擴展性和開放性，業(yè)務(wù)需求能夠通過軟件實現(xiàn)來定義網(wǎng)絡(luò)，通過網(wǎng)絡(luò)功能原子化，使得多種網(wǎng)絡(luò)能力能夠在業(yè)務(wù)層面進行整合、統(tǒng)一呈現(xiàn)。同時面向應(yīng)用開發(fā)者和服務(wù)提供商，提供便捷的應(yīng)用開發(fā)環(huán)境及業(yè)務(wù)交付的服務(wù)支撐。在承載技術(shù)層面，隨選網(wǎng)絡(luò)系統(tǒng)充分考慮了overlay技術(shù)與underlay網(wǎng)絡(luò)資源相結(jié)合的方式，可以充分體現(xiàn)運營商的差異化競爭力。因此，隨選網(wǎng)絡(luò)系統(tǒng)的架構(gòu)設(shè)計和關(guān)鍵技術(shù)的選擇，能夠較好地適應(yīng)當前業(yè)務(wù)創(chuàng)新需求以及后續(xù)網(wǎng)絡(luò)演進需要。

[1] 韋樂平. SDN的戰(zhàn)略性思考[J]. 電信科學, 2015, 31(1): 7-12.

WEI L P. Strategic thinking on SDN [J]. Telecommunications Science, 2015, 31(1): 7-12.

[2] 何曉明, 冀暉, 毛東峰, 等. 電信IP網(wǎng)向SDN演進的探討[J]. 電信科學, 2014, 30(6): 131-137.

HE X M, JI H, MAO D F, et al. Discussion of evolution of carrier IP network to SDN[J]. Telecommunications Science, 2014, 30(6): 131-137.

[3] 趙慧玲, 史凡. SDN/NFV的發(fā)展與挑戰(zhàn)[J]. 電信科學, 2014, 30(8): 13-18.

ZHAO H L, SHI F. Development and challenge of SDN/NFV[J]. Telecommunications Science, 2014, 30(8): 13-18.

[4] IETF. BGP MPLS-based Ethernet VPN: RFC7432[S]. 2015.

[5] IETF. Virtual extensible local area network (VxLAN): a framework: RFC7348[S]. 2014.

[6] 李晨, 陳俏鋼, 李鳳凱, 等. SDN的網(wǎng)絡(luò)模型及北向接口[J]. 中興通訊技術(shù), 2016, 22(6): 17-21.

LI C, CHEN Q G, LI F K, et al. Network model and northbound interface of SDN[J]. ZTE Technology Journal, 2016, 22(6): 17-21.

[7] 徐洪磊, 孫瓊. 基于SDN的網(wǎng)絡(luò)調(diào)優(yōu)及控制器北向接口探討[J]. 電信技術(shù), 2016(6): 49-52.

XU H L, SUN Q. Network tuning and discussion on northbound interface of controller based on SDN[J]. Telecommunications Technology, 2016(6): 49-52.

System architecture and key technologies of on-demand network

SUN Ying1, LIN Rui2, Nie Shizhong1

1.Beijing Research Institute of China Telecom Co., Ltd., Beijing 102209, China2.China Telecom Corporation, Beijing 100032, China

China Telecom’s selection of SD-WAN application scenarios and technical solutions was analyzed. At the same time, system architecture of China Telecom’s on-demand network and key technologies involved in R&D were elaborated, including EVPN technology, Devops platform technology, selection of VxLAN relay drainage technology and application.

on-demand network, software defined wide area network, orchestrator, controller

TN929

A

10.11959/j.issn.1000?0801.2017323

2017?11?10；

2017?12?07

孫穎（1977?），女，中國電信股份有限公司北京研究院高級工程師、隨選網(wǎng)絡(luò)解決方案專家，主要研究方向為IP網(wǎng)絡(luò)技術(shù)、SDN系統(tǒng)研發(fā)，擁有多項技術(shù)專利和國際標準，曾獲得中國電信集團公司科學技術(shù)進步獎二等獎。

林睿（1975?），男，中國電信集團公司網(wǎng)絡(luò)發(fā)展部網(wǎng)絡(luò)演進和規(guī)劃處處長，主要研究方向為承載網(wǎng)架構(gòu)、SDN技術(shù)、業(yè)務(wù)平臺技術(shù)等，多次獲得中國電信集團公司科學技術(shù)進步獎一、二等獎。

聶世忠（1973?），男，中國電信股份有限公司北京研究院高級工程師、SDN技術(shù)專家，主要研究方向為IP網(wǎng)絡(luò)技術(shù)、IPRAN技術(shù)、SDN系統(tǒng)研發(fā)，擁有多項技術(shù)專利和國際標準，曾獲得中國電信集團公司科學技術(shù)進步獎一等獎。