牛佳，顏永明，林志華

（中國(guó)電信股份有限公司上海分公司，上海 200085）

1 引言

隨著互聯(lián)網(wǎng)數(shù)據(jù)中心業(yè)務(wù)和云業(yè)務(wù)的高速發(fā)展，越來(lái)越多的企業(yè)開(kāi)始不滿(mǎn)足于基本的網(wǎng)絡(luò)解決方案，SD-WAN（software-defined wide area network，軟件定義廣域網(wǎng)）是軟件定義網(wǎng)絡(luò)（SDN）技術(shù)進(jìn)一步在廣域網(wǎng)中的應(yīng)用，近年逐漸進(jìn)入人們的視線。在其出現(xiàn)之前，傳統(tǒng)企業(yè)多使用Internet 加密或者專(zhuān)線，搭建總部與分支機(jī)構(gòu)的互聯(lián)互通網(wǎng)絡(luò)實(shí)現(xiàn)內(nèi)部數(shù)據(jù)的同步與共享，對(duì)網(wǎng)絡(luò)層與應(yīng)用層的交互聯(lián)系沒(méi)有那么密切的高要求。

2 SD-WAN 現(xiàn)狀

2.1 SD-WAN 與傳統(tǒng)專(zhuān)線的比較

2.1.1 傳統(tǒng)專(zhuān)線特點(diǎn)

如今，越來(lái)越多的用戶(hù)選擇最新的SD-WAN作為網(wǎng)絡(luò)組網(wǎng)方案首選。因?yàn)榕c傳統(tǒng)MPLS-VPN專(zhuān)線相比，SD-WAN 兼顧了企業(yè)用戶(hù)對(duì)于成本低廉、組網(wǎng)靈活、質(zhì)量?jī)?yōu)質(zhì)的訴求。

傳統(tǒng)的MPLS-VPN 專(zhuān)線難以在網(wǎng)管系統(tǒng)/平臺(tái)上實(shí)現(xiàn)集中配置下發(fā)，缺乏對(duì)大規(guī)模設(shè)備進(jìn)行遠(yuǎn)程管理的手段。其中，MPLS-VPN 專(zhuān)線必須在局端開(kāi)通配置，必須由運(yùn)營(yíng)商分配RT（route target，路由目標(biāo)）、RD（route distinguisher，路由區(qū)分符）的值，用戶(hù)的配置必須和運(yùn)營(yíng)商PE（provider edge，邊緣路由器）的參數(shù)匹配，運(yùn)營(yíng)商轉(zhuǎn)發(fā)設(shè)備需全程支持MPLS 標(biāo)簽化，業(yè)務(wù)實(shí)現(xiàn)必須完全依賴(lài)運(yùn)營(yíng)商資源。

2.1.2 SD-WAN 與傳統(tǒng)專(zhuān)線相比的優(yōu)勢(shì)

諸多限制因素，導(dǎo)致MPLS-VPN 沒(méi)有辦法滿(mǎn)足配置簡(jiǎn)化、靈活性的需求。而SD-WAN 能實(shí)現(xiàn)命令的集中下發(fā)，采用網(wǎng)管側(cè)預(yù)配置、終端側(cè)零接觸配置，可免去對(duì)各分部終端的煩瑣配置。在新增功能時(shí)，迭代開(kāi)發(fā)簡(jiǎn)單，能在配置后臺(tái)管理界面中集中查看設(shè)備的告警信息以及各個(gè)鏈路的狀態(tài)。

同時(shí)，SD-WAN 可實(shí)現(xiàn)隨選路由加載選擇最優(yōu)的分發(fā)路徑。通過(guò)多網(wǎng)絡(luò)隨選和傳送質(zhì)量加強(qiáng)等功能，解決了傳統(tǒng)Internet 傳輸不穩(wěn)定，時(shí)常出現(xiàn)的時(shí)延丟包、質(zhì)量劣化等問(wèn)題。另一方面，SD-WAN繼承了Internet 組網(wǎng)的優(yōu)勢(shì)，克服了專(zhuān)線租用獨(dú)用通道成本高昂、配置開(kāi)通時(shí)間周期較長(zhǎng)等問(wèn)題。

此外，SD-WAN 提供了對(duì)網(wǎng)絡(luò)進(jìn)行軟件編程，完整地實(shí)現(xiàn)了網(wǎng)絡(luò)端到端、CPE 到CPE 側(cè)的實(shí)時(shí)監(jiān)控、調(diào)整能力，可實(shí)現(xiàn)網(wǎng)絡(luò)和相關(guān)業(yè)務(wù)的快速部署和運(yùn)維，為用戶(hù)提供高效快速的業(yè)務(wù)配置開(kāi)通和配置變更能力。

2.2 運(yùn)營(yíng)商SD-WAN 組網(wǎng)優(yōu)勢(shì)

2.2.1 運(yùn)營(yíng)商的運(yùn)維優(yōu)勢(shì)

理想化的SD-WAN 運(yùn)維方式是實(shí)現(xiàn)一體化開(kāi)通，只需上門(mén)一次，就能同時(shí)完成Internet underlay網(wǎng)絡(luò)以及SD-WAN 設(shè)備和overlay 的線路開(kāi)通。

在運(yùn)維方面，SD-WAN 運(yùn)維需要具有全局各層級(jí)的視角，能實(shí)現(xiàn)overlay 和underlay 網(wǎng)絡(luò)的一體化監(jiān)控維護(hù)，可以同步檢測(cè)underlay、overlay網(wǎng)絡(luò)，準(zhǔn)確判斷故障點(diǎn)及劣化點(diǎn)，縮短故障處理時(shí)間，確保用戶(hù)網(wǎng)絡(luò)始終處于高可用、高質(zhì)量的水平。

2.2.2 運(yùn)營(yíng)商的網(wǎng)絡(luò)覆蓋優(yōu)勢(shì)

在網(wǎng)絡(luò)覆蓋范圍方面，使用遍布全國(guó)的云計(jì)算服務(wù)，能快速實(shí)現(xiàn)全國(guó)幾十個(gè)SD-WAN POP 點(diǎn)的云化組網(wǎng)，充分利用SD-WAN 中的軟件定義的控制器（controller）實(shí)現(xiàn)對(duì)控制和管理平面的統(tǒng)一編排，并作為第一認(rèn)證和注冊(cè)點(diǎn)，對(duì)SD-WAN的配置進(jìn)行管理，集中管理配置策略模板。全國(guó)組網(wǎng)的POP 點(diǎn)能實(shí)現(xiàn)對(duì)各地的全覆蓋。部署上線順利運(yùn)行后，一支遍布全國(guó)的高水準(zhǔn)、規(guī)范化、高效率的7×24 h 數(shù)據(jù)網(wǎng)絡(luò)維護(hù)團(tuán)隊(duì)也是SD-WAN穩(wěn)定運(yùn)維的基礎(chǔ)。

在用戶(hù)越來(lái)越關(guān)注網(wǎng)絡(luò)組網(wǎng)高性?xún)r(jià)比的趨勢(shì)下，傳統(tǒng)的Internet 和網(wǎng)絡(luò)專(zhuān)線已無(wú)法滿(mǎn)足用戶(hù)專(zhuān)網(wǎng)組網(wǎng)的需求。隨著越來(lái)越多的用戶(hù)優(yōu)先選擇SD-WAN 組建專(zhuān)網(wǎng)，電信運(yùn)營(yíng)商的傳統(tǒng)專(zhuān)線業(yè)務(wù)也受到?jīng)_擊。在此背景下，各大電信運(yùn)營(yíng)商開(kāi)始著手構(gòu)建自己的SD-WAN，通過(guò)對(duì)SD-WAN 技術(shù)深入研究，對(duì)相關(guān)廠商設(shè)備開(kāi)展測(cè)試，形成自己的組網(wǎng)方案，搭建體現(xiàn)電信運(yùn)營(yíng)商優(yōu)勢(shì)的SD-WAN，實(shí)現(xiàn)規(guī)模商用運(yùn)營(yíng)，很好地滿(mǎn)足了不同層次的用戶(hù)需求。

2.3 SD-WAN 的技術(shù)特征

2.3.1 軟件定義網(wǎng)絡(luò)控制器

SD-WAN 最基本的技術(shù)特征在于軟件定義、軟件控制，可以通過(guò)可視化的Web 界面實(shí)現(xiàn)企業(yè)WAN 的網(wǎng)絡(luò)狀態(tài)可視化，提供頁(yè)面進(jìn)行智能自動(dòng)化的能力，對(duì)用戶(hù)端CPE 網(wǎng)絡(luò)設(shè)備的性能狀態(tài)做到實(shí)時(shí)性能監(jiān)控。過(guò)去，傳統(tǒng)的網(wǎng)絡(luò)部署架構(gòu)比較依賴(lài)網(wǎng)絡(luò)工程師對(duì)于網(wǎng)絡(luò)知識(shí)的深度理解和對(duì)整體網(wǎng)絡(luò)架構(gòu)的規(guī)劃，網(wǎng)絡(luò)配置也需要人工維護(hù)，后期運(yùn)維也需要人主動(dòng)去判別故障處理，對(duì)于每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)都需要逐條命令行去配置下發(fā)。然而，通過(guò)軟件定義下發(fā)完全可以取代煩瑣的預(yù)配置云維護(hù)，網(wǎng)絡(luò)控制器可實(shí)現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)抽象化，網(wǎng)絡(luò)配置模板可實(shí)現(xiàn)配置下發(fā)自動(dòng)化，對(duì)復(fù)雜的命令行進(jìn)行封裝不對(duì)外開(kāi)放，對(duì)外屏蔽了具體的網(wǎng)絡(luò)技術(shù)細(xì)節(jié)，僅提供RESTful API 和網(wǎng)絡(luò)參數(shù)，方便用戶(hù)根據(jù)實(shí)際網(wǎng)絡(luò)需求進(jìn)行具體的網(wǎng)絡(luò)業(yè)務(wù)編排、網(wǎng)絡(luò)控制二次化開(kāi)發(fā)、自動(dòng)化智能化運(yùn)維以及集中網(wǎng)絡(luò)控制器配置下發(fā)。

2.3.2 安全加密與租戶(hù)隔離

為了確保用戶(hù)傳輸數(shù)據(jù)的可靠性和安全性，SD-WAN 的overlay 網(wǎng)絡(luò)需要對(duì)用戶(hù)的數(shù)據(jù)報(bào)文進(jìn)行加密，滿(mǎn)足了有安全性需求的企業(yè)用戶(hù)，同時(shí)保障了每個(gè)用戶(hù)的安全隱私以防止數(shù)據(jù)泄露。通過(guò)加VPN 租戶(hù)標(biāo)志的方式，也滿(mǎn)足了企業(yè)多租戶(hù)的需求，支持同一租戶(hù)下多個(gè)部門(mén)的邏輯隔離。由于CPE 是暴露在互聯(lián)網(wǎng)上的，SD-WAN 也需要提供基本的安全策略保證（如防攻擊、基本的防火墻訪問(wèn)限制功能），在用戶(hù)內(nèi)網(wǎng)與公網(wǎng)之間也需要提供不同的訪問(wèn)策略，通過(guò)ACL 保證訪問(wèn)控制。

2.3.3 SD-WAN 標(biāo)準(zhǔn)

根據(jù)ONUG、Gartner、MEC 等組織定義的SD-WAN 基本特征，共性的看法有：SD-WAN 能實(shí)現(xiàn)用戶(hù)分支的快速部署、快速上線，部署效率大大提高；SD-WAN 能動(dòng)態(tài)調(diào)整用戶(hù)應(yīng)用的流量路徑，實(shí)現(xiàn)靈活智能化、便捷自動(dòng)化的流量調(diào)度；SD-WAN 能集中管控，通過(guò)可視化界面實(shí)現(xiàn)網(wǎng)絡(luò)的編排運(yùn)維功能；SD-WAN 提供網(wǎng)絡(luò)安全、網(wǎng)絡(luò)優(yōu)化、業(yè)務(wù)快速發(fā)放等增值業(yè)務(wù)。

3 主流隧道/加密技術(shù)

SD-WAN 轉(zhuǎn)發(fā)層面使用了隧道、加密技術(shù)。隧道技術(shù)是為了解決租戶(hù)隔離甚至每個(gè)租戶(hù)中各個(gè)部門(mén)的隔離問(wèn)題，實(shí)現(xiàn)能在underlay 網(wǎng)絡(luò)上區(qū)分用戶(hù)。加密技術(shù)則是為了完成傳輸數(shù)據(jù)的加密，在開(kāi)放的Internet 環(huán)境下保證用戶(hù)業(yè)務(wù)數(shù)據(jù)的傳輸安全性。SD-WAN 隧道技術(shù)不依賴(lài)具體的IP overlay 技術(shù)、運(yùn)營(yíng)商WAN 組網(wǎng)技術(shù)，可以通過(guò)現(xiàn)有的IPSec、VxLAN、NvGRE 隧道技術(shù)進(jìn)行組合搭建可用可擴(kuò)展的隧道技術(shù)。下面將對(duì)傳統(tǒng)隧道/加密技術(shù)進(jìn)行分析。

3.1 IPSec

IPSec 是一個(gè)公開(kāi)的網(wǎng)絡(luò)層安全性框架協(xié)議。它不是一個(gè)簡(jiǎn)單孤立的協(xié)議，而是由多個(gè)IP 網(wǎng)絡(luò)協(xié)議和安全服務(wù)組成的集合。IPSec 主要包括安全協(xié)議驗(yàn)證頭部和封裝安全載荷、密鑰管理協(xié)議、Internet 密鑰交換協(xié)議以及其他用于網(wǎng)絡(luò)安全認(rèn)證及加密的算法等。傳統(tǒng)的IPSec 隧道技術(shù)分為隧道（tunnel）封裝模式和傳送（transport）封裝模式：tunnel 封裝模式在頭部封裝了一個(gè)外網(wǎng)的IP地址，實(shí)現(xiàn)對(duì)LAN 側(cè)的IP 地址封裝，transport封裝模式僅利用了AH 協(xié)議和ESP，實(shí)現(xiàn)認(rèn)證和加密。IPSec tunnel 模式可在overlay 網(wǎng)絡(luò)實(shí)現(xiàn)租戶(hù)隔離，并完成數(shù)據(jù)加密，但在單獨(dú)使用時(shí)需要建立較多tunnel 實(shí)現(xiàn)租戶(hù)級(jí)甚至部門(mén)級(jí)的隔離，每個(gè)租戶(hù)各使用一條隧道，每條隧道都需要分配密鑰、實(shí)現(xiàn)加密，傳統(tǒng)方式下，密鑰可以通過(guò)預(yù)分配或者電子證書(shū)的形式在每臺(tái)終端上配置，由于每個(gè)租戶(hù)的密鑰不同，在租戶(hù)較多的情況下，會(huì)導(dǎo)致加密/解密的資源大量消耗。IPSec 報(bào)文封裝如圖1 所示。

圖1 IPSec 報(bào)文封裝

3.2 VxLAN

國(guó)外專(zhuān)業(yè)機(jī)構(gòu)定義了 VLAN 擴(kuò)展方案——VxLAN（虛擬擴(kuò)展局域網(wǎng)）。VxLAN 使用設(shè)備物理地址封裝在用戶(hù)數(shù)據(jù)報(bào)協(xié)議中的封裝方式，是NVO3（在第三層網(wǎng)絡(luò)虛擬化）中的一種虛擬化網(wǎng)絡(luò)技術(shù)。VxLAN 特性在本質(zhì)上屬于一種VPN 技術(shù)，能在任意路由可達(dá)的網(wǎng)絡(luò)上疊加二層虛擬網(wǎng)絡(luò)，通過(guò)VxLAN 網(wǎng)關(guān)實(shí)現(xiàn)VxLAN 內(nèi)部的互通，同時(shí)，也可以實(shí)現(xiàn)與傳統(tǒng)的非VxLAN 網(wǎng)絡(luò)的互通。VxLAN 通過(guò)采用MAC 地址封裝在UDP 中的形式擴(kuò)展二層網(wǎng)絡(luò)，將Ethernet 報(bào)文封裝在IP 報(bào)文之上，通過(guò)路由協(xié)議在網(wǎng)絡(luò)中進(jìn)行傳輸，無(wú)須關(guān)注虛擬機(jī)的MAC 地址。由于對(duì)路由的網(wǎng)絡(luò)并無(wú)結(jié)構(gòu)限制，因此具備了大規(guī)模的延伸能力。通過(guò)路由網(wǎng)絡(luò)，虛擬機(jī)遷移不受原來(lái)運(yùn)營(yíng)商網(wǎng)絡(luò)架構(gòu)的制約。VxLAN 可以通過(guò)靜態(tài)和動(dòng)態(tài)的兩種方式建立隧道，動(dòng)態(tài)使用EVPN/BGP 建立鄰居關(guān)系。VxLAN 只具有隧道功能，不具備加密功能。VxLAN 報(bào)文封裝如圖2 所示。

3.3 GRE

GRE 隧道是一種邏輯接口，通過(guò)GRE 隧道可以將承載要發(fā)送的數(shù)據(jù)包整體封裝在協(xié)議中傳輸。為GRE 隧道設(shè)計(jì)的網(wǎng)絡(luò)體系結(jié)構(gòu)是為了構(gòu)成點(diǎn)對(duì)點(diǎn)的傳輸封裝服務(wù)。另外，GRE 隧道技術(shù)是一種完全無(wú)狀態(tài)記錄的設(shè)計(jì)，這表示每個(gè)GRE 隧道的傳輸結(jié)束點(diǎn)從不記錄關(guān)于其他GRE隧道結(jié)束點(diǎn)的信息狀態(tài)。如果GRE隧道的結(jié)束對(duì)端不可達(dá)，在這樣的設(shè)計(jì)之下，本地GRE 隧道數(shù)量不會(huì)因?yàn)閷?duì)端結(jié)束點(diǎn)狀態(tài)變化而減少。也就是說(shuō)，GRE 不具備在鏈路對(duì)端不可達(dá)時(shí)將對(duì)端的接口記錄為down，進(jìn)而刪除在路由表記錄中所有使用這個(gè)接口節(jié)點(diǎn)作為對(duì)外轉(zhuǎn)發(fā)接口的靜態(tài)路由，為備選靜態(tài)路由的安裝或是為了基于策略的路由選擇一個(gè)備選下一跳或接口做準(zhǔn)備的功能。同時(shí)，GRE 不具備加密功能。

圖2 VxLAN 報(bào)文封裝

GRE 是一種VPN 的第三層隧道協(xié)議。GRE隧道是一種虛擬的點(diǎn)對(duì)點(diǎn)的連接，為需要在其他網(wǎng)絡(luò)層協(xié)議傳輸?shù)膮f(xié)議報(bào)文進(jìn)行封裝，被封裝的協(xié)議報(bào)文可以在其他網(wǎng)絡(luò)協(xié)議中傳輸。GRE 隧道接收?qǐng)?bào)文后，對(duì)報(bào)文進(jìn)行封裝，在報(bào)文之前加入GRE 頭部，再將封裝完成后的初始報(bào)文和GRE頭部根據(jù)初始報(bào)文的IP 報(bào)文通過(guò)傳輸協(xié)議進(jìn)行轉(zhuǎn)發(fā)。在解封裝時(shí)，網(wǎng)絡(luò)層發(fā)現(xiàn)外層頭部報(bào)文協(xié)議號(hào)為47，將GRE 外層頭部進(jìn)行剝離，將剩下的IP 報(bào)文和數(shù)據(jù)報(bào)文進(jìn)行處理傳輸。GRE 報(bào)文封裝如圖3 所示。

圖3 GRE 報(bào)文封裝

3.4 NvGRE

NvGRE 是由微軟公司提出，在GRE 的基礎(chǔ)上發(fā)展出來(lái)的。NvGRE 和GRE 的封裝包頭格式基本一致，區(qū)別是在NvGRE 的包頭的S 位和C 位置零，所以NvGRE 包頭不含檢驗(yàn)和與序列號(hào)。與VxLAN 比較而言，NvGRE 并沒(méi)有使用標(biāo)準(zhǔn)的傳輸協(xié)議，而是用通用的路由封裝協(xié)議。NvGRE 使用GRE 報(bào)文頭部的前24 bit 作為租戶(hù)隔離的網(wǎng)絡(luò)標(biāo)識(shí)位，可以總共支持224個(gè)VPN，這一點(diǎn)與VxLAN 相同。NvGRE 傳輸網(wǎng)絡(luò)使用了GRE 報(bào)文頭提供承載帶寬利用率顆粒度的數(shù)據(jù)流，但是這樣的設(shè)計(jì)使NvGRE 不能提供傳統(tǒng)的負(fù)載均衡，相對(duì)VxLAN 而言，這是NvGRE 的不足之處，也是和VxLAN 有所區(qū)別的地方。 NvGRE 報(bào)文封裝如圖4 所示。

圖4 NvGRE 報(bào)文封裝

3.5 SSL

SSL（安全套接層）隧道技術(shù)是一種網(wǎng)絡(luò)安全加密協(xié)議。它是一種通過(guò)TCP/IP 通信傳輸協(xié)議實(shí)現(xiàn)的安全加密協(xié)議，并且使用公開(kāi)的密鑰技術(shù)。SSL 廣泛支持各種類(lèi)型的網(wǎng)絡(luò)協(xié)議，同時(shí)提供3 種基本的網(wǎng)絡(luò)安全服務(wù)，這些服務(wù)都使用公開(kāi)密鑰技術(shù)。SSL 支持的服務(wù)通過(guò)網(wǎng)絡(luò)進(jìn)行通信卻不損害安全性。它能在用戶(hù)分支結(jié)構(gòu)和總部之間創(chuàng)建一個(gè)安全連接，然后通過(guò)該SSL 連接安全地發(fā)送任意數(shù)據(jù)量。

SSL 的初始目標(biāo)是為兩個(gè)傳輸應(yīng)用之間提供私有的可靠連接。SSL 協(xié)議包括兩層，在某些可靠傳輸協(xié)議的頂層是SSL 記錄層，SSL 記錄層是用來(lái)封裝其他更高層的協(xié)議。SSL 握手協(xié)議也是一種封裝協(xié)議，允許服務(wù)器和客戶(hù)端互相認(rèn)證，在應(yīng)用協(xié)議發(fā)送接收第一個(gè)數(shù)據(jù)前協(xié)商加密算法和密碼。應(yīng)用協(xié)議的獨(dú)立性是SSL 的優(yōu)點(diǎn)之一，更高層次的協(xié)議顯然可以使用在SSL 協(xié)議之中。

4 隧道加密技術(shù)在SD-WAN 的應(yīng)用

對(duì)5 家主流廠商的隧道加密技術(shù)進(jìn)行了測(cè)試比較。SD-WAN 主流廠商中，C 廠商用了私有的IPSec 隧道技術(shù)，H 廠商用了NvGRE over IPSec隧道技術(shù)和VxLAN，V 廠商使用了VxLAN over IPSec，D 廠商用了SSL 技術(shù)，S 廠商用了IPSec隧道技術(shù)。

4.1 私有IPSec

標(biāo)準(zhǔn)的IPSec 隧道技術(shù)為了區(qū)分不同的租戶(hù)，每個(gè)租戶(hù)使用一個(gè)tunnel，每個(gè)tunnel 獨(dú)立實(shí)現(xiàn)數(shù)據(jù)流的加密，在加密/解密的過(guò)程中，加密/解密的進(jìn)程較多，將消耗大量計(jì)算資源。為解決這一問(wèn)題，C 廠商在標(biāo)準(zhǔn)的IPSec 隧道技術(shù)中引入私有字段，通過(guò)對(duì)IPSec 報(bào)文中加一個(gè)LBL 字段記錄租戶(hù)信息減少tunnel 數(shù)量，以降低計(jì)算資源的消耗。私有IPSec 封裝格式如圖5 所示，格式中包含了源/目的IP 地址、用戶(hù)數(shù)據(jù)報(bào)協(xié)議、傳輸?shù)脑磾?shù)據(jù)包，在加密的數(shù)據(jù)包外部加入了新的IP 包頭，與傳統(tǒng)的公有IPSec 相比，通過(guò)加入新的字段滿(mǎn)足SD-WAN 對(duì)于多租戶(hù)下的隔離問(wèn)題，LBL 多占用4 bit。

圖5 私有IPSec 封裝

4.2 VxLAN over IPSec

單獨(dú)的VxLAN 只能解決租戶(hù)隔離的問(wèn)題，無(wú)法實(shí)現(xiàn)加密傳輸，為了解決單一隧道無(wú)法加密的問(wèn)題，V 廠商使用了VxLAN over IPSec 技術(shù)，將VxLAN 的報(bào)文封裝在 IPSec 報(bào)文中。VxLAN是明文報(bào)文在網(wǎng)絡(luò)傳輸不安全，通過(guò) IPSec transport 模式，可以實(shí)現(xiàn)安全傳輸。使用該技術(shù)，VxLAN 的外層IP 地址暴露在外，IPSec 只對(duì)VxLAN 數(shù)據(jù)包進(jìn)行加密。因而，無(wú)須使用多個(gè)IPSec tunnel，既減少了加密/解密資源開(kāi)銷(xiāo)，同時(shí)也解決了租戶(hù)隔離，甚至租戶(hù)內(nèi)部跨部門(mén)隔離的問(wèn)題。通過(guò)圖6 的抓包信息可以看到，VxLAN 協(xié)議中存在Flags、Reserved、VNI 等字段信息，VxLAN Network Identifier 信息是為了給不同租戶(hù)分配標(biāo)識(shí)做到租戶(hù)隔離，每個(gè)租戶(hù)的標(biāo)識(shí)都是唯一的，F(xiàn)lags 為VxLAN 的標(biāo)志位，第一個(gè)Reserved 為保留位，后一個(gè)Reserved 為保留字段。

圖6 V 廠商隧道技術(shù)抓包信息

4.3 NvGRE over IPSec

NvGRE 只實(shí)現(xiàn)了租戶(hù)隔離的隧道化功能，沒(méi)有解決加密問(wèn)題。H 廠商主推NvGRE over IPSec方案，就是將NvGRE 的報(bào)文封裝在 IPSec 報(bào)文中。由于NvGRE 是明文報(bào)文，在網(wǎng)絡(luò)傳輸不安全，通過(guò)IPSec transport 模式，可以實(shí)現(xiàn)加密傳輸，保證私密性。使用NvGRE 的原因和VxLAN 大致相同，也是為了解決IPSec tunnel 模式下，實(shí)現(xiàn)租戶(hù)隔離需消耗大量計(jì)算資源的問(wèn)題，同時(shí)，也解決了單NvGRE 隧道下無(wú)法做到安全加密的問(wèn)題。但NvGRE 相與VxLAN 相比存在一點(diǎn)不足，NvGRE封裝包頭采用的是GRE 協(xié)議，許多網(wǎng)絡(luò)設(shè)備和防火墻無(wú)法對(duì)GRE 頭部進(jìn)行處理，所以NvGRE 協(xié)議不支持負(fù)載均衡功能，而VxLAN 使用的協(xié)議是UDP，天然地支持網(wǎng)絡(luò)負(fù)載均衡。H 廠商隧道技術(shù)抓包信息如圖7 所示，在NvGRE over IPSec協(xié)議中，IPSec 隧道使用了協(xié)議ESP，包含ESP SPI、ESP Sequence（ESP 序列），SPI 是用來(lái)確定唯一的安全聯(lián)盟、Sequence 是為了保護(hù)接收側(cè)防止受到攻擊。ESP 的尾部字段padding 用來(lái)隱藏加密數(shù)據(jù)的真實(shí)長(zhǎng)度，padlength 代表需要填充的字節(jié)數(shù)，Next Header 表示下一個(gè)被加密的頭部數(shù)據(jù)類(lèi)型。NvGRE 中的Checksum 表示GRE 報(bào)文中所有數(shù)據(jù)的校驗(yàn)和通常置零不用，Sequence Number表示數(shù)據(jù)包的序號(hào)也在NvGRE 報(bào)文中置零不用，Key 表示密鑰信息，一般置1 表示包含VSID，另外還包括版本號(hào)、數(shù)據(jù)協(xié)議類(lèi)型，再使用24 bit的虛擬子網(wǎng)標(biāo)識(shí)符來(lái)標(biāo)記NvGRE 網(wǎng)絡(luò)。

圖7 H 廠商隧道技術(shù)抓包信息

4.4 SSL

D 廠商采用SSL 技術(shù)實(shí)現(xiàn)SD-WAN。但是SSL主要在網(wǎng)頁(yè)的應(yīng)用上使用得較多，功能和多租戶(hù)隔離方面的能力較弱，能否完美支持未來(lái)SD-WAN的POP 點(diǎn)組網(wǎng)模式，值得商榷。SSL 不支持多VPN業(yè)務(wù)隔離，只具備加密功能，如果需要多租戶(hù)，必須使用SSL 多進(jìn)程，對(duì)租戶(hù)隔離的支持能力較弱。D 廠商隧道技術(shù)抓包信息如圖8 所示，從圖8 的抓包信息可以看到，SSL 協(xié)議內(nèi)部使用了TLS 協(xié)議，消息兩端的加密通過(guò)非對(duì)稱(chēng)或公鑰加密算法，協(xié)商過(guò)程非常安全，無(wú)法被監(jiān)聽(tīng)者觀察。

圖8 D 廠商隧道技術(shù)抓包信息

4.5 方案比較

SD-WAN 各廠商使用的隧道及加密技術(shù)比較見(jiàn)表1。

對(duì)于SD-WAN 場(chǎng)景下的隧道/加密技術(shù)，目前主流廠商采用的技術(shù)中最優(yōu)的方案是C 廠商的私有化IPSec 技術(shù)，私有的IPSec 技術(shù)滿(mǎn)足隧道、加密支持業(yè)務(wù)隔離，配置復(fù)雜性低、報(bào)文開(kāi)銷(xiāo)小，支持負(fù)載均衡，但是由于C 廠商為私有協(xié)議，無(wú)法全面地在其他廠商中全面兼容使用，希望C 廠商私有IPSec 技術(shù)能成為國(guó)際標(biāo)準(zhǔn)組織的標(biāo)準(zhǔn)，實(shí)現(xiàn)大規(guī)模推廣。退而求其次，V 廠商的VxLAN over IPSec 技術(shù)是隧道技術(shù)的次優(yōu)方案，由于采用了標(biāo)準(zhǔn)技術(shù)，它能在所有的廠商中進(jìn)行推廣，既滿(mǎn)足了數(shù)據(jù)加密和租戶(hù)隔離的功能，也能解決NvGRE 隧道存在的負(fù)載均衡問(wèn)題，但封裝機(jī)制較為復(fù)雜，相較于C 廠商的私有IPSec 技術(shù)，VxLAN over IPSec 技術(shù)配置復(fù)雜性較高，報(bào)文開(kāi)銷(xiāo)一般但比私有IPSec 技術(shù)開(kāi)銷(xiāo)要大，多出20 bit 的開(kāi)銷(xiāo)。與VxLAN over IPSec 技術(shù)相比，由于NvGRE over IPSec 技術(shù)的NvGRE 特性不支持負(fù)載均衡，為了實(shí)現(xiàn)負(fù)載均衡需要使用多個(gè)IP 地址，增加了網(wǎng)絡(luò)地址的額外開(kāi)銷(xiāo)。SSL 隧道技術(shù)不支持業(yè)務(wù)隔離，需要通過(guò)開(kāi)啟多進(jìn)程手段實(shí)現(xiàn)業(yè)務(wù)隔離，并且SSL 隧道技術(shù)更適用于Web 應(yīng)用，所以也不建議推廣適用。

表1 SD-WAN 各廠商使用的隧道及加密技術(shù)比較

5 SD-WAN 組網(wǎng)模式

目前，上海電信SD-WAN 組網(wǎng)包括POP 點(diǎn)組網(wǎng)和點(diǎn)對(duì)點(diǎn)直接組網(wǎng)兩種方式。主流廠商中的H廠商、V 廠商、C 廠商是主推互聯(lián)網(wǎng)點(diǎn)對(duì)點(diǎn)組網(wǎng)，由于市場(chǎng)選擇改進(jìn)使用POP 點(diǎn)的組網(wǎng)方式，而D廠商和S 廠商主要使用POP 點(diǎn)的組網(wǎng)。

5.1 SD-WAN POP 點(diǎn)組網(wǎng)方式

POP 點(diǎn)組網(wǎng)示意圖如圖9 所示。POP 點(diǎn)組網(wǎng)方式采用分段隧道化，POP 點(diǎn)與POP 點(diǎn)之間由MPLS-VPN 建立專(zhuān)用通道，底層使用的是覆蓋范圍、網(wǎng)絡(luò)容量、業(yè)務(wù)能力各項(xiàng)指標(biāo)最強(qiáng)的網(wǎng)絡(luò)——中國(guó)電信CN2 骨干網(wǎng)。

POP 點(diǎn)的組網(wǎng)過(guò)程中，在POP 點(diǎn)與POP 點(diǎn)之間使用MPLS 進(jìn)行傳送，由于MPLS-VPN 通道的封閉性，使傳輸過(guò)程中不需要使用額外的加密技術(shù)。此外，POP 點(diǎn)之間的MPLS 使用Full-Mesh 的結(jié)構(gòu)，資源消耗較少，F(xiàn)ull-Mesh結(jié)構(gòu)只需要配置一次RT 值就可以實(shí)現(xiàn)導(dǎo)入導(dǎo)出、配置簡(jiǎn)化，每增加/減少一個(gè)用戶(hù)不需改變underlay 網(wǎng)絡(luò)的配置，underlay 網(wǎng)絡(luò)只需初始配置，能減少配置量。

DCI 網(wǎng)絡(luò)中采用MPLS-VPN 建立的專(zhuān)用封閉大通道，沒(méi)有必要做加密處理，可以去掉IPSec封裝，使用的MPLS 標(biāo)簽，網(wǎng)絡(luò)資源開(kāi)銷(xiāo)較小，無(wú)須額外的資源來(lái)對(duì)tunnel 進(jìn)行加密/解密，計(jì)算量大幅減少。

與SD-WAN 互聯(lián)網(wǎng)廠商的DCI 網(wǎng)絡(luò)相比，跨地域SD-WAN 線路的質(zhì)量?jī)?yōu)勢(shì)明顯。POP 點(diǎn)的組網(wǎng)可以使用POP 點(diǎn)雙掛方案，通過(guò)雙上聯(lián)解決設(shè)備冗余性問(wèn)題。

圖9 POP 點(diǎn)組網(wǎng)示意圖

5.2 SD-WAN Internet 點(diǎn)對(duì)點(diǎn)方式

點(diǎn)對(duì)點(diǎn)技術(shù)直接在兩個(gè)終端之間進(jìn)行加密實(shí)現(xiàn)內(nèi)部傳輸，缺點(diǎn)是在underlay 網(wǎng)絡(luò)上，基于Internet 跨地址的傳輸質(zhì)量無(wú)法保證，點(diǎn)對(duì)點(diǎn)技術(shù)適合用戶(hù)節(jié)點(diǎn)較少、網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單的場(chǎng)景，在多終端場(chǎng)景下配置較復(fù)雜。點(diǎn)對(duì)點(diǎn)組網(wǎng)方式示意圖如圖10 所示。

圖10 點(diǎn)對(duì)點(diǎn)組網(wǎng)方式示意圖

5.3 SD-WAN 引流技術(shù)

目前可實(shí)現(xiàn)的POP 點(diǎn)方案解決了點(diǎn)對(duì)點(diǎn)方案中Internet 跨地域網(wǎng)絡(luò)質(zhì)量無(wú)法保證的問(wèn)題，缺點(diǎn)在于需分段配置，用戶(hù)側(cè)和POP 點(diǎn)之間、POP 點(diǎn)與POP 點(diǎn)之間需要兩次3 段配置，單獨(dú)配3 段overlay 工作量較大。為了將這3 段配置簡(jiǎn)化為1 次配置，建議進(jìn)一步開(kāi)發(fā)引入定向引流技術(shù)，實(shí)現(xiàn)一次性配置能跨越POP 點(diǎn)全程開(kāi)通的功能，保留POP 點(diǎn)DCI MPLS VPN 通道的同時(shí)，使用IPSec或者NvGRE 隧道完成端到端配置的下發(fā)。引流技術(shù)可以使用多層頭部，即多層隧道、多次封裝實(shí)現(xiàn)。

首先，在隧道外層封裝到POP 點(diǎn)的IP 地址，在第二層內(nèi)部封裝租戶(hù)的信息，實(shí)現(xiàn)租戶(hù)隔離。通過(guò)識(shí)別外層的頭部IP 信息從用戶(hù)側(cè)到達(dá)第一個(gè)POP 點(diǎn)之后，替換外部隧道頭部IP 地址內(nèi)容，內(nèi)層內(nèi)容保持不變，仍舊能實(shí)現(xiàn)租戶(hù)隔離，將外層頭部IP 地址替換為下一個(gè)POP 點(diǎn)的地址，用來(lái)實(shí)現(xiàn)到下一個(gè)POP 點(diǎn)的尋址轉(zhuǎn)發(fā)，到達(dá)最后一個(gè)與用戶(hù)目的地址直連的POP 點(diǎn)后，通過(guò)內(nèi)層的IP地址，找到用戶(hù)目的設(shè)備。通過(guò)引流技術(shù)可以簡(jiǎn)化多個(gè)POP 點(diǎn)之間的配置，大大減少了配置的工作量。也可以使用segment routing（分段路由）、flowspec 等技術(shù)解決接入側(cè)的引流問(wèn)題。

6 結(jié)束語(yǔ)

就目前網(wǎng)絡(luò)組網(wǎng)方案的發(fā)展現(xiàn)狀來(lái)說(shuō)，SD-WAN 已形成了替代中低端專(zhuān)線業(yè)務(wù)的趨勢(shì)。從2019 年起，上海電信在SD-WAN 相關(guān)領(lǐng)域技術(shù)進(jìn)行了研究和探索，并實(shí)現(xiàn)了規(guī)?；逃媒M網(wǎng)。通過(guò)比較發(fā)現(xiàn)，在SD-WAN 隧道技術(shù)方面C 廠商的私有化IPSec 技術(shù)具有優(yōu)勢(shì)，但在還未實(shí)現(xiàn)標(biāo)準(zhǔn)化的前提下，現(xiàn)階段無(wú)法跨廠商推廣，其他廠商可優(yōu)先選擇VxLAN over IPSec 技術(shù)。SD-WAN POP 點(diǎn)組網(wǎng)方式中，現(xiàn)有的解決方案中配置量和工作量較大，可以結(jié)合引流方案通過(guò)多層頭部、多次封裝來(lái)進(jìn)行優(yōu)化，端到端的一次配置經(jīng)由POP 點(diǎn)轉(zhuǎn)發(fā)。與互聯(lián)網(wǎng)廠商相比，電信運(yùn)營(yíng)商具有overlay 和underlay 兼顧的監(jiān)控維護(hù)優(yōu)勢(shì)。相信在不久的將來(lái)，在運(yùn)營(yíng)商和廠商的實(shí)踐努力下，SD-WAN 的相關(guān)標(biāo)準(zhǔn)會(huì)更加完善，為用戶(hù)打造更好的服務(wù)。由于多云融合的推進(jìn)，公有云、私有云、混合云的開(kāi)放接入，SD-WAN 可以有更多與云服務(wù)對(duì)接的機(jī)會(huì)，相信云計(jì)算和IDC 網(wǎng)絡(luò)之間會(huì)有更深入的融合。在面對(duì)企業(yè)用戶(hù)日益增長(zhǎng)的新需求（如視頻會(huì)議優(yōu)化、國(guó)際加速業(yè)務(wù)、網(wǎng)絡(luò)直播視頻等），SD-WAN 會(huì)有更加精準(zhǔn)的網(wǎng)絡(luò)服務(wù)解決方案。