李順 曹景鎮(zhèn) 張琰 喬巖

摘要：隨著5G、通信云的發(fā)展，運(yùn)營商向著協(xié)議、設(shè)備簡化以及網(wǎng)絡(luò)架構(gòu)簡化的目標(biāo)部署了一張新的承載網(wǎng)絡(luò)。采用多種邊緣設(shè)備，實(shí)現(xiàn)5G、家庭寬帶、大客戶、通信云等業(yè)務(wù)的融合承載。構(gòu)建智能化、自動化、開放化的網(wǎng)絡(luò)管控系統(tǒng)，實(shí)現(xiàn)端到端業(yè)務(wù)的自動開通，支撐智能化運(yùn)維和互聯(lián)網(wǎng)化運(yùn)營，提升用戶體驗(yàn)。專線客戶業(yè)務(wù)將是此網(wǎng)絡(luò)重要的承載對象。

關(guān)鍵字：EVPN;VXLAN;SDN;VPWS;VPLS;專線

一、EVPN原理

1.1 EVPN技術(shù)背景

隨著移動、固網(wǎng)和互聯(lián)網(wǎng)業(yè)務(wù)的高速發(fā)展，MPLS VPN技術(shù)在廣域網(wǎng)中得到成熟的商用，然而隨著VPLS、VPWS等MPLS L2VPN業(yè)務(wù)在專線客戶中的廣泛部署以及業(yè)務(wù)數(shù)量的不斷增加，其不足之處也日益突顯，網(wǎng)絡(luò)中存在的幾個問題及網(wǎng)絡(luò)新需求需要解決：

1）Redundancy Requirements，VPLS/VPWS CE多歸場景，只能支持單活，需要支持多活。

2）Fast Convergence，傳統(tǒng)的MAC/ARP學(xué)習(xí)沒有控制平面，AC down即使用LDP發(fā)消息撤銷遠(yuǎn)端PE相關(guān)的MAC，撤銷速度和MAC數(shù)量有關(guān)，收斂速度慢。

3）Flood Suppression，大量的洪范報文占用網(wǎng)絡(luò)資源，需要將洪范限制在本地。

4）H-VPLS NPE設(shè)備保存所有UPE上的MAC壓力大。

而以太網(wǎng)VPN（Ethernet Virtual Private Network，簡稱EVPN）應(yīng)運(yùn)而生，它通過擴(kuò)展MP-BGP協(xié)議來傳遞網(wǎng)絡(luò)節(jié)點(diǎn)的MAC和ARP等信息，通過生成的MAC表項(xiàng)和路由表項(xiàng)進(jìn)行二/三層報文轉(zhuǎn)發(fā)，以實(shí)現(xiàn)廣域網(wǎng)互聯(lián)的目的。

1.2 EVPN原理

EVPN（Ethernet Virtual Private Network）是一種二層網(wǎng)絡(luò)互聯(lián)VPN技術(shù)，EVPN引入了控制平面與數(shù)據(jù)平面分離的概念。通過建立MP-BGP鄰居來傳遞二層網(wǎng)絡(luò)間的MAC/ARP/路由信息，通過生成的地址轉(zhuǎn)發(fā)表項(xiàng)進(jìn)行二層或者三層報文轉(zhuǎn)發(fā)。且單一EVPN控制平面對應(yīng)多種數(shù)據(jù)平面：VXLAN、MPLS和PBB，不同的數(shù)據(jù)平面封裝具備不同的優(yōu)劣勢。EVPN擴(kuò)展BGP協(xié)議以支持新的業(yè)務(wù)，實(shí)現(xiàn)了MPLS L2VPN與L3VPN的統(tǒng)一。

EVPN網(wǎng)絡(luò)和BGP/MPLS IP VPN的網(wǎng)絡(luò)結(jié)構(gòu)相似，為了實(shí)現(xiàn)各個Site之間的互通，骨干網(wǎng)上的PE設(shè)備上建立EVPN實(shí)例并接入各個Site的CE設(shè)備，同時各個PE之間建立的鄰居關(guān)系以及LDP隧道。但是EVPN網(wǎng)絡(luò)與BGP/MPLS VPN網(wǎng)絡(luò)的不同之處在于各個Site內(nèi)是二層網(wǎng)絡(luò)，因此PE從各個CE學(xué)習(xí)到的是MAC地址而不是路由，PE通過EVPN特有的路由類型將自己從CE學(xué)習(xí)到MAC地址轉(zhuǎn)發(fā)到其他Site。

1.3 EVPN技術(shù)特點(diǎn)

EVPN繼承了MP-BGP和VXLAN的優(yōu)勢。具有如下特點(diǎn)：

1）簡化配置：通過MP-BGP實(shí)現(xiàn)VTEP自動發(fā)現(xiàn)、VXLAN隧道自動建立、VXLAN隧道與VXLAN自動關(guān)聯(lián)，無需用戶手工配置，降低網(wǎng)絡(luò)部署難度。

2）分離控制平面與數(shù)據(jù)平面：控制平面負(fù)責(zé)發(fā)布路由信息，數(shù)據(jù)平面負(fù)責(zé)轉(zhuǎn)發(fā)報文，分工明確，易于管理。

3）支持多歸屬：當(dāng)同一個站點(diǎn)通過多臺VTEP接入VXLAN網(wǎng)絡(luò)時，連接該站點(diǎn)的多條路徑均可以進(jìn)行流量轉(zhuǎn)發(fā)，以提高網(wǎng)絡(luò)帶寬利用率。

4）支持對稱IRB（Integrated Bridging and Routing，集成的橋接和路由）：MP-BGP同時發(fā)布二層MAC地址和三層路由信息，VTEP既可以進(jìn)行二層轉(zhuǎn)發(fā)，也可以進(jìn)行三層路由。這樣，不僅可以保證流量采用最優(yōu)路徑轉(zhuǎn)發(fā)，還可以減少廣播流量。

二、EVPN基本功能

BGP EVPN鄰居建立

BGP新定義evpn子地址族（AFI=25，SAFI=70）用于協(xié)商bgp evpn鄰居消息，一般分為iBGP和eBGP兩種：

在部署iBGP時，為簡化全連接配置，可以引入RR路由反射器，所有PE設(shè)備都只和RR建立BGP對等體關(guān)系。RR發(fā)現(xiàn)并接收某PE設(shè)備發(fā)起的BGP連接后形成Client列表，將從其收到的路由反射給其他所有的PE設(shè)備。

在部署eBGP時，BGP會自動將從eBGP鄰居收到的EVPN消息發(fā)送給其他eBGP和iBGP鄰居。

BGP通告MAC/ARP

EVPN在控制面學(xué)習(xí)MAC和ARP信息，站點(diǎn)的MAC和ARP信息是通過EVPN MAC/IP路由通告的，因此在EVPN網(wǎng)絡(luò)中無須將ARP請求泛洪到網(wǎng)絡(luò)中。

MAC Mobility

MAC地址遷移是指主機(jī)從其接入的PE設(shè)備遷到EVPN網(wǎng)絡(luò)的另一臺PE設(shè)備下。新遷移到的PE設(shè)備會重新感知到主機(jī)上線，會重新通告該MAC/IP路由，此路由跟遷移前通告的MAC/IP路由的區(qū)別在于在BGP update消息中攜帶了一種新的擴(kuò)展團(tuán)體：MAC Mobility擴(kuò)展團(tuán)體。

ARP/ND Proxy

為了避免廣播發(fā)送的ARP/ND請求報文占用核心網(wǎng)絡(luò)帶寬，PE根據(jù)從BGP收到的EVPN 2類路由在本地建立ARP/ND緩存表項(xiàng)。后續(xù)當(dāng)PE收到本站點(diǎn)內(nèi)請求其它站點(diǎn)MAC地址的ARP/ND請求時，優(yōu)先根據(jù)本地存儲的ARP/ND表項(xiàng)進(jìn)行代理回應(yīng)。如果沒有對應(yīng)的表項(xiàng)，則將ARP/ND請求泛洪到核心網(wǎng)。ARP/ND泛洪抑制功能可以大大減少ARP/ND泛洪的次數(shù)。

EVPN單播報文轉(zhuǎn)發(fā)過程

當(dāng)PE學(xué)習(xí)到其他站點(diǎn)的MAC地址且公網(wǎng)隧道建立成功后，則可以向其他站點(diǎn)傳輸單播報文，其具體傳輸過程如下：

1.CE1將單播報文以二層轉(zhuǎn)發(fā)的方式發(fā)送至PE1;

2.PE1先為單播報文封裝上EVPN Label，再封裝上公網(wǎng)MPLS LSP Label，再先后封裝PE1的MAC地址和PE2的MAC地址。然后將封裝后的單播報文發(fā)送至PE2;

3.PE2收到封裝后的單播報文后，將進(jìn)行解封裝，并根據(jù)EVPN Label將單播報文發(fā)送至對應(yīng)EVPN的站點(diǎn)。

EVPN BUM報文轉(zhuǎn)發(fā)過程

在EVPN中，Broadcast、Unknown-unicast、Muticast三種報文處理是一樣的，統(tǒng)稱為BUM轉(zhuǎn)發(fā)。常用的BUM轉(zhuǎn)發(fā)復(fù)制方式有：

1）入口復(fù)制MP2P，在頭節(jié)點(diǎn)將BUM報文復(fù)制到每條P2P的單播隧道中，適用于輕負(fù)載場景。

2）逐跳復(fù)制P2MP，需要建立P2MP的隧道，中間設(shè)備維護(hù)P2MP隧道狀態(tài)，適用于BUM負(fù)載大的場景。

當(dāng)PE設(shè)備間的EVPN鄰居關(guān)系建立成功后，EVPN鄰居間會相互發(fā)送RT-3 泛指組播路由，根據(jù)RT-3路由中的RT屬性感知建立EVPN實(shí)例PE之間的可達(dá)信息，并分配BUM標(biāo)簽。BUM標(biāo)簽由報文接收方分配，到不同PE間的BUM標(biāo)簽不同。若PE設(shè)備配置了ESI則報文接收方還會分配ESI標(biāo)簽。BUM報文轉(zhuǎn)發(fā)過程如下：

1.CE1將BUM報文發(fā)送至PE1;

2.由PE1向?qū)儆谕籈VPN的遠(yuǎn)端PE2、PE3逐個發(fā)送BUM報文。即PE1將BUM報文復(fù)制成兩份，每份報文將先后封裝上EVPN BUM Label、公網(wǎng)LDP LSP Label，再先后封裝PE設(shè)備的源目MAC地址，然后發(fā)送給遠(yuǎn)端PE;

3.PE2和PE3收到BUM報文后，將對報文解封裝并根據(jù)EVPN BUM Label將BUM報文發(fā)送至對應(yīng)EVPN的站點(diǎn)。

在CE多歸場景中，配置ES的PE設(shè)備之間發(fā)送BUM報文時，根據(jù)水平分割原理，BUM報文會還會封裝上EVPN ESI Label，防止傳輸BUM報文過程中出現(xiàn)環(huán)路。

EVPN端口接入模式

EVPN端口接入模式和傳統(tǒng)的L2VPN端口接入模式基本一致，有四種接入方式。

1.Port Base Service Interface：基于端口的以太網(wǎng)業(yè)務(wù)，該類型業(yè)務(wù)只有1個BD。

2.VLAN Base Servicel Interface：基于單個VLAN的以太網(wǎng)業(yè)務(wù)，以太網(wǎng)業(yè)務(wù)針對物理端口+VLAN，該端口對應(yīng)的單個VLAN的報文被接收并轉(zhuǎn)發(fā)，該類型業(yè)務(wù)只有1個BD。

3.VLAN Bundling Service Interface：基于VLAN范圍的以太網(wǎng)業(yè)務(wù)，一個EVI中，對應(yīng)的AC可綁定多個VLAN，即VLAN范圍，但只有1個BD廣播域和MAC轉(zhuǎn)發(fā)表，要求每個VLAN下不能有相同的MAC。

4.VLAN Aware Bundling Service Interface：一個EVI中，對應(yīng)的AC可綁定多個VLAN，每VLAN每BD，有多個MAC轉(zhuǎn)發(fā)表，這樣一來，每個VLAN下可以有相同的MAC。

三、EVPN在專線中的應(yīng)用

EVPN的ES機(jī)制CE多歸，支持單活和多活的冗余模式，替代復(fù)雜的DNI-PW方案;在 EVPN跨域的情況下，ASBR設(shè)備上部署B(yǎng)GP傳遞EAD路由策略，不需要針對業(yè)務(wù)配置。部署SR-Policy，使用color將VPN業(yè)務(wù)的服務(wù)質(zhì)量和隧道SR關(guān)聯(lián)。color信息隨EAD路由傳遞，方便實(shí)現(xiàn)域內(nèi)的SR隧道的資源預(yù)留，保證SLA。SR Tunnel分段部署，域內(nèi)控制器根據(jù)color信息進(jìn)行資源分配創(chuàng)建SR隧道。

專線客戶在EVPN中開通的業(yè)務(wù)主要分為三類：VPWS、E-Tree、L3VPN。

1.VPWS：EVPN擴(kuò)展支持VPWS功能，EVPN VPWS通過EAD per EVI路由通告AC、VLAN/VNI信息創(chuàng)建VPWS。攜帶L2擴(kuò)展團(tuán)體屬性標(biāo)識主備、MTU和控制字。EVPN VPWS同樣支持CE雙歸PE，提供保護(hù)路徑或者ECMP，能靈活控制業(yè)務(wù)經(jīng)過的PE設(shè)備。EVPN鄰居利用BGP的反射器不需要Full-mesh的鄰居配置，特別在MSPW的SPE節(jié)點(diǎn)上可以減少對業(yè)務(wù)的配置。

2.E-Tree：EVPN同時擴(kuò)展了E-Tree功能，可以指定root屬性和leaf屬性，并制定過濾原則。E-Tree過濾原則是root 可以跟root/leaf互通，leaf只能跟root互通。Leaf屬性粒度可以基于PE、AC或者M(jìn)AC地址。

對于單播流量有兩種過濾方式：

A. 針對單播MAC轉(zhuǎn)發(fā)，PE1通過RT-2路由攜帶Leaf flag屬性到PE2，流量在入口PE2進(jìn)行l(wèi)eaf過濾。

B. EVI中針對leaf和root角色配置不同的Route-target，控制leaf的RT-2不導(dǎo)入到全leaf Site的EVI。

EVPN路由中如下RT屬性，Leaf指示符用于單播業(yè)務(wù)流過濾，Leaf標(biāo)簽則用于BUM業(yè)務(wù)流過濾。組播流量通過EAD-per-ES路由攜帶E-Tree，有效字段是leaf標(biāo)簽，在出口PE進(jìn)行過濾。報文攜帶leaf標(biāo)簽標(biāo)示表示它來自于遠(yuǎn)端Leaf Site，不能發(fā)往本地的Leaf Site。為了解決BUM流量Root和Leaf之間上下行流量異構(gòu)的問題（如下行P2MP方式，上行P2P方式），引入了下面兼容的PMSI屬性。

3.L3VPN：EVPN不僅支持L2VPN，同時還支持L3VPN功能，這樣使得L2業(yè)務(wù)和L3業(yè)務(wù)可以共享一個BGP EVPN鄰居。針對不同的應(yīng)用場景，可以使用不同的L3VPN EVPN技術(shù)。

3.1 對稱性IRB

為實(shí)現(xiàn)跨子網(wǎng)的通信，RT2（MAC/IP Advertisement Route）通告MAC+IP時可以攜帶二層和三層信息，如標(biāo)簽和Route-Target信息。路由接收端根據(jù)該信息生產(chǎn)二層私網(wǎng)表項(xiàng)和三層私網(wǎng)主機(jī)路由表。三層私網(wǎng)主機(jī)路由用于跨子網(wǎng)的轉(zhuǎn)發(fā)。該場景同樣能支持CE的多歸，擴(kuò)展定義Ethernet A-D per EVI route可以同時攜帶二層和三層信息，如標(biāo)簽和Route-Target信息。三層私網(wǎng)主機(jī)路由同樣可以依賴ES進(jìn)行快速收斂和Aliasing。

流量轉(zhuǎn)發(fā)至PE1，通過IRB接口橋接MAC-VRF和VRF表，PE1查三層私網(wǎng)主機(jī)路由表，并封裝三層標(biāo)簽后發(fā)送給PE3，PE3通過標(biāo)簽獲取L3VPNID然后查VRF路由表，ARP出口是IRB口，則橋接至二層出口轉(zhuǎn)發(fā)數(shù)據(jù)。

我們可以看到一次完整請求的來回路徑是一樣的，路由接收方PE1和路由發(fā)布方PE3都是路由查找，所以這種模式被稱為對稱IRB（Symmetric IRB）。

3.2 非對稱性IRB

對稱模型需要RT2等路由發(fā)布時攜帶三層標(biāo)簽，而非對稱模型不需要三層標(biāo)簽信息。數(shù)據(jù)轉(zhuǎn)發(fā)至路由接收方PE1，PE1通過路由查找，直接從arp表里獲取用戶MAC，并且發(fā)現(xiàn)出口是IRB口，查下一跳MAC表獲取二層標(biāo)簽，封裝報文，發(fā)送給路由發(fā)送方PE3，PE3通過二層標(biāo)簽獲取L2VPNID，直接查mac表轉(zhuǎn)發(fā)。

我們可以看到一次完整請求的來回路徑不一樣，路由接收方PE1做路由轉(zhuǎn)發(fā)，路由發(fā)送方PE3做mac轉(zhuǎn)發(fā)，所以這種模式被稱為非對稱路由（Asymmetric IRB）。

四、總結(jié)分析

EVPN通過擴(kuò)展BGP協(xié)議使二層網(wǎng)絡(luò)間的MAC地址學(xué)習(xí)和發(fā)布過程從數(shù)據(jù)平面轉(zhuǎn)移到控制平面。與BGP/MPLS VPN相比，在CE多歸場景，EVPN通過控制面BGP路由收斂，達(dá)到快速收斂的效果;故障時收斂速度與MAC地址數(shù)量無關(guān);控制和轉(zhuǎn)發(fā)的分離使EVPN與SDN無縫整合，為未來自動化運(yùn)維署奠定了基礎(chǔ)。

EVPN技術(shù)還完美解決如下問題：

1）EVPN通過擴(kuò)展BGP協(xié)議使二層網(wǎng)絡(luò)間的MAC地址學(xué)習(xí)和發(fā)布過程從數(shù)據(jù)面轉(zhuǎn)移到了控制面。這樣可以使設(shè)備用管理路由的方式來管理MAC地址，從而實(shí)現(xiàn)目的MAC相同但下一跳不同的多條EVPN路由，達(dá)到負(fù)載分擔(dān)的目的，實(shí)現(xiàn)ECMP。

2）EVPN網(wǎng)絡(luò)中的PE設(shè)備之間通過BGP協(xié)議實(shí)現(xiàn)相互通信，即EVPN可以利用BGP的反射器，通過路由反射器來反射EVPN路由，避免PE設(shè)備之間BGP鄰居的Full-mesh協(xié)議會話，將二層網(wǎng)絡(luò)和三層網(wǎng)絡(luò)統(tǒng)一在相同的控制平面，大大降低了網(wǎng)絡(luò)復(fù)雜度，減少網(wǎng)絡(luò)信令數(shù)量。

3）EVPN PE設(shè)備的ARP Proxy功能，可抑制洪范，關(guān)閉未知單播。PE設(shè)備通過ARP協(xié)議和MAC地址通告路由分別學(xué)習(xí)本地和遠(yuǎn)端的MAC地址信息以及其對應(yīng)的IP地址，并將這些信息緩存至本地。當(dāng)PE設(shè)備再收到其他ARP請求時，將先根據(jù)ARP請求報文中的目的IP地址查找本地緩存代答表，如果查到對應(yīng)信息，則PE直接返回ARP響應(yīng)報文，避免ARP請求向其他PE廣播，減少網(wǎng)絡(luò)資源消耗。