張屆新，吳志明

（中國電信股份有限公司上海分公司，上海 200120）

基于VxLAN組網(wǎng)的云數(shù)據(jù)中心互聯(lián)方案

張屆新，吳志明

（中國電信股份有限公司上海分公司，上海 200120）

從VxLAN技術(shù)實現(xiàn)現(xiàn)狀、云數(shù)據(jù)中心底層承載網(wǎng)絡(luò)現(xiàn)狀等維度，多視角地對基于VxLAN組網(wǎng)的云數(shù)據(jù)中心之間的互聯(lián)互通方案進行了研究與測試驗證，并分析了各種方案的優(yōu)缺點及適用場景。通過本文的研究，以期為運營商的云數(shù)據(jù)中心發(fā)展提供相關(guān)技術(shù)參考。

云數(shù)據(jù)中心；MP-BGP EVPN；overlay；VxLAN

1 引言

作為一種具有高擴展、高冗余、支持大二層組網(wǎng)的overlay（疊加網(wǎng)）網(wǎng)絡(luò)技術(shù)，VxLAN（virtual extensible local area network）越來越多地應(yīng)用到電信運營商以及互聯(lián)網(wǎng)服務(wù)商的云數(shù)據(jù)中心中，以實現(xiàn)系統(tǒng)容量和邏輯通道的擴展、網(wǎng)絡(luò)的高效自愈、面向云的端到端網(wǎng)絡(luò)運維效率提高以及跨廣域網(wǎng)的二層可靠互聯(lián)。

隨著基于VxLAN技術(shù)組網(wǎng)的云數(shù)據(jù)中心建設(shè)日益增多，這些云數(shù)據(jù)中心之間實現(xiàn)互聯(lián)互通以滿足虛擬機遷移、災(zāi)備等業(yè)務(wù)需求的工作凸顯緊迫且重要。

本文結(jié)合VxLAN的技術(shù)、設(shè)備實現(xiàn)現(xiàn)狀、云數(shù)據(jù)中心互聯(lián)的底層網(wǎng)絡(luò)現(xiàn)狀等信息，對基于VxLAN組網(wǎng)的云數(shù)據(jù)中心之間互聯(lián)互通方案進行了研究與驗證。同時，云數(shù)據(jù)中心之間多節(jié)點互聯(lián)，包括業(yè)務(wù)網(wǎng)絡(luò)互聯(lián)和存儲網(wǎng)絡(luò)互聯(lián)等。本文主要探討云數(shù)據(jù)中心之間的業(yè)務(wù)網(wǎng)絡(luò)互聯(lián)方案。

2 VxLAN云數(shù)據(jù)中心互聯(lián)方案

基于VxLAN構(gòu)建的云數(shù)據(jù)中心之間互聯(lián)方案，按照overlay網(wǎng)絡(luò)及underlay（底層承載）網(wǎng)絡(luò)的技術(shù)實現(xiàn)可以有多種方案。

在overlay網(wǎng)絡(luò)層面，由于IETF RFC7348定義的基于多播實現(xiàn)的VxLAN方案，不僅對現(xiàn)有IP承載網(wǎng)絡(luò)有較高要求，而且不同廠商實現(xiàn)細節(jié)不同，導(dǎo)致異廠商VxLAN設(shè)備互通存在問題[1]，因此，部分廠商提出了基于SDN（software defined networking，軟件定義網(wǎng)絡(luò)）控制器作為 ARP（address resolution protocol，地址解析協(xié)議）代理的VxLAN方案和基于MP-BGP EVPN（multiprotocol border gateway protocol ethernet virtual private network，多協(xié)議邊界網(wǎng)關(guān)協(xié)議—以太虛擬專網(wǎng)）作為控制平面的VxLAN方案。在underlay網(wǎng)絡(luò)層面，可以有二層網(wǎng)絡(luò)和三層網(wǎng)絡(luò)方案。

2.1 SDN控制器作為ARP代理

SDN控制器作為ARP代理的VxLAN云數(shù)據(jù)中心互聯(lián)方案根據(jù)underlay網(wǎng)絡(luò)可以分為二層互聯(lián)和三層互聯(lián)。

2.1.1 二層互聯(lián)

兩個VxLAN云數(shù)據(jù)中心之間通過數(shù)據(jù)中心出口的VxLAN/VLAN雙棧交換機或路由器基于VLAN互聯(lián)。此時，互聯(lián)的VxLAN云數(shù)據(jù)中心之間只有underlay層，基于VLAN實現(xiàn)多節(jié)點互聯(lián)和業(yè)務(wù)轉(zhuǎn)發(fā)。SDN控制器作為ARP代理的VxLAN云數(shù)據(jù)中心通過VLAN二層網(wǎng)絡(luò)互聯(lián)如圖1所示。

如圖1所示，虛擬機通過VLAN方式接入vSwitch（虛擬交換機）。根據(jù)vSwitch對VxLAN的支持能力，VxLAN交換機/路由器分別采用對數(shù)據(jù)透傳（vSwitch支持VxLAN封裝）或基于VxLAN封裝方式（如vSwitch不支持VxLAN封裝而僅支持傳統(tǒng)VLAN封裝）處理vSwitch進入的數(shù)據(jù)。由于目前城域二層網(wǎng)絡(luò)絕大多數(shù)仍然采用傳統(tǒng)局域網(wǎng)組網(wǎng)，僅支持VLAN進行邏輯通道隔離，因此，云數(shù)據(jù)中心的出口VxLAN/VLAN雙棧交換機或路由器將從數(shù)據(jù)中心內(nèi)部接收到的數(shù)據(jù)轉(zhuǎn)換為VLAN封裝，并通過二層網(wǎng)絡(luò)傳送到對端云數(shù)據(jù)中心。對端云數(shù)據(jù)中心則執(zhí)行反向操作。

基于VLAN二層網(wǎng)絡(luò)的VxLAN云數(shù)據(jù)中心互聯(lián)方案實現(xiàn)簡單，不受互聯(lián)的云數(shù)據(jù)中心內(nèi)所采用的具體技術(shù)方案限制，支持任意廠商解決方案的互聯(lián)互通。但是，方案中需要把數(shù)據(jù)中心內(nèi)運行的VxLAN終結(jié)，轉(zhuǎn)換為傳統(tǒng)VLAN后再進行跨節(jié)點互聯(lián)，無法很好地支持跨廣域網(wǎng)的多個云數(shù)據(jù)中心之間大二層互聯(lián)。

由于當前SDN控制器東西向互通性較差[1]，因此，VxLAN云數(shù)據(jù)中心之間通過VLAN互聯(lián)適用于底層網(wǎng)絡(luò)為二層及以下，且各云數(shù)據(jù)中心內(nèi)采用不同廠商的SDN控制器作為控制平面的VxLAN方案組網(wǎng)場景。

2.1.2 三層互聯(lián)

在實際部署中，由于遠距離光纖成本高、VLAN二層網(wǎng)絡(luò)先天的局域網(wǎng)特性等因素限制，云數(shù)據(jù)中心之間大多數(shù)情況下基于IP網(wǎng)絡(luò)實現(xiàn)互聯(lián)互通。此時，VxLAN云數(shù)據(jù)中心之間互聯(lián)，IP網(wǎng)絡(luò)作為underlay層，而VxLAN隧道作為overlay層實現(xiàn)多節(jié)點互聯(lián)及業(yè)務(wù)轉(zhuǎn)發(fā)。SDN控制器作為ARP代理的VxLAN云數(shù)據(jù)中心通過IP網(wǎng)絡(luò)互聯(lián)如圖2所示。

圖1 SDN控制器作為ARP代理的云數(shù)據(jù)中心二層互聯(lián)

目前主流廠商具體技術(shù)實現(xiàn)有一定差異，尤其SDN控制器東西向兼容性較差，異廠商VxLAN交換機/路由器之間直接構(gòu)建VxLAN隧道存在困難。為此，可以利用支持VxLAN功能的vRouter（虛擬路由器）實現(xiàn)異廠商VxLAN交換機/路由器組網(wǎng)的云數(shù)據(jù)中心節(jié)點間VxLAN隧道的建立與互聯(lián)互通，其中，選擇一家廠商的VxLAN vRouter作為虛擬機部署在云數(shù)據(jù)中心節(jié)點的計算資源池內(nèi)，構(gòu)建基于同廠商的VxLAN隧道，規(guī)避異廠商硬件解決方案組網(wǎng)的VxLAN隧道互通性問題。

圖2 SDN控制器作為ARP代理的云數(shù)據(jù)中心通過IP網(wǎng)絡(luò)互聯(lián)

SDN控制器作為ARP代理的VxLAN云數(shù)據(jù)中心通過IP網(wǎng)絡(luò)互聯(lián)具體有兩種實現(xiàn)方式，對IP網(wǎng)絡(luò)有不同的技術(shù)要求。

（1）多播方案[2]

云數(shù)據(jù)中心之間的IP網(wǎng)絡(luò)全程端到端開啟多播或多播VPN。多播方案是最早提出的VxLAN方案，但是，在實施部署時有較大的限制：一是如果采用多播方案，全網(wǎng)開啟多播將帶來城域網(wǎng)流量大幅增加；二是如果采用多播VPN方案，則對城域網(wǎng)IP設(shè)備的技術(shù)要求較高，不僅某些設(shè)備不支持多播VPN功能，而且異廠商設(shè)備之間多播VPN互通也會存在不可預(yù)知的問題。

（2）單播方案

單播方式是利用頭端復(fù)制（head-end replication）功能實現(xiàn)VxLAN互通，2個云數(shù)據(jù)中心的VxLAN vRouter之間配置在同一個peer域內(nèi)，2個VxLAN vRouter之間三層可達即可。單播方案對IP承載網(wǎng)本身沒有額外要求，但對構(gòu)建VxLAN隧道的VxLAN vRouter要求較高：一方面所必須的頭端復(fù)制功能并非所有廠商的VxLAN vRouter都支持，另一方面，VxLAN vRouter作為一種 VNF（virtual network function，虛擬網(wǎng)絡(luò)功能），其性能指標目前與硬件VxLAN交換機有一定差距，同時，與虛擬化平臺性能耦合較緊?？紤]到VNF的性能受虛擬化平臺限制，具體實施時，建議單播方案可以每租戶方式部署VxLAN vRouter。

SDN控制器作為ARP代理的VxLAN云數(shù)據(jù)中心通過IP網(wǎng)絡(luò)互聯(lián)，可以很好地實現(xiàn)跨廣域網(wǎng)的云數(shù)據(jù)中心之間大二層互聯(lián)，同時，由于全程是VxLAN隧道，可以基于每個互聯(lián)端口提供4 000×4 000個二層邏輯實例VNI（VxLAN network identifier，VxLAN網(wǎng)絡(luò)標識）。但是，目前大多數(shù)廠商不支持跨不同SDN控制器部署VxLAN隧道；同時，如采用基于多播的VxLAN技術(shù)實現(xiàn)方案，需要underlay的IP網(wǎng)絡(luò)全程開啟多播或多播VPN，對現(xiàn)網(wǎng)設(shè)備要求較高且需要更改現(xiàn)網(wǎng)配置。

SDN控制器作為ARP代理的VxLAN云數(shù)據(jù)中心通過IP網(wǎng)絡(luò)互聯(lián)，需要各云數(shù)據(jù)中心內(nèi)采用同廠商VxLAN設(shè)備或同廠商VxLAN vRouter組網(wǎng)。其中，多播方案適用于已有IP網(wǎng)絡(luò)已開啟多播或多播VPN功能，且對大流量穿網(wǎng)不敏感的城域網(wǎng)；單播方案需要vRouter支持單播VxLAN功能，當前虛擬化實現(xiàn)性價比較低，因此，單播方案適用于對成本不敏感的電信運營商。

2.2 MP-BGP EVPN作為控制平面

MP-BGP EVPN作為控制平面的VxLAN云數(shù)據(jù)中心互聯(lián)如圖3所示。兩個基于VxLAN組網(wǎng)的云數(shù)據(jù)中心分別部署支持MP-BGP EVPN功能的VxLAN網(wǎng)關(guān)設(shè)備，實現(xiàn)兩方面的功能：一是對內(nèi)，基于VxLAN實現(xiàn)數(shù)據(jù)中心內(nèi)無控制平面的 VxLAN網(wǎng)絡(luò)轉(zhuǎn)換為互通性較好的 EVPN VxLAN；二是對外，基于MP-BGP EVPN通過underlay承載網(wǎng)絡(luò)實現(xiàn)與對端數(shù)據(jù)中心EVPN VxLAN網(wǎng)關(guān)的互聯(lián)互通。

MP-BGP EVPN控制平面實現(xiàn)peer發(fā)現(xiàn)、路由學(xué)習(xí)（包括本地學(xué)習(xí)和遠端學(xué)習(xí)）和分發(fā)、根據(jù)終端接入信息構(gòu)建用戶標識并基于標識進行路由轉(zhuǎn)發(fā)。IETF RFC7432[3]定義MP-BGP EVPN控制平面采用MPLS（multiple protocol label switch，多協(xié)議標簽交換）作為轉(zhuǎn)發(fā)標識，但目前考慮到實現(xiàn)簡單，大多數(shù)廠商采用VNI作為控制平面的二類路由轉(zhuǎn)發(fā)標識。當控制平面根據(jù)MP-BGP建立好路由轉(zhuǎn)發(fā)表后，業(yè)務(wù)流量就可以沿著建立好的路徑進行轉(zhuǎn)發(fā)。

MP-BGP EVPN標準主要由 IETF制定，其中關(guān)于MP-BGP EVPN的二類路由轉(zhuǎn)發(fā)機制有 2個草案，即draft-ietf-bess-evpn-overlay-04[4]和 draft-ietf-bess-evpn-prefixadvertisement-02[5]。兩者的關(guān)鍵區(qū)別在于：前者定義MP-BGP EVPN的二類路由采用內(nèi)、外兩層MPLS標簽標識用戶并進行轉(zhuǎn)發(fā)，而后者只定義了單層MPLS標簽標識并轉(zhuǎn)發(fā)。具體實現(xiàn)而言，這2個草案分別對應(yīng)于MP-BGP EVPN二類路由轉(zhuǎn)發(fā)機制中的對稱轉(zhuǎn)發(fā)和非對稱轉(zhuǎn)發(fā)。

（1）對稱轉(zhuǎn)發(fā)

每個EVPN VRF（virtual routing forwarding，虛擬路由轉(zhuǎn)發(fā)）域內(nèi)都需要設(shè)置一個專門用于路由轉(zhuǎn)發(fā)的專用VNI。當數(shù)據(jù)流進入VRF域，入口EVPN VxLAN網(wǎng)關(guān)將其轉(zhuǎn)發(fā)到專用VNI，再由專用VNI將其路由轉(zhuǎn)發(fā)到出口EVPN VxLAN網(wǎng)關(guān)。因此，對稱轉(zhuǎn)發(fā)將執(zhí)行兩次路由轉(zhuǎn)發(fā)，需要兩層標簽，但不需要VRF中每個VxLAN交換機/路由器都存儲VRF內(nèi)所有VNI信息。因此，減少了VxLAN交換機/路由器的資源消耗，也降低了對VxLAN交換機/路由器硬件性能的要求。

（2）非對稱轉(zhuǎn)發(fā)

EVPN VRF域入口的EVPN VxLAN網(wǎng)關(guān)進行基于VNI-a的全局路由查找和轉(zhuǎn)發(fā)，然后在出口VxLAN交換機/路由器僅執(zhí)行二層轉(zhuǎn)發(fā)。非對稱轉(zhuǎn)發(fā)無需為每個VRF建立一個專用路由的VNI，且只需要一層標簽。但是，非對稱轉(zhuǎn)發(fā)需要VRF中的每個VxLAN交換機/路由器都存儲本VRF中所有VNI信息，對VxLAN交換機/路由器硬件資源消耗較大，對VxLAN交換機/路由器設(shè)備性能要求高。

目前，主流廠商的MP-BGP EVPN VxLAN解決方案基本遵循了這兩個草案，設(shè)備形態(tài)主要是高端交換機和多業(yè)務(wù)路由器兩種。

MP-BGP EVPN作為控制平面的 VxLAN云數(shù)據(jù)中心互聯(lián)方案可以較好地實現(xiàn)跨廣域網(wǎng)的異廠商VxLAN云數(shù)據(jù)中心互聯(lián)，從而實現(xiàn)端到端的VxLAN大二層組網(wǎng)，組網(wǎng)擴展性強，可基于每互聯(lián)端口提供4 000×4 000個二層邏輯通道實例。

圖3 MP-BGP EVPN作為控制平面的云數(shù)據(jù)中心互聯(lián)

3 實驗?zāi)M測試

中國電信股份有限公司上海分公司（以下簡稱上海電信）在2個云數(shù)據(jù)中心搭建了試驗環(huán)境，分別對SDN控制器作為ARP代理的VxLAN云數(shù)據(jù)中心互聯(lián)和MP-BGP EVPN作為控制平面的VxLAN云數(shù)據(jù)中心互聯(lián)方案進行了測試。

（1）SDN控制器作為ARP代理的VxLAN云數(shù)據(jù)中心互聯(lián)測試驗證

如圖4所示，將不同廠商模擬構(gòu)建的云數(shù)據(jù)中心按照第2.1節(jié)方案分別通過二層網(wǎng)絡(luò)和IP網(wǎng)絡(luò)互聯(lián)。2個云數(shù)據(jù)中心的虛擬機可以互相ping通，且可以實現(xiàn)虛擬機實時遷移。

圖4 SDN控制器作為ARP代理的VxLAN云數(shù)據(jù)中心互聯(lián)測試

（2）MP-BGP EVPN作為控制平面的VxLAN云數(shù)據(jù)中心互聯(lián)測試驗證

如圖5所示，不同廠商的VxlAN網(wǎng)絡(luò)分別部署在2個數(shù)據(jù)中心，所有EVPN VxLAN網(wǎng)關(guān)部署在同一個AS（autonomous system，自治域）內(nèi)，并配置一臺路由器作為RR（route reflector，路由反射器）。

圖5 MP-BGP EVPN作為控制平面的云數(shù)據(jù)中心互聯(lián)測試拓撲

測試中，控制平面分別采用MP-BGP二層EVPN和三層EVPN，進行路由學(xué)習(xí)和轉(zhuǎn)發(fā)；數(shù)據(jù)轉(zhuǎn)發(fā)平面分別采用VxLAN隧道和MPLS技術(shù)，驗證了基于MP-BGP EVPN的VxLAN互聯(lián)互通效果。

·從控制平面來看：由于參測廠商參照相同的MP-BGP二層EVPN的2類路由轉(zhuǎn)發(fā)標準，因此，可以實現(xiàn)異廠商VxLAN數(shù)據(jù)中心互通；而由于參測廠商參照不同的MP-BGP三層EVPN的2類路由轉(zhuǎn)發(fā)標準，導(dǎo)致部分廠商無法實現(xiàn)互通。

·從轉(zhuǎn)發(fā)平面來看：只要控制平面MP-BGP EVPN路由轉(zhuǎn)發(fā)成功，轉(zhuǎn)發(fā)平面不論是VxLAN over IP的overlay數(shù)據(jù)轉(zhuǎn)發(fā)方式還是基于MPLS VPN轉(zhuǎn)發(fā)，都可以實現(xiàn)業(yè)務(wù)流的正常通信，只是此時，兩種不同的轉(zhuǎn)發(fā)方式對底層承載的IP網(wǎng)絡(luò)要求不同。

4 結(jié)束語

隨著VxLAN技術(shù)在云數(shù)據(jù)中心的部署日益廣泛，基于VxLAN技術(shù)組網(wǎng)的云數(shù)據(jù)中心之間互聯(lián)互通方案也提上了日程。電信運營商在選擇跨VxLAN云數(shù)據(jù)中心的互聯(lián)方案時，需要秉承技術(shù)標準化以規(guī)避被廠商綁架、技術(shù)成熟度以規(guī)避現(xiàn)網(wǎng)引入風(fēng)險、技術(shù)經(jīng)濟性以實現(xiàn)提質(zhì)增效的原則，綜合考慮所選用設(shè)備的技術(shù)實現(xiàn)能力、互聯(lián)節(jié)點間的底層承載網(wǎng)絡(luò)現(xiàn)狀、運營商的建設(shè)運維成本要求等情況，分類別、分場景地進行部署。同時，還要根據(jù)測試評估、現(xiàn)網(wǎng)應(yīng)用、業(yè)務(wù)需求等推進相關(guān)技術(shù)進一步標準化、相關(guān)設(shè)備進一步成熟。

[1]張屆新,傅志仁,吳志明,等.VxLAN在云數(shù)據(jù)中心組網(wǎng)的應(yīng)用[J].電信科學(xué),2015,31(9):163-169. ZHANG J X,FU Z R,WU Z M,et al.VxLAN application in cloud datacenter network[J].Telecommunications Science,2015, 31(9):163-169.

[2]IETF.Virtual eXtensiblelocalareanetwork (VxLAN):a framework for overlaying virtualized layer 2 networks over layer 3 networks:IETF RFC7348[EB/OL].(2014-08-01)[2016-06-22]. https://tools.ietf.org/html/rfc7348.

[3]IETF.BGP MPLS-based ethernet VPN:IETF RFC7432[EB/OL]. (2015-02-01)[2016-06-22].https://datatracker.ietf.org/doc/ rfc7432/.

[4]Draft-ietf-bess-evpn-overlay-04,2016[EB/OL].(2016-05-01) [2016-06-22].http://ietf.10.n7.nabble.com/bess-Comments-ondraft-ietf-bess-evpn-overlay-04-wrt-Inter-AS-Option-B-td500222. htmldraft-ietf-bess-evpn-prefix-advertisement-02.

[5]IP prefix advertisement in EVPN draft-ietf-bess-evpn-prefixadvertisement-02[EB/OL].(2015-04-19)[2016-06-22].https:// tools.ietf.org/html/draft-ietf-bess-evpn-prefix-advertisement-02.

張屆新（1975-），女，中國電信股份有限公司上海分公司高級工程師，主要研究方向為信息網(wǎng)絡(luò)、云數(shù)據(jù)中心組網(wǎng)等。

吳志明（1965-），男，博士，中國電信股份有限公司上海分公司信息網(wǎng)絡(luò)部副總經(jīng)理、教授級高級工程師，主要研究方向為互聯(lián)網(wǎng)絡(luò)技術(shù)、云計算、數(shù)據(jù)中心、信息網(wǎng)絡(luò)等。

Interconnection scheme of VxLAN based cloud datacenter networks

ZHANG Jiexin,WU Zhiming
Shanghai Branch of China Telecom Co.,Ltd.,Shanghai 200120,China

Several interconnection and interworking schemes of cloud datacenter networks based on VxLAN technique were studied in prospective of VxLAN technique and underlay network status.And the respective advantages and disadvantages of these schemes were analyzed.Finally,the applicable scenarios of each scheme were summarized.It is in the hope that the study would provide some useful technique references for the development of carriers’datacenters.

cloud datacenter,MP-BGP EVPN,overlay,VxLAN

TN919.21

A

10.11959/j.issn.1000-0801.2016301

2016-06-22；

2016-12-07