■中國移動通信集團設計院有限公司山東分公司 張延彬 張誌 岳思思

近年來隨著云計算、大數據技術的不斷發(fā)展，電信運營商IT 系統(tǒng)云化的速度在不斷加快，各種層次的資源池不斷出現，資源池內承載的IT 系統(tǒng)越來越多，其中虛擬化技術改變了IT 基礎設施的運營模式，使得計算、存儲成為可以運營的資源，資源的按需供給、彈性伸縮，業(yè)務創(chuàng)新瞬息萬變，這對底層的承載網絡也提出了極高要求，要求能夠適應頻繁變化的業(yè)務需求并進行靈活調整，因此SDN 得以快速發(fā)展并在運營商網絡中收到青睞，在私有云資源池中得以大面積的部署和應用。

SDN 網絡架構在資源池的應用特征

SDN 目標在應用和網絡控制層之間引入一個通信框架，使現有控制平面變的靈活且允許快速可靠的配置更改，將網絡控制功能與轉發(fā)功能分離，最終實現控制可編程，圖1 為SDN 標準架構。

1.應用層

處于SDN 的網絡架構最上層，SDN 的核心價值所在。用戶根據業(yè)務需求調用控制器開放的網絡編程接口編寫應用程序、定義網絡行為、實現應用創(chuàng)新。

2.北向接口

應用層和控制層的通信接口，目前無統(tǒng)一北向接口標準，主要和控制器的實現方式有關，應用最廣泛的是RESTful。

3.控制層

圖1 SDN 架構

包括1 個或多個控制器，負責修改和控制底層網絡設備的轉發(fā)行為。一方面將網絡資源抽象成可操作的信息模型提供給上層應用，另一方面將網絡需求轉發(fā)行為轉換為低層次的指令。

4.南向接口

分為配置管理類和控制類，如：NetCONF、OVS-DB、XMPP 和OpenFlow 等。

5.基礎設施

具體網絡轉發(fā)設備，例如交換機。

SDN 網絡架構在私有云資源池中的應用主要體現在：為多租戶提供虛擬、隔離、可擴展、自管理服務，在網絡部署靈活性增強的基礎上，提高了網絡資源利用率，實現網絡和業(yè)務自動化、網絡流量調優(yōu)、資源的有效調度和管控、多租戶的網絡隔離，做到數據中心網絡資源實現真正的池化。

（1）虛擬的網絡：租戶按需申請?zhí)摂M計算/ 存儲/ 基礎網絡/ 增值網絡資源，構成虛擬私有云(VPC,virtual private cloud)網絡，分鐘級開通時間。

（2）隔離的網絡：租戶間網絡互不可見，租戶可任意定義IP 網段、負載均衡策略、防火墻策略等。

（3）擴展的網絡：資源按需使用、按需擴容；通過SDN DCI 或VPN 等方式可實現DC互聯。

（4）自管理的網絡：虛擬網絡提供流量可視化能力，租戶可自管理監(jiān)控、自配置虛擬網絡。

私有云資源池SDN 組網技術

1.OverIay 技術

目前來看由于運營商私有云資源池中網絡設備數量、設備種類較多，標準上很難統(tǒng)一，因此運營商私有云資源池的SDN 組網方案基本都是采用Overlay 技術，而且Overlay 技術可以快速形成能力，部署時間短。

當前主流的Overlay 技術主要有VXLAN，GRE/NVGRE和STT，這三種二層Overlay技術，大體思路均是將以太網報文承載到某種隧道層面，差異性在于選擇和構造隧道的不同，而底層均是IP轉發(fā)。

（1）VXLAN：VXLAN 是將以太網報文封裝在UDP 傳輸層上的一種隧道轉發(fā)模式，在3層網絡之上創(chuàng)建疊加的邏輯2 層網絡，VXLAN 使用1 個24 位的VNI 字段區(qū)分不同的邏輯2 層網絡，以此實現租戶識別和隔離網絡。VXLAN的封裝/解封裝和隧道的建立通過VXLAN 隧道終端實體進行。

（2）NVGRE：NVGRE 是將以太網報文封裝在GRE 內的一種隧道轉發(fā)模式；采用24 比特標識二層網絡分段，稱為VSID，每個VSID 代表了一個虛擬2 層廣播。NVGRE 幀的封裝/解封裝和隧道的建立通過NVGRE Endpoint 實現。

（3）STT：STT 采用MACin-IP 方式進行封裝，利用了TCP 的數據封裝形式，但改造了TCP 的傳輸機制，建立無狀態(tài)的隧道，在隧道端點之間傳輸以太網幀，采用64 比特Context ID 標識二層網絡分段。

這三種二層Overlay 技術相比而言，VXLAN 和STT 對于現網設備對流量均衡要求較低，即負載鏈路負載分擔適應性好，一般的網絡設備都能對L2-L4 的數據內容參數進行鏈路聚合或等價路由的流量均衡，而NVGRE 則需要網絡設備對GRE 擴展頭感知并對flow ID 進行HASH，需要硬件升級；STT 對于TCP有較大修改，隧道模式接近UDP 性質，隧道構造技術屬于革新性，且復雜度較高，而VXLAN 利用了現有通用的UDP 傳輸，成熟性極高?？傮w比較，VLXAN 技術相對具有優(yōu)勢，而且就運營商內部私有云資源池來看，大部分也都是采用的VXLAN 技術。

2.OverIay 方式

上面介紹了Overlay的技術，下面講一下主流的3 種Overlay 的方式，主要分為網絡Overlay、主機Overlay 和混合式Overlay。

⑴網絡Overlay 指的是隧道封裝在物理交換機上完成，通過控制協議對邊緣的網絡設備完成網絡構建和擴展。網絡Overlay 應用最重要也是最成熟的技術就是VXLAN。在網絡Overlay 中，要求所有的物理接入交換機都能支持VXLAN，接入層交換機負責VXLAN 報文的封裝和卸載，在VXLAN 網絡和VLAN網絡之間要部署VXLAN GW交換機，實現VXLAN 網絡主機與VLAN 網絡主機之間的通信。

目前，網絡設備的主流芯片已經實現了VXLAN 技術，而且這種采用硬件設備的Overlay 網絡性能高、轉發(fā)效率快，適合部署在運營商的大型數據中心網絡。

⑵主機Overlay 指的是隧道封裝在服務器的vSwitch 上完成，不用增加新的網絡設備即可完成Overlay 部署，僅支持虛擬化的服務器之間組網互通。主機Overlay 使用服務器上的vSwitch 軟件實現VXLAN網絡功能，VXLAN 技術中的VTEP、VXLAN GW、VXLAN IP GW 均通過安裝在服務器上的vSwitch 軟件實現。

主機Overlay 方式不依賴于數據轉發(fā)設備，對網絡設備是否支持VXLAN 沒有要求，只要虛擬化軟件支持就可以，如果網絡規(guī)模較大的話，通過軟件實現 VXLAN IP GW 很可能會成為整個網絡的瓶頸，適合在小型網絡中部署使用。

⑶混合式Overlay 指的是采用網絡Overlay 和主機Overlay 的混合組網，可以支持物理服務器和虛擬服務器之間的組網互通?；旌螼verlay 采用軟硬件結合的方式，使得軟硬件都能發(fā)揮自己的優(yōu)勢，也保障了Overlay 網絡的整體性能。

上面介紹的各種Overlay 技術以及應用方式都是屬于SDN 架構中轉發(fā)和控制分離中的業(yè)務數據的轉發(fā)技術，而控制層面技術目前應用最廣泛的是EVPN 技術，各種技術相互結合才能真正實現轉發(fā)和控制分離的核心理念。

EVPN（Ethernet Virtual Private Network，以太網虛擬專用網絡）是一種二層VPN 技術，控制平面采用MP-BGP 通告EVPN 路由信息，數據平面采用VXLAN封裝方式轉發(fā)報文。隧道建立和VXLAN 關聯：利用EVPN的BGP RR 實現鄰居發(fā)現，自動發(fā)現VXLAN 網絡中的VTEP，并在有相同vxlan id各VTEP 之間自動創(chuàng)建VXLAN隧道，自動關聯VXLAN 隧道和VXLAN。

某省級私有云資源池SDN 組網方案

某省級運營商私有云資源池已經建設數年，形成了兩大資源池，組網架構基本相同，但是由于所用的硬件設備廠商的不同，形成了兩種不同的組網方案，兩種SDN網絡的工作原理也不相同。某省私有云資源池的組網架構如圖2 所示。

1.資源池A 的組網方式

VXLAN+Openflow+NetCO NF，采用集中式網關部署。數據轉發(fā)層面采用VXLAN方式，控制層面控制器通過Openflow 和NetCONF 向 交換機下發(fā)轉發(fā)策略和配置信息，出口核心交換機處設置SDN 網關。

為了管理方便以及提升網絡效率，虛擬機的VXLAN 報文的封裝和卸載并不是在vSwtich 上完成的，物理機和虛擬機的VXLAN 報文的封裝和卸載都在接入層VTEP 上完成，對于不同VXLAN 之間的互訪都要通過出口核心交換機。

對于東西向流量比較大的網絡中，SDN 網關會成為整個網絡的瓶頸，而且SDN網關發(fā)生故障的話，會導致整個網絡的癱瘓，但是集中式網關的優(yōu)點就是易管理，易于排查故障。

2.資源池B 的組網方式

VXLAN+EVPN+NetConf，采用分布式網關部署。數據轉發(fā)層面同樣是采用VXLAN方式，控制層面采用EVPN 和NetCONF 向交換機下發(fā)轉發(fā)策略和配置信息，SDN 網關設置在每個接入層交換機上。

同樣為了管理方便以及提升網絡效率，虛擬機的VXLAN 報文的封裝和卸載并不是在vSwtich 上完成的，物理機和虛擬機的VXLAN 報文的封裝和卸載都在接入層VTEP 上完成，對于同一接入交換機下的不同VXLAN 互訪通過接入層交換機就可以完成，對于不同接入層交換機下不同VXLAN 的互訪需要通過上層的SDN 網關實現。

由于通過EVPN 技術實現了自動創(chuàng)建VXLAN 隧道，自動關聯VXLAN 隧道和VXLAN，這樣的話整個網絡的轉發(fā)效率非常高，而且由于是分布式網關的部署方式，出口核心交換機不會成為整個網絡的瓶頸，但是分布式網關維護起來非常復雜和麻煩，不易于故障的排查。

圖2 資源池組網架構

結束語

運營商網絡中SDN 網絡架構的實現提升了網絡交付效率，實現了網絡資源的共享和彈性伸縮，解決了多租戶的難題，但是要真正實現SDN 理念，還有很長的路要走，需要與Openstack 的協同，與應用層交互，如何不受廠商硬件的綁定，能夠實現異構廠商資源池大二層網絡的互通和資源的共享、靈活調度，才是未來更加需要探討的地方。