江蘇省未來網絡創(chuàng)新研究院 南京 211100

引言

隨著大數據相關業(yè)務的激增和網絡威脅的增長，對網絡流量的安全性、可監(jiān)控性、可分析性需求日益增長。網絡基礎設施的規(guī)模、類型和速度的高速發(fā)展，迫切需要部署更多的安全、監(jiān)控分析工具，也促進了人們對安全、監(jiān)控工具性能可視化與網絡智能化的需求[1-3]。

目前的大多數工具都無法訪問網絡真正的物理層和連接層，主要原因是它們完全依賴于交換機端口分析器(SPAN)端口、傳統的聚合器以及NetFlow。這些技術提供了一定程度的數據聚合，但是忽視了連接層可視性這一關鍵因素，無法有效感知其發(fā)展態(tài)勢。行業(yè)需要的是智能化水平更高的網絡安全和監(jiān)控解決方案，其能夠為察看連接層提供顆粒級的可視性。集成了安全、優(yōu)化與可視性的系統解決方案NPB代表了一種新型的提供可視性和中轉網絡數據包方案，其優(yōu)化和升級了網絡交換機的連接，以及整個網絡的性能與安全分析能力，讓IT和安全管理部門能夠有效感知態(tài)勢，使得企業(yè)對事件響應速度得到了大幅提升。

NPB作為一種新型數據包中轉方案，固然有上述優(yōu)點，但其價格昂貴，擴展性、靈活性不強，那么有沒有更好的流量監(jiān)控方式呢？SDN(Software-defined networking)作為未來網絡的一種發(fā)展方向一經提出倍受業(yè)界關注。它將網絡設備的控制平面與數據平面分離，并將控制平面統一到獨立的控制器中，并且能夠通過網絡編程動態(tài)改變網絡狀態(tài)和結構[1-2]。這種集中控制方式可以讓網絡管理員輕松地管理、規(guī)劃網絡，由此帶來的靈活性、開放性、經濟性是不言而喻的?；赟DN上述特性而設計的新一代網絡大數據流量監(jiān)控分析系統應運而生。本系統由江蘇省未來網絡創(chuàng)新研究院聯合北京郵電大學、戴爾公司、Big Switch等研發(fā)而成。

1 基于SDN的流量監(jiān)控研究

依據SDN集中管控流量調度靈活特點，提出了以SDN網絡體系代替單一NPB設備，以經濟通用的硬件平臺代替價格昂貴、按端口收費的專業(yè)設備，從而達到降低專有硬件投資，適應快速增長的流量監(jiān)控需求。大數據流量監(jiān)控分析系統的基于SDN理念決定了它靈活性強、兼容擴展性好、能很好整合現有的設施以及未來可能新增設施[4-6]。它可以將流量復制到使用SDN軟件和現成交換機的監(jiān)控工具上，這樣一來，同樣的投入可以滿足傳統情況下三、四倍的流量監(jiān)控。

基于SDN的網絡大數據流量監(jiān)控分析系統除了控制器外主要由以下幾部分組成：策略管理、數據分析。

策略管理分析系統可以分為基于SDN的Tap分流和基于服務鏈的數據流控制兩部分[5]?；赟DN的Tap分流能將離線流量中轉投遞、合理分發(fā)至監(jiān)控、分析等數據處理工具，基于服務鏈的數據流控制可以將服務設備以服務鏈形式嵌入到生產網絡中，減少對生產網絡端口占用并實時動態(tài)的對服務鏈進行編排調配。各部分功能特性如下。

1.1 基于SDN的Tap分流

隨著數據中心網絡改而采用現代10G/40G/100G設計來滿足云計算、數據分析、4G/LTE移動服務需求，對應的流量監(jiān)控網絡也需要改而采用新一代設計。數據中心規(guī)模、帶寬和流量呈現指數級增長，這些一直在考驗著傳統監(jiān)控監(jiān)視/監(jiān)控設計方案的極限，傳統的采用基于專有網絡數據包代理(NPB)逐設備監(jiān)控的方法，不但成本高昂，而且在運營上也極其復雜[3]。

而基于SDN的Tap分流采用橫向擴展體系結構，根據需求可以設計一系列網絡拓撲結構(從單交換機連接結構到橫向擴展的多交換機/多層連接結構)[2,4]。典型的多層連接結構設計包含一個標記為過濾交換機的開放式以太網交換機層，一個標記為傳送交換機的開放式以太網交換機層，以及中間的標記為核心交換機的開放式以太網交換機層，如圖1所示。

過濾(Filter)接口：過濾交換機層的交換機接口都連接到生產網絡中的分路器接頭或者交換機/路由器/防火墻SPAN端口，并且在控制器軟件中可配置為過濾接口，過濾接口的數據包經由這類接口傳入連接結構。傳送(Delivery)接口：傳送交換機層中交換機接口則連接到各種工具(如性能分析、安全分析)，并且在控制器軟件中可配置為傳送接口。服務(Serivce)接口：核心交換機層中的交換機聚合來自各個過濾交換機的流量，然后將他們發(fā)送至傳送交換機前，可以通過這類接口發(fā)送到一個或多個NPB提供特定的數據包修改服務(例如重復數據刪除或數據模糊處理等)進行修改。

基于SDN的Tap分流具備SDN集中管控優(yōu)勢，在控制器軟件中可以配置靈活的策略實現指定流的監(jiān)控分析。以配置一條流監(jiān)控策略為例，配置步驟包括配置過濾接口、傳送接口、服務接口、流操作動作、流量匹配規(guī)則等。匹配規(guī)則可以根據Ethertype、IP Protocal、IP DSCP、VLAN(s)、源地址范圍、目標地址范圍、深度包偏移等特征來提取數據流量。基于SDN的Tap分流擁有策略沖突檢測[4,6]功能，并在允許范圍內(沖突指數4)自動解決沖突，大大簡化了多租戶[7]場景下的沖突策略解析，減少用戶運維負擔[4]。如圖2所示場景，檢測到沖突策略時，默認情況下Big Tap會動態(tài)創(chuàng)建優(yōu)先級更高的新策略以覆蓋沖突策略[4]。

圖1 基于SDN的Tap分流網絡結構

圖2 策略沖突自動檢測與解決

圖3 基于SDN的Tap分流的多層次流量匹配

圖4 基于SDN的Tap分流遠程位置流量監(jiān)控

Tap分流正常運行后自動采集生產網絡信息，將數據流選擇性的投遞到策略指定接口或服務接口進行監(jiān)控分析，它還集成了主機、DHCP、DNS、子網追蹤功能[7-9]。主機追蹤能根據流經過濾接口的生產網絡流追蹤主機信息，可視化顯示主機的MAC、IP、VLAN等信息；DHCP追蹤能發(fā)現DHCP服務地址、客戶端數、租期、子網信息；DNS追蹤能方便管理員清晰了解生產網絡中的DNS服務器、域名及子網；子網追蹤能發(fā)現每個VLAN域的2層字段[7,10]。

Tap分流可以基于硬件實現數據包分層匹配功能，從而可以識別應用程序協議及其屬性。對于每個數據包，Tap分流能以線速匹配最多128個字節(jié)，因此，可以編寫更為復雜的監(jiān)控策略。對于諸如MPLS、VXLAN和GRE等封裝數據包以及GTP和SCTP等移動4G/LTE協議數據包[8,11-12]，監(jiān)控策略可以按內部表頭字段進行匹配，如圖3所示。

基于SDN的Tap分流不僅局限于本地流量監(jiān)控，它也可以通過GRE隧道跨越廣域網監(jiān)控異地流量，這意味著可以跨越多數據中心或分支機構監(jiān)控[11-12]，促進監(jiān)控工具共享，如圖4所示。

基于SDN的Tap分流具體特點可以歸納如下。1)操作簡單：配置簡單，管理方便，診斷便捷，集中化控制。2)擴展性好：可以在任何機架、甚至任何位置監(jiān)控，1/10/40G接口可混合監(jiān)控，支持3G/4G/LTE 等移動協議流監(jiān)控，對于多監(jiān)控工具能做負載均衡，監(jiān)控設施可根據流量增長及業(yè)務需求變化彈性擴展。3)經濟性好：可以節(jié)省60%以上的前期設備投入和后期運行維護費用。

1.2 基于服務鏈的數據流控制

由于網絡攻擊層出不窮，企業(yè)生產網絡的安全變得前所未有的重要。此外，隨著網絡需要提供更多服務(如云計算[10]、大數據和個人便攜終端)，監(jiān)控、保護網絡的安全手段也在快速變更。

因此，設計具有高性能和適障能力的網絡并保持這些特性，同時確保這種網絡合規(guī)且可防范入侵/攻擊至關重要。為了化解這些難題，企業(yè)在其DMZ環(huán)境中偏向于使用在線式監(jiān)控和安全保護機制[7-8]。安全工具如果采用在線式部署方式，就可以訪問每一個數據包，并主動防范或阻止檢測到的入侵行為，使入侵行為在未發(fā)生或發(fā)生早期即被阻止。但是，在線式安全體系結構在高可用性、連續(xù)維護和可擴展性方面帶來了新的難題。

基于服務鏈的數據流控制可以在DMZ內實現無所不在的安全保護，解決傳統解決方案所面臨的難題，同時還可降低成本并以SDN為中心實現輕松運營。

基于服務鏈的數據流控制包括一個SDN控制器和多臺以高可用性配置部署的開放式以太網交換機。在線式安全保護工具直接連接(也可以選擇通過鏈路聚合進行連接)到生產網絡中的以太交換機?；诜真湹臄祿骺刂剖褂肧DN 控制器作為集中管理點，并配置相關策略為在線式工具創(chuàng)建虛擬路徑。這種解決方案支持同一資源池的多個實例之間的負載均衡，以及根據策略來將一組工具(服務)關聯成服務鏈。

實現基于服務鏈的數據流控制，需要在控制器上配置如下的網絡元素。1)服務鏈：提供在單一或所有方向上應用服務的雙向連接。2)服務：定義策略，根據策略匹配規(guī)則將流量投遞到指定工具。3)SPAN(可選)：定義策略，復制匹配策略規(guī)則的流量投遞到SDN交換機上指定的端口上，然后轉發(fā)到被動式分析工具進行進一步分析。

如圖5左側所示，在Internet路由器和生產網絡交換機間插入一個對稱式服務鏈，它應用了防病毒軟件和IPS服務。圖5中的數字表示在正向和逆向應用對稱式服務鏈時發(fā)生的事件。流量被生產設備轉發(fā)到SDN交換機端口上，然后轉發(fā)與配置策略匹配成功的流量。在服務處理完成后，服務鏈傳輸處理的流量到另一個生產設備。

在對稱式服務鏈中，同樣的服務鏈應用在所有方向。如果服務鏈中定義的的服務為必須的，一旦服務鏈中的某一個服務出于某些原因變得不可得，整個服務鏈都將會失效。如果服務定義為可選的，這樣當服務不可用時就會跳過，應用下一服務。在非對稱鏈中，不同的服務會應用在正向和反向。如圖5右側所示，兩個服務分別應用在正向和反向的一個服務鏈，反向流量(生產網絡到外部網絡)跳過IPS服務，并且從防病毒軟件服務直接到達外部路由器[7]。

基于服務鏈的數據流控制中最佳的拓撲形式是配置SDN交換機高可用性的對稱冗余服務鏈。在這種情況下，如果一個服務鏈出于某種原因(如服務鏈中的某個服務不可用)失敗時，SDN交換機會禁用生產設備入接口。而生產設備檢測到入接口關閉時，它會引導流量到其他聚合鏈路，實現高可用[8]。

圖5 基于服務鏈的數據流控制網絡結構及流程

在高可用性部署中，SDN交換機配置相同的服務鏈、策略和服務配置。同時，系統的IP健康檢查可以對每個服務節(jié)點的ARP廣播的進行響應。如果服務節(jié)點沒有對ARP包響應，則該服務節(jié)點會被標記為不可用并且流量會被轉移到其他服務鏈上從而避免由于工具不可得或者過載而導致的流量中斷。也可以配置生產設備冗余對，即傳統的設備高可用。在這種情況下，每個SDN交換機加入多交換機LAG(mLAG)以消除單點故障[7-8]帶來的影響。

綜上所述，基于服務鏈的數據流控制主要的功能亮點。

1)高可用性體系結構

實現基于網絡層面的高可用，降低設備成本。

對于網絡工具或控制器故障具備很高的適障能力。

支持對在線式工具進行健康狀態(tài)檢查。

2)將工具關聯成鏈

支持將多個工具(服務)關聯成鏈，并依次應用。

支持傳入/傳出DMZ的流量的多服務鏈匹配。

3)工具超額認購/負載均衡

在帶寬較低(1G/10G)的工具的多個實例之間對較高的數據帶寬(10G/40G)進行負載均衡，避免過載造成的故障。

4)提高工具效率

匹配即所得，即僅發(fā)送匹配成功的流量，減少貸款冗余占用。

支持動態(tài)、程序化(基于REST API)的配置，控制交換機丟棄某些流量(例如DDos)。交換機會在本交換機出口處丟棄所標記的流量，而不是將流量發(fā)送至工具加以丟棄。

5)簡化涉及多個團隊的運營工作流

采用單一平臺管理/配置機制：不需要使用容易出錯的復雜PBR；可以輕松地進行負載均衡或將工具關聯成鏈。

通過基于匹配規(guī)則的SPAN復制匹配成功流量(以線速)，并發(fā)送到離線工具做進一步處理。

SDN控制器是用來進行在線/離線監(jiān)控的統一管理點。

1.3 基于ELK的流量大數據分析

基于SDN的網絡大數據流量監(jiān)控分析系統不僅具有基于SDN的Tap分流和基于服務鏈的數據流控制功能，還提供生產網絡流量可視化監(jiān)控工具Analytics。Analytics與控制器交互獲取流量數據，并將其存儲為歷史數據用以統計分析。Analytics帶有預定義的統計分析面板，可以對生產網絡流量進行可視化統計分析。用戶也可自定義面板，滿足個性化需要。Analytics系統對于運行環(huán)境系統資源要求較高，一般單獨運行，防止影響其他系統性能。

Analytics系統是以ELK(Elasticsearch+Kibana)開源項目為基礎開發(fā)而來。Elasticsearch是一款高效的全文檢索工具，它對全文檢索大體分兩個過程，索引創(chuàng)建(Indexing) 和搜索索引 (Search) 。索引創(chuàng)建：從現實世界中所有的結構化和非結構化數據中提取信息，創(chuàng)建索引的過程。搜索索引：接受用戶的查詢請求，搜索創(chuàng)建的索引，然后返回結果的過程。其創(chuàng)建和搜索程如圖6所示。

Analytics預定制的統計分析功能包括： DHCP、DNS、Host、ICMP、sFlow等流分析，還可監(jiān)控分析系統本身運行狀態(tài)，如系統狀態(tài)、策略狀態(tài)、策略端口狀態(tài)、端口狀態(tài)。Analytics對上述網絡流量特征已經預定義了多種組合統計面板，如果需要自定義自己的統計風格，可以通過Analytics系統提供的面板自定義功能創(chuàng)建。

圖6 Elasticsearch索引、搜索流程

Analytics系統獲取數據的流程圖如圖7所示。

Analytics系統的數據直接來源是控制器，而這些數據分為三類。

1)sFlow協議數據：Tap分流網絡中的每臺交換機都安裝有sFlow的流量采集器，采集到的流量上傳到控制器，并由控制器統一轉發(fā)到Analytics系統。

2)控制器封裝TCP數據：控制器向交換機下發(fā)流表將ARP、DHCP、ICMP和DNS等數據包封裝到PacketIn包中上報到控制器，控制器再解封將數據取出并封裝到TCP確認幀中傳到Analytics系統。

3)syslog協議數據：syslog協議數據中存放了系統事件狀態(tài)(例如失敗)、配置更改(REST、CLI或GUI)、租戶/網段/設備終端鏈接或分離等信息，控制器將syslog協議數據直接傳到Analytics系統。

Analytics將以上數據流量按照關鍵信息創(chuàng)建索引存儲。當用戶進行統計分析時，Analytics利用高效的檢索能力快速生成統計數據，讓用戶可以實時對網絡進行量化分析監(jiān)控。

2 實踐驗證

2.1 基于SDN的Tap分流實踐

圖7 Analytics數據處理流程

圖8 Tap分流部署

為了在實踐中驗證系統相關功能，以內部網絡流量作為生產網絡流，部署一套監(jiān)控驗證系統，其組網結構如圖8所示。由圖8可見，生產網絡中的流量被鏡像到10.33交換機端口中，其中10.33、10.35為監(jiān)控網絡中的分流交換機，負責網絡流量的接入、處理、傳送。

以抓取ICMP包為例，來演示如何通過策略配置自定義抓去關注數據包。首先在新建策略中，在抓取規(guī)則中選擇數據包類型IPv4、IP協議選擇ICMP，而后選擇流入口(過濾端口)以及流的出口(傳送端口)，創(chuàng)建采集過濾規(guī)則。

此時我們通過wireshark傳遞端口抓取數據包，可以看到ICMP被精確提取并投遞到了指定端口處，如圖9所示。

如果希望抓去ARP包，可修改上述策略將以太網類型改為ARP，此時再抓包，發(fā)現只有ARP數據包，如圖10所示。

如果刪除策略，再次抓包將不會抓到相關數據包，這表明此監(jiān)控系統可以通過策略配置精準提取生產網絡流量，并可根據設定端口靈活、智能投遞流量。

2.2 基于服務鏈的數據流控制實踐

服務鏈部署環(huán)境與Tap分流一致，如圖11。當外部流量進入內部網絡時先經過由服務鏈交換機(10.34)構建的服務鏈，對流量進行處理后再進入到內部網絡中。通過靈活配置服務鏈策略可以精確控制服務鏈的流入流量，并引導流量按照預定義的服務鏈順序流經不同服務，如IPS等。

由于服務鏈入口引入的是生產網絡的流量，因此，流類型較多，在服務鏈入口處抓包可以看到多種類型流量，如圖12所示。

配置一個過濾策略只過濾出UDP包，此時在策略定義的出口處抓取數據包，只能看到UDP包，如圖13所示。

如果換成提取其他類型數據包，如ARP抓包觀察同樣如此。

2.3 ELK的流量分析

ELK預定制了一批流分析面板，例如DHCP、DNS、Host、ICMP、sFlow等，還可根據實際需要自定義統計方式。以sFlow為例，可以定制的統計方式有：按源IP、目標IP對數據包排名，按源端口、目標端口、以太網類型等特征對數據包統計，也可以繪制數據包時間曲線，甚至制作IP區(qū)域分布圖等。

圖9 ICMP數據抓包

圖10 ARP數據抓包

圖11 服務鏈部署圖

圖12 混雜數據包

圖13 UDP數據抓包

3 總結

基于SDN的網絡大數據流量監(jiān)控分析系統靈活性強、兼容擴展性好、能很好整合現有的設施以及未來可能的新增設施。該系統既實現了離線流量的自由調度、智能監(jiān)控、分析，極大提升了流量監(jiān)控、分析的效率和效果；又實現了網絡服務的自由定制、實時編排調配以及網絡層面的高可用，極大減少了在網絡設備、網絡維護人員方面的成本。本系統兼具了傳統NPB的網絡監(jiān)控、數據分析的高性能、可視性以及SDN的可編程集中管控的便捷性、靈活性。其具有可擴展的架構、簡化的操作和裸機經濟、性能高等優(yōu)勢，正在迅速成為替代NPB的誘人方案[8]。

參考文獻

[1] 黃韜,劉江,魏亮,等.軟件定義網絡核心原理與應用[M].北京:人民郵電出版社,2014

[2] Software-Defined Networking:The New Norm for Networks[2015-11-20].[EB/OL].Open Networking Fundation,2012.https://www.opennetworking.org/

[3] 移動互聯網白皮書[R].工業(yè)信息化電信研究院,2014

[4] Thomas Nadeau,Ken Gray.SDN: Software Defined Networks[M].USA:O'Reilly Media,2013

[5] 王鵑,王江,焦虹陽,等.一種基于OpenFlow的SDN訪問控制策略實時沖突檢測與解決方法[J].計算機學報,2015(4):872-883

[6] 孫鑫.面向云環(huán)境數據中心的高效資源調度機制研究[D].北京郵電大學,2012

[7] Thomas D. Nadeau,Ken Gray.軟件定義網絡:SDN與OpenFlow解析[M].USA:O'Reilly Media,2013

[8] 汪洋.軟件定義集中式數據中心組網架構及關鍵技術研究[D].中國電力科學研究院,2014

[9] 魏祥麟,陳鳴,范建華,等.數據中心網絡的體系結構[J].軟件學報,2013(2):295-316

[10] 朱明明,夏寅賁,徐小飛.基于SDN的數據中心網絡研究[J].郵電設計技術,2014(3):23-29

[11] 李呈.網絡功能虛擬化[2015-11-20].[EB/OL]http://www.sdnlab.com/

[12] sherkyoung.大二層環(huán)境下下多租戶網絡研究[2015-11-20].[EB/OL]http://sherkyoung.github.com/