文／趙瓊 何海濤 楊敏

網(wǎng)絡流量作為整個網(wǎng)絡復雜性的動態(tài)載體，是研究網(wǎng)絡體系架構、實施網(wǎng)絡管理及進行網(wǎng)絡安全分析的最有效切入點。網(wǎng)絡流量采集是指捕獲網(wǎng)絡上的數(shù)據(jù)包并對其進行分析的過程，對網(wǎng)絡問題解決、協(xié)議調(diào)試、性能評估和安全分析等方面均有極大幫助。本文根據(jù)中山大學流量采集需求，以流量輸出多樣化為基本目標，通過引入SDN技術，提出了一種較為先進的大規(guī)模流量采集及分發(fā)方案，并在此基礎之上搭建統(tǒng)一的系統(tǒng)平臺。首先能夠對校園網(wǎng)流量進行全方位的實時采集，制作流量副本，然后對其進行中轉與過濾，進而按需分發(fā)給后端不同的業(yè)務分析系統(tǒng)。

需求分析與設計

需求分析

目前校園網(wǎng)需要基于流量分析的系統(tǒng)有兩種：上網(wǎng)行為管理設備和Cloudera安全大數(shù)據(jù)分析平臺，主要需求如下。

1.流量采集統(tǒng)一化需求

上述系統(tǒng)都需要采集校園網(wǎng)主要鏈路的完整數(shù)據(jù)包，因此選用鏡像流量采集技術捕獲網(wǎng)絡流量。但現(xiàn)有鏡像采集多數(shù)是基于目標分析設備的單一采集，對于存在多個后端分析系統(tǒng)的應用場景，就需要在網(wǎng)絡各個層級或區(qū)域設備上部署多套采集點，這無疑增加了網(wǎng)絡結構的復雜性和可維護性，無法實現(xiàn)集中管控。因此，需要一種集中化、集約化的管理手段，對網(wǎng)絡實時流量的捕獲和分發(fā)進行統(tǒng)一化的維護和管理，減少運維難度和網(wǎng)絡結構復雜性，提升管理效率和運維水平。

2.流量輸出多樣化需求

對于不同的后端分析系統(tǒng)，對流量的需求并不完全一致。例如，上網(wǎng)行為管理設備作為校園網(wǎng)出口審計設備，需要對校內(nèi)所有IP訪問互聯(lián)網(wǎng)和校內(nèi)重要信息系統(tǒng)的流量日志進行審計；而安全大數(shù)據(jù)分析平臺初期需要分析校外向校內(nèi)訪問的日志（即校園網(wǎng)教科網(wǎng)出口），從而發(fā)現(xiàn)安全隱患。因此就需要對所捕獲的流量實施過濾，以滿足流量多樣化的輸出要求。

3.流量輸出負載均衡需求

隨著以太網(wǎng)傳輸速率的不斷增大，單個后端分析系統(tǒng)的能力很難適應高速發(fā)展的網(wǎng)絡速度，然而，性能越高意味著價格越高，經(jīng)濟投入和產(chǎn)出效益往往不能達成一個很好的平衡。因此，并行部署多個后端分析設備，利用流量輸出的負載均衡實現(xiàn)高速流量的平均分配，每個輸出接口連接一個分析系統(tǒng)，用于接收流量，然后這些分析系統(tǒng)通過共享外置數(shù)據(jù)中心的方式將流量進行合并分析，從而達到對總體流量的分析目的。

架構設計

根據(jù)上述需求，在校園網(wǎng)總體架構基礎之上，通過引入SDN技術，構建了流量采集系統(tǒng)平臺，如圖1所示。

圖1 基于SDN的流量采集系統(tǒng)總體架構

1.捕獲層

捕獲層由高性能路由器構成，其功能是通過在校園網(wǎng)中設置捕獲點對相關流量進行實時抓取，并線速度轉發(fā)給NPB（網(wǎng)絡數(shù)據(jù)包代理）層。本系統(tǒng)的捕獲點是通過端口鏡像采集技術實現(xiàn)的，根據(jù)應用場景的不同，可以在核心設備或關鍵鏈路上設置單一捕獲點，也可以在網(wǎng)絡各個層級設備或鏈路設置多個捕獲點，以捕獲不同代表性的網(wǎng)絡流量。

2.NPB層

NPB層亦叫過濾層，是整個網(wǎng)絡架構的關鍵，由OpenFlow交換機來承擔。實現(xiàn)捕獲點的統(tǒng)一接入管理和對捕獲流量進行集中高速緩存，并通過執(zhí)行流表策略來控制流量的輸出方式和路徑。本系統(tǒng)可實現(xiàn)基于網(wǎng)絡Layer 2—Layer 4層的流量識別，以及任意端口流量的復制、匯聚等，同時能對輸出流量進行多出站端口的負載分擔，以滿足流量輸出多樣化和流量輸出負載均衡的需求。

3.分發(fā)層

分發(fā)層同樣由高性能通用交換機構成。負責各種后端分析系統(tǒng)的接入，即對輸出流量進行定向傳送，提供1G/10G端口的輸出能力，并保留40G端口的可擴展能力。

各層級間為緊耦合關系，其中NPB層必須支持OpenFlow 協(xié)議。每個層級都具備橫向擴展能力，以滿足流量持續(xù)增大的擴容升級需求。可以為每一個層級選取不同的設備進行功能分擔，也可以通過功能集成化的單一設備承擔。本采集平臺的具體實施就選取了后者模式。

功能設計

1.大規(guī)模流量采集統(tǒng)一化

根據(jù)應用場景的不同，可以在核心設備或關鍵鏈路上設置單一捕獲點，也可以在網(wǎng)絡各個層級設備或鏈路設置多個捕獲點，以捕獲不同代表性的網(wǎng)絡流量。但與傳統(tǒng)分散采集不同，本平臺提供對捕獲點的統(tǒng)一接入管理，所有捕獲點都通過光纖鏈路與NPB層設備互聯(lián)，并通過SDN控制器的統(tǒng)一調(diào)度，實現(xiàn)流量采集的統(tǒng)一化和集中化管理。

2.全流量分發(fā)

指將捕獲到的流量無損復制并進行流量輸出。包括一對一（將一個入站端口的流量復制一份送往一個出站端口）、一對多、多對一、多對多等四種模式。下以一對一分發(fā)為例闡述其實現(xiàn)原理。例如：需要將E1/1/1端口所捕獲的流量進行一對一輸出給E1/1/3端口,其實現(xiàn)過程如下。

（1）構建OpenFlow流表

首先需要構建1條流表，并對流表中的3個流表項進行設定，即為匹配域（Match Fields）、優(yōu)先級（Priority）和指令（Instructions）。

Match Fields：包含數(shù)據(jù)包頭中的12個元組，定義如表1所示（未涉及的元組未在下表體現(xiàn)）

Priority：具備高優(yōu)先級的流表優(yōu)先被匹配和轉發(fā)，由于此次構建的只有1條流表，因此在這里優(yōu)先級設定可以默認，即置空處理。

Instructions：用于指示OpenFlow交換機在收到匹配數(shù)據(jù)包后的處理動作。需要對Apply-Action action（s）中Action的Output屬性進行特殊定義，設定為E1/1/3。

（2）下發(fā)OpenFlow流表

構建好流表后，通過SDN控制器下發(fā)給交換機，交換機就會生成流表轉發(fā)條目，根據(jù)查找流表實施流量的轉發(fā)路徑選擇，從而實現(xiàn)一對一的全流量分發(fā)功能。

（3）流量過濾分發(fā)

指將捕獲到的流量，通過一定的技術手段對其實施過濾后，在進行流量的輸出。本方案實現(xiàn)了網(wǎng)絡Layer 2—Layer 4層的過濾。例如：將E1/1/1端口捕獲的流量中，目標地址為222.200.160.0/19，目標端口為80端口（TCP）的相關流量，輸出給端口E/1/1/3，具體實現(xiàn)過程如下。

（1）構建OpenFlow流表

首先需要構建1條OpenFlow流表，并對流表中的3個流表項進行特殊設定。

Match Fields：與全流量分發(fā)不同的是，流量過濾分發(fā)需要對匹配域中更多的流表項進行特殊設定，根據(jù)此案例目標，匹配域中的定義如表2所示（未涉及的流表項未在下表體現(xiàn)）。

表2 過濾流量分發(fā)中的匹配域定義

Priority：由于此次構建的只有1條流表，置空處理即可。

Instructions：設定 Apply-Action action（s）中 Action的Output屬性為E1/1/3。

（2）下發(fā)OpenFlow流表

構建好流表后，通過SDN控制器下發(fā)給OpenFlow交換機，OpenFlow交換機就會生成流表轉發(fā)條目，根據(jù)查找流表實施流量轉發(fā)路徑選擇，并實現(xiàn)流量的過濾分發(fā)功能。

4.輸出流量負載均衡

指將捕獲的流量通過負載均衡技術平均分配到多個輸出接口，本方案是通過哈希算法，基于五元組方式實現(xiàn)流量的負載均衡。例如：將E1/1/1端口捕獲的流量，通過流量負載均衡的方式分發(fā)給三個不同的出站端口：E/1/1/5、E/1/1/6、E/1/1/8，具體實現(xiàn)過程如下。

（1）創(chuàng)建組

在OpenFlow中，組表可以實現(xiàn)負載均衡，需對其4個組成項進行特殊設定，其中：

Group Identifier：定義為1，表示組號，用于區(qū)分其它組。

Group Type：選擇select，表示調(diào)用交換機的哈希算法，基于五元組實現(xiàn)流量負載均衡。

Counters：默認置空。

Action Buckets：這里定義了動作集合。需要為每一個物理端口都單獨定義，因此需要構建3個Buckets，都具備自己獨立的Bucket-id，但都屬于同一個組編號。具體定義見表3。

表3 Buckets的定義

（2）構建OpenFlow流表

構建方式和全流量分發(fā)、流量過濾分發(fā)的流表實現(xiàn)一致，但引入組表概念后，指令集中的Apply-Action action（s）中Action的屬性選擇就不能選用output，而需要對group屬性進行特殊定義，由于此示例中建立了Group Identifier為1的組，因此也設定為1。

（3）下發(fā)OpenFlow流表

構建好流表后，與全流量分發(fā)和過濾分發(fā)不一樣的是，這里執(zhí)行的OpenFlow組表，當調(diào)用組表中Action Buckets時候，就會將流量送往組編號為1的組中，由于組中包含3個物理輸出端口，因此就可以基于哈希的調(diào)度算法實現(xiàn)輸出流量的負載均衡。

實施與效果展現(xiàn)

實施拓撲

根據(jù)校園網(wǎng)流量采集平臺總體架構，結合現(xiàn)網(wǎng)資源條件和采集需求，實施的網(wǎng)絡拓撲如圖2所示。整個系統(tǒng)通過旁路方式部署于校園網(wǎng)中，不改變整體校園網(wǎng)架構。捕獲層、NPB層和分發(fā)層由兩臺OpenFlow交換機承擔，基于ODL的SDN控制器負責流表的下發(fā)。經(jīng)過二次處理之后的流量，由交換機分發(fā)給后端的上網(wǎng)行為管理設備和安全大數(shù)據(jù)分析平臺。

圖2 網(wǎng)絡流量采集平臺實施拓撲

定義捕獲點

在核心層的兩臺路由器上各設立了1個捕獲點，并通過端口鏡像技術實現(xiàn)流量的捕獲。2臺核心路由器的源端口各自選取 了 三 個（A為：Te5/4、Te9/2、Po3；B為：Te5/4、Te7/3、Po1；），分別代表著校內(nèi)IP訪問互聯(lián)網(wǎng)、訪問校內(nèi)數(shù)據(jù)中心的流量，鏡像方向為全向。通過對2個捕獲點的流量數(shù)據(jù)進行統(tǒng)一接入和管理，就形成流量資源池，后端的分析系統(tǒng)可按需索取流量，并可重復、并行工作；而目的端口則分別采用1條10Gbps鏈路與OpenFlow交換機互聯(lián)。

全流量分發(fā)策略

1.制定分發(fā)策略

圖3 針對上網(wǎng)行為管理設備的一對一全流量分發(fā)

表4 上網(wǎng)行為管理設備的流表策略

OpenFlow交換機通過2條物理鏈路接受鏡像流量，由于校園網(wǎng)部署的2臺上網(wǎng)行為管理設備需要對校內(nèi)用戶實施互聯(lián)網(wǎng)訪問的行為分析，且通過共享外置數(shù)據(jù)中心實現(xiàn)日志審計功能，入站和出站流量并沒有嚴格的對應關系，因此，本平臺采用了一對一模式進行全流量分發(fā)，如圖3所示：

（1）將E1/1/1端口流量通過一對一模式，輸出給E1/1/3端口；

（2）將E1/1/2端口流量通過一對一模式，輸出給E1/1/4端口。

2.制定流表策略

根據(jù)上述的一對一全流量分發(fā)策略，需要構建2條OpenFlow流表，分別用于對2臺上網(wǎng)行為管理設備的一對一全流量分發(fā)，根據(jù)全流量分發(fā)實現(xiàn)原理，構建流表策略如表4所示。

3.流表下發(fā)和展現(xiàn)

根據(jù)上表中優(yōu)先級為110的流表為例，SDN控制器下發(fā)流表策略，交換機執(zhí)行效果展現(xiàn)如下。

圖4 OpenFlow交換機入站端口流量圖（7天）

圖5 流表下發(fā)后OpenFlow交換機的出站端口流量圖（7天）

過濾分發(fā)和負載均衡

1.制定分發(fā)策略

校園網(wǎng)部署的全大數(shù)據(jù)分析平臺，初期主要對校內(nèi)應用信息系統(tǒng)的訪問安全進行分析和預警，并不需要全網(wǎng)流量，需要對其實施過濾分發(fā)。Cloudera安全分析平臺采用了并行分析機制，與OpenFlow交換機采用了3條1Gbps鏈路互聯(lián)。

兩臺核心路由器都包含了平臺所需要的網(wǎng)段流量信息（其中A包含有222.200.160.0/19、211.66.128.0/20、202.116.64.0/18等3個網(wǎng)段；B包含有202.116.64.0/18、125.217.160.0/20、219.222.192.0/20等3個網(wǎng)段），為保證出站端口過載而導致的數(shù)據(jù)丟失問題，必須實施流量負載均衡?；诖?，流量分發(fā)策略如圖6所示。

圖6 Cloudera安全分析平臺過濾策略

（1）將E1/1/1中目標IP段為222.200.160.0/19的流量，通過負載均衡方式分發(fā)給3個出站端口；

（2）將E1/1/1中目標IP段為211.66.128.0/20的流量，通過負載均衡方式分發(fā)給3個出站端口；

（3）將E1/1/1中目標IP段為202.116.64.0/18的流量，通過負載均衡方式分發(fā)給3個出站端口；

（4）將E1/1/2中目標IP段為202.116.64.0/18的流量，通過負載均衡方式分發(fā)給3個出站端口；

（5）將E1/1/2中目標IP段為125.217.160.0/20的流量，通過負載均衡方式分發(fā)給3個出站端口；

（6）將E1/1/2中目標IP段為219.222.192.0/20的流量，通過負載均衡方式分發(fā)給3個出站端口。

2.制定流表策略

根據(jù)制定的策略，共需要構建6條流表，但與全流量分發(fā)不同的是，還需要引入OpenFlow中的組表，以解決出站流量負載均衡的問題。另一方面，由于分發(fā)給上網(wǎng)行為管理設備的流量，與分發(fā)給安全分析平臺都來自于相同的捕獲點，因此對于安全分析平臺，必須具備更高的流表優(yōu)先級，否則無法進行流量分發(fā)，流表策略如表5所示。

3.組的創(chuàng)建

組本身就是OpenFlow協(xié)議的一部分，根據(jù)2.3.3組表實現(xiàn)原理，將物理接口E1/1/5、E1/1/6和E1/1/8被定義為一個組（組號命名為1）。

表5 過濾分發(fā)策略

圖7 流表下發(fā)后組成員接口流量圖（負載均衡）

4.流表下發(fā)和展現(xiàn)

根據(jù)上表中優(yōu)先級為170的流表為例，SDN控制器下發(fā)流表策略，交換機執(zhí)行效果展現(xiàn)如下。可以看出，3個接口的流量曲線趨勢一致，表明流量輸出負載均衡已達到預期目標。

本文基于云服務模型，以池化流量，策略分發(fā)為核心思想，在校園網(wǎng)總體架構基礎之上構建了統(tǒng)一的流量采集和分發(fā)平臺，相互獨立又互相融合。首先對校園網(wǎng)流量進行各層級和多方位的實時采集，形成完整的校園網(wǎng)流量副本池，再通過SDN技術實現(xiàn)基于數(shù)據(jù)報文的L2-L4層過濾，形成不同類型的多個副本，進而按需分發(fā)給后端不同的業(yè)務分析系統(tǒng)?；赟DN技術構建的校園網(wǎng)流量采集平臺的建設與應用不僅能簡化運維、降低成本和提高事件處理效率，又可作為一項基礎服務，支撐學校的教學科研活動，對進行信息安全研究、大數(shù)據(jù)分析、用戶行為分析等科研團隊提供便捷、豐富的網(wǎng)絡流量數(shù)據(jù)源，同時，也是校園網(wǎng)由傳統(tǒng)架構向SDN架構演進的一個初步落地。