中國南方電網(wǎng)電力調(diào)度控制中心 | 張思拓 吳柳

中國能源建設(shè)集團(tuán)廣東省電力設(shè)計(jì)研究院 | 李昭樺

基于多種流量采集技術(shù)的統(tǒng)一流量管理平臺(tái)

中國南方電網(wǎng)電力調(diào)度控制中心 | 張思拓 吳柳

中國能源建設(shè)集團(tuán)廣東省電力設(shè)計(jì)研究院 | 李昭樺

統(tǒng)一流量管理平臺(tái)可以支持多種流量采集技術(shù)，有利于在整個(gè)網(wǎng)絡(luò)中，根據(jù)鏈路的重要等級(jí)細(xì)化管理技術(shù)手段，進(jìn)而節(jié)約成本。

數(shù)據(jù)網(wǎng)絡(luò)的SNMP、NetFlow/NetStream、流量探針等分析系統(tǒng)只對(duì)各自采集的信息進(jìn)行分析，無法實(shí)現(xiàn)對(duì)多種流量采集系統(tǒng)的數(shù)據(jù)進(jìn)行統(tǒng)一和關(guān)聯(lián)分析，提高流量分析的深度和精確度。本文提出一種統(tǒng)一流量管理平臺(tái)，通過多種流量采集技術(shù)的采集數(shù)據(jù)源，進(jìn)行綜合分析和管理，提高流量分析的精確度，便于提高運(yùn)維效率。

流量采集技術(shù)主要分為以下三種：一是SNMP技術(shù)采集，網(wǎng)絡(luò)設(shè)備的采集技術(shù)，硬件探針進(jìn)行流量采集。3種流量采集技術(shù)的對(duì)比分析如下。

應(yīng)用場(chǎng)景分析

統(tǒng)一流量管理平臺(tái)可以支持多種流量采集技術(shù)，有利于在整個(gè)網(wǎng)絡(luò)中，根據(jù)鏈路的重要等級(jí)細(xì)化管理技術(shù)手段，節(jié)約成本。

根據(jù)表1的分析，硬件探針支持逐個(gè)數(shù)據(jù)包抓取，分析精細(xì)程度，但是硬件探針設(shè)備造價(jià)高，考慮經(jīng)濟(jì)成本，沒有必要使用探針采集太多鏈路，可關(guān)注核心鏈路；對(duì)于接入鏈路，可根據(jù)設(shè)備檔次，在保證網(wǎng)絡(luò)設(shè)備性能的前提下，開啟Netflow/Netstream功能進(jìn)行采集，或者采用SNMP進(jìn)行采集。這樣，對(duì)于整個(gè)網(wǎng)絡(luò)，針對(duì)不同的應(yīng)用場(chǎng)合采用對(duì)應(yīng)的流量采集技術(shù)，做到精細(xì)化管理，節(jié)約管理成本。

圖1 流量采集應(yīng)用示意圖

統(tǒng)一流量管理平臺(tái)系統(tǒng)設(shè)計(jì)

本文所提出的統(tǒng)一流量管理平臺(tái)系統(tǒng)，流量采集源適用于SNMP、NetFlow /NetStream、硬件探針三種數(shù)據(jù)源，系統(tǒng)功能涵蓋流量數(shù)據(jù)的采集、統(tǒng)計(jì)、分析。

基于SNMP數(shù)據(jù)的流量統(tǒng)計(jì)可實(shí)現(xiàn)功能：網(wǎng)絡(luò)設(shè)備所有物理端口的流量速率、字節(jié)率、包速率、帶寬利用率。

表1 流量采集技術(shù)比較分析表

基于NetFlow/NetStream數(shù)據(jù)的流量統(tǒng)計(jì)可實(shí)現(xiàn)的功能：網(wǎng)絡(luò)設(shè)備固定物理端口的應(yīng)用流量速率、字節(jié)率、帶寬利用率、應(yīng)用成分占。統(tǒng)計(jì)維度可以分為IP網(wǎng)段、IP通信對(duì)、單個(gè)IP。

基于探針數(shù)據(jù)的流量統(tǒng)計(jì)可以實(shí)現(xiàn)的功能：網(wǎng)絡(luò)設(shè)備所有物理端口的流量速率、字節(jié)率、包速率、包種類、包尺寸分布、帶寬利用率。

網(wǎng)絡(luò)設(shè)備固定物理端口的應(yīng)用流量速率、字節(jié)率、帶寬利用率、應(yīng)用成分占。統(tǒng)計(jì)維度可以分為：IP網(wǎng)段、IP通信對(duì)、單個(gè)IP。

網(wǎng)絡(luò)設(shè)備邏輯端口（例如MPLS-VPN邏輯接口）的應(yīng)用流量速率、字節(jié)率、帶寬利用率、應(yīng)用成分占。統(tǒng)計(jì)維度可以分為：IP網(wǎng)段、IP通信對(duì)、單個(gè)IP。

基于SNMP方式的流量采集流程：第一，SNMP數(shù)據(jù)解析程序定期向網(wǎng)絡(luò)設(shè)備發(fā)起snmp GET請(qǐng)求，讀取網(wǎng)絡(luò)設(shè)備的SNMP MIB管理信息中的接口流量信息；第二，網(wǎng)絡(luò)設(shè)備接收到snmp GET請(qǐng)求后，根據(jù)請(qǐng)求的內(nèi)容，將相應(yīng)的信息返回給SNMP數(shù)據(jù)解析程序；第三，解析程序?qū)⒎祷豐NMP數(shù)據(jù)包進(jìn)行解析，并將解析后的內(nèi)容插入到數(shù)據(jù)庫中的接口流量表中；第四，當(dāng)接口流量數(shù)據(jù)插入完成后，程序會(huì)將更新的內(nèi)容上報(bào)給流量管理模塊相對(duì)應(yīng)的功能界面上。

基于NetFlow/NetStream方式的流量采集：第一，首先在網(wǎng)絡(luò)設(shè)備物理接口上開啟NetFlow/NetStream功能，開啟該功能后，設(shè)備會(huì)基于該接口統(tǒng)計(jì)流量中具體應(yīng)用流量以及流量所對(duì)應(yīng)的IP地址，并將統(tǒng)計(jì)結(jié)果暫存在NetFlow/NetStream緩存中，NetFlow/NetStream定期會(huì)將緩存中的統(tǒng)計(jì)結(jié)果封裝成NetFlow/NetStream數(shù)據(jù)包的形式發(fā)送給NetFlow/NetStream包解析器；第二，NetFlow/NetStream包解析器接收到NetFlow/NetStream數(shù)據(jù)包時(shí)，根據(jù)NetFlow/NetStream協(xié)議格式規(guī)范進(jìn)行解析，并將解析的結(jié)果插入到NetFlow /NetStream數(shù)據(jù)庫中的接口應(yīng)用流量表；第三，當(dāng)接口流量數(shù)據(jù)插入完成后，程序會(huì)將更新的內(nèi)容上報(bào)給流量管理模塊相對(duì)應(yīng)的功能界面上。

基于探針鏡像方式流量采集流程：首先，在網(wǎng)絡(luò)設(shè)備上開啟一個(gè)鏡像端口，把所需監(jiān)控物理接口中的所有原始流量復(fù)制一份到鏡像端口，同時(shí)鏡像端口連接到硬件探針的數(shù)據(jù)捕獲端口上。

第二步，硬件探針實(shí)時(shí)接收鏡像端口輸出的原始數(shù)據(jù)包。硬件探針程序分兩個(gè)進(jìn)程處理原始數(shù)據(jù)包，一是實(shí)時(shí)數(shù)據(jù)包存儲(chǔ)進(jìn)程，二是實(shí)時(shí)數(shù)據(jù)包分析進(jìn)程。硬件探針定期將緩存的統(tǒng)計(jì)數(shù)據(jù)發(fā)送給探針管理服務(wù)器，并由探針管理服務(wù)器統(tǒng)一展現(xiàn)。

第三步，探針管理服務(wù)器通過API接口向規(guī)約轉(zhuǎn)換器發(fā)送所有的統(tǒng)計(jì)數(shù)據(jù)，規(guī)約轉(zhuǎn)換器根據(jù)探針管理服務(wù)器發(fā)送數(shù)據(jù)進(jìn)行數(shù)據(jù)規(guī)整。

第四步，經(jīng)過規(guī)約轉(zhuǎn)換器數(shù)據(jù)規(guī)整后，按照平臺(tái)要求將固定格式的統(tǒng)計(jì)結(jié)果插入給探針數(shù)據(jù)庫中的接口應(yīng)用流量表。

第五步，當(dāng)接口流量數(shù)據(jù)插入完成后，程序會(huì)將更新的內(nèi)容上報(bào)給流量管理模塊相對(duì)應(yīng)的功能界面上。