陶興宇，徐　蕾

(沈陽航空航天大學 計算機學院,沈陽 110136)

?

基于本地數(shù)據(jù)處理的網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)采集算法

陶興宇，徐蕾

(沈陽航空航天大學 計算機學院,沈陽 110136)

針對網(wǎng)管中網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)的傳輸占用網(wǎng)絡(luò)帶寬的問題，提出一種數(shù)據(jù)采集算法。算法在做網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)采集的網(wǎng)絡(luò)監(jiān)控端對采集數(shù)據(jù)進行分析和預處理，根據(jù)采集數(shù)據(jù)的變化動態(tài)調(diào)整監(jiān)控數(shù)據(jù)的傳輸時間間隔，進而在數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)帶寬占用和傳輸數(shù)據(jù)信息量之間做到較好的平衡。實驗結(jié)果表明，該算法減少了采集的網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)的傳輸次數(shù)和傳輸量，在網(wǎng)絡(luò)管理端進行采集數(shù)據(jù)擬合時，數(shù)據(jù)擬合結(jié)果能很好地反應(yīng)采集點網(wǎng)絡(luò)狀態(tài)變化的劇烈程度。

網(wǎng)絡(luò)管理；數(shù)據(jù)采集；網(wǎng)絡(luò)監(jiān)控；本地數(shù)據(jù)處理；SNMP

網(wǎng)絡(luò)管理系統(tǒng)中，為能夠及時分析網(wǎng)絡(luò)運行狀態(tài)，需要實時、精確地采集網(wǎng)絡(luò)運行監(jiān)控數(shù)據(jù)，但采集數(shù)據(jù)的傳輸會消耗網(wǎng)絡(luò)資源，嚴重時造成網(wǎng)絡(luò)擁塞。通常要求網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)的通信量限制在網(wǎng)絡(luò)最小帶寬的5%以內(nèi)[1-2]。

網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)的采集一般采用周期輪詢的采集算法[3-4]，輪詢的時間間隔是這種算法的關(guān)鍵。采用固定時間間隔的輪詢算法，其時間間隔難以確定，間隔過長不能實時獲取網(wǎng)絡(luò)狀態(tài)信息，間隔太短則數(shù)據(jù)傳輸會占用過多帶寬[5]。固定時間間隔采集算法優(yōu)點是簡單、易于實現(xiàn)，缺點是忽略了數(shù)據(jù)變化的特點、效率低[6]。針對固定時間間隔采集算法的缺點，出現(xiàn)了變時間間隔的采集算法。文獻[7]根據(jù)采集到的數(shù)據(jù)信息，利用馬爾可夫鏈建立的系統(tǒng)模型動態(tài)調(diào)整數(shù)據(jù)采集時間間隔，平衡數(shù)據(jù)采集對網(wǎng)絡(luò)帶寬影響和數(shù)據(jù)采集真實度。文獻[8]通過對已經(jīng)采集到的一段時間內(nèi)的網(wǎng)絡(luò)歷史數(shù)據(jù)變化情況進行評估，得出數(shù)據(jù)變化平滑度并以此為依據(jù)調(diào)整數(shù)據(jù)采集時間間隔。文獻[9]利用采集的歷史數(shù)據(jù)進行數(shù)據(jù)擬合，得出一元線性回歸方程，利用此方程預測下一時刻的數(shù)據(jù)，進而調(diào)整數(shù)據(jù)采集的頻率，控制了網(wǎng)絡(luò)通信量。

上述改進算法是利用已采集到的歷史數(shù)據(jù)的變化規(guī)律，確定后續(xù)數(shù)據(jù)采集的時間間隔。若當前網(wǎng)絡(luò)通信行為與歷史數(shù)據(jù)反映的行為不一致，這種方法不易及時適應(yīng)這些數(shù)據(jù)變化。現(xiàn)有的數(shù)據(jù)采集算法多數(shù)是由數(shù)據(jù)采集管理端發(fā)起的，采集管理端根據(jù)前一個(或多個)采集時刻的數(shù)據(jù)來確定下一個數(shù)據(jù)的采集時間間隔，監(jiān)控數(shù)據(jù)采集的時間間隔變化沒有準確反映當前的網(wǎng)絡(luò)數(shù)據(jù)變化。

本文提出一種新的網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)采集算法，該算法將網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)采集的代理程序放在網(wǎng)絡(luò)數(shù)據(jù)監(jiān)控端，將采集到的網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)先進行本地化分析處理，經(jīng)分析、比較發(fā)現(xiàn)網(wǎng)絡(luò)狀態(tài)劇烈變化或者數(shù)據(jù)的采集間隔達到預置的最大時間間隔時，數(shù)據(jù)監(jiān)控端的本地代理向系統(tǒng)管理端發(fā)送網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)。在做本地數(shù)據(jù)處理時，由于不影響網(wǎng)絡(luò)負載，可以根據(jù)需要較頻繁地獲取網(wǎng)絡(luò)設(shè)備信息進行分析計算。當需要數(shù)據(jù)傳輸時，再將這些分析數(shù)據(jù)和當前時刻的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)一并傳輸?shù)綌?shù)據(jù)管理端,這樣通過一次傳輸就可以獲得較為全面的網(wǎng)絡(luò)信息。實驗結(jié)果表明，采集到的數(shù)據(jù)和實際數(shù)據(jù)的擬合結(jié)果較好，在網(wǎng)絡(luò)狀態(tài)變化劇烈時數(shù)據(jù)采集很頻繁，及時獲取了網(wǎng)絡(luò)狀態(tài)的變化信息；反之，采集點較為稀疏時，只獲得必要的網(wǎng)絡(luò)狀態(tài)信息。

1　數(shù)據(jù)采集算法設(shè)計

理想的網(wǎng)絡(luò)運行狀態(tài)監(jiān)測算法是：在網(wǎng)絡(luò)平穩(wěn)運行時，降低頻率輪詢，減少不必要的網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)傳輸；當網(wǎng)絡(luò)運行波動較大時，能夠及時將網(wǎng)絡(luò)運行波動數(shù)據(jù)傳送到網(wǎng)絡(luò)管理端，使網(wǎng)絡(luò)管理端能夠及時發(fā)現(xiàn)網(wǎng)絡(luò)的異常狀態(tài)[10-11]?；谶@一思想，在網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)采集點增加數(shù)據(jù)處理功能，在采集本地先將采集到的數(shù)據(jù)與之前采集的數(shù)據(jù)做比較分析，必要時再將網(wǎng)絡(luò)運行狀態(tài)數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)管理端。

1.1監(jiān)控端本地數(shù)據(jù)處理策略

根據(jù)網(wǎng)絡(luò)管理端的數(shù)據(jù)采集要求，監(jiān)控端采集一組本地的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，包括監(jiān)控端本地運行數(shù)據(jù)(如接口接收總字節(jié)數(shù)、接口數(shù)據(jù)速率等)、網(wǎng)絡(luò)狀態(tài)信息[12-13](可利用SNMP代理獲取網(wǎng)絡(luò)狀態(tài)信息)；設(shè)采集的n個數(shù)據(jù)用向量X={x1,x2,…,xn}表示，定義在時刻t1采集的數(shù)據(jù)X和時刻t2采集數(shù)據(jù)Y之間的數(shù)據(jù)最大變化率如式(1)所示：

(1)

網(wǎng)絡(luò)運行平穩(wěn)時，數(shù)據(jù)變化率較小，達不到閾值條件，會出現(xiàn)長時間沒有數(shù)據(jù)傳輸?shù)骄W(wǎng)絡(luò)管理端的情況，造成網(wǎng)絡(luò)管理端不易完整的監(jiān)控網(wǎng)絡(luò)運行狀態(tài)的現(xiàn)象，因此算法設(shè)置了采集系統(tǒng)的最大采集時間間隔閾值ε。當監(jiān)控端在ε個T的時間間隔之內(nèi)沒有向網(wǎng)絡(luò)管理端發(fā)送數(shù)據(jù)時，在εT時刻也需要向網(wǎng)絡(luò)管理端發(fā)送采集的監(jiān)控數(shù)據(jù)。

為使網(wǎng)絡(luò)管理端能更好地分析網(wǎng)絡(luò)運行狀態(tài),在監(jiān)控端采集的數(shù)據(jù)滿足閾值條件向網(wǎng)絡(luò)管理端發(fā)送當前t時刻的采集數(shù)據(jù)時，考慮到此時距上次數(shù)據(jù)的發(fā)送時刻t0有一定的時間間隔，為使網(wǎng)絡(luò)管理端更好地恢復監(jiān)控端的網(wǎng)絡(luò)運行狀態(tài)，同時又盡量減少網(wǎng)絡(luò)中數(shù)據(jù)傳輸?shù)耐ㄐ帕?，在發(fā)送t時刻采集數(shù)據(jù)的同時，向網(wǎng)絡(luò)管理端傳送在此期間采集數(shù)據(jù)最大變化率排在前兩位的兩個采集數(shù)據(jù)及其采集時間，便于網(wǎng)絡(luò)管理端利用這些數(shù)據(jù)擬合出t0與t時刻之間的網(wǎng)絡(luò)運行狀態(tài)。

1.2數(shù)據(jù)采集算法

在監(jiān)控端需要設(shè)置ε個時間間隔的緩沖區(qū)，用于存儲本地采集的還未發(fā)送到網(wǎng)絡(luò)管理端的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，每個緩沖區(qū)單元存放采集數(shù)據(jù)和采集時間的兩元組，用(X,t)表示，緩沖區(qū)中的數(shù)據(jù)單元按照采集數(shù)據(jù)的最大變化率降序排列。設(shè)本地數(shù)據(jù)采集的時間間隔為T，在采集端本地利用T時間間隔的時鐘中斷觸發(fā)采集操作。本地發(fā)送數(shù)據(jù)的最大數(shù)據(jù)間隔數(shù)是ε，采集數(shù)據(jù)最大變化率閾值為δ，數(shù)據(jù)采集算法描述如下：

(1)初始化采集數(shù)據(jù)存儲緩沖區(qū)buffer；

(2)做一次初始的本地采集存入X；當前采集時刻為tX；

(3)啟動時間間隔為T的時鐘中斷；

(4)REPEAT∥監(jiān)控端進入采集工作；

(5)設(shè)置計數(shù)器變量count=0；

(6)while(count<ε){

(7)等待時鐘中斷信號；

(8)采集數(shù)據(jù)存入Y,記錄時間tY；

(9)count=count+1；

(13)}

(14)構(gòu)造發(fā)送數(shù)據(jù)S=(count,(Y,tY))；

(15)If(count≥2)S=S‖bufer[0]；

∥將buffer[0]聯(lián)接在S數(shù)據(jù)的后面；

(16)If(count≥3)S=S‖buffer[1]；

(17)向網(wǎng)絡(luò)管理端發(fā)送數(shù)據(jù)S；

(18)Until數(shù)據(jù)采集結(jié)束。

以上算法通過在網(wǎng)絡(luò)狀態(tài)監(jiān)控端監(jiān)測信息的變化，動態(tài)調(diào)整向網(wǎng)絡(luò)管理端傳輸數(shù)據(jù)的時刻，精確地采集網(wǎng)絡(luò)運行狀態(tài)信息。

1.3網(wǎng)絡(luò)管理端的數(shù)據(jù)擬合

網(wǎng)絡(luò)管理端接收到監(jiān)控端的監(jiān)控數(shù)據(jù)之后，為了恢復監(jiān)控端系統(tǒng)運行狀態(tài)，需要利用接收到的不同時間間隔系統(tǒng)運行狀態(tài)采集點數(shù)據(jù)(包括每次上傳的附加點數(shù)據(jù))，通過數(shù)據(jù)擬合的方法獲得監(jiān)控端的系統(tǒng)運行狀態(tài)。本文使用最小二乘法的多項式擬合方法，在網(wǎng)絡(luò)管理端進行監(jiān)控數(shù)據(jù)擬合[14-15]。

利用擬合的多項式，網(wǎng)絡(luò)管理端可以得到網(wǎng)絡(luò)監(jiān)控端各系統(tǒng)運行參數(shù)的近似變化情況。

2　實驗及結(jié)果分析

在網(wǎng)絡(luò)管理端，通過設(shè)置不同的實驗條件，對監(jiān)控端采集到的數(shù)據(jù)利用最小二乘法的多項式擬合得到監(jiān)控端的系統(tǒng)狀態(tài)變化情況，與實際系統(tǒng)狀態(tài)變化情況進行對比，驗證數(shù)據(jù)采集算法的有效性。

利用實驗室環(huán)境下二層網(wǎng)絡(luò)結(jié)構(gòu)的局域網(wǎng)搭建實驗環(huán)境，網(wǎng)絡(luò)中設(shè)置一個網(wǎng)絡(luò)管理端和多個網(wǎng)絡(luò)監(jiān)控端，監(jiān)測網(wǎng)內(nèi)重要節(jié)點的系統(tǒng)及網(wǎng)絡(luò)運行狀態(tài)。實驗采集了某個網(wǎng)絡(luò)監(jiān)測端的接口數(shù)據(jù)速率、接口接收和發(fā)送的總字節(jié)數(shù)等多個網(wǎng)絡(luò)運行狀態(tài)數(shù)據(jù)參數(shù)。實驗過程中，對網(wǎng)絡(luò)運行進行一定的外界干擾，以便在系統(tǒng)運行正常及非正常的情況下實現(xiàn)數(shù)據(jù)采集。

設(shè)置監(jiān)控端采集數(shù)據(jù)的時間間隔T=30 s不變，最大變化率閾值δ=0.4，最大采集時間間隔ε=10。從采集的參數(shù)中選取其中的CPU使用率和網(wǎng)絡(luò)流量變化率兩個參數(shù)，將網(wǎng)絡(luò)管理端接收到采集數(shù)據(jù)與監(jiān)控端系統(tǒng)的運行數(shù)據(jù)通過MATLAB進行最小二乘法多項式曲線擬合，得到原始網(wǎng)絡(luò)數(shù)據(jù)和采集的網(wǎng)絡(luò)數(shù)據(jù)變化情況圖。觀察所采集的數(shù)據(jù)是否能實時準確地反應(yīng)網(wǎng)絡(luò)的運行情況，擬合結(jié)果如圖1、圖2所示。

從以上實驗得到的數(shù)據(jù)擬合結(jié)果可以看出，算法在數(shù)據(jù)變化劇烈的時候，采集點較為稠密，能夠及時跟蹤數(shù)據(jù)監(jiān)控端的系統(tǒng)運行狀態(tài)變化；監(jiān)控端系統(tǒng)運行狀態(tài)數(shù)據(jù)變化平緩時，采集點傳輸?shù)拈g隔較長，占用了較低的網(wǎng)絡(luò)帶寬，反之傳輸?shù)臅r間間隔變短。算法中每次傳輸采集數(shù)據(jù)時，會附帶兩次數(shù)據(jù)傳輸中間的多個采集點數(shù)據(jù)，進而使網(wǎng)絡(luò)管理端能夠獲得更加豐富的系統(tǒng)監(jiān)控數(shù)據(jù)。

圖1　CPU使用率的采集數(shù)據(jù)擬合與實際數(shù)據(jù)對比

圖2　網(wǎng)絡(luò)流量變化率的采集數(shù)據(jù)擬合與實際數(shù)據(jù)對比

3　結(jié)論

在網(wǎng)絡(luò)運行監(jiān)控系統(tǒng)中，若網(wǎng)絡(luò)管理端需要全面準確地掌握網(wǎng)絡(luò)運行狀態(tài)，就需要進行頻繁的系統(tǒng)運行狀態(tài)采集和采集數(shù)據(jù)的傳輸，進而造成網(wǎng)絡(luò)負載的增加。本文提出的數(shù)據(jù)采集算法，為減小網(wǎng)絡(luò)運行狀態(tài)傳輸對網(wǎng)絡(luò)負載的影響，將采集的系統(tǒng)運行狀態(tài)數(shù)據(jù)在采集本地進行比較和分析，并按照采集數(shù)據(jù)的傳輸策略確定是否進行采集數(shù)據(jù)的傳輸，進而動態(tài)地調(diào)整采集數(shù)據(jù)的傳輸時間間隔，數(shù)據(jù)傳輸時，將兩次傳輸時間間隔中的數(shù)據(jù)變化信息一并發(fā)送到網(wǎng)絡(luò)管理端。

算法對采集數(shù)據(jù)的本地處理策略只是簡單的根據(jù)采集數(shù)據(jù)的變化率是否超過閾值決定數(shù)據(jù)是否傳輸，進一步的研究可考慮所采集的各種系統(tǒng)運行參數(shù)變化對網(wǎng)絡(luò)運行產(chǎn)生的各種不同影響，需要對采集數(shù)據(jù)做綜合分析，更高效地進行監(jiān)控數(shù)據(jù)的傳輸。

[1]HUANG M G,WANG Z L.Subnet broadcast polling algorithm of network management based on SNMP[J].Applied Mechanics & Materials,2013(347-350):2915-2918.

[2]錢瓊芬,李春林,張小慶,等.云數(shù)據(jù)中心虛擬資源管理研究綜述[J].計算機應(yīng)用研究,2012,29(7):2411-2415.

[3]楊指揮,王勇,蘇瑞.用于網(wǎng)絡(luò)管理系統(tǒng)的智能輪詢策略[J].計算機工程,2010,36(9):106-108.

[4]S SUN Q,GAO L,WANGH,et al.A Dynamic Polling Strategy Based on Prediction Model for Large-Scale Network Monitoring[C]// International Conference on Advanced Cloud and Big Data,Nangjing,China:IEEE,2013:8-13.

[5]CHUVAKIN A A,SCHMIDT K J.Logging ang Log Management[J].Syngress,2013,2013(2):4-9.

[6]RANDY H.KATZ,DAVID E.CULLER,SETH SANDERS,et al.An information-centric energy infrastructure:the berkeley view[J].Su Computing Informatics & Systems,2011,1(1):7-22.

[7]蔡紅維,周敏,蔣仕偉,等.智能輪詢在航天測控運行管理系統(tǒng)中的應(yīng)用[J].飛行器測控學報,2013,32(3):229-233.

[8]譚興麗,唐學文,王美陽.一種動態(tài)分層分布式數(shù)據(jù)采集算法[J].計算機應(yīng)用研究,2012,29(12):4691-4693.

[9]PHAN T H,LAMBERTSEN G,YAMADA T.Seamless handover supported by parallel polling and dynamic multicast group in connected WLAN micro-cells system[J].Computer Communications,2012,35(1):89-99.

[10]ANTON A.CHUVAKIN,KEVIN J.SCHMIDT,CHRISTOPHER PHILLIPS著,姚軍,簡于涵,劉暉,等譯.日志管理與分析權(quán)威指南[M].北京：機械工業(yè)出版社,2014.

[11]李明江.SNMP簡單網(wǎng)絡(luò)管理協(xié)議[M].北京：電子工業(yè)出版社,2007.

[12]吳小川,張治學.基于Fuzzy丟包區(qū)分的TCP自適應(yīng)擁塞控制算法[J].計算機應(yīng)用,2013,33(7):1809-1812.

[13]PANG X Y,JIANG B,TONG C L,et al.A kind of data acquisition algorithm of adaptive data change rule[J].Computer Technology & Development,2013(6):384-391.

[14]JIANG H,JIN S,WANG C.Parameter-based data aggregation for statistical information extraction in wireless sensor networks[J].IEEE Transactions on Vehicular Technology,2010,59(8):3992-4001.

[15]張新,常義林,孫方濤,等.分層分布式網(wǎng)絡(luò)故障監(jiān)視算法研究[J].電子與信息學報,2007,29(4):771-775.

(責任編輯：劉劃英文審校：趙亮)

Network monitoring data acquisition algorithm based on local data processing

TAO Xing-yu,XU Lei

(College of Computer Science,Shenyang Aerospace University,Shenyang 110136,China)

A data acquisition algorithm was proposed to deal with the problem of network bandwidth occupied by transmission of network monitoring data in network management.The algorithm analyzed and preprocessed data collected on the network-monitoring terminal of the network monitoring data acquisition.It dynamically adjusted and monitored the time interval of data transmission to manage a better balance between the network bandwidth occupied by the data transmission and the amount of data transmitted.The experiment results show that the algorithm reduces the number of network monitoring data transmission and the amount of information.If data at the collection point is fitted on the network management terminal,the fitting result can well reflect the changes of network status.

network management;data acquisition;network monitoring;local data processing;SNMP

2095-1248(2016)03-0084-04

2016-03-13

中航工業(yè)技術(shù)創(chuàng)新基金(基礎(chǔ)研究類)(項目編號：2013S60109R)

陶興宇(1991-)，男，遼寧沈陽人，碩士研究生，主要研究方向：信息安全技術(shù)，E-mail：303718txj@sina.cn；徐蕾(1959-)，女，上海人，教授，主要研究方向：信息安全技術(shù)。

TP393.07

A

10.3969/j.issn.2095-1248.2016.03.014