劉蔚

(陜西財(cái)經(jīng)職業(yè)技術(shù)學(xué)院 會(huì)計(jì)二系， 咸陽 712000)

0 引言

快速發(fā)展完善的計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)使互聯(lián)網(wǎng)得以大規(guī)模普及，進(jìn)入了信息化時(shí)代對(duì)互聯(lián)網(wǎng)絡(luò)提出了更高的要求，網(wǎng)絡(luò)設(shè)備的處理能力不斷增強(qiáng)，網(wǎng)絡(luò)行為特征受到不斷出現(xiàn)的各類新應(yīng)用及不斷提高的鏈路速度的影響也發(fā)生了顯著的變化，面臨著提升服務(wù)質(zhì)量的巨大挑戰(zhàn)，為有效滿足互聯(lián)網(wǎng)的發(fā)展需求，最大程度降低人為因素造成的損失、確保網(wǎng)絡(luò)穩(wěn)定運(yùn)行是互聯(lián)網(wǎng)領(lǐng)域研究的重點(diǎn)之一。網(wǎng)絡(luò)行為學(xué)隨之逐漸發(fā)展和完善起來，在發(fā)現(xiàn)網(wǎng)絡(luò)中各種行為模式的基礎(chǔ)上，研究運(yùn)行的網(wǎng)絡(luò)行為特征，尋找關(guān)鍵因素和相變點(diǎn)，對(duì)網(wǎng)絡(luò)狀態(tài)做出預(yù)測(cè)和控制。本文主要對(duì)網(wǎng)絡(luò)行為特征分析的網(wǎng)絡(luò)監(jiān)測(cè)過程進(jìn)行了研究和設(shè)計(jì)，及時(shí)了解各類網(wǎng)絡(luò)行為，使實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)行為的各項(xiàng)要求得以有效滿足。

1 現(xiàn)狀分析

目前研究網(wǎng)絡(luò)行為的常用方法主要包括：(1) 測(cè)量分析，對(duì)實(shí)際網(wǎng)絡(luò)的性能進(jìn)行測(cè)試，實(shí)現(xiàn)對(duì)定量的網(wǎng)絡(luò)及測(cè)量數(shù)據(jù)的精確捕捉，課據(jù)此對(duì)發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)。(2) 仿真模擬，針對(duì)網(wǎng)絡(luò)設(shè)備和網(wǎng)絡(luò)鏈路通過統(tǒng)計(jì)模型的建立(使用模擬軟件)，完成對(duì)網(wǎng)絡(luò)流量傳輸過程的模擬及網(wǎng)絡(luò)行為數(shù)據(jù)的獲取，為網(wǎng)絡(luò)設(shè)計(jì)或優(yōu)化提供依據(jù)。(3) 模型分析，網(wǎng)絡(luò)模型通過使用數(shù)學(xué)方法完成構(gòu)建(如自相似流量模型、吞吐量模型等)。但隨著網(wǎng)絡(luò)復(fù)雜程度的不斷提升，需考慮的因素不斷增加，增加了建立網(wǎng)絡(luò)模型的難度，網(wǎng)絡(luò)測(cè)量成為研究的主要途徑，目前已發(fā)展出較多的方法，在網(wǎng)絡(luò)監(jiān)測(cè)過程中，反映網(wǎng)絡(luò)狀態(tài)的數(shù)據(jù)通過網(wǎng)絡(luò)管理設(shè)備進(jìn)行收集，但同數(shù)據(jù)采集技術(shù)相比其分析采集數(shù)據(jù)的能力較差，難以從數(shù)據(jù)中獲取網(wǎng)絡(luò)的運(yùn)行規(guī)律，導(dǎo)致大量網(wǎng)絡(luò)行為的理論模型得出的結(jié)論的說服力不足。本文主要對(duì)網(wǎng)絡(luò)行為特征分析的網(wǎng)絡(luò)監(jiān)測(cè)過程進(jìn)行了研究，并完成了網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)，有機(jī)結(jié)合了網(wǎng)絡(luò)監(jiān)測(cè)技術(shù)和數(shù)據(jù)分析技術(shù)，以各類行為(流量、端到端、路由、業(yè)務(wù))為依據(jù)完成了評(píng)價(jià)指標(biāo)及測(cè)量方法的設(shè)計(jì)，在篩選統(tǒng)計(jì)指標(biāo)數(shù)據(jù)的基礎(chǔ)上實(shí)現(xiàn)網(wǎng)絡(luò)行為基本特征的提取及網(wǎng)絡(luò)行為的數(shù)學(xué)模型的構(gòu)造[1]。

2 系統(tǒng)設(shè)計(jì)

2.1 測(cè)量和分析指標(biāo)

為規(guī)范對(duì)網(wǎng)絡(luò)行為特性的認(rèn)識(shí)過程需對(duì)網(wǎng)絡(luò)行為測(cè)量指標(biāo)進(jìn)行定義，完成分析行為指標(biāo)所需原始數(shù)據(jù)的獲取，在此基礎(chǔ)上對(duì)指標(biāo)性質(zhì)及網(wǎng)絡(luò)行為規(guī)律進(jìn)行歸納后完成網(wǎng)絡(luò)行為數(shù)學(xué)模型的建立，網(wǎng)絡(luò)行為的研究對(duì)象主要包括：(1) 流量行為，將包捕獲工具布置于網(wǎng)絡(luò)關(guān)鍵點(diǎn)實(shí)現(xiàn)網(wǎng)絡(luò)流量分析指標(biāo)(包括數(shù)據(jù)包級(jí)和業(yè)務(wù)流級(jí))的獲取。(2) 端到端行為，發(fā)送特定探測(cè)數(shù)據(jù)包后(從測(cè)量源端到被測(cè)目的端)，根據(jù)網(wǎng)絡(luò)的響應(yīng)情況獲取該段路徑的服務(wù)質(zhì)量。 (3) 路由行為，通過模擬器對(duì)路由數(shù)據(jù)信息進(jìn)行搜集。(4) 業(yè)務(wù)行為，對(duì)主流業(yè)務(wù)狀況通過主動(dòng)測(cè)試法完成測(cè)量，對(duì)用戶業(yè)務(wù)操作方式進(jìn)行模擬，從客戶端發(fā)起請(qǐng)求，根據(jù)服務(wù)器的響應(yīng)情況掌握相關(guān)業(yè)務(wù)的性能狀況。(5) 網(wǎng)元行為，各種網(wǎng)絡(luò)控制信息通過SNMP 協(xié)議的使用獲取。

實(shí)時(shí)獲取和處理網(wǎng)絡(luò)行為數(shù)據(jù)是網(wǎng)絡(luò)行為監(jiān)測(cè)的重點(diǎn)所在，這也是本文設(shè)計(jì)網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)的重點(diǎn)，系統(tǒng)的功能劃分如圖1所示。

圖1 系統(tǒng)的功能劃分

可長期對(duì)網(wǎng)絡(luò)行為進(jìn)行數(shù)據(jù)收集，完成實(shí)時(shí)測(cè)試過程，將通俗易懂的網(wǎng)絡(luò)實(shí)際行為指標(biāo)提供給用戶[2]。

2.2 系統(tǒng)整體架構(gòu)設(shè)計(jì)

以使對(duì)各種網(wǎng)絡(luò)行為測(cè)量需求得以有效滿足，本文所設(shè)計(jì)基于網(wǎng)絡(luò)行為特性分析的監(jiān)測(cè)系統(tǒng)主要由測(cè)量平臺(tái)、控制平臺(tái)、分析平臺(tái)構(gòu)成，系統(tǒng)總體架構(gòu)如圖2所示。

圖2 系統(tǒng)整體架構(gòu)

(1) 測(cè)量平臺(tái)，主要負(fù)責(zé)放置采集網(wǎng)絡(luò)行為數(shù)據(jù)的工具(包括端到端測(cè)量、業(yè)務(wù)仿真、SNMP代理等工具)，將探針(專門的計(jì)算機(jī)系統(tǒng))布置于網(wǎng)絡(luò)的各測(cè)量點(diǎn)中，完成各種數(shù)據(jù)的測(cè)量或?qū)耄傧蚩刂破脚_(tái)發(fā)送測(cè)量結(jié)果(本地探針會(huì)保存未完成順利發(fā)送的結(jié)果)。(2) 控制平臺(tái)，負(fù)責(zé)收集調(diào)配采集到的數(shù)據(jù)及發(fā)送測(cè)量命令，數(shù)據(jù)采集、分析及數(shù)據(jù)可視化通過控制平臺(tái)的控制共同完成測(cè)量任務(wù)，對(duì)數(shù)據(jù)量旁大的網(wǎng)絡(luò)行為監(jiān)測(cè)采集數(shù)據(jù)進(jìn)行精簡(jiǎn)后存入數(shù)據(jù)庫。(3) 分析平臺(tái)，主要負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行全面分析、整體分析與抽象處理，對(duì)原始性能數(shù)據(jù)進(jìn)行整理，去掉其中無關(guān)于網(wǎng)絡(luò)行為測(cè)量的大量數(shù)據(jù)，形成完備的可視化指標(biāo)數(shù)據(jù)，最終實(shí)現(xiàn)行為指標(biāo)數(shù)據(jù)集的構(gòu)造，在此基礎(chǔ)上完成對(duì)包括網(wǎng)絡(luò)性能、應(yīng)用行為、流量、路由、故障等在內(nèi)的綜合分析過程，此外還能夠查詢、告警和可視化各類數(shù)據(jù)，提供網(wǎng)絡(luò)告警[3]。

通過集中控制和分布式測(cè)量方式的使用顯著提升了系統(tǒng)的開放性和可擴(kuò)展性，適用于大規(guī)模部署，對(duì)于多種網(wǎng)絡(luò)行為通過拓展探針上的測(cè)量工具結(jié)合使用插件方式(在分析引擎上插入分析工具)即可實(shí)現(xiàn)靈活監(jiān)測(cè)分析過程，再通過分析引擎對(duì)數(shù)據(jù)進(jìn)行綜合分析實(shí)現(xiàn)綜合評(píng)估網(wǎng)絡(luò)的整體性能。此外該體系結(jié)構(gòu)還能夠以插件方式靈活導(dǎo)入相關(guān)數(shù)據(jù)，實(shí)現(xiàn)對(duì)多種數(shù)據(jù)的全面分析。

2.3 系統(tǒng)功能架構(gòu)設(shè)計(jì)

本文系統(tǒng)功能架構(gòu)具體如圖3所示。

圖3 系統(tǒng)功能框圖

(1) 分析平臺(tái)的功能在于配置測(cè)量任務(wù)參數(shù)(包括分析、顯示測(cè)量結(jié)果)，向系統(tǒng)控制測(cè)量程序下達(dá)已由用戶配置好測(cè)量參數(shù)的測(cè)量任務(wù)，該程序通過相應(yīng)底層測(cè)量工具的調(diào)用(以參數(shù)為依據(jù))完成測(cè)量的執(zhí)行過程，再向數(shù)據(jù)分析引擎通過使用相應(yīng)管道傳回測(cè)量結(jié)果(以圖形的形式顯示分析結(jié)果)，準(zhǔn)備下一次測(cè)量。(2) 控制平臺(tái)的功能在于控制和管理測(cè)量任務(wù)，控制模塊(能夠管理和調(diào)度多個(gè)測(cè)量任務(wù))完成測(cè)量任務(wù)參數(shù)的接收后會(huì)解析傳入的參數(shù)，接下來通過測(cè)量工具線程的創(chuàng)建(以相應(yīng)測(cè)量類型和測(cè)量參數(shù)為依據(jù))向底層測(cè)量工具傳送測(cè)量所需參數(shù)以供其完成測(cè)量過程，將測(cè)量結(jié)果進(jìn)行統(tǒng)計(jì)和分析并存入數(shù)據(jù)庫后返回給分析平臺(tái)。(3) 測(cè)量平臺(tái)主要負(fù)責(zé)測(cè)量工作，由系統(tǒng)控制模塊創(chuàng)建的測(cè)線程會(huì)啟動(dòng)相應(yīng)的測(cè)量工具，系統(tǒng)會(huì)切換到網(wǎng)絡(luò)行為測(cè)量過程，測(cè)量工具會(huì)向系統(tǒng)控制模塊傳輸測(cè)量結(jié)果(通過結(jié)果匯報(bào)函數(shù))以供其完成回收和分析過程[4]。

系統(tǒng)內(nèi)部消息數(shù)據(jù)流程具體如圖4所示。

圖4 系統(tǒng)消息與數(shù)據(jù)流圖

系統(tǒng)程序主要由管理控制、測(cè)量、分析與可視化三個(gè)進(jìn)程構(gòu)成，進(jìn)程間通過管道通信，用于控制測(cè)量工具和任務(wù)及管理測(cè)量任務(wù)的兩個(gè)線程由管理控制進(jìn)程完成創(chuàng)建，可向測(cè)量進(jìn)程發(fā)布任務(wù)以及對(duì)測(cè)量數(shù)據(jù)進(jìn)行保存和分析等；測(cè)量進(jìn)程在完成測(cè)量任務(wù)(來自管理控制進(jìn)程)的接收后通過測(cè)量線程的創(chuàng)建啟動(dòng)測(cè)量工具，并向分析與可視化進(jìn)程傳送測(cè)量結(jié)果，最終向用戶提供圖形化的測(cè)量結(jié)果[5]。

3 系統(tǒng)實(shí)現(xiàn)的關(guān)鍵技術(shù)

3.1 包捕獲技術(shù)

為提升系統(tǒng)的準(zhǔn)確性，采用捕獲效率高、系統(tǒng)資源占用少的數(shù)據(jù)包采集方法，實(shí)現(xiàn)了高速鏈路數(shù)據(jù)包捕獲方式(基于多空間內(nèi)存共享)，數(shù)據(jù)包緩存采用的共享內(nèi)存不受內(nèi)核空間和用戶空間界限的限制，實(shí)現(xiàn)數(shù)據(jù)包內(nèi)存零拷貝，使系統(tǒng)調(diào)用次數(shù)得以顯著降低，從而縮短了數(shù)據(jù)包的傳輸路徑。網(wǎng)絡(luò)鏈路數(shù)據(jù)包捕獲方法的數(shù)據(jù)包處理流程為：底層驅(qū)動(dòng)模塊完成數(shù)據(jù)包捕獲后，需對(duì)數(shù)據(jù)包緩存空間進(jìn)行檢查，并負(fù)責(zé)寫入數(shù)據(jù)包到共享內(nèi)存，共享內(nèi)存管理模塊檢查到有可用的緩存空間后 在共享內(nèi)存中寫入數(shù)據(jù)包并返回(通過DMA通道)，調(diào)用上層應(yīng)用API接口對(duì)緩存的數(shù)據(jù)包進(jìn)行訪問并完成數(shù)據(jù)包處理和分析工作。在共享內(nèi)存數(shù)據(jù)信息域中通過底層驅(qū)動(dòng)模塊直接完成數(shù)據(jù)的順序循環(huán)寫入，通過應(yīng)用程序調(diào)用API接口對(duì)共享內(nèi)存進(jìn)行訪問，實(shí)現(xiàn)數(shù)據(jù)包內(nèi)存零拷貝，降低調(diào)用開銷。

3.2 自適應(yīng)數(shù)據(jù)包采樣技術(shù)

目前網(wǎng)絡(luò)數(shù)據(jù)流量采樣技術(shù)以應(yīng)用靜態(tài)采樣為主，以預(yù)先期望的網(wǎng)絡(luò)特征為依據(jù)對(duì)采樣策略和參數(shù)進(jìn)行事先配置，缺乏根據(jù)網(wǎng)絡(luò)狀態(tài)進(jìn)行實(shí)時(shí)動(dòng)態(tài)調(diào)整的能力，對(duì)于網(wǎng)絡(luò)速率和流量突發(fā)較小時(shí)能夠在誤差范圍內(nèi)使用，但網(wǎng)絡(luò)行為受到突發(fā)特征的影響呈現(xiàn)出重尾分布、自相似的特征，增加了傳統(tǒng)流量采樣的難度，導(dǎo)致難以有效測(cè)量高速網(wǎng)絡(luò)，降低了指標(biāo)分析結(jié)果的可靠性。因此本文使用了基于集合時(shí)間序列變化規(guī)律的自適應(yīng)網(wǎng)絡(luò)數(shù)據(jù)采樣方法，以已采取樣本作為分析對(duì)象實(shí)現(xiàn)網(wǎng)絡(luò)流量變化緩急程度的獲取，在此基礎(chǔ)上估計(jì)流量的變化趨勢(shì)，并對(duì)采樣間隔進(jìn)行自動(dòng)調(diào)整，從而能夠更加細(xì)致準(zhǔn)確的反映流量指標(biāo)。

由Y={Yt:t=1, 2, …,n}表示網(wǎng)絡(luò)流量變化的時(shí)間序列(在一段時(shí)間區(qū)域內(nèi))，記作全集I，Y的期望值由EI[Y]表示，則網(wǎng)絡(luò)流量變化的緩急程度(即絕對(duì)變化率)的表達(dá)式如式(1)[6]。

(1)

從時(shí)間序列Y={Yt:t=1, 2, …,n}構(gòu)成的該集合中抽取部分元素構(gòu)成的子集合YSUB(本文選取最后m個(gè)連續(xù)元素)，其期望值由E[YSUB]表示，相對(duì)于Y的相對(duì)變化率表達(dá)式如下(表示網(wǎng)絡(luò)流量變化的緩急程度)如式(2)。

(2)

由ΔTii=1, 2, …表示第i次采樣間隔時(shí)間，如式(3)。

(3)

自適應(yīng)采樣的估計(jì)過程以在Δt內(nèi)被測(cè)流量的變化程度及相對(duì)于當(dāng)前流量總體的變化為依據(jù)，對(duì)流量總體的準(zhǔn)確監(jiān)測(cè)通過對(duì)不同變化程度下的采樣速率進(jìn)行調(diào)整實(shí)現(xiàn)，并通過式(3)對(duì)下一次采樣的頻率進(jìn)行調(diào)節(jié)，即使被測(cè)流量的變化不大時(shí)仍能夠有效監(jiān)測(cè)較少的樣本，實(shí)現(xiàn)對(duì)被測(cè)行為以較少的樣本數(shù)進(jìn)行有效刻畫，降低了采樣成本；通過增加樣本數(shù)量即可對(duì)變化較大的被測(cè)流量實(shí)現(xiàn)網(wǎng)絡(luò)行為的精確反映。

4 實(shí)驗(yàn)分析

為檢測(cè)本文所設(shè)計(jì)的網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)的實(shí)用性和穩(wěn)定性，通過對(duì)用戶訪問網(wǎng)絡(luò)服務(wù)的方式進(jìn)行模擬，對(duì)被測(cè)服務(wù)器由采集探針發(fā)送連接請(qǐng)求，根據(jù)服務(wù)器響應(yīng)情況，對(duì)特定站點(diǎn)的信息采用主動(dòng)測(cè)量方式進(jìn)行收集，網(wǎng)絡(luò)帶寬、吞吐量等行為指標(biāo)的測(cè)量以高精度的時(shí)延測(cè)量技術(shù)為依據(jù)，本文采用的端到端時(shí)延測(cè)量方法具備較高的精度，系統(tǒng)調(diào)用計(jì)時(shí)采用TSC寄存器計(jì)數(shù)，根據(jù)位置誤差的產(chǎn)生機(jī)理，利用NTP協(xié)議對(duì)測(cè)量對(duì)象的CPU頻率進(jìn)行準(zhǔn)確估計(jì)，使時(shí)鐘誤差得以消除。將時(shí)間戳記錄位置通過對(duì)系統(tǒng)內(nèi)核記錄發(fā)包、收包時(shí)間戳進(jìn)行修改實(shí)現(xiàn)從應(yīng)用程序到網(wǎng)卡驅(qū)動(dòng)的轉(zhuǎn)移，從而消除了位置誤差，并使時(shí)延測(cè)量精度得以顯著提升。通過監(jiān)測(cè)工具TCPP(基于TCP層)精確獲取包的延遲時(shí)間。同時(shí)對(duì)網(wǎng)絡(luò)可用率、穩(wěn)定性進(jìn)行評(píng)測(cè)(轉(zhuǎn)移包括包括業(yè)務(wù)響應(yīng)時(shí)間、總處理時(shí)間、吞吐速率)，然后分析返回的測(cè)試結(jié)果(在分析平臺(tái))，測(cè)試結(jié)果證明了該網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)的可行性，有效降低了信息收集的時(shí)鐘和位置誤差，提升了業(yè)務(wù)的處理效率，并且能夠?qū)Χ说蕉司W(wǎng)絡(luò)業(yè)務(wù)的實(shí)時(shí)性能進(jìn)行監(jiān)控，結(jié)合歷史數(shù)據(jù)做出趨勢(shì)分析[7]。

5 總結(jié)

互聯(lián)網(wǎng)規(guī)劃設(shè)計(jì)及管理工作離不開網(wǎng)絡(luò)行為特征分析的支撐，快速發(fā)展的互聯(lián)網(wǎng)在帶來便利的同時(shí)使網(wǎng)絡(luò)規(guī)?？焖贁U(kuò)大，為網(wǎng)絡(luò)行為特性測(cè)量與分析工作提出了更高的要求，為滿足對(duì)網(wǎng)絡(luò)行為的監(jiān)測(cè)需求，本文主要對(duì)網(wǎng)絡(luò)行為特征分析的網(wǎng)絡(luò)監(jiān)測(cè)過程進(jìn)行了研究和設(shè)計(jì)，在分析了網(wǎng)絡(luò)行為特性分析現(xiàn)狀的基礎(chǔ)上，以網(wǎng)絡(luò)行為特性分析的要求為依據(jù)，完成了網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)及網(wǎng)絡(luò)行為評(píng)價(jià)指標(biāo)體系的構(gòu)建，有機(jī)結(jié)合了網(wǎng)絡(luò)監(jiān)測(cè)技術(shù)和數(shù)據(jù)分析技術(shù)，詳細(xì)介紹了系統(tǒng)的功能架構(gòu)和實(shí)現(xiàn)路徑，具有良好的可擴(kuò)展性，使實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)行為的各項(xiàng)要求得以有效滿足，為網(wǎng)絡(luò)的運(yùn)營管理提供參考。