張 鑫，李隱峰

(西安電子科技大學(xué) 電子工程學(xué)院，陜西 西安710071)

隨著校園網(wǎng)的日益擴(kuò)展，其應(yīng)用形式在不斷豐富，傳統(tǒng)的流量統(tǒng)計(jì)方法已不能滿足校園網(wǎng)對(duì)高速網(wǎng)絡(luò)的實(shí)際需求。目前高校校園網(wǎng)多采用基于流的采樣技術(shù)來(lái)進(jìn)行流量統(tǒng)計(jì)與計(jì)費(fèi)，官方統(tǒng)計(jì)數(shù)據(jù)更新滯后，無(wú)法實(shí)時(shí)反應(yīng)用戶的流量使用情況。本文在研究校園網(wǎng)網(wǎng)絡(luò)環(huán)境的基礎(chǔ)上，提出了基于流的校園局域網(wǎng)流量統(tǒng)計(jì)方案。該方案基于軟件實(shí)現(xiàn)，開(kāi)發(fā)成本低、執(zhí)行效率高，為高校實(shí)驗(yàn)室局域網(wǎng)流量控制提供了可靠的數(shù)據(jù)保障。

1 流的概念

1.1 流的定義

流可以被定義為一系列通過(guò)網(wǎng)絡(luò)中某一觀察點(diǎn)的具有相同屬性的數(shù)據(jù)包，這些屬性包括端點(diǎn)、方向、時(shí)間粒度、協(xié)議層次。端點(diǎn)指的是流的起點(diǎn)和終點(diǎn)，方向可以是單向或雙向的，時(shí)間粒度考慮的是數(shù)據(jù)包的發(fā)送起始時(shí)間和終止時(shí)間，協(xié)議層次包括OSI模型的7層協(xié)議。最典型的用五元組(源IP、目的IP、源端口、目的端口、協(xié)議類(lèi)型)來(lái)定義流［1］。

1.2 流的開(kāi)始和結(jié)束

在對(duì)流進(jìn)行測(cè)量時(shí)，數(shù)據(jù)流的開(kāi)始和結(jié)束時(shí)刻，是流量分析統(tǒng)計(jì)的關(guān)鍵指標(biāo)。

當(dāng)一個(gè)數(shù)據(jù)包到達(dá)時(shí)，它不能劃分到某一個(gè)正在統(tǒng)計(jì)的流中，就表明一個(gè)新的流的開(kāi)始。在NetFlow中，給出了流結(jié)束的定義，以下特征都可以作為流結(jié)束的標(biāo)志:(1)傳輸協(xié)議指出連接結(jié)束(TCP FIN或TCP RST)。(2)無(wú)流量超過(guò)15 s(對(duì)于UDP協(xié)議，15 s是路由器默認(rèn)的定時(shí)時(shí)間)。(3)流緩存每30 min過(guò)期以實(shí)現(xiàn)活動(dòng)流的周期報(bào)告(30 min是路由器默認(rèn)的定時(shí)時(shí)間)。(4)緩存滿了，判斷緩存匯聚的結(jié)束時(shí)間有2個(gè)定時(shí)時(shí)間:主緩存定時(shí)時(shí)間和匯聚緩存定時(shí)時(shí)間。

1.3 流的采樣方法

流的采樣方法分為周期采樣和隨機(jī)采樣。周期采樣具有實(shí)現(xiàn)簡(jiǎn)單、算法的系統(tǒng)開(kāi)銷(xiāo)小等優(yōu)點(diǎn)，但它無(wú)法適應(yīng)網(wǎng)絡(luò)流量監(jiān)測(cè)和管理的需求。隨機(jī)采樣是根據(jù)預(yù)先定義的隨機(jī)過(guò)程來(lái)確定采樣的起始點(diǎn)和采樣間隔，實(shí)現(xiàn)樣本選取的獨(dú)立性，保證采樣測(cè)量的無(wú)偏性。采樣有兩種情況:一種是“n out of N”型采樣，從N個(gè)數(shù)據(jù)包中隨機(jī)選取n個(gè)數(shù)據(jù)包作為樣本;另一種是概率采樣，依據(jù)預(yù)先定義的概率來(lái)判決是否提取某個(gè)數(shù)據(jù)包。

周期采樣和隨機(jī)采樣可以是針對(duì)數(shù)據(jù)報(bào)個(gè)數(shù)的，也可以是針對(duì)時(shí)間的。對(duì)不同位置或不同用途的設(shè)備可以使用不同的采樣率，例如:可以對(duì)接近主機(jī)或最終用戶的端口進(jìn)行頻繁采樣，而對(duì)接近核心的設(shè)備和端口采樣頻率稍低。采樣雖不能保證完全準(zhǔn)確，但可以控制在一定的誤差范圍內(nèi)。設(shè)數(shù)據(jù)包總數(shù)為N，采樣所得到的樣本數(shù)據(jù)包為n，其中屬于特定類(lèi)別的數(shù)據(jù)包數(shù)量為c，在所有數(shù)據(jù)包中，屬于特定類(lèi)別的數(shù)據(jù)包比率為P=c/n。設(shè)所有N個(gè)數(shù)據(jù)包中屬于特定分類(lèi)的數(shù)據(jù)包數(shù)量為Nc，則

只有當(dāng)Nc的值和實(shí)際指定的包數(shù)相比，誤差在5%之內(nèi)，才被接受。當(dāng)誤差在5%之內(nèi)時(shí)，Nc的置信區(qū)間為［Nc－1.96σ，Nc+1.96σ］，估計(jì)誤差率百分比是

由式(2)可以得出:采樣精度只與采樣到的特定類(lèi)別的數(shù)據(jù)包數(shù)量c有關(guān)，c越大，精度越高。當(dāng)c≥1 537時(shí)，誤差率可以控制在5%以內(nèi)，為增加采樣數(shù)，可以增加采樣周期或在系統(tǒng)可承受的情況下提高采樣速率。

2 基于Libpcap的流量采集原理

2.1 Libpcap介紹

Libpcap是UNIX/Linux平臺(tái)下的網(wǎng)絡(luò)數(shù)據(jù)包捕獲的函數(shù)庫(kù)。它的實(shí)質(zhì)是一個(gè)系統(tǒng)獨(dú)立的API函數(shù)接口，用于用戶層次的數(shù)據(jù)包截獲工作。它為底層網(wǎng)絡(luò)監(jiān)控編程提供了一個(gè)易于移植的應(yīng)用框架，這些底層網(wǎng)絡(luò)應(yīng)用包括網(wǎng)絡(luò)數(shù)據(jù)收集、安全監(jiān)控和網(wǎng)絡(luò)調(diào)試等。洛倉(cāng)茲伯克利國(guó)家實(shí)驗(yàn)室(Lawrence Berkeley National Laboratory)編寫(xiě)這些API函數(shù)庫(kù)的最初目的就是為了統(tǒng)一不同系統(tǒng)上所提供的用于數(shù)據(jù)包截獲的不同類(lèi)型接口，并使得類(lèi)似的高層應(yīng)用程序的編寫(xiě)和移植工作變得簡(jiǎn)單有效，不再需要對(duì)每一個(gè)應(yīng)用都使用不同的、依賴(lài)于具體系統(tǒng)的數(shù)據(jù)包截獲模塊。同時(shí)，該API函數(shù)接口在保持基本穩(wěn)定的基礎(chǔ)上，還在不斷地進(jìn)行更新和升級(jí)［2］。

2.2 Libpcap工作原理

網(wǎng)絡(luò)數(shù)據(jù)包捕獲技術(shù)是實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)分析的基礎(chǔ)，能否快速、完整地捕獲到所需的數(shù)據(jù)包，是準(zhǔn)確分析網(wǎng)絡(luò)數(shù)據(jù)的前提條件。

在網(wǎng)卡缺省的工作模式下，只能收到廣播的數(shù)據(jù)包和目的地址是自己的數(shù)據(jù)包。在進(jìn)行數(shù)據(jù)包捕獲時(shí)，首先要將網(wǎng)卡沒(méi)置為混雜模式，這樣就能捕獲到流經(jīng)該網(wǎng)卡的所有數(shù)據(jù)包。值得注意的是，捕獲到的僅是數(shù)據(jù)包的一份拷貝，不影響數(shù)據(jù)包的正常傳輸。正常情況下，當(dāng)網(wǎng)絡(luò)數(shù)據(jù)包到達(dá)網(wǎng)卡時(shí)，它常規(guī)的傳輸路徑是依次經(jīng)過(guò)網(wǎng)卡、設(shè)備驅(qū)動(dòng)器、數(shù)據(jù)鏈路層、IP層、傳輸層、最后到達(dá)用戶層。Libpcap包捕獲機(jī)制是在數(shù)據(jù)鏈路層增加一個(gè)旁路處理，其工作流程如圖1所示。

圖1 Libpcap工作流程圖

當(dāng)一個(gè)數(shù)據(jù)包到達(dá)網(wǎng)絡(luò)接口時(shí)，Libpcap首先利用已經(jīng)創(chuàng)建的Socket從鏈路層驅(qū)動(dòng)程序獲得該數(shù)據(jù)包的拷貝，再通過(guò)Tap函數(shù)將數(shù)據(jù)包發(fā)送給BPF過(guò)濾器。BPF過(guò)濾器收到數(shù)據(jù)包后，根據(jù)用戶已經(jīng)定義好的過(guò)濾規(guī)則對(duì)數(shù)據(jù)包進(jìn)行逐一的匹配，符合過(guò)濾規(guī)則的數(shù)據(jù)包就是被需要的，將其放入內(nèi)核緩沖器，并傳遞給用戶層緩沖器，等待應(yīng)用程序?qū)ζ溥M(jìn)行處理。不符合過(guò)濾規(guī)則的數(shù)據(jù)包就被丟棄。如果沒(méi)有設(shè)定過(guò)濾規(guī)則，所有的數(shù)據(jù)包都將被放入內(nèi)核緩沖器［3］。

2.3 基于Libpcap流量采集程序設(shè)計(jì)

流量采集程序?qū)α鹘?jīng)局域網(wǎng)共享網(wǎng)口的數(shù)據(jù)包進(jìn)行完全捕獲，并對(duì)捕獲的每個(gè)數(shù)據(jù)包進(jìn)行分析。分析方法可以根據(jù)實(shí)際的功能需求進(jìn)行靈活設(shè)計(jì)。例如，對(duì)指定IP段以外的數(shù)據(jù)包進(jìn)行統(tǒng)計(jì)，就需要首先分析以太網(wǎng)幀頭部。如果幀類(lèi)型為IP數(shù)據(jù)報(bào)，則記錄數(shù)據(jù)包的源MAC地址、目的MAC地址。接著分析IP數(shù)據(jù)報(bào)，記錄數(shù)據(jù)包的源IP地址、目的IP地址和數(shù)據(jù)包總長(zhǎng)度。然后對(duì)數(shù)據(jù)包的源IP地址和目的IP地址進(jìn)行判斷，過(guò)濾掉指定IP段以內(nèi)的數(shù)據(jù)包。最后掃描流記錄，判斷數(shù)據(jù)包是否屬于一個(gè)已存在的流，如果屬于，累加到用戶數(shù)據(jù)記錄當(dāng)中。如果不屬于，則創(chuàng)建屬于該用戶的數(shù)據(jù)流。流結(jié)束后把捕捉到的該指定網(wǎng)段以外的流量累加到用戶的流量記錄上［4］。具體步驟如下:(1)選擇要監(jiān)聽(tīng)的接口。在Linux中，這可能是eth0，而在BSD系統(tǒng)中則可能是xl1等。也可以用一個(gè)字符串來(lái)定義這個(gè)設(shè)備，或者采用pcap提供的接口名來(lái)工作。(2)初始化pcap，獲取數(shù)據(jù)包捕獲描述字。(3)進(jìn)入主體，執(zhí)行循環(huán)。(4)捕獲數(shù)據(jù)包并對(duì)其進(jìn)行分析，過(guò)濾指定IP段以內(nèi)的數(shù)據(jù)包。(5)根據(jù)數(shù)據(jù)包的源MAC地址和目的MAC地址，判斷數(shù)據(jù)包是否屬于一個(gè)已存在的流，如果屬于，累加到用戶數(shù)據(jù)記錄當(dāng)中。如果不屬于，則創(chuàng)建屬于該用戶的數(shù)據(jù)流。(6)判斷流是否結(jié)束，結(jié)束后將流量累加到用戶流量記錄。

3 基于流的校園局域網(wǎng)流量統(tǒng)計(jì)方案

3.1 基于校園網(wǎng)的數(shù)據(jù)流采樣方法

由于高校采用的流控設(shè)備和統(tǒng)計(jì)方案各不相同，到目前為止，國(guó)內(nèi)高校對(duì)上網(wǎng)流量的統(tǒng)計(jì)和計(jì)費(fèi)還沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。但各高校對(duì)流量的計(jì)費(fèi)大都遵循一個(gè)統(tǒng)一的規(guī)則:只對(duì)校園網(wǎng)以外的網(wǎng)段進(jìn)行計(jì)費(fèi)，校園網(wǎng)段以內(nèi)則不進(jìn)行計(jì)費(fèi)。而判斷數(shù)據(jù)流所在網(wǎng)段的唯一依據(jù)就是數(shù)據(jù)流的源IP地址和目的IP地址。

假設(shè)校園網(wǎng)的流量統(tǒng)計(jì)方案都將數(shù)據(jù)包的源IP和目的IP，作為數(shù)據(jù)流的主要匯聚依據(jù)，那么校園網(wǎng)流量統(tǒng)計(jì)就有了統(tǒng)一的參考模型:以{源IP、目的IP}匯聚為核心的基于數(shù)據(jù)流采樣的統(tǒng)計(jì)方案。

數(shù)據(jù)流采樣的關(guān)鍵在于對(duì)流的開(kāi)始和結(jié)束的定義。NetFlow作為當(dāng)前流量分析方面的事實(shí)標(biāo)準(zhǔn)，已經(jīng)集成到大多數(shù)廠商的路由器和交換機(jī)內(nèi)。同時(shí)給出了流結(jié)束的定義，本文在此基礎(chǔ)上提出了基于流的校園局域網(wǎng)流量統(tǒng)計(jì)方案。

3.2 基于流的校園局域網(wǎng)流量統(tǒng)計(jì)方案

方案對(duì)流的判定、流的開(kāi)始和結(jié)束、流的統(tǒng)計(jì)做了如下定義:

(1)對(duì)源IP或目的IP不在校內(nèi)網(wǎng)段，具有相同源MAC地址或目的MAC地址的數(shù)據(jù)包，定義為一個(gè)用戶流。

(2)每當(dāng)流量采集程序捕獲到一個(gè)數(shù)據(jù)包時(shí)，都會(huì)掃描流字段，判斷數(shù)據(jù)包是否屬于一個(gè)存在的流。如果不屬于，緩存中生成一個(gè)新的流，初始化字節(jié)和包數(shù)，記錄下數(shù)據(jù)包被記錄的時(shí)間，作為一個(gè)新的流的開(kāi)始時(shí)間。如果屬于，則判斷新捕獲的數(shù)據(jù)包時(shí)間距對(duì)應(yīng)用戶流的開(kāi)始時(shí)間是否超過(guò)了15 s，如果超過(guò)15 s，且對(duì)應(yīng)用戶流統(tǒng)計(jì)到的數(shù)據(jù)包個(gè)數(shù)＜500，則視為流超時(shí)。如果在不足15 s的情況下，對(duì)應(yīng)用戶流統(tǒng)計(jì)到的數(shù)據(jù)包個(gè)數(shù)＞1 500，則視為緩存已滿。如果新捕獲的數(shù)據(jù)包時(shí)間距對(duì)應(yīng)用戶流的開(kāi)始時(shí)間超過(guò)了30 min，則視為流過(guò)期。

(3)不同的采樣方法，隨著采樣數(shù)據(jù)包數(shù)量的增加，采樣精度越高。流量采集程序?qū)α鹘?jīng)局域網(wǎng)網(wǎng)關(guān)的數(shù)據(jù)包進(jìn)行了完全捕獲，當(dāng)數(shù)據(jù)流較快時(shí)，捕獲到的數(shù)據(jù)包數(shù)目很大，采樣誤差小，對(duì)用戶流采用完全統(tǒng)計(jì);當(dāng)數(shù)據(jù)流較慢時(shí)，捕獲的數(shù)據(jù)包數(shù)目較少，采樣誤差較大，對(duì)用戶流采用估值統(tǒng)計(jì);當(dāng)用戶數(shù)據(jù)流比較平穩(wěn)時(shí)，對(duì)用戶流采用完全統(tǒng)計(jì)。

在校園網(wǎng)環(huán)境下，經(jīng)過(guò)不斷的測(cè)試，總結(jié)出一套算法，可以使統(tǒng)計(jì)的流量值逼近基于數(shù)據(jù)流的采樣統(tǒng)計(jì)值。具體算法參見(jiàn)文獻(xiàn)［5］。

4 結(jié)束語(yǔ)

目前，基于流的采樣技術(shù)都需要專(zhuān)用硬件來(lái)實(shí)現(xiàn)數(shù)據(jù)流的轉(zhuǎn)發(fā)，消耗了大量的CPU資源和存儲(chǔ)資源。本文提出的校園局域網(wǎng)流量統(tǒng)計(jì)方案，通過(guò)軟件實(shí)現(xiàn)了對(duì)數(shù)據(jù)流的統(tǒng)計(jì)，降低了開(kāi)發(fā)成本。通過(guò)對(duì)采樣周期以及采樣數(shù)據(jù)包數(shù)目的調(diào)整，實(shí)現(xiàn)了流量統(tǒng)計(jì)值與官方統(tǒng)計(jì)值的逼近。可以實(shí)時(shí)、穩(wěn)定地反映局域網(wǎng)用戶的流量使用情況，為局域網(wǎng)流量控制管理提供了理論和數(shù)據(jù)依據(jù)。

［1］ 劉芳.網(wǎng)絡(luò)流量監(jiān)測(cè)與控制［M］.北京:北京郵電大學(xué)出版社，2009.

［2］ 唐正軍，劉代志.網(wǎng)絡(luò)嗅探器Sniffer軟件源代碼淺析3:采用Libpcap庫(kù)的通用設(shè)計(jì)［J］.計(jì)算機(jī)工程，2002，28(2):63－65.

［3］ 閆麗麗，涂天祿，周興濤.Libpcap數(shù)據(jù)包捕獲機(jī)制剖析與研究［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2006(4):38－40.

［4］ 劉瑾.校園網(wǎng)用戶上網(wǎng)行為分析系統(tǒng)的研究與實(shí)現(xiàn)［D］.保定:華北電力大學(xué)，2007.

［5］ 侯捷.C++標(biāo)準(zhǔn)程序庫(kù)［M］.武漢:華中科技大學(xué)出版社，2002.