焦文歡，馮興杰

（中國民航大學(xué)a.信息網(wǎng)絡(luò)中心；b.教務(wù)處，天津 300300）

隨著Internet在全球的迅速發(fā)展和各種互聯(lián)網(wǎng)應(yīng)用的快速普及，網(wǎng)絡(luò)已成為人們?nèi)粘９ぷ?、生活中不可或缺的信息承載工具[1]。然而，網(wǎng)絡(luò)給人們的工作與生活帶來便利的同時，其安全問題也日益突出。入侵檢測（intrusion detection）技術(shù)作為網(wǎng)絡(luò)信息安全領(lǐng)域的關(guān)鍵技術(shù)，對保護(hù)網(wǎng)絡(luò)與系統(tǒng)的安全起到了至關(guān)重要的作用[2]。

目前，通過對網(wǎng)絡(luò)流量進(jìn)行檢測分析來識別入侵仍然是研究的一個熱點(diǎn)?；谇蠼釮urst參數(shù)[3]并根據(jù)其變化情況來檢測異常的方法有效地提高了檢測率，但是由于正常的突變流量也會引起Hurst參數(shù)的異常變化，從而導(dǎo)致該方法無法區(qū)分突變的正常流量與異常流量；另外，直接對報文類型進(jìn)行統(tǒng)計(jì)分析雖然具有一定的有效性，但是在大部分情況下，網(wǎng)絡(luò)處于正常狀態(tài)，頻繁地對網(wǎng)絡(luò)報文進(jìn)行統(tǒng)計(jì)分析不僅沒必要，而且一定程度上也會影響檢測系統(tǒng)的實(shí)時性，降低檢測效率。

針對以上提出的入侵檢測領(lǐng)域存在的不足，本文從對TCP流的檢測出發(fā)，設(shè)計(jì)了一種面向TCP流的異常檢測模型。由于網(wǎng)絡(luò)流量的自相似性，首先采用小波法求解自相似參數(shù)（即Hurst參數(shù)），并根據(jù)其變化情況判斷是否存在異常流量；如果Hurst差值超過了閾值范圍，則根據(jù)TCP流的3次握手和4次揮手協(xié)議對該時間段的報文類型做進(jìn)一步的分析，判斷TCP報文是否具有完整性，最終準(zhǔn)確地判定該流量是否為異常流量。

1 相關(guān)理論

1.1 概要數(shù)據(jù)結(jié)構(gòu)

由于數(shù)據(jù)流的大規(guī)模以及實(shí)時性特點(diǎn)，要維護(hù)所有流信息需大量內(nèi)存空間，因此采用Sketch進(jìn)行數(shù)據(jù)流概要存儲。Sketch概要數(shù)據(jù)結(jié)構(gòu)是一種高效的信息存儲、查詢技術(shù)，該方法主要是通過哈希函數(shù)把報文流信息映射到較小空間進(jìn)行存儲，不用在內(nèi)存中維護(hù)整個流表信息，因此能夠很好地適應(yīng)數(shù)據(jù)流到達(dá)速度快、海量和單遍掃描等特點(diǎn)。Krishnamurthy等人將Sketch用于異常檢測并提出一種啟發(fā)式方法自動設(shè)置Sketch的參數(shù)[4]。該數(shù)據(jù)處理技術(shù)并不保存整個數(shù)據(jù)集，僅維護(hù)一個遠(yuǎn)小于其原始規(guī)模的概要數(shù)據(jù)結(jié)構(gòu)，因而能夠常駐內(nèi)存[5]。

為了降低哈希函數(shù)的沖突率，現(xiàn)有方法大多采用多函數(shù)多空間來處理沖突問題。這里引入具有異或運(yùn)算的哈希函數(shù)[6]來提高隨機(jī)性，并且為每個哈希函數(shù)單獨(dú)配備一個獨(dú)立的存儲空間，從而可在很少的哈希函數(shù)映射下減少哈希沖突，在保證較低沖突率的同時有效地節(jié)省存儲空間。文獻(xiàn)[7]中提出了一種高效的哈希大頂堆算法解決哈希沖突，但是由于該算法需要得到數(shù)據(jù)流信息出現(xiàn)的先驗(yàn)概率，所以不適合網(wǎng)絡(luò)流的異常檢測。概要數(shù)據(jù)結(jié)構(gòu)如圖1所示。

圖1 概要數(shù)據(jù)結(jié)構(gòu)示意框圖Fig.1 Schematic diagram of synopsis data structure

1.2 自相似指數(shù)Hurst

假設(shè) x={xj，j=1，2，…}為一協(xié)方差平穩(wěn)隨機(jī)序列，即x具有恒定均值μ=E[xj]和有限方差σ2=E[（xjμ）2]，其自相關(guān)函數(shù)

僅與k有關(guān)，即r（k）～k-βL1（k），k→∞，其中0＜β＜1；

對于?x＞0，L1滿足

2018年6月15日，在河南省鄭州市鄭東新區(qū)，位于七里河南路與康平路交叉口的宏光意中大廈配樓同文酒店的門前人潮涌動。所有的來賓都滿懷期待地邁向二樓，在兩側(cè)擺滿祝賀花籃的大廳正中是一面墻，墻上呈現(xiàn)河南著名書法家王澄所題的“國學(xué)博覽館”五個行楷大字。這一天是宏光集團(tuán)公司歷時5年，由王澄嘔心瀝血、殫精竭慮擔(dān)綱策劃，開創(chuàng)國學(xué)博覽館開館揭幕的大喜之日。

H被稱為Hurst參數(shù)，反映網(wǎng)絡(luò)流量長相關(guān)以及自相似性的重要指標(biāo)，能很好地反映自相似度。大量研究表明，正常網(wǎng)絡(luò)流量具有自相似性，而異常流量的產(chǎn)生會對網(wǎng)絡(luò)流量的自相似性產(chǎn)生明顯影響。為此，通過持續(xù)監(jiān)測網(wǎng)絡(luò)流量的Hurst參數(shù)，并分析其變化即可判定當(dāng)前網(wǎng)絡(luò)是否發(fā)生了異常。

常用的Hurst參數(shù)求解方法有：小波分析法、R/S分析法、Variance-time法、殘差方差法等。在小波分析法中，主要有3種利用小波分析求解Hurst值的方法：能量法、譜估計(jì)法和小波系數(shù)方差法，都是基于能量的方法來分析自相似信號。本文將使用小波系數(shù)方差法求解Hurst參數(shù)，其基本思想是對自相似信號進(jìn)行離散小波變換后的小波系數(shù)求方差，然后根據(jù)該方差與小波分解尺度的關(guān)系求出Hurst參數(shù)值。小波系數(shù)方差法的算法實(shí)現(xiàn)過程可參考文獻(xiàn)[8]。

1.3 TCP報文完整性

TCP報文完整性是指通過TCP 3次握手建立連接和4次揮手?jǐn)嚅_連接時產(chǎn)生的若干種TCP報文必須滿足TCP協(xié)議的數(shù)量比例關(guān)系，否則TCP建立連接或者斷開連接就是不完整的，而惡意的網(wǎng)絡(luò)入侵是造成TCP報文不完整的重要原因。

在研究中發(fā)現(xiàn)，通過Hurst指數(shù)法可以判斷大部分的異常網(wǎng)絡(luò)流量，但對一些突變的正常流量，仍被視為異常流量，這將增加模型的誤報率。為了解決該問題，需對經(jīng)過Hurst指數(shù)判斷并且被認(rèn)為是異常的流量做進(jìn)一步分析。由于網(wǎng)絡(luò)中大約有90%的流量為傳輸控制協(xié)議（TCP）流，這使得TCP流的變化情況在很大程度上主導(dǎo)了網(wǎng)絡(luò)流量的變化，因此為了更準(zhǔn)確地掌握網(wǎng)絡(luò)流量的狀態(tài)，本文將根據(jù)TCP協(xié)議的特點(diǎn)，從TCP建立連接、拆除連接過程中報文的完整性出發(fā)，進(jìn)一步判斷該流量是否是異常流量。

在獲取TCP報文概要計(jì)數(shù)之后，可采用多種方法來分析判斷TCP報文是否完整。常用的方法是進(jìn)行數(shù)值比較，如比較SYN報文量是否與SYN+ACK報文量匹配、RST和FIN數(shù)量是否存在異常等。由于實(shí)際網(wǎng)絡(luò)里會存在服務(wù)質(zhì)量問題或不正確的用戶行為，這會導(dǎo)致網(wǎng)絡(luò)存在一些不完整的TCP連接，因而實(shí)際的TCP各類報文間的數(shù)量關(guān)系會比理論情況更為復(fù)雜。對于完整的TCP流，本文在一個觀測時間段內(nèi)，采用以下約束對報文數(shù)量進(jìn)行檢測分析

2 面向TCP流的異常檢測技術(shù)

2.1 異常檢測模型

本文提出的異常檢測模型主要分為2個部分：數(shù)據(jù)流的概要存儲部分和異常入侵檢測部分。模型的具體實(shí)現(xiàn)流程，如圖2所示。

圖2 面向TCP流的異常檢測模型Fig.2 Anomaly detection model oriented to TCP flow

2.2 概要數(shù)據(jù)結(jié)構(gòu)生成

為了實(shí)現(xiàn)數(shù)據(jù)流的概要存儲，采用哈希函數(shù)DEK、JS等將IP字符串哈希到相應(yīng)的哈希桶內(nèi)，并將字符串添加到相應(yīng)的鍵值鏈表中，具體流程如圖3所示。

圖3 概要數(shù)據(jù)結(jié)構(gòu)生成過程Fig.3 Formation of synopsis data structure

步驟如下：

2）將該TCP報文的信息字符串添加到對應(yīng)Key值后面的List中，作為異常地址的溯源。重復(fù)1）、2）步直到一個觀測單位時間結(jié)束。

3）將概要映射的結(jié)果輸出到異常檢測部分，作為小波系數(shù)方差法求解Hurst參數(shù)和進(jìn)行TCP報文完整性驗(yàn)證的數(shù)據(jù)源。

4）清空該概要數(shù)據(jù)結(jié)構(gòu)，進(jìn)行下一個時間段的概要映射。

2.3 異常入侵檢測

模型的異常檢測部分，如圖4所示。

圖4 異常檢測部分流程圖Fig.4 Anomaly detection flow chart

步驟如下：

1）對從概要數(shù)據(jù)結(jié)構(gòu)中讀取的統(tǒng)計(jì)數(shù)據(jù)做小波系數(shù)方差分析，求得在該時間段上的自相似Hurst參數(shù)。

2）計(jì)算當(dāng)前Hurst參數(shù)值與同時間段正常網(wǎng)絡(luò)流量的Hurst參數(shù)差值，如果該差值沒有超過閾值范圍，則認(rèn)為該時間段的流量為正常流量，返回第1）步；如果該差值超過了閾值范圍，則對該時間段的SYN、SYN+ACK、FIN+ACK等報文進(jìn)行完整性驗(yàn)證分析，進(jìn)一步判斷此時的TCP報文是否完整。

3）如果根據(jù)TCP報文的類型判斷得出該時間段的TCP報文完整，則可認(rèn)定，雖然該時間段的網(wǎng)絡(luò)流量發(fā)生很大變化，但主要是由于突變的正常流量引起的，不應(yīng)當(dāng)視為異常流量，返回第1）步；如果TCP報文的內(nèi)容顯示TCP連接極不完整，則可斷定此時出現(xiàn)了異常流量，應(yīng)當(dāng)采取有效措施阻止異常的繼續(xù)發(fā)生。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)一 基于TCP流的異常檢測中，所采用的數(shù)據(jù)集應(yīng)體現(xiàn)出隨時間變化的特點(diǎn)，以便能夠更準(zhǔn)確地對入侵檢測模型進(jìn)行評價，因此本次實(shí)驗(yàn)選擇DARPA 1999數(shù)據(jù)集[9]作為測試集。DARPA數(shù)據(jù)集包含7個星期網(wǎng)絡(luò)流量的tcpdump數(shù)據(jù)，經(jīng)過處理大約有500萬條連接記錄。數(shù)據(jù)中包含4種主要的攻擊類型：①DoS，拒絕服務(wù)攻擊；②R2L，對遠(yuǎn)程主機(jī)的未授權(quán)的訪問；③U2R，對本地超級用戶權(quán)限的未授權(quán)的訪問；④Probe，掃描與探測行為。

首先，實(shí)驗(yàn)選用DARPA數(shù)據(jù)集中第1周第1天的正常數(shù)據(jù)進(jìn)行分析。為了實(shí)現(xiàn)小波系數(shù)的快速提取，實(shí)驗(yàn)以10 s為單位統(tǒng)計(jì)各TCP報文數(shù)量，以100 s（即10個統(tǒng)計(jì)單位）為一個時間窗計(jì)算Hurst值。另外，在小波系數(shù)方差法求Hurst參數(shù)時，采用誤差較小的Db3[8]小波進(jìn)行Hurst參數(shù)的計(jì)算。Hurst值求解結(jié)果，如圖5所示。

圖5 正常網(wǎng)絡(luò)流量的Hurst參數(shù)曲線Fig.5 Hurst line of normal network flow

其次，實(shí)驗(yàn)對第4周星期一的異常數(shù)據(jù)集做檢測分析。由于該數(shù)據(jù)集比較大，大約1 400 000個報文。為此，截取其中80 min左右的Trace數(shù)據(jù)進(jìn)行分析，仍以10 s為單位統(tǒng)計(jì)TCP報文數(shù)量，以100 s為一個時間窗計(jì)算Hurst值，并將檢測數(shù)據(jù)的Hurst參數(shù)繪制，如圖6所示。

圖6 檢測數(shù)據(jù)的Hurst參數(shù)曲線Fig.6 Hurst line of test data

實(shí)驗(yàn)將閾值定為0.2，即如果正常流量的Hurst參數(shù)與檢測流量的Hurst參數(shù)差值小于0.2，則該時間段的網(wǎng)絡(luò)流量為正常流量；否則，應(yīng)當(dāng)對該時段的TCP報文完整性做進(jìn)一步的驗(yàn)證。驗(yàn)證結(jié)果如下：

表1第1列的內(nèi)容為異常時刻點(diǎn)，是由基于Hurst參數(shù)的異常檢測模型檢測出來的，其中包含了大部分的正確檢測結(jié)果和小部分的誤報時刻點(diǎn)。后面的列顯示的是TCP各類報文的數(shù)量統(tǒng)計(jì)值。標(biāo)有記號的時刻點(diǎn)是進(jìn)行TCP報文完整性驗(yàn)證后得到新的異常時刻點(diǎn)。

表1 TCP報文完整性驗(yàn)證結(jié)果Tab.1 Result of TCP message integrity

通過建模驗(yàn)證實(shí)驗(yàn)得出，對一些超過閾值的準(zhǔn)異常點(diǎn)，經(jīng)過報文完整性驗(yàn)證后發(fā)現(xiàn)其仍然不符合TCP連接和斷開時的協(xié)議規(guī)則，可以斷定這些時間點(diǎn)存在異常流量，很可能是網(wǎng)絡(luò)遭到入侵后的反應(yīng)；而對于另外一些時間點(diǎn)，雖然經(jīng)過網(wǎng)絡(luò)自相似檢測以后被確認(rèn)為異常點(diǎn)，但是從TCP協(xié)議的角度分析，其滿足正常通信時報文的完整性，很可能是突變的正常流量或是其他原因造成的正常流量。因此，這些流量不應(yīng)當(dāng)被視為異常流量。

從實(shí)驗(yàn)的最終結(jié)果可以發(fā)現(xiàn)，通過采用TCP報文完整性驗(yàn)證的方法，模型在不顯著提高算法時間復(fù)雜度的基礎(chǔ)上，檢測率相比基于自相似指數(shù)模型有了明顯的提高。

實(shí)驗(yàn)二 為了對模型做進(jìn)一步的驗(yàn)證，實(shí)驗(yàn)選用真實(shí)的網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行異常檢測。模型通過Sniffer軟件從校園網(wǎng)服務(wù)器上采集流量數(shù)據(jù)，集中在星期一的早上網(wǎng)絡(luò)繁忙時進(jìn)行，仍采用10 s為一個統(tǒng)計(jì)單位，持續(xù)監(jiān)測30 min。檢測數(shù)據(jù)集包含2個高峰正常流量，異常流量部分使用模擬軟件向測試服務(wù)器發(fā)起DOS攻擊形成，攻擊共有8次，每次2 min。對該測試數(shù)據(jù)集采用上述相同的步驟進(jìn)行TCP流的異常檢測分析，最后與小波Hurst參數(shù)模型進(jìn)行比較，結(jié)果如表2所示。

表2 實(shí)驗(yàn)結(jié)果對比Tab.2 Comparision of two experiments

從表2可以看出，模型在檢測異常流量時能正確地區(qū)分突變正常流量和異常流量，有效地降低誤報率，準(zhǔn)確率較高。

通過2組實(shí)驗(yàn)驗(yàn)證了本文模型的有效性，分別從異常流量部分和突變正常流量部分進(jìn)行了對比驗(yàn)證。實(shí)驗(yàn)結(jié)果進(jìn)一步說明，本方法在對TCP流進(jìn)行異常檢測時能有效地區(qū)分突變正常流量和異常流量。

4 結(jié)語

通過對網(wǎng)絡(luò)流量的檢測分析，討論了一種面向TCP流的異常檢測方法，該方法能夠在有限系統(tǒng)資源的情況下，以較快的速度保存與維護(hù)網(wǎng)絡(luò)流的概要統(tǒng)計(jì)信息，并利用該統(tǒng)計(jì)信息實(shí)現(xiàn)對網(wǎng)絡(luò)異常和入侵行為的檢測，改善了以往模型直接對數(shù)據(jù)流進(jìn)行統(tǒng)計(jì)分析而導(dǎo)致檢測效率低的狀況。由于該模型根據(jù)網(wǎng)絡(luò)流量的自相似性和基于TCP建立連接與斷開連接時報文完整性來檢測TCP流是否出現(xiàn)異常，因此在保證較高運(yùn)算效率的同時，有效解決了對突變正常流量與異常流量進(jìn)行區(qū)分的問題，降低了模型的誤檢率。

理論分析與實(shí)驗(yàn)驗(yàn)證的結(jié)果顯示，該方法能夠有效地檢測DDoS、掃描等攻擊行為，并且具有較高的檢測率和較低的誤檢率，因此能夠較好地應(yīng)用于網(wǎng)絡(luò)異常檢測。

[1]肖志新，楊岳湘，楊 霖.基于小波技術(shù)的網(wǎng)絡(luò)異常流量檢測與實(shí)現(xiàn)[J].計(jì)算機(jī)科學(xué)，2006，33（10）：116-118.

[2]俞 研，郭山清，黃 皓.基于數(shù)據(jù)流的異常入侵檢測[J].計(jì)算機(jī)科學(xué)，2007，34（5）：66-71.

[3]張小明，許曉東，朱士瑞.基于Hurst指數(shù)方差分析的DDoS攻擊檢測方法[J].計(jì)算機(jī)工程，2008，34（14）：149-151.

[4]KRISHNAMURTHY B，SEN S，ZHANG Y，et al.Sketch-Based Change Detection：Methods，Evaluation，and Applications[C]//Proc of the ACM SIGCOMM Internet Measurement Conf.New York：ACM Press，2003：234-247.

[5]金澈清，錢衛(wèi)寧，周傲英.流數(shù)據(jù)分析與管理綜述[J].軟件學(xué)報，2004，15（8）：1172-1180.

[6]ARASH PARTOW.General Purpose Hash Function Algorithms[EB/OL].[2012-07-01].http：//www.partow.net.

[7]張朝霞，劉耀軍.有效的哈希沖突解決辦法[J].計(jì)算機(jī)應(yīng)用，2010，30（1）：2965-3004.

[8]任勛益，王汝傳，王海艷，等.基于自相似檢測DDOS攻擊的小波選擇[J].南京航空航天大學(xué)學(xué)報，2007，39（5）：588-592.

[9]DARPA.DARPA 1999 Intrusion Detection Evaluation[EB/OL].[2013-06-09].http://www.ll.mit.edu/mission/communications/cyber/CSTcorpora/ideval/data/1999data.html.