匡曉紅

摘 要：為快速準確進行DDoS（Distributed Denial of Service，分布式拒絕服務(wù)）攻擊檢測，提出在Hadoop環(huán)境下，基于樸素貝葉斯的DDoS攻擊檢測算法。該算法主要有3個階段：確定被檢測數(shù)據(jù)文件的TCP flag屬性，作為樸素貝葉斯的訓(xùn)練和檢測屬性；利用訓(xùn)練原理，兩次掃描正常和異常流量文件，得到正常和非正常網(wǎng)絡(luò)狀態(tài)下屬性的先驗概率和條件概率；掃描待檢測數(shù)據(jù)集，計算兩種狀態(tài)下的后驗概率，并比較后驗概率的大小，以此判斷是否會受到攻擊。實驗結(jié)果表明，該算法具有對缺失數(shù)據(jù)不敏感、實現(xiàn)簡單的優(yōu)點。

關(guān)鍵詞關(guān)鍵詞：Hadoop；DDoS檢測；樸素貝葉斯分類；后驗概率

DOIDOI：10.11907/rjdk.162086

中圖分類號：TP312

文獻標(biāo)識碼：A 文章編號文章編號：16727800（2016）011003903

0 引言

DDos攻擊是一種攻擊者控制大量攻擊機器，并向機器發(fā)出DoS攻擊指令的分布式攻擊方式。在最新的互聯(lián)網(wǎng)安全報告中，DDoS攻擊仍然是主要的網(wǎng)絡(luò)安全威脅之一。

本文基于Hadoop的云計算平臺，運用并行編程模型、分布式文件系統(tǒng)以及并行執(zhí)行引擎實現(xiàn)了數(shù)據(jù)分類挖掘算法——貝葉斯算法。運用設(shè)計好的分類器，實現(xiàn)了簡單的文本分類程序。實驗表明本文所提出的檢測方法可以快速簡便地檢測出Hadoop集群中模擬存在的DDoS攻擊。對促進Hadoop環(huán)境中DDoS攻擊研究具有良好的意義和價值。

1 算法概述

1.1 貝葉斯定理

貝葉斯分類算法是一類分類算法的總稱，這類算法以貝葉斯定理為基礎(chǔ)，故稱為貝葉斯分類。從數(shù)學(xué)角度來講，分類問題可作如下定義。

定義1：已知集合A={y1，y2，y3，…，yn}和B={x1，x2，x3，…，xm，…}，確定映射規(guī)則y=f（x），使任意xi∈I有且僅有yi∈A使得yi=f（xi）成立（不考慮模糊數(shù)學(xué)里的模糊集情況）。該集合叫作A類別集合，集合中每一個元素是一個類別，B叫作項集合，集合中每一個元素是一個待分類項，f被稱為分類器。分類算法的任務(wù)就是構(gòu)造這樣一個分類器f。

定義2：（條件概率）P（A|B）表示事件B已經(jīng)發(fā)生的前提下，事件A發(fā)生的概率，叫做事件B發(fā)生條件下事件A的條件概率。在生活中經(jīng)常遇到這種情況，很容易直接得出P（B|A），但很難直接得出P（A|B），但人們更關(guān)心P（A|B），貝葉斯定理打通了從P（B|A）獲得P（A|B）的通道[1]。

1.2 樸素的貝葉斯分類

樸素貝葉斯分類算法定義如下：

1.3 估計類別系特征屬性劃分的條件概率

當(dāng)特征屬性為連續(xù)值時，通常假設(shè)其只服從正態(tài)分布（也稱高斯分布）。故只要計算出訓(xùn)練樣本中各個類別中此特征項劃分的均值和標(biāo)準差，即可得到需要的估計值。均值與標(biāo)準差的計算在此不再贅述。

2 訓(xùn)練階段條件概率與先驗概率計算

2.1 劃分數(shù)據(jù)單元方法

計算正常訓(xùn)練數(shù)據(jù)集和異常訓(xùn)練數(shù)據(jù)集的先驗概率和條件概率，用于檢測時計算數(shù)據(jù)的后驗概率。根據(jù)正常和異常兩種情況下后驗概率的大小確定該數(shù)據(jù)是屬于正常網(wǎng)絡(luò)還是受到DDoS攻擊后的網(wǎng)絡(luò)流量信息。由于網(wǎng)絡(luò)通信具有隨機突發(fā)性特征，如果只用一個數(shù)據(jù)的后驗概率區(qū)分是否受到DDoS攻擊會造成很高的誤報率。所以，用數(shù)據(jù)單元的概念作為訓(xùn)練和檢測的基本單位，數(shù)據(jù)單元可以按照數(shù)據(jù)個數(shù)和時間間隔來劃分?？紤]到網(wǎng)絡(luò)數(shù)據(jù)的突發(fā)性，本文依據(jù)數(shù)據(jù)個數(shù)把不含DDoS攻擊的正常Hadoop通信流量文件t.txt、含DDoS攻擊的異常Hadoop通信流量文件f.txt和正常與DDoS混合的待檢測的Hadoop通信流量文件b.txt劃分為多個數(shù)據(jù)單元[2]，在后文中，t.txt和f.txt將分別作為貝葉斯分類的正常和異常訓(xùn)練數(shù)據(jù)使用。

劃分數(shù)據(jù)單元方法如下：按照時間先后順序把每一數(shù)據(jù)文件中相鄰的N個數(shù)據(jù)看作一個數(shù)據(jù)單元。訓(xùn)練時將每一個數(shù)據(jù)單元看作一個整體處理[2]。比如：A是一個組，其中包含了N個時間相鄰的數(shù)據(jù)。首先掃描該數(shù)據(jù)單元的每一個數(shù)據(jù)，根據(jù)特征分類方法，統(tǒng)計出當(dāng)前數(shù)據(jù)單元中各個屬性出現(xiàn)的次數(shù)。設(shè)置一個二維矩陣R來存儲統(tǒng)計到的每個數(shù)據(jù)單元中各屬性出現(xiàn)的次數(shù)。二維矩陣R的大小為6行（N+1）列，行代表特征分類，列代表特征分類出現(xiàn)的次數(shù)，例如：一個數(shù)據(jù)單元中的統(tǒng)計結(jié)果可能是T1=X，T2=Y，T3=Z…然后利用統(tǒng)計結(jié)果更新R，此時，R的第1行第X列加1，R的第2行第Y列加1，R的第3行第Z列加1…，所以第1行第8列的值表示在訓(xùn)練過程中數(shù)據(jù)單元出現(xiàn)8個屬于T1分類的數(shù)據(jù)個數(shù)。

由于在訓(xùn)練過程中要分別訓(xùn)練正常情況和不正常情況下的條件概率，因此在具體算法中R有2個，其中一個用mtr表示，用來存儲正常網(wǎng)絡(luò)訓(xùn)練結(jié)果，另外一個用mfl表示，用來存儲異常網(wǎng)絡(luò)訓(xùn)練結(jié)果[3]。

2.2 訓(xùn)練過程

正常數(shù)據(jù)訓(xùn)練過程中的算法輸入文件為t.txt，輸出為tr[][]。異常數(shù)據(jù)訓(xùn)練過程中的算法輸入文件為f.txt，輸出為fl[][]。

樸素貝葉斯分類方法中正常數(shù)據(jù)訓(xùn)練過程主要包括[4]：

（1）初始化各個參數(shù)，如將數(shù)據(jù)單元計數(shù)ls清零，包計數(shù)lt[]清零，類計數(shù)ws清零。完成后進入第二步。

（2）判斷t.txt是否讀完，如果沒有，讀入一行并轉(zhuǎn)入第三步，否則轉(zhuǎn)到第六步。

（3）判斷是否填滿N個包，若是跳到第四部，否則跳到第五步。

（4）利用lt[]的值，更新tr對應(yīng)的值。

（5）增加包計數(shù)（用來判斷數(shù)據(jù)單元是否填滿），判斷當(dāng)前數(shù)據(jù)屬于哪一類，完成后轉(zhuǎn)到第二步。

（6）依次將各個組的計數(shù)除以數(shù)據(jù)個數(shù)，并將原值覆蓋。

（7）結(jié)束。

綜上，正常數(shù)據(jù)訓(xùn)練階段的偽代碼如下：

3 DDoS檢測過程

3.1 檢測原理

攻擊者向服務(wù)器發(fā)送大量偽IP地址的ACK /SYN 請求包， 服務(wù)器返回應(yīng)答包后如果得不到確認， 就會一直對偽IP 地址進行重試直至超時丟棄， 因為SYN 連接請求的速度遠大于服務(wù)器超時丟棄的處理速度。 所以，服務(wù)器的連接列表很快就被塞滿， 使客戶的正常請求得不到及時響應(yīng)， 以此實現(xiàn)拒絕服務(wù)的目的[6]。

分析檢測過程之前，根據(jù)上面介紹的檢測原理，檢測是否是DDoS攻擊，計算后驗概率公式如下：

P（mR/k）=p（k/mR）*p（mR）/p（k） （R=0，1…）

P（k）對于文件是一個常數(shù)，因此要計算 P（mR/k）只需計算p（k/mR）*p（mR），p（m0）和p（m1）是之前的p（ts）和p（fs），其中p（k/mR）是各個屬性條件概率乘積[7]。

3.2 實現(xiàn)過程

算法檢測主要步驟如下：

（1）初始化參數(shù)：tr，fl，p（ts），p（fs）分別初始化為最初階段的先驗概率。將ws置零。完成后轉(zhuǎn)到（2）。

（2）判斷b.txt是否讀完，若沒有，則轉(zhuǎn)（3），否則結(jié)束。

（3）判斷是否已有N個包，若是轉(zhuǎn)到（4），否則轉(zhuǎn)到（5）。

（4）根據(jù)公式，分別計算正常情況下和異常情況下的先驗概率，轉(zhuǎn)到（5）。

（5）重置包計數(shù)為0（記錄已包含數(shù)據(jù)個數(shù)），清空計數(shù)。轉(zhuǎn)到（7）。

（6）增加包計數(shù)（用來判斷是否填滿，再判斷數(shù)據(jù)屬于哪一類，轉(zhuǎn)到（2）。

上面算法過程第一步獲取先驗概率并初始化參數(shù)；第二、三、六步形成數(shù)據(jù)單元；第四、五步對已形成數(shù)據(jù)單元進行后驗概率計算，從而判斷是否存在DDoS攻擊的數(shù)據(jù)[8]。

3.3 攻擊檢測結(jié)果

在實驗環(huán)境下把t.txt當(dāng)作正常的訓(xùn)練流量，反之，f.txt作為異常訓(xùn)練流量，異常訓(xùn)練流量中包含攻擊流量。此外，被檢測的數(shù)據(jù)文件包含了6次DDoS攻擊。實驗分析不同的數(shù)據(jù)對算法誤報率的影響，結(jié)果如表1所示。各列的含義分別為：檢測到的次數(shù)指當(dāng)前情況下攻擊次數(shù)；誤報次數(shù)指有多少次攻擊是誤報的。

從表1可以看到設(shè)置不同的數(shù)據(jù)單元大小對分類器性能的影響在于誤報次數(shù)的大小。數(shù)據(jù)單元大小與誤報次數(shù)負相關(guān)。當(dāng)數(shù)據(jù)單元大小為20時算法具有較好的檢測性能。無論數(shù)據(jù)單元大小，算法檢測率都相同，而且跟蹤監(jiān)測到的攻擊時間發(fā)現(xiàn)前四次都檢測到了，但是最后兩次沒有檢測到，這是由于最后兩次攻擊為SYN Flood攻擊[9，10]，而在訓(xùn)練時沒有訓(xùn)練該攻擊的屬性，因此算法不能檢測到此次攻擊。

綜上所述，貝葉斯分類器在訓(xùn)練良好且數(shù)據(jù)單元大小選擇合適的情況下有很低的誤報率和很高的檢測率。但是，該分類器依賴于訓(xùn)練，所以可能檢測不出未知類型的攻擊。

4 結(jié)語

DDoS攻擊從第一次大規(guī)模攻擊開始一直是互聯(lián)網(wǎng)的巨大安全隱患，而隨著互聯(lián)網(wǎng)規(guī)模不斷壯大，DDoS發(fā)起者將利用更多的機會發(fā)起攻擊。雖檢測已經(jīng)趨于成熟，但是Hadoop平臺在越來越受到工業(yè)界的重視的背景下，對DDoS攻擊的檢測幾乎沒有。本文主要研究了Hadoop環(huán)境下，基于樸素貝葉斯的DDoS攻擊檢測算法。實驗結(jié)果表明，該算法具有對缺失數(shù)據(jù)不敏感、實現(xiàn)簡單的優(yōu)點。本文雖然分析了一種DDoS檢測環(huán)境下的數(shù)據(jù)捕獲，但檢測不是實時進行的，雖然能夠檢測出攻擊，但在集群安全較高的環(huán)境下不能實現(xiàn)實時報警，需繼續(xù)研究Hadoop平臺下實時監(jiān)測的可行性。

參考文獻：

[1] 楊新宇，楊樹森，李娟.基于非線性預(yù)處理網(wǎng)絡(luò)流量預(yù)測方法的泛洪型DDoS檢測方法[J].計算機學(xué)報，2011（2）：3739.

[2] 張永靜，肖軍，云曉春.DDoS攻擊檢測和控制方法[J].軟件學(xué)報，2012，23（8）：20582072.

[3] 劉運.DDoS flooding攻擊檢測技術(shù)研究[D].長沙：國防科技大學(xué)，2011.

[4] 王進，陽小龍，隆克平.基于大偏差統(tǒng)計模型的http-flood DDoS檢測機制及性能分析[J].軟件學(xué)報，2012，23（5）：12721280.

[5] 張倩倩.反射型分布式拒絕服務(wù)攻擊中攻擊源追蹤的研究[D].濟南：濟南大學(xué)，2012.

[6] 吳軒亮.三網(wǎng)融合下城域網(wǎng)DDoS攻擊的監(jiān)測及防范技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2012（3）：4548.

[7] 池水明，周蘇杭.DDoS攻擊防御技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2012（5）：2731.

[8] 季福坤.計算機網(wǎng)絡(luò)基礎(chǔ)[M].北京：人民郵電出版社，2013.

[9] 趙德山.曹斌.多Agent的DDoS源地址追蹤方法研究[J].計算機工程與設(shè)計，2010，31（8）：2631.

[10] 蘇文杰. DDoS攻擊防御技術(shù)探究[J].軟件導(dǎo)刊，2016，15（6）：209210.

（責(zé)任編輯：陳福時）