朱佳佳，陳 佳

(北京交通大學 電子信息工程學院，北京 100044)

基于熵和SVM多分類器的異常流量檢測方法

朱佳佳，陳 佳

(北京交通大學 電子信息工程學院，北京 100044)

隨著大數據時代的到來，各種數據挖掘和機器學習方法被廣泛地應用于異常流量檢測。文中針對異常流量檢測方法展開研究，提出了一種基于熵和改進的SVM多分類器的異常流量檢測方法。該方法用熵值對網絡流量的各個屬性進行量化，將異常流量檢測問題抽象為對不同類型流量的分類問題，并對傳統(tǒng)的一對其余SVM多分類器進行改進。使用改進SVM多分類器對熵值量化后的流量進行分類判決，根據分類結果捕獲異常。將該方法應用于實際的異常流量檢測系統(tǒng)，并進行測試，結果表明，該方法對網絡中常見的異常流量有很好的檢測效果。

異常檢測；信息熵；一對其余；分類

0 引 言

異常流量檢測是網絡安全監(jiān)管系統(tǒng)的重要組成部分，它通過監(jiān)測和分析網絡流量，發(fā)現(xiàn)和判別網絡中的異常行為，幫助網絡管理員及時采取有效的措施填補系統(tǒng)漏洞，保障系統(tǒng)安全。

在異常流量檢測方法的相關研究中，網絡流量的特征量化問題一直廣受關注[1-3]。香農將熵的概念引入信息論中，利用熵值度量隨機事件的不確定性。相關研究表明[4-6]，正常流量與異常流量的不同屬性在分布特征上存在明顯差異。因此，可以通過分析網絡流量特征信息的熵值變化規(guī)律來檢測異常，從而解決網絡流量的特征量化問題。

在異常流量檢測系統(tǒng)中，需要一定數量的訓練樣本來建立正?；虍惓Ａ髁磕Ｐ蚚7]。但是，在實際網絡環(huán)境中，獲得所需的數據并不容易，采集得到的數據源往往具有維數高、樣本數小等問題[8]。與其他分類算法相比，SVM可以更好地解決小樣本、非線性、高維數等問題，因此非常適合被應用于異常檢測系統(tǒng)中[9]。

文中結合信息熵理論與SVM多分類算法，將異常流量檢測問題抽象為對不同類型流量的分類問題，用SVM多分類器對熵值量化后的流量進行分類判決，該方法具有檢測精度高和檢測速度快等優(yōu)點。

1 信息熵和流量的熵值量化

1.1 信息熵的定義

在信息論中，熵是對不確定性的一種度量。對于一條消息來說，熵值越高，說明該消息包含的信息量越大，反之說明該消息包含的信息量越小[10]。

信息熵的定義如下：

1.2 流量的熵值量化方法

眾多研究表明，網絡流量中的IP地址、協(xié)議和端口等屬性在分布特征上表現(xiàn)出較強的自相似特性和重尾特性[11]，正常流量和異常流量的各個屬性在分布特征上存在明顯的差異。因此，可以將信息熵應用于異常檢測，用熵值量化網絡流量的不同屬性。

為了驗證信息熵對正常流量和異常流量在特征差異上的表達能力，通過實驗對正常流量、端口掃描異常流量和DDOS攻擊異常流量在不同屬性上的熵值進行對比。圖1(a)、(b)分別是正常流量端口掃描異常流量在目的IP和目的端口的熵值曲線；圖2(a)、(b)分別是正常流量與DDOS攻擊異常流量在源IP和目的IP上的熵值曲線。

圖1 正常流量與端口掃描異常流量熵值對比

圖2 正常流量與DDOS攻擊異常流量熵值對比

相對于正常流量，端口掃描異常流量的目的IP更集中，目的端口更分散，所以目的IP熵值較小，目的端口熵值較大；DDOS攻擊會使用大量的僵尸主機，或產生大量虛假源IP地址實施攻擊，所以DDOS攻擊異常流量的目的IP熵值較小，源IP熵值較大。

鑒于正常流量和異常流量的不同屬性在分布特征上的明顯差異，可以將異常流量的檢測問題轉換為一個基于流量屬性熵值的分類問題。

2 SVM和異常流量檢測

2.1 改進的SVM多分類算法

鑒于“一對其余”方法可能遇到的分類重疊和不可分問題，文中提出一種改進的一對其余SVM多分類算法。該方法利用聚類分析中的類距離思想作為檢測模型中各個二類分類器排列順序的依據。對于k類樣本，首先計算每一類到其他各類的中心距離，然后計算每一類到其他各類的平均距離。平均距離最大的類是特異性最明顯的類，優(yōu)先選取這樣的類作為排列靠前的二類分類器的正類。距離的相關定義如下：

定義1:中心距離。

第i類和第j類樣本的中心距離定義為空間中能包含所有第i類樣本的球面中心到能包含所有第j類樣本的球面中心的歐式距離，記為dij；

定義2：平均距離。

具體步驟如下：

步驟3：比較步驟2中γi的大小，然后按照γi從大到小的順序為各個類別編號；

步驟4：按照步驟3中得到的樣本編號順序逐個構造k個二類分類器。編號排列第一的樣本作為第一個二類分類器的正類，編號排列第二的樣本作為第二個二類分類器的正類，以此類推。

檢測時，讓待測樣本依次通過各個二類分類器，如果待測樣本在某一個分類器中的判決結果為+1，則判定該樣本為對應此分類器的正類的類別，并終止此樣本的檢測。若樣本依次經過所有的二類分類器輸出結果都為-1，則判定為未知流量，加入待驗證集，等待重新訓練。樣本判決過程如圖3所示。

與傳統(tǒng)的“一對其余”方法相比，距離優(yōu)先SVM多分類算法可以使越靠前的分類器檢測精度越高。因此，雖然在建立模型集時都構造了k個二類分類器，但是改進SVM一對其余多分類算法并不需要所有的樣本都經過k個分類器，而是一旦被某個分類器判決為+1，則終止判斷，有效縮短了樣本的檢測時間。

圖3 改進的“一對其余”SVM多類分類器

2.2 SVM分類思想

2.3 異常流量檢測方法

按照1.2節(jié)提到的方法對所有捕獲到的數據包進行單位流量劃分，計算各個單位流量五元組的熵值，將每個單位流量表示為一個包含5個熵值的向量，記為：

其中：α1到α5分別代表源IP、目的IP、協(xié)議類型、源端口和目的端口的熵值；Vi為熵值向量。

眾多的熵值向量構成了SVM檢測的樣本集，其中已知類型的樣本通過類型標記可以用來構造訓練集并通過訓練生成檢測模型，而未知類型的樣本則構成檢測集。具體的檢測方法如下：

(1)構造包含N種流量的樣本集，包括正常流量和N-1種在流量分布特征上差異較明顯的異常流量；

(2)采用改進的一對其余SVM多分類方法，構建模型集M；

(3)將待測樣本輸入SVM多類分類器，如果待測樣本能夠被M中某一模型識別，則認定有相應類別的流量被檢測出。若被檢出的流量為正常流量則繼續(xù)，為異常流量則觸發(fā)告警。循環(huán)執(zhí)行(3)。如果待檢測樣本被判定為未知流量，則執(zhí)行(4)；

(4)將未知流量加入到待驗證集合P中。定期對P中的流量進行分析，如果P中的流量可以聚類，并且與正常流量差異明顯，則可認為出現(xiàn)了一種新的異常；

(5)將新的異常加入到(1)中的訓練樣本進行重新訓練，獲得新的模型集M',用M'代替M，執(zhí)行(3)。

該方法利用改進的一對其余SVM多分類器進行檢測并引入未知流量重訓練機制，避免了傳統(tǒng)“一對其余”方法中的分類重疊問題和樣本不可分問題，縮短了檢測時間，提高了檢測效率。

3 異常流量檢測實驗

3.1 實驗環(huán)境

為了測試該方法在實際系統(tǒng)中的檢測效果，將其應用于如圖4所示的異常檢測系統(tǒng)中。該系統(tǒng)由采集模塊、數據存儲模塊、異常流量檢測模塊和用戶信譽管理模塊四部分組成，其中，異常流量檢測模塊采用了文中提出的基于信息熵和改進SVM多分類器的異常流量檢測方法。

圖4 異常檢測系統(tǒng)架構圖

3.2 實驗過程

實驗中，通過采集校園網絡出口鏈路數據包的方式獲取正常流量。利用網絡攻擊模擬軟件生成端口掃描、網絡掃描、DoS和DDoS等幾種常見的攻擊流量。在不同的檢測周期內，開始時都只輸入正常流量，然后在固定的時間段分別按10%、20%、30%和40%的比例混入攻擊流量，獲得異常流量。分別采用傳統(tǒng)一對其余SVM多分類器和文中提出的改進的一對其余SVM多分類器在相同條件下進行實驗，在異常流量檢測模塊的輸出端觀察檢測結果。

3.3 實驗結果

通過檢測精度、誤報率、檢測率和檢出時間四個指標，判斷文中提出的異常流量檢測方法能否滿足實際檢測系統(tǒng)的需要。各個檢測指標的定義如下：

檢測精度代表被正確分類的樣本數占樣本總數的比例；

誤報率代表正常樣本被誤報為異常的個數占正常樣本總數的比例；

檢測率代表被檢測出的異常樣本數占異常樣本總數的比例；

系統(tǒng)檢測時間代表流量從輸入采集模塊開始，先后經過關鍵字提取、存儲、熵值量化和檢測，到獲得最終檢測結果所需的時間。

實驗結果如表1、表2所示。

表1 傳統(tǒng)一對其余SVM多分類器的檢測結果

表2 改進的一對其余SVM多分類器的檢測結果

通過表1和表2發(fā)現(xiàn)，當攻擊流量在異常流量中占比較小時，傳統(tǒng)的一對其余SVM多分類器比提出的改進的一對其余SVM多分類器的檢測精度和檢測率略高一些。隨著攻擊流量占比的增加，兩種分類器的檢測效果逐漸接近。當異常流量占比達到40%時，改進的一對其余SVM多分類器達到與傳統(tǒng)分類器一樣的檢測精度和檢測率。對比兩種分類器的系統(tǒng)檢測時間發(fā)現(xiàn)，改進的一對其余SVM多分類器所需的系統(tǒng)檢測時間更短，檢測速度更快。

4 結束語

文中結合信息熵理論和SVM分類算法，提出一種基于熵和改進SVM多分類器的異常流量檢測方法。通過對不同流量在不同屬性上的熵值進行分析，驗證了信息熵對正常流量和異常流量在不同屬性的特征分布上的差異性表達能力。針對傳統(tǒng)“一對其余”方法可能遇到的分類重疊和不可分問題，提出一種改進的SVM多分類方法。將該方法應用于實際的異常檢測系統(tǒng)中，通過實驗證明了該方法對網絡中常見的異常流量和攻擊具有很好的檢測效果。

[1] Nychis G,Sekar V,Andersen D G,et al.An empirical evaluation of entropy-based traffic anomaly detection[C]//Proc of Internet measurement conference.[s.l.]:[s.n.],2008.

[2] 朱應武,楊家海,張金祥.基于流量信息結構的異常檢測[J].軟件學報,2010,21(10):2573-2583.

[3] 王海龍,楊岳湘.基于信息熵的大規(guī)模網絡流量異常檢測[J].計算機工程,2007,33(18):130-133.

[4] 錢亞冠,關曉惠,王 濱.基于最大信息熵模型的異常流量分類方法[J].計算機應用研究,2012,29(3):1019-1023.

[5] 吳 震,劉興彬,童曉民.基于信息熵的流量識別方法[J].計算機工程,2009,35(20):115-116.

[6] 范曉詩,李成海.加權條件熵在異常檢測中的應用[J].計算機應用研究,2014,31(1):203-205.

[7] 陳小輝.基于數據挖掘算法的入侵檢測方法[J].計算機工程,2010,36(17):72-73.

[8] 杜 強,孫 敏.基于改進聚類分析算法的入侵檢測系統(tǒng)研究[J].計算機工程與應用,2011,47(11):106-108.

[9] Denning D E.An intrusion-detection model[J].IEEE Transactions on Software Engineering,1987,13(2):222-232.

[10] 陳鍶奇,王 娟.基于信息熵理論的教育網異常流量發(fā)現(xiàn)[J].計算機應用研究,2010,27(4):1434-1436.

[11] Lakhina A,Crovella M,Diot C.Mining anomalies using traffic feature distributions[C]//Proc of ACM SIGCOMM.[s.l.]:ACM,2005:217-228.

[12] Hsu C W,Lin C J.A comparison of methods for multiclass support vector machines[J].IEEE Transactions on Neural Networks,2002,13(2):415-425.

[13] Song X.Multi-class classifier based on support vector machine and decision tree[J].Computer Engineering,2005,31(14):174-175.

[14] 焦春鵬.基于二分類SVM的多分類方法比較研究[D].西安:西安電子科技大學,2011.

[15] 譚愛平,陳 浩,吳伯橋.基于SVM的網絡入侵檢測集成學習算法[J].計算機科學,2014,41(2):197-200.

An Anomaly Detection Method Based on Entropy and SVM Multi-class Classifier

ZHU Jia-jia,CHEN Jia

(School of Electronic and Information Engineering,Beijing Jiaotong University,Beijing 100044,China)

With the advent of the age of big data,data mining and machine learning methods have gradually replaced the traditional methods of anomaly detection,which have gained more attention.In this paper,a new method of detecting the anomaly traffic based on the information entropy and SVM is proposed.This method transfers anomaly detection problems into the classification of different types of traffic,and uses information entropy to quantify different attributes of network traffic.It puts forward an improved SVM multi-class classifier to classify the entropy-quantified traffic and judges the anomalies accordingly.This method is implemented into a real system and function test is carried out.The results show that the method has a good detection effect for the abnormal traffic of the Internet.

anomaly detection;information entropy;one-to-all;classification

2015-06-12

2015-09-15

時間：2016-02-18

國家重大專項(2013ZX03006002)；國家自然科學基金資助項目(61471029)；北京市自然基金“面上”項目(4132053)；基本科研業(yè)務費(2014JBM012)

朱佳佳(1990-)，女，碩士，研究方向為信息網絡關鍵技術；陳 佳，博士，副教授，研究方向為新一代信息網絡理論與關鍵技術。

http://www.cnki.net/kcms/detail/61.1450.TP.20160218.1634.042.html

TP301

A

1673-629X(2016)03-0031-05

10.3969/j.issn.1673-629X.2016.03.008