李曉歌

摘 要：網絡流量異常檢測對網絡管理和保證網絡正常運行具有重要意義。本文從檢測所需的網絡流量數據及其特征、檢測性能指標、具體的檢測技術分類幾個方面全面綜述了網絡流量異常檢測的相關技術，深入研究了各種網絡流量異常檢測技術，并分析了各種方法的優(yōu)缺點，指出目前檢測方法存在的不足，以期對未來異常檢測研究提供一定的借鑒和指導。

關鍵詞：網絡流量;異常檢測;分布式拒絕服務;流量特征

中圖分類號：TP393 文獻標識碼：A 文章編號：1003-5168（2018）31-0010-03

Survey and Research of Network Traffic Anomaly Detection

LI Xiaoge1，2

（1.College of Intelligent Manufacturing and Automation， Henan University of Animal Husbandry and Economy，Zhengzhou Henan 450000;2.Henan Engineering Research Center on Animal Healthy Environment and Intelligent Equipment，Zhengzhou Henan 450000）

Abstract： Network traffic anomaly detection is very important to network management and operation. This paper comprehensively summarized the related technologies of network traffic anomaly detection from the aspects of network traffic data and its characteristics， detection performance indicators， and specific detection technology classification. It deeply studied various network traffic anomaly detection technologies， and analysed the advantages and disadvantages of various methods， and pointed out the existing detection methods， in order to provide some reference and guidance for future anomaly detection research.

Keywords： network traffic;anomaly detection;distribute deny of service;traffic feature

對網絡流量異常檢測進行梳理、分類和分析可以全面細致地了解各種流量異常檢測技術，對及時發(fā)現網絡異常和保證網絡正常運行具有重要意義[1]?；诖?，本文首先介紹網絡流量異常檢測技術，然后介紹異常檢測的性能指標，并對流量異常檢測方法進行分類，最后對全文進行總結并探討分析目前異常檢測方法存在的不足。

1 網絡流量異常檢測技術概述

網絡入侵檢測系統（Network Intrusion Detection System，NIDS）是指對收集漏洞信息、造成拒絕訪問及獲取超出合法范圍的系統控制權等危害計算機系統安全的行為進行檢測的軟件與硬件的組合。按照異常檢測方式，NIDS可分為兩類：一類是基于匹配異常特征字符串的誤用檢測;另一類是基于流量特征正常行為建模的異常檢測。

誤用檢測的優(yōu)點是檢測準確率高、誤報率低，通過規(guī)則的添加增大檢測范圍。誤用檢測最大的缺陷是其只能檢測出寫入特征庫中的那些已知特征的異常，不能檢測出不在特征庫中的未知特征的新異常。此外，誤用檢測需要專業(yè)人員不斷提取異常的特征，并將其寫成規(guī)則要求的正則表達式形式，耗費了大量人力。再者，誤用檢測時要執(zhí)行對所有規(guī)則的匹配，吞吐率低，擴展性差，難以滿足高速網絡的要求。這些缺陷都限制了誤用檢測的發(fā)展。

由于基于模式匹配的檢測方法要將每種特征人工寫入模式庫，因此這種方法的發(fā)展要遠落后于惡意代碼增長，這使得新的檢測方法的研究，即對基于流量行為模式的異常檢測進行研究顯得尤為重要。異常檢測通過建模網絡流量特征的正常流量行為，把偏出部分識別為異常。不同于誤用檢測，其可以發(fā)現一些未知的攻擊模式，不需要人工維護特征模式庫就可以檢測到新的異常情況。

2 流量異常檢測性能指標

性能指標的一個方面是檢測能力，另一個方面是時間性能。時間性能通常用于分析檢測系統能否實現在線檢測，能對多大帶寬的鏈路做到在線檢測[2]。檢測能力通常用誤報率（False Alarm Rate）和檢測率（Detection Rate）衡量。檢測率也叫真陽率（True Positive Rate，TPR），是指正確檢測到的異常和總的異常數的比率;誤報率也叫假陽率（False Positive Rate，FPR），是指正常樣本被誤判為異常的數目占所有正常數目的比率。

對于已知流量異常情況的數據集，可以人工打好標簽標明流量數據中的正常點和異常點，可以得出TPR和FPR的值。同時，由于這兩個值是相對的，在一定條件下，FPR會隨TPR增大而變大，因此這種情況下也常用ROC（Receiver Operating Characteristics）曲線來比較不同檢測方法的性能，如圖1所示。ROC曲線代表了TPR與FPR之間的折中。曲線越靠近左上角（對應0%的FPR和100%的TPR），代表異常檢測系統的性能越高。

3 流量異常檢測方法分類

異常檢測包括針對某種具體的異常類型的檢測技術和泛泛的應對所有異常的檢測技術。目前的研究主要是針對所有可能的網絡異常的檢測方法。而對這部分異常檢測方案的劃分，按檢測范圍可分為單鏈路的檢測模型和全網分布式多點檢測模型。另外，近年來的學術論文中按檢測方式將異常檢測分為基于流量大小和流量特征兩大類。由于目前全網分布式多點檢測方法主流基本上是PCA狀態(tài)子空間方法，所以，這部分調研筆者按異常流量的檢測方式來劃分（PCA方法會在相應的類別中介紹）。其中，基于流量特征的方案是近年來發(fā)展的主流方案，因此，接下來會側重調研基于流量特征的異常檢測方案。

3.1 基于特定異常的檢測技術

特定類型異常的檢測主要是基于目前一些特定異常類型的特有特征進行檢測的技術。由于每類異常的檢測方法較多，這里不一一介紹，只針對每種特定常見異常簡要列舉一種常見的檢測方法。

Jung等基于遠程和本地主機是否成功連接的頻率特征，設計TRW（Threshold Random Walk）算法來快速檢測端口掃描;Schechter等集成假設檢驗和連接速率限制兩種方法，用一種混合方法來更好地識別蠕蟲;Zheng等提出了利用數據平面信息來檢測前綴綁架的一種輕量級、分布式的實時檢測技術。

3.2 基于流量大小的檢測技術

基于流量大小的方案認為，異常會導致流量大小產生明顯的變化，因此，把流量的尖峰和突變作為可疑事件。但一些正常的應用也可能導致流量變化，因此這種方案誤報率高。此外，這種方法無法檢測出一些不易產生流量明顯變化的攻擊。

Krishnamurthy等提出用Sketch建立流量數據的壓縮摘要來代替記錄每流的信息，其設計了一個可變的Sketch數據結構K-ary Sketch，只需要固定的很小的內存，并且更新和重組的代價也是固定的。這種線性特征可以使定義的數據結構在不同層次概要流量數據，Krishnamurthy等基于這樣的概要信息，通過一個多樣的時間序列的預測模型來檢測預測得到流量和實際流量的偏差程度，根據偏差的大小判斷是否發(fā)生異常。

Brutlag結合流量實時監(jiān)控和可視化開源軟件RRDtool及Cricket，提出用Holt-Winters預測模型集成到RRDtool/Cricket來進行實時的異常行為檢測，主要過程為：首先根據流量歷史數據用Holt-Winters預測當前時間序列的流量大小，然后計算當前實際的流量大小與預測得到流量大小的偏差，最后根據設置的閾值來判斷所得的偏差是否是異常行為。當偏差大于設定的閾值時，認為當前時間序列的流量存在異常。

Zhang等提出一個用于網絡Anomography的框架，可以從鏈路的流量數據應用各類異常檢測算法來推斷整個網絡的異常情況，這種方法能成功識別引起整個網絡流量大小發(fā)生偏離的異常，但對引起整個網絡流量大小不太明顯的Stealthy攻擊并不是很有效。

3.3 基于流量特征的檢測技術

基于流量特征方案的主要思想是把包頭一些域或流量的行為模式作為流量特征，而正常情況下的流量特征模式會被異常行為改變。這種方案是目前發(fā)展的主流方案。接下來對基于流量特征的檢測方法進行相對詳細的調研和分類。為了保證分類和調研的全面性，分類方法中包含一些相對較老或部分用于主機檢測異常的方法，筆者在文中會著重說明類別中那些近幾年研究的比較主流的針對網絡異常的檢測方法。

基于流量特征的異常檢測技術大致分為四類：基于分類的、基于聚類的、基于統計的和基于信息理論的。

3.3.1 基于分類的異常檢測技術。分類用于從有標注的數據集中學習一個基線模型，這個過程通常稱為訓練。學得的基線模型通常稱為分類器，然后，用學得的基線模型來劃分待測試的實例，這個過程通常稱為測試。因此，基于分類的異常檢測技術具有類似的兩個階段的操作，訓練過程用標注的歷史數據學習一個分類器，測試過程用分類器對待測樣本進行分類，劃分正常和異常樣本?；诜诸惖漠惓z測技術通?；跈C器學習的方法，如神經網絡方法、貝葉斯網絡方法、支持向量機方法和基于規(guī)則方法等。

3.3.2 基于聚類的異常檢測技術。聚類用于將相似的數據實例歸入不同的簇中。聚類是一種非監(jiān)管的技術，基于聚類的檢測技術通常分為三類。

第一類基于這樣的假設：正常數據屬于一個簇，異常數據不屬于任何簇。這類聚類算法不強制每個數據實例都屬于一個簇，如DBScan。這類方法的缺點是不能進行最優(yōu)化。

第二類聚類算法基于這樣假設：正常數據實例的位置接近于最近的簇的中心，而異常實例的位置則遠離最近的簇的中心。這類技術通常分兩個步驟：第一步，使用聚類算法對數據進行聚類;第二步，對每個數據實例，根據其到最近的聚類中心的距離來計算其異常分數。

如果一些異常實例自身組成一個簇，第二類聚類算法就不能檢測出這些異常。為了解決該問題，引出了第三類聚類算法，其基于這樣的假設：正常數據屬于大的和密集的簇，異常數據屬于小的和稀疏的簇。因此，當簇的大小和密集程度低于一個閾值時，認為是異常簇。

3.3.3 基于統計的異常檢測技術。統計技術通常是分析給定數據的特征，選取符合正常的數據特征的統計模型，然后對待測數據進行統計推斷來判斷是否屬于選定的模型。如果推斷結果顯示被測數據實例屬于模型的概率較低，則認為是異常情況?；诮y計的異常檢測技術基于這樣的假設：正常數據具有較高的概率符合統計模型，而異常數據只有很低的概率符合統計模型。

有參數的異常檢測技術常用的有基于高斯模型、基于回歸模型。無參數的異常檢測技術的模型結構并不是事先定義好的，而是由數據本身決定的，相對于有參數的技術，無參數的技術對數據假定較少。無參數的技術通常用基于直方圖的方法。

3.3.4 基于信息理論的異常檢測技術。信息理論技術用不同的信息理論來分析流量數據特征的內容，主要基于這樣的假設：異常會引起數據的信息內容發(fā)生不規(guī)則變化。思路如下：若O（D）代表一個給定數據集D的復雜度，信息理論技術的目標是找到D最小的子集I，使O（D）?O（D?I）最大，I中所有的數據實例就為異常。數據集的復雜度可以用不同的信息理論測度，如Kolomogorov Complexity、熵、條件熵等。

Arning等使用正則表達式的大小測量數據的Kolomogorov Complexity來進行異常檢測;Lee等提出幾種信息理論來進行異常檢測，其用熵測量未排序數據集的規(guī)則性，用條件熵測量已排序數據集中記錄次序依賴關系的規(guī)則性，用相對條件熵測量兩個數據集規(guī)則性的相似程度;Nychis等利用標準化的熵來檢驗不同流量特征對異常檢測效果的影響及其相互關系。

上述所有的基于流量特征的異常檢測方法都基于單鏈路的流量，即對單條鏈路可能出現的異常的檢測的方法。對于全網的流量數據，如基于OD流的流量矩陣，Lakhina等擴充了流量矩陣的概念，把流量矩陣中的元素值從流量大小擴展到流量的特征熵值，用PCA的方法作用到流量矩陣上。Lakhina等發(fā)現，高維的流量矩陣的特征通過PCA降維后，主要的帶有趨勢性的流量特征數據可以用很少的一些主元表示，稱為正常子空間，剩余的部分稱為異常子空間，即通過PCA把流量數據分為兩個子空間，把異常子空間的流量數據設定一個閾值，當超出閾值時認為發(fā)生了異常，因此該方法稱為主元素狀態(tài)子空間法。

4 總結與展望

PCA狀態(tài)子空間方法是目前全網檢測的主流方法?？傮w來說，目前的異常檢測技術仍然存在以下問題：①假陽性，高的誤檢率仍是影響其應用的關鍵問題;②目前的方法大多難以達到高速骨干網絡的實時在線的檢測需求;③檢測出異常后，具體的異常類型需要手工分析，缺乏能自動識別異常類型的模型;④現有大部分模型需要訓練歷史數據得到用于檢測的基線模型，影響檢測效率且無法避免數據污染的影響;⑤全網分布式多點異常檢測方法有限，目前主要是PCA狀態(tài)子空間方法，但這種方法存在很多問題。

這些問題限制了異常檢測方法的應用。目前，工業(yè)界還沒有可以投入使用的商用系統。異常檢測目前尚處于實驗室的探索研究和模擬實驗階段。因此，針對目前異常檢測模型的缺點，提出新的更有效的異常檢測方法，不僅對提高網絡安全管理具有重要的現實意義，而且能為下一代NIDS的設計提供指導。

參考文獻：

[1]張賓.互聯網異常流量特征分析及其應用研究[D].北京：清華大學，2012.

[2]張賓，楊家海，吳建平.Internet流量模型分析與評述[J].軟件學報，2011（1）：115-131.