張 羽，郭 春，申國偉，平 源

(1.貴州大學(xué)計算機科學(xué)與技術(shù)學(xué)院，貴州 貴陽 550025; 2.貴州省公共大數(shù)據(jù)重點實驗室，貴州 貴陽 550025;3.許昌學(xué)院信息工程學(xué)院，河南 許昌 461000)

0 引 言

隨著計算機網(wǎng)絡(luò)和信息技術(shù)的高速發(fā)展，網(wǎng)絡(luò)安全形勢日趨嚴(yán)峻，大規(guī)模攻擊日趨頻繁。為了防范網(wǎng)絡(luò)攻擊，很多安全技術(shù)應(yīng)運而生。入侵檢測系統(tǒng)是繼防火墻之后的第二道網(wǎng)絡(luò)安全屏障，是一種主動的安全防護措施，有效彌補了防火墻的不足。雖然目前的入侵檢測系統(tǒng)具有強大的攻擊檢測能力，但是多數(shù)的IDS仍然存在大量重復(fù)告警的問題，誤報率偏高，告警質(zhì)量低下，只能檢測單步攻擊行為，無法反映滲透的整體過程以及攻擊者的攻擊意圖，使得安全管理人員難以管理和分析海量告警數(shù)據(jù)[1-3]。因此，如何減少告警數(shù)量，降低誤報率，提高告警質(zhì)量，從中識別出攻擊意圖，對于入侵路徑分析以及攻擊者追蹤溯源具有重要意義，同時也是一個亟需解決的難題。

IDS告警預(yù)處理通常包含誤告去除以及告警聚合2個方面。國內(nèi)外的大量學(xué)者針對這2個方面進行了大量的研究，并且取得了一定的研究成果。

現(xiàn)有的誤告去除方法有基于機器學(xué)習(xí)、統(tǒng)計分析以及篩選環(huán)境信息的方法?；跈C器學(xué)習(xí)的誤告去除算法使用機器學(xué)習(xí)算法對誤告警進行識別。例如解男男[4]提出的采用2種典型的聚類分析算法實現(xiàn)誤告去除等。相對于機器學(xué)習(xí)，統(tǒng)計的方法最突出的優(yōu)點是高效，最突出的缺點是漏報和誤報。統(tǒng)計難以精確地知道哪一條告警是誤告，但是可以通過統(tǒng)計異常發(fā)現(xiàn)攻擊，并且一旦發(fā)現(xiàn)規(guī)律后，就能大量減少誤告。李思達[5]通過對告警信息進行統(tǒng)計發(fā)現(xiàn)真實告警與誤告的相關(guān)告警數(shù)目存在巨大差距，因此提出了一種基于相關(guān)告警數(shù)目的誤告去除方法。基于篩選環(huán)境信息的方法是根據(jù)不同的網(wǎng)絡(luò)環(huán)境構(gòu)造誤告警篩選條件，以此來減少誤告[6]。例如Njogu等人[7]提出的基于網(wǎng)絡(luò)特定漏洞的誤告去除方法，通過使用增強的漏洞評估數(shù)據(jù)來驗證告警，從而提高告警質(zhì)量。

現(xiàn)有的告警聚合方法主要有基于屬性相似度以及基于數(shù)據(jù)挖掘的方法?；趯傩韵嗨菩缘姆椒ㄗ畛跏怯蒝aldes等人[8]提出。該方法通過定義相似度隸屬函數(shù)來比較各告警中某些重要屬性的相似程度來將告警進行分組和歸并為同一類告警，從而減少冗余告警。黃林等人[9]提出了一種改進的多源異構(gòu)告警聚合方案，通過利用告警屬性構(gòu)造攻擊模式約束條件，并在聚合中采用動態(tài)時間間隔約束，提高聚合的精確度。李洪成等[10]則提出了基于多級劃分思想的告警聚合方法，根據(jù)告警屬性進行分層聚合?；趯傩韵嗨菩缘母婢酆戏椒▽崟r性好，算法計算效率高，但是對專家知識庫具有較大的依賴性[11-12]。基于數(shù)據(jù)挖掘的告警聚合方法包括層次聚類算法以及人工神經(jīng)網(wǎng)絡(luò)聚類算法[13-15]?；跀?shù)據(jù)挖掘的告警聚合方法適合任意形狀的聚類，但是計算復(fù)雜度較高?；谌斯ど窠?jīng)網(wǎng)絡(luò)的聚類算法聚合速度快，但是依賴參數(shù)的設(shè)定。此外還有基于進化算法的告警聚合方法，例如Lu等人[16]提出的基于k-means和遺傳算法的告警聚合方法以及白鵬翔等人[17]提出的基于模糊規(guī)則的免疫算法。該方法能有效減少告警數(shù)量，但卻依賴合適的訓(xùn)練集。

現(xiàn)有的IDS告警預(yù)處理方法都存在一定的不足與缺陷，并且許多方法定義復(fù)雜，而且依賴專家知識。信息熵目前被廣泛應(yīng)用于異常檢測[18-20]，能夠準(zhǔn)確地量化真實攻擊告警與誤告警之間的特征差異，并且能夠度量告警所含的信息量。因此本文將信息熵應(yīng)用于告警關(guān)聯(lián)[21-22]領(lǐng)域，提出一種基于信息熵的IDS告警預(yù)處理方法，主要工作如下：

1)提出一種基于互雷尼信息熵的誤告去除方法，通過對IDS告警的相關(guān)告警密度、周期值、源IP對應(yīng)的目的IP數(shù)以及攻擊源威脅度等4個維度的特征進行提取，構(gòu)造特征信息熵向量，并通過與誤告警特征信息熵向量進行互雷尼信息熵計算，以此來檢測誤告并且予以消除。

2)提出一種基于信息熵的多維告警聚合方法，針對誤告去除后的告警信息，采用IP劃分、信息熵特征提取、DBSCAN聚類以及動態(tài)時間窗口劃分等方式進行告警聚合，生成代表單步攻擊意圖的超告警。

3)在DARPA 2000數(shù)據(jù)集上進行實驗測試，實驗結(jié)果表明該預(yù)處理方法能夠有效減少誤告，聚合大量相似告警，具有較高的聚合率。

1 告警預(yù)處理方法簡介

本文提出的基于信息熵的IDS告警預(yù)處理方法，包含誤告去除以及告警聚合2個階段。在誤告去除階段，針對入侵檢測系統(tǒng)產(chǎn)生的原始告警數(shù)據(jù)，首先對其進行格式預(yù)處理，然后提取4個特征，構(gòu)造特征信息熵向量，通過與誤告警特征信息熵向量進行互雷尼信息熵計算，將計算結(jié)果與基礎(chǔ)閾值進行比較，從而識別出誤告并將其去除。在告警聚合階段，針對剩余告警數(shù)據(jù)，按照IP對應(yīng)關(guān)系將其劃分為C1與C2這2種類型。分別對2類告警進行特征提取，然后采用DBSCAN聚類算法進行聚類，最后對聚出的類簇進行動態(tài)時間窗口劃分，并以時間窗口為單位構(gòu)造超告警。具體方法流程如圖1所示。

圖1 基于信息熵的IDS告警預(yù)處理方法流程

定義1告警表示為：Alert={Time, ID, AlertType, Priority, Protocol, SrcIP, SrcPort, DstIP, DstPort}。其中Time表示告警產(chǎn)生的時間，以s為單位，ID表示告警的id, AlertType表示告警類型，Priority表示告警優(yōu)先級，Protocol表示告警協(xié)議，SrcIP和DstIP分別為告警的源/目的IP, SrcPort和DstPort分別為告警的源/目的端口。

2 基于互雷尼信息熵的誤告去除方法

2.1 特征提取

選取的事件特征包括：告警密度，告警周期值，源IP對應(yīng)的目的IP數(shù)，攻擊源威脅度。

2.1.1 告警密度

告警密度即IDS在單位時間內(nèi)產(chǎn)生的相關(guān)告警數(shù)。通過統(tǒng)計大量的告警信息發(fā)現(xiàn)，當(dāng)一個真正的攻擊行為發(fā)生時，IDS往往會在較短的時間內(nèi)產(chǎn)生大量的相關(guān)告警，而由非攻擊行為產(chǎn)生的誤告警其告警密度遠(yuǎn)不及攻擊告警的告警密度。因此，將告警密度作為區(qū)分真實告警與誤告警的一個特征。

定義2對于告警Ai與Aj，當(dāng)滿足以下任一條件時，二者互為相關(guān)告警：

1)Ai.SrcIP==Aj.SrcIP &Ai.DstIP==Aj.DstIP

2)Ai.SrcIP==Aj.SrcIP &Ai.AlertType==Aj.AlertType

3)Ai.DstIP==Aj.DstIP &Ai.AlertType==Aj.AlertType

定義3在時間間隔T內(nèi)，告警Ai的告警密度Di為與其相關(guān)的告警數(shù)與它們的最大分布時間差的比值，計算方式如下：

(1)

(2)

因此，告警Ai的告警密度Di(Di∈D)所對應(yīng)的熵表示為：

H(D=Di)=-P(Di)log2P(Di)

(3)

2.1.2 告警周期值

攻擊行為產(chǎn)生的真實告警往往具有突發(fā)性和隨機性，而非攻擊行為產(chǎn)生的誤告警往往具有周期性，這些周期性的誤告通常是由于安全設(shè)備配置不當(dāng)產(chǎn)生的，誤告警的整體周期性比真實告警的周期性更強。因此，周期值可以作為區(qū)分真實告警與誤告警的特征之一。

在告警日志中，真實告警與誤告交雜在一起，從時域上難以區(qū)分。而傅里葉變換能將時域信號轉(zhuǎn)變?yōu)轭l域信號，因此，通過傅里葉變換將告警時間序列從時域轉(zhuǎn)換到頻域進行分析。在頻域空間，周期性的告警會呈現(xiàn)相同頻率，對頻率求導(dǎo)即可得告警周期值。

首先將所有告警信息以二元組的形式表示：<告警名稱，源IP>，然后以分鐘為單位，統(tǒng)計各類型二元組的告警時間序列：{x(t):t∈N},x(t)表示在第t分鐘內(nèi)產(chǎn)生的同類型二元組數(shù)量，N表示統(tǒng)計的分鐘數(shù)。

接著對告警時間序列進行自相關(guān)分析，以加強原始時間序列的周期性，自相關(guān)函數(shù)[23]定義如下：

(4)

其中，R(m)表示間隔m分鐘告警發(fā)生的關(guān)系度量。對產(chǎn)生的自相關(guān)序列{R(m):0mn}進行離散傅里葉變換，得到各個頻率的能量密度函數(shù)PSD(f)：

PSD(f)=|DFT(R(m),f)|, 0

(5)

最后找出能量密度值最大的頻率點，利用“周期=1/頻率”計算出該時間序列的周期，通過這種方法即可求出所有二元組對應(yīng)告警的周期值。

(6)

因此，告警Ai的周期值Pi(Pi∈P)所對應(yīng)的熵表示為：

H(P=Pi)=-P(Pi)log2P(Pi)

(7)

2.1.3 源IP對應(yīng)的目的IP數(shù)

攻擊者在進行多步攻擊時，通常首先對目標(biāo)網(wǎng)段進行主機存活性的探測掃描，在確定具體的存活主機后，會針對目標(biāo)IP發(fā)動一系列的后續(xù)攻擊。因此攻擊行為產(chǎn)生的真實告警中源IP所對應(yīng)的目的IP數(shù)往往超過誤告警中源IP對應(yīng)的目的IP數(shù)。因此，本文將源IP對應(yīng)的目的IP數(shù)作為區(qū)分真實告警與誤告警的一個特征。

(8)

因此，告警Ai的源IP對應(yīng)目的IP數(shù)Mi(Mi∈M)所對應(yīng)的熵表示為：

H(M=Mi)=-P(Mi)log2P(Mi)

(9)

2.1.4 攻擊源威脅度

通過綜合衡量一定時間間隔內(nèi)，源IP對應(yīng)的告警優(yōu)先級威脅度之和以及源IP對應(yīng)的告警類型總數(shù)，得到攻擊源威脅度。引用文獻[20]中的威脅度量化公式ti=5(4-qi)表示告警事件Ai的威脅度，其中qi表示Ai的告警優(yōu)先級。綜合度量攻擊源威脅度的規(guī)則如表1所示。

表1 攻擊源威脅度度量規(guī)則

源IP對應(yīng)的告警類型數(shù)告警優(yōu)先級的威脅度攻擊源威脅度1≤1000.1251≤10000.251≤100000.3751>100000.5>1≤1000.625>1≤10000.75>1≤100000.875>1>100001

攻擊者在多步攻擊過程中，會針對多個攻擊目標(biāo)發(fā)動不同類型的攻擊行為，并且產(chǎn)生的攻擊告警威脅度往往比誤告警威脅度更高，因此真實告警的攻擊源威脅度比誤告警的攻擊源威脅度更高。因此攻擊源威脅度可以作為區(qū)分真實告警與誤告警的特征之一。

(10)

因此，告警Ai的攻擊源威脅度Ti(Ti∈T)所對應(yīng)的熵表示為：

H(T=Ti)=-P(Ti)log2P(Ti)

(11)

2.2 誤告去除算法

互雷尼信息熵[24]可以用來度量2條告警的特征差異程度，當(dāng)2條告警的特征值相差無異時，互雷尼信息熵趨近于0，而當(dāng)2條告警的特征值相差較大時，互雷尼信息熵偏離0。通過計算待檢測告警與誤告警的互雷尼信息熵，采用固定的閾值，便可以檢測出待檢測告警是否是誤告警。具體步驟如下：

1)待檢測告警Ai的特征信息熵向量為：

F(i)=[H(Di),H(Pi),H(Mi),H(Ti)]

(12)

2)信息熵向量歸一化的結(jié)果表示為：

F′(i)=[H′(Di),H′(Pi),H′(Mi),H′(Ti)]

(13)

其中，H′=H/Hsum：

Hsum=H(Di)+H(Pi)+H(Mi)+H(Ti)

3)誤告警的特征信息熵向量為F(f)，將F(f)進行歸一化后得到F′(f)，計算F′(i)與F′(f)的互雷尼信息熵，公式如下：

(14)

其中，d表示告警事件的特征維數(shù)，p(i)與p(f)分別是F′(i)與F′(f)的概率分布函數(shù)。

4)判斷待檢測告警是否是誤告警，通過將互雷尼信息熵值與基礎(chǔ)閾值λ進行比較，如果熵值小于或者等于λ，則認(rèn)為待檢測告警是誤告警，并將誤告警刪除，如果熵值大于λ，則認(rèn)為待檢測告警是攻擊告警。公式如下：

(15)

此外，對結(jié)果進行后處理，識別告警集合中源IP為“0.0.0.0”且目的IP為“255.255.255.255”或是告警類型為“(http_inspect)not HTTP traffic”及“(tcp)TCP port 0 traffic”的明顯誤告警。

基于互雷尼信息熵的誤告去除算法如下：

算法1基于互雷尼信息熵的誤告去除算法。

Input：原始告警Alert=[A1,A2,…,An],基礎(chǔ)閾值λ，誤告警特征信息熵向量f=[H_Df,H_Pf,H_Mf,H_Tf]。

Output：誤告去除后的剩余告警Alert_New。

1)Begin

2)FalseAlertElimination(Alert,λ,f)

3)set Label_list=[]

4)for each i=0 to len(Alert)-1 do

5)set RS=[]#告警的特征信息熵向量

6)for each j=0 to len(f)-1 do

7)P=(Alert.F[j].count(Alert[i].F[j]))/n

8)H=-Plog2P

9)append(H)to RS

10)result=I0.5(f′,RS′)#f′與RS′為歸一化向量

11)if abs(result)

12)label=1

13)else: label=0

14)end if

15)append(label)to Label_list

16)set Alert_New=[]

17)for each k=0 to len(Label_list)-1 do

18)if Label_list[k]==0:

19)append(Alert[k])to Alert_New

20)end if

21)return Alert_New

22)End

3 基于信息熵的告警聚合方法

誤告去除后，將特征屬性相似的告警聚合，生成代表單步攻擊意圖的超告警。

定義4超告警的表示格式為：SuperAlert={ID,StartTime, EndTime, Duration, AlertType, SrcIP, DstIP}。其中ID表示超告警id, StartTime和EndTime分別表示攻擊開始時間和結(jié)束時間，Duration表示攻擊持續(xù)時間，AlertType表示攻擊類型的集合，SrcIP和DstIP分別表示攻擊源和攻擊目的集合。

3.1 IP對應(yīng)關(guān)系劃分

真實攻擊場景中，根據(jù)攻擊源與攻擊目的的對應(yīng)關(guān)系可將其劃分為2種情況：1)單個攻擊源對應(yīng)多個攻擊目的，例如在同一時間段內(nèi)針對目標(biāo)網(wǎng)段所發(fā)動的掃描探測類攻擊，或者是對于存活性主機按照時間先后順序所發(fā)動的一系列攻擊嘗試，例如非法登錄、植入惡意內(nèi)容、RPC服務(wù)攻擊等；2)單個攻擊源對應(yīng)單個攻擊目的，這種攻擊形式多見于攻擊者偽造不同的源IP向同一目的IP發(fā)動的拒絕服務(wù)攻擊嘗試，或者是不同源IP向同一目的IP發(fā)送的ICMP應(yīng)答回復(fù)。因此根據(jù)攻擊源與攻擊目的的對應(yīng)情況，將告警劃分為2類：1)C1={count(Alerti.srcip=>dip)>1, dip∈DIP}，其中DIP表示告警集中目的IP的種類，該類型告警滿足一種源IP對應(yīng)多種目的IP; 2)C2={count(Alertj.srcip=>dip)=1, dip∈DIP}，該類型告警滿足一種源IP對應(yīng)一種目的IP。

3.2 特征提取

對劃分后的2類告警分別進行特征提取，提取的特征包括：告警類型對應(yīng)的告警數(shù)、告警優(yōu)先級對應(yīng)的告警數(shù)、告警協(xié)議對應(yīng)的告警數(shù)、源IP對應(yīng)的告警數(shù)、目的IP對應(yīng)的告警數(shù)。假設(shè)經(jīng)過初步劃分后的某類告警集合表示為：

A={a1,a2,…,an}

(16)

1)告警類型對應(yīng)的告警數(shù)。

如果所有告警的告警類型數(shù)量為k，則告警類型的集合表示為：

T={t1,t2,…,tk}

(17)

如果告警類型為ti的告警事件數(shù)為mi，則每個告警類型對應(yīng)的告警數(shù)分別為：

M={m1,m2,…,mk}

(18)

如果告警ai的告警類型為ti，告警總數(shù)為n，則ai的告警類型ti(ti∈T)所對應(yīng)的熵表示為：

H(T=ti)=-(mi/n)log2(mi/n)

(19)

2)告警優(yōu)先級對應(yīng)的告警數(shù)。

如果告警ai的優(yōu)先級為li,li對應(yīng)的告警數(shù)量為ri，告警總數(shù)為n，則ai的告警優(yōu)先級li(li∈L)所對應(yīng)的熵表示為：

H(L=li)=-(ri/n)log2(ri/n)

(20)

3)告警協(xié)議對應(yīng)的告警數(shù)。

如果告警ai的告警協(xié)議為pi,pi對應(yīng)的告警數(shù)量為qi，告警總數(shù)為n，則ai的告警協(xié)議pi(pi∈P)所對應(yīng)的熵表示為：

H(P=pi)=-(qi/n)log2(qi/n)

(21)

4)源和目的IP對應(yīng)的告警數(shù)。

如果告警ai的源IP為si，目的IP為di,si對應(yīng)的告警數(shù)量為gi,di對應(yīng)的告警數(shù)量為ui，告警總數(shù)為n，則ai的源IPsi(si∈S)以及目的IPdi(di∈D)所對應(yīng)的熵表示為：

H(S=si)=-(gi/n)log2(gi/n)

(22)

H(D=di)=-(ui/n)log2(ui/n)

(23)

告警ai的特征信息熵向量為：

H(ai)=[H(ti),H(li),H(pi),H(si),H(di)]

(24)

3.3 告警聚類

由于相同或者相似的告警具有相同或者相似的特征信息熵，因此可以采用聚類算法將特征相似的告警聚集為一類。本文采用DBSCAN聚類算法，DBSCAN是基于密度空間的聚類算法，它不需要預(yù)先確定聚類的數(shù)量，而是直接基于數(shù)據(jù)本身的緊密程度來推測聚類的數(shù)目。DBSCAN需要輸入2個參數(shù)：掃描半徑eps和最小包含點數(shù)MinPts。

3.4 動態(tài)時間窗口劃分

由于不同的攻擊類型攻擊速度不同，導(dǎo)致產(chǎn)生的告警時間間隔不同，例如掃描類攻擊通常在較短的時間內(nèi)爆發(fā)大量相似的告警，相鄰告警的時間間隔幾乎為0。而有些攻擊類型產(chǎn)生的相鄰告警間隔時間則較長，例如使用根證書嘗試UDP的遠(yuǎn)程調(diào)用sadmind請求，該類型的相鄰告警時間間隔為幾分鐘。因此為了適應(yīng)不同的攻擊速度產(chǎn)生的告警的密集程度，引入文獻[9]所提出的時間間隔相對均方差方法來動態(tài)劃分時間間隔。

首先將各個類別的告警按照時間先后順序排序，將初始時間間隔閾值設(shè)為600 s，然后計算出前600 s內(nèi)的告警時間間隔閾值作為初始閾值，接著計算下一條告警與600 s時間窗口內(nèi)的最后一條告警的時間間隔，如果時間間隔小于或者等于初始閾值，則將下一條告警與之前告警聚合，并更新時間間隔閾值。如果時間間隔大于初始閾值，則將下一條告警作為一個新的時間窗口的起始告警，并將當(dāng)前告警時間以后600 s內(nèi)的告警歸入當(dāng)前時間窗口。重復(fù)上述方式，直到將一個類別中的告警全部劃分完時間窗口。最后以各個時間窗口為基本單位構(gòu)造代表單個攻擊意圖的超告警。

4 實驗分析

4.1 數(shù)據(jù)集介紹

實驗采用了林肯實驗室提供的公開數(shù)據(jù)集DARPA 2000[25]的LLS_DDOS1.0以及LLS_DDOS2.0這2個攻擊場景，利用開源入侵檢測系統(tǒng)snort 3對數(shù)據(jù)集進行回放，配置snort的社區(qū)規(guī)則，產(chǎn)生告警。這2個數(shù)據(jù)集分別包含了一個完整的DDOS多步攻擊場景。

首先利用官方文檔給出的攻擊場景說明對原始告警進行標(biāo)記(0表示真實告警，1表示誤告警)，LLS_DDOS1.0總共產(chǎn)生了6601條告警，其中真實告警為3921條，誤告警為2680條，誤告率達到40%?？偣舶?4種攻擊類型，告警分類統(tǒng)計如圖2所示。LLS_DDOS2.0總共產(chǎn)生了2710條告警，其中真實告警為1356條，誤告警為1354條，誤告率達到50%?？偣舶?8種攻擊類型，告警分類統(tǒng)計如圖3所示。

圖2 LLS_DDOS1.0告警分類統(tǒng)計結(jié)果

圖3 LLS_DDOS2.0告警分類統(tǒng)計結(jié)果

接下來將LLS_DDOS2.0攻擊場景產(chǎn)生的告警集作為訓(xùn)練集，LLS_DDOS1.0攻擊場景產(chǎn)生的告警集作為測試集，利用訓(xùn)練集產(chǎn)生誤告警平均特征信息熵向量以及基礎(chǔ)閾值。

4.2 閾值確定

通過對訓(xùn)練集進行統(tǒng)計分析，得到訓(xùn)練集中真實告警與誤告警在告警密度、告警周期值、源IP對應(yīng)的目的IP數(shù)、攻擊源威脅度等特征上的信息熵值，然后構(gòu)造特征信息熵向量，并分別求出訓(xùn)練集中真實告警的平均特征信息熵向量以及誤告警的平均特征信息熵向量。最后對二者計算互雷尼信息熵，得到基礎(chǔ)閾值。特征信息熵向量以及基礎(chǔ)閾值如表2所示。

表2 特征信息熵向量及基礎(chǔ)閾值

真實告警平均特征信息熵向量誤告警平均特征信息熵向量基礎(chǔ)閾值(λ)[0.2665,0.0384,0.3396,0.3554][0.1446,0.0480,0.3996,0.4079]-0.0337

4.3 實驗結(jié)果分析

4.3.1 誤告去除實驗結(jié)果

在確定了誤告警的特征信息熵向量以及基礎(chǔ)閾值后，用測試集來測試該方法的性能。首先對測試集進行特征提取，構(gòu)造特征信息熵向量，然后與誤告警的平均特征信息熵向量進行互雷尼信息熵計算，最后將計算結(jié)果與基礎(chǔ)閾值進行比較，從而檢測出測試集中的真實告警與誤告警。定義消除率TPR、誤消除率FPR以及漏消除率FNR等指標(biāo)來衡量誤告去除效果，公式如下：

TPR=TP/(TP+FN)

FPR=FP/(TN+FP)

FNR=FN/(TP+FN)

其中，TP表示將誤告警識別為誤告的數(shù)量，TN表示將誤告警識別為真實告警的數(shù)量，F(xiàn)P表示將真實告警識別為誤告警的數(shù)量，F(xiàn)N表示將真實告警識別為真實告警的數(shù)量。采用互雷尼信息熵誤告去除算法對測試集進行誤告去除，結(jié)果如表3與表4所示。

表3 誤告去除結(jié)果

原始告警數(shù)量原始告警中誤告警數(shù)量誤告去除后的告警數(shù)量誤告減少數(shù)量6601268042462355

表4 誤告去除效果

消除率/%誤消除率/%漏消除率/%87.430.3112.57

4.3.2 告警聚合實驗結(jié)果

首先將誤告去除后的告警按照IP對應(yīng)關(guān)系進行劃分。然后將C1與C2這2種類型的告警分別采用DBSCAN進行聚類，根據(jù)生成的聚類圖形以及輪廓系數(shù)綜合評估聚類的效果。輪廓系數(shù)可以用來評價聚類效果的好壞，它結(jié)合內(nèi)聚度與分離度2種因素，取值在[-1,1]區(qū)間，值越接近于1，說明同類樣本相距越近，不同樣本相距越遠(yuǎn)，聚類效果也越好。對于C1類型告警，設(shè)置MinPts=10, eps=6.5，聚類效果如圖4所示，聚為19個類，輪廓系數(shù)為0.8378。對于C2類型告警，設(shè)置MinPts=10, eps=5.0，聚類效果如圖5所示，聚為7個類，輪廓系數(shù)為0.9584。

圖4 C1類型告警聚類圖

圖5 C2類型告警聚類圖

接著對C1和C2聚類后的26個類型的告警進行動態(tài)時間窗口劃分，其中C1類型聚類后的19個類別的告警劃分為72個時間窗口，C2類型聚類后的7個類別的告警劃分為18個時間窗口。聚合結(jié)果如表5所示。

最后將各個時間窗口內(nèi)的告警構(gòu)造成代表單步攻擊意圖的超告警，部分超告警如表6所示。

表5 聚合結(jié)果

聚合過程告警數(shù)量一種源IP對應(yīng)多種目的IP(C1)一種源IP對應(yīng)一種目的IP(C2)總告警數(shù)IP對應(yīng)關(guān)系劃分301612304246DBSCAN聚類19726動態(tài)時間窗口劃分721890

表6 超告警數(shù)據(jù)

IDStartTime/sEndTime/sDuration/sAlertTypeSrcIPDstIP182296.0297582322.0061125.97636PROTOCOL-ICMPUnusualPINGdetected,PROTOCOL-ICMPPING202.77.162.213172.16.112.1～172.16.112.254,172.16.113.1～172.16.113.254,172.16.115.1～172.16.115.254,172.16.114.2/10/20/30/50283227.2233384899.304481672.08115PROTOCOL-RPCportmapsadmindrequestUDPat-tempt202.77.162.213172.16.112.1/10/50/100/105/194,172.16.113.1/50/105/148,172.16.114.2/10/20/30/50,172.16.115.1/20/87384790.6175484899.31425108.69671PROTOCOL-RPCsadmindquerywithrootcredentialsattemptUDP202.77.162.213172.16.112.10/50,172.16.114.10/20/30,172.16.115.20485802.1441685838.5439636.3998PROTOCOL-SERVICESrshroot172.16.112.10,172.16.112.50,172.16.115.20202.77.162.213588071.1748188076.992895.81808(decode)loopbackIP,(ipv4)IPv4packetfrom′currentnet′sourceaddress0.0.0.1/8,127.0.0.1/8131.84.1.31

例如ID為1的超告警表示該單步攻擊的開始時間為第82296.02975 s，結(jié)束時間為第82322.00611 s，攻擊持續(xù)時間為25.97636 s，攻擊源202.77.162.213向攻擊目標(biāo)172.16.112/、172.16.113/、172.16.114/與172.16.115/這4個網(wǎng)段發(fā)動了ICMP PING掃描。ID為5的超告警表示從第88071.17481 s到第88076.99289 s，0/與127/網(wǎng)段的攻擊源向攻擊目標(biāo)131.84.1.31發(fā)動了持續(xù)5.81808 s的分布式拒絕服務(wù)攻擊。

為了衡量基于信息熵的告警預(yù)處理方法對于原始告警的聚合程度，定義告警聚合率來表示聚合的效果，即：

告警聚合率=(原始告警數(shù)-超告警數(shù))/原始告警數(shù)×100%

采用本文提出的基于信息熵的告警預(yù)處理方法后，整體聚合效果如表7所示。

表7 整體聚合效果

原始告警數(shù)誤告去除后告警數(shù)超告警數(shù)告警聚合率/%660142469098.63

將本文提出的基于信息熵的告警預(yù)處理方法與文獻[10]提出的基于自擴展時間窗的告警多級聚合方法進行比較，結(jié)果如表8所示。

表8 2種聚合方法對比

對比內(nèi)容文獻[10]方法本文方法原始告警數(shù)43996601超告警數(shù)35290告警聚合率/%92.0098.63

從實驗結(jié)果來看，針對LLS_DDOS1.0攻擊場景產(chǎn)生的告警數(shù)據(jù)，本文方法聚合后產(chǎn)生的超告警更少，具有更高的聚合率。文獻[10]通過配置snort為最嚴(yán)格模式，并不能避免誤告警的產(chǎn)生，導(dǎo)致或多或少的誤告被聚合，影響了聚合的準(zhǔn)確率。同時文獻[10]對5種攻擊類型分別進行聚合，各種類型的聚合效果差別較大，導(dǎo)致最終的聚合率較低。本文采用基于信息熵的告警預(yù)處理方法，在告警聚合之前增加了誤告去除這一步驟，大量減少了告警中的無關(guān)告警，避免了錯誤告警被聚合，增加了聚合率以及聚合的準(zhǔn)確率，因此本文所提方法具有更好的告警預(yù)處理效果。

5 結(jié)束語

本文提出的基于信息熵的告警預(yù)處理方法通過采用信息熵的思想對告警信息進行誤告去除以及告警聚合。在進行誤告去除時，綜合考慮了入侵檢測告警事件中真實告警以及誤告警在告警密度、告警周期值、源IP對應(yīng)的目的IP數(shù)、攻擊源威脅度等特征上的差異性，所提的特征能較好地區(qū)分真實告警與誤告警，并利用互雷尼信息熵來量化二者的差異性，以此來檢測誤告并且去除誤告。同時提出的告警聚合方法能按照IP對應(yīng)關(guān)系將告警進行預(yù)分類，采用聚類算法能將分類后信息量相同或者相似的告警進行聚合，并在聚合后動態(tài)劃分時間窗口，生成代表單步攻擊意圖的超告警。實驗結(jié)果表明，本文方法具有較好的誤告去除效果以及告警聚合效果。下一步的工作是對攻擊告警進行關(guān)聯(lián)方法研究，并以此來檢測本文所提的告警預(yù)處理方法的有效性。