李祉岐 黃金壘 王義功 胡 浩* 劉玉嶺

1(北京國網(wǎng)思極網(wǎng)安科技有限公司 北京 100071) 2(信息工程大學(xué) 河南 鄭州 450001) 3(中國科學(xué)院軟件研究所可信計算與信息保障實驗室 北京 100190) 4(中國科學(xué)院大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 北京 100190)

0 引 言

入侵檢測作為網(wǎng)絡(luò)安全的重要支撐技術(shù)已廣泛部署應(yīng)用，但仍存在眾多不足[1]：(1) 入侵檢測系統(tǒng)IDS產(chǎn)生大量重復(fù)的告警(又稱報警)，分析和處理成本較高；(2) 漏告警和誤告警嚴(yán)重；(3) 告警間相互孤立且層次較低，反映了單步攻擊動作，無法展現(xiàn)攻擊滲透過程，難以刻畫攻擊的真實意圖。告警數(shù)據(jù)處理的質(zhì)量嚴(yán)重影響IDS的實用性，給管理員分析和管理這些告警信息帶來了很大的困難，并直接影響IDS在實際應(yīng)用中的有效性。

告警信息處理可以分為：告警聚合(alert aggregation)和告警關(guān)聯(lián)(alert correlation)[2]，利用以上兩個步驟可以實現(xiàn)下列目標(biāo)[3]：(1) 減少或消除冗余的告警，利用告警聚合降低冗余告警數(shù)量；(2) 減小漏報率，通過聯(lián)合分析不同IDS產(chǎn)生的告警，可以降低漏報率；(3) 降低誤報率，關(guān)聯(lián)屬于同一攻擊場景的告警事件，降低隨機(jī)或獨立事件產(chǎn)生的誤告警；(4) 重建攻擊場景，將屬于同一攻擊場景的告警事件關(guān)聯(lián)分析，識別入侵意圖和手段，把握入侵過程的全貌，增強(qiáng)對攻擊行為的理解，為風(fēng)險評估[4]、入侵響應(yīng)[5]、防御決策[6]等奠定基礎(chǔ)；(5) 增加IDS檢測范圍，在異構(gòu)復(fù)雜網(wǎng)絡(luò)環(huán)境中，單個IDS的檢測范圍和能力受限，通過部署多個IDS，匯總和關(guān)聯(lián)不同IDS生成的告警信息，擴(kuò)大安全防御和應(yīng)急響應(yīng)的范圍和效率。

在上述分析的基礎(chǔ)上，本文重點關(guān)注告警聚合和關(guān)聯(lián)技術(shù)新進(jìn)展，總結(jié)歸納其體系架構(gòu)與應(yīng)用準(zhǔn)則，分析當(dāng)前面臨的技術(shù)難題，并指明未來研究的發(fā)展方向。

1 告警聚合與關(guān)聯(lián)概述

數(shù)據(jù)融合[7]最初應(yīng)用于軍事領(lǐng)域(聲納解釋系統(tǒng))，對從單個和多個數(shù)據(jù)源獲取的數(shù)據(jù)在一定準(zhǔn)則(如時序等)下進(jìn)行自動分析、綜合等操作，以完成所需的評估和決策任務(wù)。下面介紹告警聚合與關(guān)聯(lián)的相關(guān)定義及實施過程。

1.1 相關(guān)定義

結(jié)合國內(nèi)外研究成果，告警聚合和關(guān)聯(lián)的一般定義如下：

定義1原始告警:由IDS等安全設(shè)備直接檢測到，且未經(jīng)深入分析和處理的告警。

定義2超告警:由多個原始告警合并生成的告警。

定義3告警聚合:由同一安全事件引起的特征相同或相似的告警合并生成的一個告警。

定義4告警關(guān)聯(lián):將同一攻擊過程的多個單步攻擊動作所誘發(fā)的告警聯(lián)系在一起，重建攻擊線程。

定義5攻擊線程:多個單步攻擊動作按一定次序構(gòu)成整個攻擊過程。

定義6攻擊場景:由一個或多個攻擊線程組成，刻畫系統(tǒng)面臨的安全威脅和攻擊者意圖。

1.2 聚合與關(guān)聯(lián)層次

告警信息處理是一個復(fù)雜問題，文獻(xiàn)[8]將告警信息的聚合和關(guān)聯(lián)過程分為以下四個層次，以降低告警分析處理的復(fù)雜度。隨著告警信息處理水平的提高，告警質(zhì)量不斷提高，如圖1所示。

(1) 預(yù)處理 首先將異構(gòu)IDS產(chǎn)生的告警信息格式進(jìn)行標(biāo)準(zhǔn)化處理，并完成攻擊類型、時間戳等參數(shù)的統(tǒng)一映射，以便深入分析和處理告警信息。

(2) 單個IDS告警聚合 將不同IDS產(chǎn)生的具有特征相似性的多個告警在時間維度上進(jìn)行縱向融合操作，通常在獨立的IDS系統(tǒng)中進(jìn)行，用于將具有由單個IDS發(fā)出的相似或相同特征的多個告警組合成一個元告警，主要用于時間軸上的縱向融合操作。

(3) 多個IDS告警聚合 將多個同構(gòu)或異構(gòu)IDS檢測到的告警合并，對不同源告警在橫向空間維度上相互補(bǔ)充、印證，以發(fā)現(xiàn)理解攻擊行為的本質(zhì)。

(4) 告警關(guān)聯(lián) 在告警聚合完成之后，通過關(guān)聯(lián)告警數(shù)據(jù)，將由相同攻擊線程生成的邏輯相關(guān)告警鏈接，以重建入侵場景，更深入剖析攻擊者的真實意圖與入侵路徑，為風(fēng)險評價和入侵響應(yīng)提供數(shù)據(jù)參考。

圖1 聚合與關(guān)聯(lián)過程

上述四個層次之間無明顯界限，基本目標(biāo)是提升告警信息的質(zhì)量，增強(qiáng)IDS的準(zhǔn)確性和可用性。

2 聚合算法分析

2.1 預(yù)處理

告警預(yù)處理主要對告警語義及語法進(jìn)行標(biāo)準(zhǔn)化處理，需要對告警信息的格式進(jìn)行統(tǒng)一。IDMEF[9]是由入侵檢測工作組(IDWG)制定的一種標(biāo)準(zhǔn)草案，采用面向?qū)ο蟮姆椒枋霭踩O(shè)備產(chǎn)生的告警信息格式。該草案以XML語言來描述(RFC4765[10])，刻畫了其數(shù)學(xué)模型，同時闡述了該模型的基本原理及應(yīng)用方法。其目的是定義安全設(shè)備(安全檢測或響應(yīng)系統(tǒng))的數(shù)據(jù)交換格式和協(xié)議。

依據(jù)IDMEF標(biāo)準(zhǔn)化后的告警信息屬性包括告警類型、時間戳、檢測器ID、端口號、IP、優(yōu)先級等。由于告警信息處理系統(tǒng)中，傳感器的時鐘存在差異，通常借鑒網(wǎng)絡(luò)時間協(xié)議(Network Time Protocol)[11]實現(xiàn)傳感器時鐘的同步。

告警預(yù)處理所涉及的算法較少，本文重點對告警聚合與關(guān)聯(lián)算法進(jìn)行分析。

2.2 告警聚合

告警聚合主要用于對原始告警信息進(jìn)行處理，通過降低漏報和誤報，實現(xiàn)告警精簡，并為告警關(guān)聯(lián)提供告警數(shù)據(jù)支撐。

2.2.1 基于屬性相似度的方法

通常由相同攻擊類型引起的告警信息特征(或?qū)傩?具有相似性，因此可以通過比較告警屬性的相似性來聚合告警信息。

Valdes等[12]采用概率統(tǒng)計的方法，定義屬性相似度函數(shù)，設(shè)計屬性特征多元匹配算法，計算告警的整體相似性，以將告警信息進(jìn)行分組和歸并，從而達(dá)到減少重復(fù)告警的目的。Debar等[13]提出一種隱式聚合組件，建立了TACC模型，摘取新告警的部分屬性，并與歷史事件進(jìn)行匹配，以聚合告警。該方法將告警信息投射到三條軸，即源地址、目的地址和類型，然后根據(jù)不同的場景類型，如果包含相同屬性的告警信息數(shù)目達(dá)到閾值，則將其合并成一條元告警。

龔儉等[14]提出了一種基于攻擊類型、空間與時間特征的冗余告警消減算法，可以消除大量重復(fù)告警，但存在信息損失且規(guī)則制定較為困難，不利于告警信息的后續(xù)處理(攻擊線程發(fā)現(xiàn)等)。陳志文等[15]設(shè)計了一種基于動態(tài)聚合時間窗口和最大聚合數(shù)量窗口相結(jié)合的告警聚合算法，但同樣存在告警信息損失的不足。

基于屬性相似度的告警聚合方法通過知識定義相似度函數(shù)、權(quán)重等，能夠更好地對已知攻擊類型告警進(jìn)行聚合，且算法計算效率高，具有較好的實時性，但告警屬性相似度度量和權(quán)重分配很大程度依賴于專家知識，是一個由專家經(jīng)驗維護(hù)的系統(tǒng)。

2.2.2 基于專家經(jīng)驗的方法

相比于基于統(tǒng)計方法計算告警的相似性，Cuppens等[16-17]提出聚類穩(wěn)定性的概念，基于專家系統(tǒng)定義告警相似性，定義謂詞邏輯，通過專家規(guī)則定義告警字段的相似性，該方法更加依賴于專家知識。Zhang等[18]設(shè)計決策支持模型，定義告警聚合規(guī)則，通過人機(jī)交互為告警聚合提供依據(jù)，其本質(zhì)仍是基于專家知識的方法。

2.2.3 基于數(shù)據(jù)挖掘的方法

由于基于相似度和專家經(jīng)驗的告警聚合方法都過分依賴于專家知識，許多學(xué)者對此進(jìn)行了改進(jìn)。數(shù)據(jù)挖掘[19](又稱知識發(fā)現(xiàn))指從海量不完整，嘈雜的隨機(jī)數(shù)據(jù)中自動搜索隱藏特殊關(guān)系信息的過程，便于數(shù)據(jù)擁有者理解和使用。聚類是數(shù)據(jù)挖掘的方法之一，以無監(jiān)督的方法將樣本化分成群或類。聚類技術(shù)應(yīng)用于告警聚合領(lǐng)域，主要方法有：

(1) 基于層次的告警聚合算法。Julish[20-21]認(rèn)為現(xiàn)有的聚合技術(shù)并不能很好地解決誤報率高的問題，作者將屬性泛化AOI(attribute-oriented induction)應(yīng)用于聚類技術(shù)，并提出一種新的采用概念聚類的啟發(fā)式告警聚合方法，以一般到特殊的方式分解告警屬性，對告警信息進(jìn)行分層，比較兩個告警的不同點，并將具有相同產(chǎn)生原因RC(root cause)的告警聚合成一個元告警，然后根據(jù)RC過濾誤告警。該方法在聚合告警的同時，過濾了誤告警，但該方法并不區(qū)分告警不同的屬性，而且假設(shè)所有的類具有固定的大小。Mamory等[22]采用半監(jiān)督的方法，總結(jié)了AOI相關(guān)技術(shù)，并對Julish方法的過泛化問題進(jìn)行研究，引入最近的共同祖先NCA(nearest common ancestor)的概念，提出一種概率聚類算法聚合告警信息。

基于層次的告警聚合算法適用于任意形狀的聚類，且能控制不同層次的聚類粒度，但計算復(fù)雜度較高，且存在無法回溯的不足，適用于離線場合(對日志文件的分析等)。

(2) 基于人工神經(jīng)網(wǎng)絡(luò)的聚合算法。人工神經(jīng)網(wǎng)絡(luò)ANN(artificial neural network)[23-24]模擬人腦的工作過程，對大規(guī)模復(fù)雜的非線性系統(tǒng)具有良好的模擬能力。廣泛應(yīng)用于告警聚合的神經(jīng)網(wǎng)絡(luò)算法有自組織神經(jīng)網(wǎng)絡(luò)SOM(self-organizing map)、自聯(lián)想神經(jīng)網(wǎng)絡(luò)AA(auto-associative)與學(xué)習(xí)向量機(jī)LVQ(learning vector quantization)。

SOM是Kohonen[25]提出的一種無人監(jiān)督有競爭的人工神經(jīng)網(wǎng)絡(luò)算法，通常應(yīng)用于樣本分類，排序和檢測等領(lǐng)域。Kumar等[26]將SOM應(yīng)用于告警聚類，將告警的屬性特征作為模型輸入。在訓(xùn)練階段，將每一個神經(jīng)元的權(quán)向量映射到二維空間。該方法使用以下公式來計算告警之間的距離(相異性)，其中，x為特征集(α1,α2,…,αn)，wk為權(quán)向量，wg為最佳匹配單元。

LVQ[27]是一種有監(jiān)督的競爭式的神經(jīng)網(wǎng)絡(luò)模型，為提高聚類的準(zhǔn)確性，使用有標(biāo)簽的數(shù)據(jù)訓(xùn)練樣本。Wang等[28]將LVQ應(yīng)用于告警聚合流程，將告警集分成五類，即normal、probing、DOS、U2R、R2L。作為有監(jiān)督的競爭式的神經(jīng)網(wǎng)絡(luò)模型，LVQ使用有標(biāo)簽的數(shù)據(jù)訓(xùn)練樣本，其聚合準(zhǔn)確率高于SOM，且學(xué)習(xí)速度高于BP模型(學(xué)習(xí)速度慢且難以收斂)，可以很好地處理大規(guī)模告警集。

AA[29]是一種無監(jiān)督的前饋神經(jīng)網(wǎng)絡(luò)模型，具有對稱拓?fù)浣Y(jié)構(gòu)，相比于SOM算法，其優(yōu)點是不需要先驗知識，而是在訓(xùn)練數(shù)據(jù)時通過自組織的方式獲得，但聚類精度相比不高。Smith等[30]結(jié)合了AA算法與SOM、EM算法，設(shè)計實現(xiàn)了告警聚合系統(tǒng)，借鑒誤差反向傳播算法訓(xùn)練數(shù)據(jù)，系統(tǒng)結(jié)構(gòu)分為三層，包含n個輸入層單元，n個輸出層單元，以及j(j

采用神經(jīng)網(wǎng)絡(luò)的告警聚合方法，通常基于并行結(jié)構(gòu)，處理速度快，在噪聲的環(huán)境下魯棒性和容錯能力強(qiáng)，但諸多訓(xùn)練參數(shù)需要設(shè)定，如拓?fù)浣Y(jié)構(gòu)、權(quán)值和閾值的初始化等，由于不能觀察學(xué)習(xí)過程，輸出結(jié)果難以解釋，進(jìn)而可能影響結(jié)果的可信性和可用性。

2.2.4 基于模式搜索的方法

Siraj等[31]提出一種基于IUR(improved unit range)的混合聚類模型，使用主成分分析法PCA(principal component analysis)和期望最大化EM(expectation maximization)算法合并相似告警，以減少告警的數(shù)量。比較了EM算法和其他無監(jiān)督機(jī)器學(xué)習(xí)算法(SOM，K-mean，F(xiàn)CM)的性能，并通過實驗證明EM算法性能最優(yōu)(90.33% IPCA)[32]。不同的是，Siraj使用了主成分分析法，提升了告警聚合的精度和速度，而Hofmann的方法建立數(shù)據(jù)流模型，告警聚合的速度快，可以用于實時告警聚合。

基于模式搜索的方法具有高聚合精度并充分考慮噪聲數(shù)據(jù)，但該方法假設(shè)告警屬性概率分布彼此獨立。而且，概率分布的更新和存儲開銷很大，并且不適用于大規(guī)模數(shù)據(jù)告警集。

2.2.5 基于均方誤差的方法

該方法在聚類技術(shù)中是最直觀和經(jīng)常使用的，對密集分布、類之間距離較遠(yuǎn)時效果較好。典型的算法有K-means算法和ISODATA算法[33-37]。K-means算法使用歐幾里德距離來測量相似度，并使用平方誤差dist和作為聚類評估指標(biāo)，可用下式計算：

Tjhai等[34]提出一個告警聚合架構(gòu)，包括聚合和分類階段，分別使用SOM和K-means算法。SOM算法具有自動聚類、容錯性、特征映射和可視化等優(yōu)點，但SOM算法本身不足以區(qū)分不同的類，為了改善這個不足，采用K-means算法，以確定類之間的邊界，同時將預(yù)定義告警簇的數(shù)目作為SOM算法的輸入向量數(shù)。然而，F(xiàn)atma等[35]認(rèn)為將K-means算法與SOM算法相結(jié)合仍有不足，即需要人為定義告警頻率和時間間隔以確定正確的分類，其提出的方法很好地解決了該問題，第一步采用基于K-means的SOM算法或基于FCM的神經(jīng)核氣算法將一定時間段內(nèi)的告警聚合成元告警，且實驗表明基于FCM的神經(jīng)核氣算法聚合效果優(yōu)于基于K-means的SOM算法。第二步為過濾誤告警，將元告警二分成正確告警和誤告警，并提供了三種解決思路，即基于K-means的SOM算法、SVM、DT，且實驗表明SVM性能優(yōu)于另兩種方法(由于其較高的檢測率)。

ISODATA算法[36]基于K-means算法對聚類結(jié)果進(jìn)行組合和分割，并使用誤差平方作為聚類準(zhǔn)則，通過迭代改進(jìn)聚類效果。在算法運行期間，聚類中心數(shù)量動態(tài)變化，通過重復(fù)校正以獲得更合理的聚類數(shù)量K，顯著降低了人為誤差。Man等[37]采用ISODATA算法以解決IDS的告警洪流和大量重復(fù)告警的問題。在隨機(jī)選定初始聚類中心的基礎(chǔ)上，將全部樣本按相似度準(zhǔn)則進(jìn)行聚類，對聚類后的結(jié)果再次求解均值作為下一輪聚類的中心，通過多次的反復(fù)迭代完成最終的告警聚類。

基于均方誤差的告警聚合方法具有簡單高效的特點，然而，預(yù)先給出的簇的數(shù)量對聚合結(jié)果具有很大影響并且對噪聲敏感。

2.2.6 基于進(jìn)化算法的方法

進(jìn)化算法可以有效解決許多傳統(tǒng)算法無法解決的復(fù)雜問題，例如，隨意性、復(fù)雜非線性力學(xué)、多峰函數(shù)等。典型的用于告警聚合的進(jìn)化算法有遺傳算法GA和人工免疫系統(tǒng)AIS[38-39]。

(1) 遺傳算法 遺傳算法GA[38]借鑒生物進(jìn)化理論中的自然選擇和遺傳機(jī)制來搜索最優(yōu)解，其優(yōu)點是不依賴樣本分布的先驗知識，并且不受初始解選擇的影響。Wang等[39]將其應(yīng)用于IDS告警聚合領(lǐng)域，并比較了GA算法以及改進(jìn)的GA算法(IGA)。Bahrbegi等[40]采用七種不同和遺傳算法用于告警聚合，并對比分析了實驗結(jié)果。

(2) 人式免疫系統(tǒng) 人體免疫系統(tǒng)[41]是一種自適應(yīng)系統(tǒng)，可自動識別、自我組織，具有學(xué)習(xí)、記憶和適應(yīng)動態(tài)環(huán)境變化和自組織特征，主要功能是識別自體和非自體細(xì)胞。文獻(xiàn)[42-43,45]將人工免疫系統(tǒng)應(yīng)用于告警聚合，可以在告警生成階段有效過濾誤告警，減少告警數(shù)量?；谶M(jìn)化算法的告警聚合方法較好地解決了均方誤差方法難以獲得合理聚類中心的不足，抗噪能力強(qiáng)，且基于人工免疫的聚合算法可以有效過濾誤告警，但該方法需要合適的訓(xùn)練集。

2.2.7 基于哈希函數(shù)的方法

根據(jù)Mohamed在文獻(xiàn)[46]所述，基于數(shù)據(jù)挖掘的方法在告警聚合時存在兩點不足：一是在屬性歸納(泛化)過程中，假設(shè)告警可以聚合是因為它們擁有相同的特征或來自于同一個源；二是距離度量增加了錯誤的可能，且計算開銷大(因為要計算每個告警以及類之間的距離)。Mohamed采用一種基于散列函數(shù)的聚合方法，從告警中選擇三個屬性(目的IP、告警ID、時間戳)，并通過MD5算法進(jìn)行運算，得到哈希值。將新告警的哈希值與己有的告警(或類)進(jìn)行匹配，若匹配成功，則將告警聚合；否則，創(chuàng)建一個新類?；诠：瘮?shù)，構(gòu)建哈希表，使得告警特征比較的復(fù)雜度大大降低，但采用哈希值難以區(qū)分部分告警信息，聚合精度不高。

3 關(guān)聯(lián)算法分析

告警關(guān)聯(lián)通過對告警聚合結(jié)果進(jìn)一步分析處理，目的是挖掘攻擊意圖，重建攻擊場景。告警關(guān)聯(lián)一般需要先驗知識的支持，依據(jù)對先驗知識的依賴強(qiáng)弱，可以將告警關(guān)聯(lián)技術(shù)分為強(qiáng)依賴和弱依賴兩類。

3.1 強(qiáng)依賴算法

根據(jù)知識表示的重點不同，強(qiáng)依賴算法可分為下列四種。

3.1.1 基于模型語言的關(guān)聯(lián)方法

該方法特點主要是在知識庫中明確攻擊事件關(guān)聯(lián)關(guān)系。早期采用攻擊序列模板的方式表示關(guān)聯(lián)關(guān)系，文獻(xiàn)[47]提出LAMBDA語言，將告警之間的關(guān)系表示為R=r1○r2○…○rn，其中○表示運算符，在整個序列E中，定義了告警間的串行、并行等五種關(guān)系，利用運算符描述攻擊序列模板，并采用字符匹配算法完成告警關(guān)聯(lián)。攻擊序列模板表示的關(guān)聯(lián)關(guān)系相對簡單，且不易修改擴(kuò)充。文獻(xiàn)[48]和文獻(xiàn)[49]分別采用CAML語言和顯示關(guān)聯(lián)方法，采用模塊化類過程語言表示告警間的時間關(guān)系、屬性關(guān)系以及前后繼承關(guān)系等，表達(dá)能力增強(qiáng)。

此類方法的一個重要應(yīng)用是事件關(guān)系模板的獲取，常用的方法有：基于專家知識構(gòu)建關(guān)系模板，采用機(jī)器學(xué)習(xí)建模的方法，以及數(shù)據(jù)挖掘算法挖掘事件的頻繁模式等，此處不作詳述。

基于模型語言的關(guān)聯(lián)方法需要人工描述攻擊場景，具有簡單高效的特點，但只能識別已知的攻擊場景，且該方法對于漏告警比較敏感，存在漏報時無法將告警信息有效關(guān)聯(lián)。

3.1.2 基于事件的前因/后果的關(guān)聯(lián)方法

該方法依據(jù)告警事件產(chǎn)生的前因后果確定其關(guān)聯(lián)關(guān)系，文獻(xiàn)[50]利用這一思路來確定告警之間的關(guān)聯(lián)關(guān)系，并在過濾誤報、發(fā)現(xiàn)攻擊意圖以及挖掘新的攻擊模式方面實際效果良好。Hu等[51-52]基于多步攻擊各步驟間的因果關(guān)聯(lián)關(guān)系，在時空兩個維度對告警信息進(jìn)行融合，提出了基于攻擊預(yù)測的安全態(tài)勢量化方法，輔助安全管理員從整體上把握網(wǎng)絡(luò)安全狀態(tài)的變化趨勢。

基于事件前因/后果的關(guān)聯(lián)分析方法可以全面挖掘事件對關(guān)聯(lián)關(guān)系的影響，但并非所有的關(guān)系都能夠準(zhǔn)確反映攻擊意圖。此外，這種方法構(gòu)建知識庫的成本很高，對漏報的容忍度很低。

3.1.3 基于Petri建模的關(guān)聯(lián)方法

文獻(xiàn)[53-54]提出了一種基于攻擊行為的Petri建模關(guān)聯(lián)方法，以區(qū)分告警事件和入侵動作。雖然模型中也包含前因和結(jié)果的概念，但核心是針對影響危害，將動作的前因和結(jié)果均量化為與影響危害的關(guān)系。告警關(guān)聯(lián)結(jié)果是獲取受危害資源和相應(yīng)的置信水平，能夠有效減少告警數(shù)目，而且該方法對告警信息抽象的層次較高，可以用于安全態(tài)勢評估等領(lǐng)域。但整個模型參數(shù)較多，構(gòu)建代價較大；而且該方法無法給出告警事件的關(guān)聯(lián)序列，影響了對告警的深度分析和響應(yīng)。

3.1.4 基于隱馬爾可夫模型的關(guān)聯(lián)方法

文獻(xiàn)[55]將隱馬爾夫模型HMM(hidden Markov model)引入告警關(guān)聯(lián)，實驗結(jié)果表明，HMM適用于攻擊步驟的時間跨度變化大、有多種相似類型、難以準(zhǔn)確提供復(fù)雜攻擊訓(xùn)練數(shù)據(jù)的應(yīng)用場景。HMM模型適用于分析隨機(jī)觀測序列和隱藏的狀態(tài)轉(zhuǎn)移序列間的關(guān)系，觀察序列對應(yīng)攻擊誘發(fā)的告警信息，而狀態(tài)序列對應(yīng)攻擊步驟，狀態(tài)轉(zhuǎn)移概率描述了攻擊步驟間的關(guān)聯(lián)性。文獻(xiàn)[56]中，作者利用HMM對告警進(jìn)行關(guān)聯(lián)并分類，實驗結(jié)果優(yōu)于決策樹和神經(jīng)網(wǎng)絡(luò)。胡浩等[57]利用吸收馬爾可夫鏈AMC(absorbing Markov chain)描述多步攻擊的狀態(tài)轉(zhuǎn)移過程，實現(xiàn)了入侵意圖和路徑的預(yù)測，但該方法側(cè)重靜態(tài)分析，如何結(jié)合實時告警信息，提升應(yīng)急響應(yīng)的時效還有待進(jìn)一步研究。

3.2 弱依賴算法

弱依賴算法主要是從歷史樣本數(shù)據(jù)中提取攻擊或告警關(guān)聯(lián)關(guān)系，典型的方法有以下兩種。

3.2.1 基于相似度的關(guān)聯(lián)方法

基于相似度的關(guān)聯(lián)方法把告警信息屬性泛化為特征向量，通過計算屬性相似度來分析告警間的整體相似度，將當(dāng)前告警與歷史模板中告警的相似度大于閾值且相似度最高的告警進(jìn)行關(guān)聯(lián)；否則，構(gòu)建新的關(guān)聯(lián)隊列并將當(dāng)前告警加入隊列中的首位置。

文獻(xiàn)[58]利用模糊綜合評判法設(shè)計告警關(guān)聯(lián)算法，基于有監(jiān)督的確信度學(xué)習(xí)過程實現(xiàn)誤告警過濾，其定義告警關(guān)聯(lián)度計算公式為：

式中：SIM(anew,aold)表示告警之間的整體相似性，ki為屬性的權(quán)值，rij為模糊隸屬度權(quán)值。

通過數(shù)據(jù)挖掘可以獲得相似度函數(shù)，文獻(xiàn)[59]將告警分為發(fā)現(xiàn)、掃描、提升特權(quán)、拒絕服務(wù)和隱蔽攻擊五種類型。對于不同的告警類型i和j，定義類型間的轉(zhuǎn)換關(guān)系為Rij，采用Sigmod函數(shù)σij(Δt)=1/(1+eαij+βijΔt)分析告警的時間關(guān)系；將源IP地址間的關(guān)系分解為五種轉(zhuǎn)換概率，即Pij(r),r=0,8,16,24,32。參數(shù)值可由挖掘告警數(shù)據(jù)集獲取，告警的相似度函數(shù)表示為Rij·σij(Δt)·Pij(r)。

基于相似度函數(shù)的方法，具有不依賴專家先驗知識的優(yōu)勢，但需要在大量樣本數(shù)據(jù)訓(xùn)練的基礎(chǔ)上確定各項參數(shù)值。此外，算法獲得的邏輯關(guān)聯(lián)告警僅具有相似的空間和時間特征，但難以刻畫告警間的本質(zhì)關(guān)系，不利于分析攻擊者意圖。

3.2.2 基于時間序列的關(guān)聯(lián)方法

Qin等[60]認(rèn)為攻擊的因果關(guān)系反映在告警信息上是時間序列的聯(lián)系，采用自回歸模型AM(autoregressive model)設(shè)計了時間序列分析方法來發(fā)現(xiàn)新的攻擊關(guān)系，同時利用了貝葉斯信念網(wǎng)絡(luò)模型降低計算開銷。類似地，殷其雷等[61]利用Apriori算法分析告警數(shù)據(jù)的關(guān)聯(lián)規(guī)則，挖掘告警間的時序關(guān)系。

該方法有利于發(fā)現(xiàn)新的告警關(guān)系，且無需大量樣本數(shù)據(jù)，但實際應(yīng)用中，該方法對噪聲告警非常敏感，由于不能簡單依據(jù)隨機(jī)分布的特征排除所有噪聲，研究設(shè)計魯棒性更強(qiáng)的時間序列關(guān)聯(lián)方法具有重要意義。

3.3 對比分析

從現(xiàn)實應(yīng)用角度出發(fā)，利用以下四個指標(biāo)對上述告警關(guān)聯(lián)方法進(jìn)行綜合比較，如表1所示。

(1) 在專家知識需求方面，是否依賴專家知識是評估關(guān)聯(lián)算法的重要指標(biāo)，盡管強(qiáng)依賴算法的應(yīng)用更好。然而，需要大量的先驗知識，難以維護(hù)，并且弱依賴性算法相對靈活。

(2) 在發(fā)現(xiàn)新攻擊序列方面，除了基于模型語言和隱馬爾可夫模型的告警關(guān)聯(lián)方法外，其他關(guān)聯(lián)方法還具有發(fā)現(xiàn)新攻擊序列的能力。強(qiáng)依賴算法發(fā)現(xiàn)未知攻擊的能力受限于領(lǐng)域知識，弱依賴算法基于報警統(tǒng)計特征，因此發(fā)現(xiàn)未知攻擊序列的能力較弱。

(3) 在算法健壯性方面，健壯性的強(qiáng)弱主要指算法對誤報和漏報的適應(yīng)能力。基于事件的因果關(guān)系和Petri建模方法可以在一定程度上消除誤報并推測漏告警。

(4) 在協(xié)同檢測能力方面,復(fù)雜網(wǎng)絡(luò)環(huán)境中，對某個目標(biāo)的攻擊可能由多個黑客協(xié)同完成。分析算法的基本原理，修改基于模型語言方法中源地址關(guān)系、修改基于Petri建模方法中角色的概念、以及在基于HMM模型的方法中按目的地址組織告警序列，以上三種方法具備一定的檢測協(xié)同能力。

表1 關(guān)聯(lián)算法對比分析

4 應(yīng)用分析

告警信息處理具有一定的復(fù)雜性，采用單一策略無法取得理想的結(jié)果，應(yīng)靈活選擇告警聚合與關(guān)聯(lián)體系結(jié)構(gòu)和算法。

4.1 體系結(jié)構(gòu)

目前，入侵告警信息聚合與關(guān)聯(lián)系統(tǒng)的體系結(jié)構(gòu)包括集中式、層次式、分布式三種類型，如圖2所示，集中式結(jié)構(gòu)適用于較小的網(wǎng)絡(luò)環(huán)境，而層次式和分布式結(jié)構(gòu)適用于中大規(guī)模的網(wǎng)絡(luò)。

圖2 聚合與關(guān)聯(lián)系統(tǒng)結(jié)構(gòu)

(1) 集中式體系結(jié)構(gòu)如圖2(a)所示。集中式告警聚合與關(guān)聯(lián)系統(tǒng)中，中心處理單元將多源IDS告警數(shù)據(jù)進(jìn)行聚合和關(guān)聯(lián)，能夠有效縮減告警處理時間，然而隨著告警數(shù)量的增多，系統(tǒng)傳輸開銷急劇增加，且中心處理單元易被來不及處理的告警信息“淹沒”。

(2) 層次式體系結(jié)構(gòu)如圖2(b)所示。鑒于集中式結(jié)構(gòu)的缺陷，研究人員提出了一種分層告警聚合和關(guān)聯(lián)結(jié)構(gòu)，以定義幾個不同等級的關(guān)聯(lián)區(qū)域。每個聚合和關(guān)聯(lián)子單元僅處理特定區(qū)域中的告警信息，然后將結(jié)果發(fā)送給上一級聚合和關(guān)聯(lián)單元。該結(jié)構(gòu)能夠有效降低中心處理單元的工作量和網(wǎng)絡(luò)通信負(fù)載，同時在一定程度上增強(qiáng)容錯性。然而，由于中央單元的存在，整個聚合和關(guān)聯(lián)系統(tǒng)在可擴(kuò)展性方面沒有得到實質(zhì)性改進(jìn)。

(3) 分布式體系結(jié)構(gòu)如圖2(c)所示。在分布式結(jié)構(gòu)中，中央處理單元用于維護(hù)整個系統(tǒng)，而其他處理單元不分級別，各自處理一定范圍內(nèi)的告警信息，并結(jié)合聚合和關(guān)聯(lián)結(jié)果依據(jù)實際情況發(fā)送給其他單元。由于告警和處理單元間的相關(guān)性是已知的，因此能夠顯著降低網(wǎng)絡(luò)負(fù)荷，同時整體關(guān)聯(lián)效果良好。雖然沒有了中心處理單元，系統(tǒng)可擴(kuò)展性和安全性等得到了明顯提升，但該結(jié)構(gòu)實施較為復(fù)雜，維護(hù)成本高。

4.2 應(yīng)用準(zhǔn)則

告警聚合和關(guān)聯(lián)算法各有利弊，分別適用于不同的環(huán)境或場合。在實際應(yīng)用中，應(yīng)遵循以下準(zhǔn)則：

(1) 告警聚合和關(guān)聯(lián)是告警信息處理的中間層次，對下是目標(biāo)，對上是手段，其結(jié)果應(yīng)利于高層安全策略，即有利于告警信息的進(jìn)一步分析，如風(fēng)險評估、態(tài)勢感知、入侵響應(yīng)等。

(2) 依據(jù)應(yīng)用場景使用不同的聚合和關(guān)聯(lián)算法。不同算法適用于不同場合，各有優(yōu)勢，算法間的互補(bǔ)性很強(qiáng)，系統(tǒng)可以根據(jù)安全要求綜合使用不同的算法，以取得更好的聚合與關(guān)聯(lián)效果。

5 結(jié) 語

近年來，入侵告警聚合與關(guān)聯(lián)技術(shù)取得了長足的發(fā)展，很大程度上提高了IDS的性能和可用性。但仍面臨諸多挑戰(zhàn)，包括：(1) 告警信息數(shù)量與質(zhì)量的矛盾，如何有效減少誤報和漏報，并提高系統(tǒng)的檢測率是一個難點。(2) 異構(gòu)安全設(shè)備的告警聚合與關(guān)聯(lián)，由于不同安全設(shè)備檢測技術(shù)和攻擊分類方法不同，在告警聚合和關(guān)聯(lián)時，不僅要統(tǒng)一告警信息格式，還要實現(xiàn)整個系統(tǒng)內(nèi)的攻擊統(tǒng)一分類和映射。(3) 告警的深入處理，在告警聚合和關(guān)聯(lián)基礎(chǔ)上，如何聯(lián)合不同的處理系統(tǒng)識別攻擊意圖，并與風(fēng)險評估和入侵響應(yīng)的結(jié)合也是應(yīng)用難點。(4) 告警聚合與關(guān)聯(lián)的實時性、統(tǒng)一規(guī)范的描述語言等也是未來研究的難點。

伴隨網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，目前網(wǎng)絡(luò)攻擊呈現(xiàn)出多樣化和復(fù)雜化的特點，對于告警=聚合和關(guān)聯(lián)技術(shù)提出了更高的要求，呈現(xiàn)出以下發(fā)展趨勢：(1) 智能處理方法，靈活應(yīng)對復(fù)雜網(wǎng)絡(luò)環(huán)境和攻擊方法。(2) 關(guān)聯(lián)規(guī)則挖掘，關(guān)聯(lián)規(guī)則如何產(chǎn)生并應(yīng)用于告警關(guān)聯(lián)、分析網(wǎng)絡(luò)態(tài)勢等。(3) 可視化，協(xié)助安全管理員分析隱藏在大量告警消息背后的攻擊模式和意圖。(4) 態(tài)勢評估，如何對告警信息進(jìn)行量化評價，從而分析網(wǎng)絡(luò)態(tài)勢，得到系統(tǒng)更準(zhǔn)確可靠的安全狀態(tài)。(5) 入侵響應(yīng)，判斷真實的入侵和攻擊行為，減少響應(yīng)次數(shù)和經(jīng)濟(jì)成本。

簡而言之，告警聚合與關(guān)聯(lián)技術(shù)要求準(zhǔn)確、實時、適應(yīng)性強(qiáng)和擴(kuò)展性好等，更有效地提高IDS和其他安全設(shè)備的適用性，以增強(qiáng)網(wǎng)絡(luò)整體的安全保護(hù)和應(yīng)急響應(yīng)能力。