金民鎖, 孫 遒, 朱 單

(黑龍江科技學(xué)院 信息網(wǎng)絡(luò)中心,哈爾濱 150027)

邊界檢測在入侵模式分類與特征提取中的應(yīng)用

金民鎖, 孫 遒, 朱 單

(黑龍江科技學(xué)院 信息網(wǎng)絡(luò)中心,哈爾濱 150027)

在檢驗(yàn)知識較少的情況下,為有效提取網(wǎng)絡(luò)數(shù)據(jù)特征,實(shí)現(xiàn)快速入侵檢測,運(yùn)用邊界檢測算法建立有限樣本下自學(xué)習(xí)的理論框架和通用方法,通過特征提取來剔除對其后的入侵檢測不具有鑒別信息的部分。實(shí)驗(yàn)數(shù)據(jù)分析表明,有效聚類的數(shù)量隨著原始樣本量的增加而緩慢增加,并趨于穩(wěn)定。理論分析和仿真實(shí)驗(yàn)證明了該算法的有效性。

邊界檢測算法;入侵模式;特征提取

0 引 言

隨著網(wǎng)絡(luò)安全問題的日益突出,作為網(wǎng)絡(luò)安全的第二道屏障,入侵檢測技術(shù)成為網(wǎng)絡(luò)安全體系不可或缺的部分。目前,免疫模型、神經(jīng)網(wǎng)絡(luò)及數(shù)據(jù)挖掘技術(shù)被大量應(yīng)用于入侵信息特征提取和模式分類[1-6]。然而,來源于網(wǎng)絡(luò)的數(shù)據(jù)龐大且只有部分具有代表性,若直接將其規(guī)格化后進(jìn)行分析引擎的訓(xùn)練和其后的檢測工作,必然會使得訓(xùn)練時間較長且檢測速度低下。因而,需要有效地實(shí)現(xiàn)數(shù)據(jù)縮減。

邊界檢測算法[7]是一種建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的機(jī)器學(xué)習(xí)方法。其最大的特點(diǎn)是將各個聚類看作是相互獨(dú)立的邊界曲面分開的概率密度子空間,計(jì)算合并問題的全局最優(yōu)解,這一點(diǎn)既克服了窮盡搜索的缺點(diǎn)又滿足單調(diào)性。此外,其分類性能受原始樣本質(zhì)量影響相對較小,因而具有較好的學(xué)習(xí)泛化能力,即由有限的訓(xùn)練樣本集合所得到分類結(jié)果仍然能夠保證對獨(dú)立的測試集進(jìn)行分類且檢測保持較小的誤差。因此,筆者將邊界檢測算法應(yīng)用于入侵模式分類中,獲得了快速訓(xùn)練與檢測的新方法。

1 入侵模式分類與特征提取

1.1 入侵模式分類

在理論上,通過網(wǎng)絡(luò)發(fā)起的主動攻擊性行為無論其隱蔽性多高都會在網(wǎng)絡(luò)通信過程中有所體現(xiàn),可以通過對網(wǎng)絡(luò)的通信數(shù)據(jù)分析提取出攻擊行為的特征,并將其作為判定網(wǎng)絡(luò)中是否存在入侵的有利依據(jù)。對直接來自于網(wǎng)絡(luò)的原始數(shù)據(jù)進(jìn)行分析前要對數(shù)據(jù)進(jìn)行適當(dāng)處理,通常有兩個過程。

首先是數(shù)據(jù)預(yù)處理。它是限制模式識別性能的重要因素,從原始數(shù)據(jù)包中抽取的數(shù)據(jù)向量維數(shù)將會極大影響檢測的速度及精度。基本原則是,在不影響目標(biāo)系統(tǒng)運(yùn)行性能和實(shí)現(xiàn)安全檢測目標(biāo)的前提下,最多可以使用多少信息或者說最少需要多少信息源。目前,數(shù)據(jù)選擇大部分是安全人員根據(jù)其對己有攻擊方式分析基礎(chǔ)上進(jìn)行的。

其次是數(shù)據(jù)表述問題。為減小處理量先對原始數(shù)據(jù)進(jìn)行形式化描述,剔除不敏感數(shù)據(jù)項(xiàng),從而使進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)更有代表性。在文中,通過提取每個包的包頭及負(fù)載中的信息作為執(zhí)行分類的原始數(shù)據(jù),以 TCP/IP協(xié)議的鏈路層為例,在該層次上提取源地址、目的地端口號、標(biāo)識位 (SYN、F IN、RST等)、ACK序列數(shù)等作為輸入項(xiàng),數(shù)據(jù)整體上為一向量形式。

對來源于網(wǎng)絡(luò)的數(shù)據(jù)規(guī)格化并分類后,可以直接依據(jù)分類的界面函數(shù)提取與選擇有鑒別信息的坐標(biāo)軸,從原始樣本中提取出的模式在其上的投影即為具有鑒別信息的分量。在模式識別中,特征提取與選擇的準(zhǔn)則是在保持分類識別正確率的條件下,使特征空間維數(shù)盡量的小,并提取出對分類性能影響較大的所有特征矢量。

1.2 特征提取

在一個較完善的模式識別系統(tǒng)中,或者明顯或者隱含的要有特征提取與選擇的技術(shù)環(huán)節(jié),通常其處于對象特征數(shù)據(jù)采集和分類識別兩個環(huán)節(jié)之間,特征提取與選擇方法的優(yōu)劣極大的影響著分類器的設(shè)計(jì)和性能,它是模式識別的三大核心問題之一[8]。特征提取與選擇的基本任務(wù)是研究如何從眾多特征中求出那些對分類識別最為有效的特征,從而實(shí)現(xiàn)特征空間數(shù)據(jù)的壓縮。在文獻(xiàn)[9-10]中討論了幾種用于特征提取的智能技術(shù),為客觀的特征提取做了理論分析與測試。

分類識別的正確率取決于對象的表示、訓(xùn)練學(xué)習(xí)和分類識別算法,而特征的提取與選擇問題則是對象表示的一個關(guān)鍵問題。從直觀上可知,在特征空間中,如果同類模式分布比較密集且不同類的模式相距較遠(yuǎn),分類識別就比較容易了,因此在提取特征時,要求所提取的特征對不同類的對象差別很大而同類對象差別較小,這將給分類帶來很大的方便。但是由于某些原因,提取的特征似的模式?jīng)]有顯著地如上述那樣分布,或者所得的特征過多。為了保證所要求的分類識別的準(zhǔn)確率和節(jié)省資源,希望依據(jù)最少的特征達(dá)到所要求的分類識別準(zhǔn)確率,因此,通常在得到實(shí)際對象的若干具體特征之后,再由這些原始特征產(chǎn)生出對分類識別最有效、數(shù)目最少的特征。這就是特征提取與選擇的任務(wù)。在實(shí)現(xiàn)上述目標(biāo)時,往往需要首先制定特征提取與選擇的準(zhǔn)則,也可以用類別判決函數(shù)作為準(zhǔn)則,還可以構(gòu)造出誤判概率有關(guān)的判據(jù)來刻畫特征對模式識別的貢獻(xiàn)或者有效性[11]。

2 邊界檢測算法

2.1 原 理

決策邊界的定義為:{(x)=t},它可以是直線、曲線、平面、超平面、曲面、超曲面等,決策界往往是無限的,但大多數(shù)情況下決策界中的一部分對分類有意義。

對于分類問題,邊界檢測算法根據(jù)區(qū)域中的樣本計(jì)算該區(qū)域的決策曲面,由該曲面確定該區(qū)域中樣本的類別,見圖 1。這里主要討論計(jì)算決策面和對樣本分類的方法。邊界檢測算法很適用于致密聚類,其聚類原理為:致密聚類可以看作是N維空間內(nèi)的高密度區(qū)域,區(qū)域之間通過稀疏區(qū)域分隔,因此可以對界限進(jìn)行初始估計(jì),然后迭代的將其向數(shù)據(jù)向量稀疏的區(qū)域移動。為方便描述,首先以有兩個聚類為例。令g(χ,θ)是描述兩個聚類(C-,C+)間的決策邊界的函數(shù),其中,θ為描述曲面的未知參數(shù)向量。如果對于特定的 x,有g(shù)(χ,θ)>0,那么 x屬于第一個聚類,否則 x屬于第二個聚類。因此定義判定函數(shù)P以使得當(dāng)函數(shù)取最大值時將得到θ的局部最優(yōu)值。P定義為

圖1 決策邊界Fig.1 Decision boundary

觀察式(1)右端的兩項(xiàng)可以看出其最大值均為1,同時因?yàn)閒(x)≤1,所以有

即有P(θ)取非負(fù)值。通過分析可以得出,當(dāng)所有的輸入樣本都遠(yuǎn)離界限時,式(1)的第一項(xiàng)取極大值。在這種情況下有f2(g(xi,θ))→1,當(dāng)輸入樣本位于邊界的同一側(cè)而且遠(yuǎn)離該邊界時也有上述結(jié)論成立。式(1)右端的第二項(xiàng)就是為了克服上述限制,在第二項(xiàng)接近于1的情況下有P(θ)→0,也就是說函數(shù)取最小值。q的作用就是控制第二項(xiàng)在判定函數(shù)P(θ)的影響。在邊界位于兩個密集區(qū)域中間的情況下,第二項(xiàng)對P(θ)的影響較小,因?yàn)橥ㄟ^求和后,位于邊界兩邊的樣本所產(chǎn)生的作用幾乎抵消。

整個算法的最終目的就是要確定θ,在當(dāng)前情況下,對θ的調(diào)整是基于向量 x與決策邊界間的歐氏距離。在此使用快速上升法來確定θ的最優(yōu)值,令θj為向量θ的某一維坐標(biāo),得公式:

對于簡單的情況,g(χ,θ)為一超平面,即有g(shù)(χ,θ)=wTx+w0,其中,θ=[ww0]T。具體的計(jì)算過程為:各參數(shù)選擇初始值,用式(1)計(jì)算P(θ(0));接下來用式(1)和(2)迭代計(jì)算θ(t)和P(θ(t))直到

在輸入樣本中的隱含聚類多于兩個的情況下,采用層次方法首先把輸入樣本分為兩類,確定兩類邊界后在邊界兩邊進(jìn)行迭代繼續(xù)細(xì)分。值得指出的是,式(3)中ε的取值應(yīng)該慎重,其決定邊界的分類性能。

2.2 分類性能

根據(jù)概率理論可知,對于一組樣本若樣本間相互獨(dú)立分布則它們總體上可近似為一正態(tài)分布,為討論方便仍以兩類模式為基礎(chǔ)分析。設(shè)C+、C-分別代表兩類模式,因兩類模式近似為正態(tài)分布所以可定義這兩類之間的決策似然比Lij(x)的數(shù)學(xué)期望為

式(4)表明,誤判概率隨著兩類模式中心的馬氏距離的增加而減小,若兩類模式距離足夠大則誤判概率可足夠小。上述證明結(jié)果對選定式(3)中ε的值以改善聚類性能具有指導(dǎo)意義。

2.3 誤分類風(fēng)險估計(jì)與參數(shù)優(yōu)化

由于從原始數(shù)據(jù)包中抽取的數(shù)據(jù)可能不能完全滿足檢測的需求,并且檢測引擎也具有不精確性,所以需要設(shè)定某些判斷規(guī)則來提高整個檢測系統(tǒng)的性能,即如何減小由前期分類樣本少及算法本身問題所造成分類不準(zhǔn)確對匹配性能的影響。下面分析前期的分類性能對模式識別所造成的影響以指導(dǎo)參數(shù)調(diào)整。

設(shè)樣本空間與模式空間分別為X與Y,為分類的需要在此定義Y={0,1},用 0及 1分別代表分類的匹配與不匹配。定義模式m的風(fēng)險為:R(m)=P(m(x)≠y),根據(jù) Hoeffding不等式[12],對于n個滿足f(x)∈[a,b]隨機(jī)變量 x1,…,xn,有

在式(5)中體現(xiàn)了分類錯誤風(fēng)險與檢測準(zhǔn)確率δ和聚類數(shù)N的關(guān)系。因而在確定檢測樣本屬于某個聚類Ci時,可以根據(jù)式(5)的結(jié)果來減小在該聚類中搜索匹配模式代價,即在合理的確定分類精度的情況下減小搜索的模式范圍,如在kij取值在左右時分類精確率變化較為緩慢,在 90%左右,而且此時分類精度較為適合。從而通過調(diào)整δ來調(diào)整聚類數(shù)。

3 仿真及性能分析

與其后的檢測過程相對應(yīng),在分類階段對原始數(shù)據(jù)按協(xié)議結(jié)構(gòu)也分層處理,由于應(yīng)用層協(xié)議復(fù)雜多樣且大量工作在于分組負(fù)載分析,因此在分類過程中只針對傳輸層、網(wǎng)絡(luò)層及物理層。分類輸入向量可形式化描述為 M={H,{t1…tn},{n1…nn}, {l1…ln}},其中,H為連接號;t為包頭信息經(jīng)過特征提取轉(zhuǎn)換和降維處理后的傳輸層信息;n及l(fā)分為網(wǎng)絡(luò)層及鏈路層信息。當(dāng)傳輸層使用 TCP協(xié)議時,連接請求從發(fā)起的第一個數(shù)據(jù)包起到連接終止,所有傳輸分組具有相同H;當(dāng)使用 UDP協(xié)議時,則任兩個分組H都不同。

分類的初始信息來源于 DARPA99數(shù)據(jù)集,從中抽取出含有入侵行為的數(shù)據(jù)進(jìn)行分類,在接下的測試中使用增量樣本觀察分類的速度及聚類數(shù)目,表 1給出了四組原始樣本相同情況下分類情況和分類后的聚類情況。

表 1 邊界檢測算法對原始樣本數(shù)據(jù)分類性能Table 1 Classification performance of BDA

通過對分類后得到的聚類的分析,發(fā)現(xiàn)有相當(dāng)?shù)囊徊糠志垲悆?nèi)樣本數(shù)增長較慢,這些聚類是異常數(shù)據(jù)或不具備代表性的無意義數(shù)據(jù),對分析沒有意義,因此將其當(dāng)作噪音剔除掉。在經(jīng)過大量的數(shù)據(jù)分類后,發(fā)現(xiàn)有效聚類的數(shù)量隨著原始樣本量的增加而緩慢增加,有效聚類數(shù)穩(wěn)定在 40個左右(表 1)。

4 結(jié)束語

目前,隨著網(wǎng)絡(luò)帶寬的不斷增加及網(wǎng)絡(luò)攻擊的復(fù)雜度上升,入侵檢測系統(tǒng)的檢測性能也急需提高。因此,筆者將邊界檢測算法應(yīng)用到網(wǎng)絡(luò)數(shù)據(jù)特征提取中。該算法可以從原始樣本中獲得具有代表性的聚類,根據(jù)得到的穩(wěn)定聚類提取出代表性的特征,以便于進(jìn)行入侵檢測。仿真實(shí)驗(yàn)表明,該算法可以在先驗(yàn)知識不足的情況下,提高分類速度且不降低分類的性能,從而較好地解決小樣本、非線性等實(shí)際分類問題。

[1] 鄧清華,金 聰,張清國.一種網(wǎng)絡(luò)蠕蟲的動態(tài)傳播模型[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(6):86-88,126.

[2] 王金水,張東站,施秀升,等.基于免疫系統(tǒng)和模糊邏輯的自適應(yīng)網(wǎng)絡(luò)入侵檢測[J].心智與計(jì)算,2009,3(1):22-23.

[3] 衛(wèi) 強(qiáng),周曉滄.基于屬性預(yù)掃描的不確定性函數(shù)依賴挖掘[J].清華大學(xué)學(xué)報:自然科學(xué)版,2009,49(6):905-906.

[4] 辛治運(yùn),顧 明.基于最小二乘支持向量機(jī)的復(fù)雜金融時間序列預(yù)測[J].清華大學(xué)學(xué)報:自然科學(xué)版,2008,48(7):1 147-1 149.

[5] 楊賢棟,葉少珍.基于內(nèi)容的MR I腦腫瘤圖像特征提取及檢索方法[J].計(jì)算機(jī)應(yīng)用,2009,29(z2):232-233.

[6] 王秀琴,夏洪洋.不變矩算法的改進(jìn)與人耳識別技術(shù)[J].黑龍江科技學(xué)院學(xué)報,2008,18(1):51-53,57.

[7] THEODOR ID IS S,KOUTROUMBAS K.Pattern recognition[M]. Boston:ELSEVIER ACADEM IC PRESS,2004:89-90.

[8] 王金龍,王呈貴,吳啟輝,等.Ad Hoc移動無線網(wǎng)絡(luò)[M].北京:國防工業(yè)出版社,2004:56-57.

[9] WANG K,CRET U G,ST OLFO S J.Anomalous payload-basedwor m detection and signature generation[C]//Proceedings of the 8th International Symposium on Recent Advances in Intrusion Detection (RA ID).Washington,DC:Springer-Verlag Berlin Heidelberg, 2005:227-246.

[10] KRE IBI CH C,CROWCROFT J.Honeycomb creating intrusion detection signatures using honevpots[C]//Proceedingsof the SecondWorkshop on Hot Topics in Ne tworks(Hotnets II).Washington,DC: Springer-VerlagBerlin Heidelberg,2003:51-56.

[11] 鄒 濤,孫宏偉,田新廣,等.網(wǎng)絡(luò)入侵檢測系統(tǒng)中的數(shù)據(jù)縮減技術(shù)[J].國防科技大學(xué)學(xué)報,2003,25(6):16-20.

[12] ANTHONYM,BARTLETT P L.Neural network learning:theoretical foundations[M].London:Cambridge University Press, 2007:78-80.

[13] 黃光球,李 眩.基于記憶原理的網(wǎng)絡(luò)入侵檢測[J].河北工程大學(xué)學(xué)報:自然科學(xué)版,2008,25(1):42-44.

Application of boundary detection algorithm in invasion pattern classification and feature extraction

JIN M insuo,SUN Q iu,ZHU Dan(Infor mation Ne twork Center,Heilongjiang Institute of Science&Technology,Harbin 150027,China)

Adopting the boundary detection method can help the users achieve an effective extraction of the network data and a quick intruding detection in the lack of detective knowledge.It is helpful to establish a theoretical framework and develop a universalmethod of self-learning as to the lim ited samples with the boundary detection method,through feature extraction can get rid of the data without the distinguished features in the following intruding detection. Experimental data analysis shows that the number of effective clustering increases alongwith the increasing original samples and then levels off. Its validity has been demonstrated in the theoretical analysis and simulation experiments in this article.

boundary detection algorithm;invasion pattern;feature extraction

TP309;TP391

A

1671-0118(2011)02-0142-04

2011-01-11

黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目(11551439)

金民鎖(1977-),男,黑龍江省雙鴨山人,工程師,碩士,研究方向:網(wǎng)絡(luò)安全與計(jì)算算法,E-mail:jms9802@126.com。

(編輯王 冬)