張公讓，萬 飛

(合肥工業(yè)大學(xué) 管理學(xué)院，安徽 合肥 230009)

基于網(wǎng)格搜索的SVM在入侵檢測中的應(yīng)用

張公讓，萬 飛

(合肥工業(yè)大學(xué) 管理學(xué)院，安徽 合肥 230009)

隨著網(wǎng)絡(luò)的快速普及和發(fā)展，網(wǎng)絡(luò)安全問題日益突出，如何保障網(wǎng)絡(luò)安全已經(jīng)成為一個國際化問題。在眾多方法中，入侵檢測技術(shù)是解決這一問題的有效手段。文中將支持向量機(jī)方法運用在入侵檢測中。首先，介紹了基于SVM的入侵檢測技術(shù)研究現(xiàn)狀；然后，將網(wǎng)格搜索算法應(yīng)用在SVM參數(shù)尋優(yōu)中；最后，通過實驗，將PSO算法、GA算法、網(wǎng)格搜索算法對SVM參數(shù)優(yōu)化的結(jié)果進(jìn)行比較。實驗結(jié)果表明，使用網(wǎng)格搜索法對SVM參數(shù)進(jìn)行優(yōu)化，具有最好的泛化精度，并且在此基礎(chǔ)上，對數(shù)據(jù)集進(jìn)行歸一化處理，將大幅度減少構(gòu)建分類器的迭代次數(shù)，從而減少預(yù)測時間。因此，可以認(rèn)為基于網(wǎng)格搜索的支持向量機(jī)能夠很好地實現(xiàn)入侵檢測。

入侵檢測；網(wǎng)絡(luò)安全；支持向量機(jī)；網(wǎng)格搜索

1 概 述

網(wǎng)絡(luò)入侵檢測是指從計算機(jī)網(wǎng)絡(luò)的若干關(guān)鍵點收集信息并對其進(jìn)行分析，從中查找網(wǎng)絡(luò)中是否有違反安全策略的行為或遭到入侵的跡象，并依據(jù)既定的策略采取一定的軟件與硬件的組合措施予以防治[1]。1980年，James Anderson為美國空軍做的技術(shù)報告《Computer Security Threat Monitoring and Surveillance》里面第一次提出入侵檢測的理念，他將入侵檢測類型劃分為外部入侵、內(nèi)部用戶的越權(quán)限使用和授權(quán)用戶的權(quán)限濫用三種，并提出用審計蹤跡來檢測對文件的非授權(quán)訪問。1987年，Dorothy.E.Denning首次實現(xiàn)了一個實時入侵檢測系統(tǒng)的通用模型。但是在八十年代，這些理論和模型都沒有引起人們的關(guān)注。Internet普及全球之后，入侵檢測才真正得到重視，并快速地發(fā)展。

隨著人類社會步入飛速發(fā)展的互聯(lián)網(wǎng)時代，與此同時黑客和一些網(wǎng)絡(luò)上的惡意攻擊者利用計算機(jī)和網(wǎng)絡(luò)技術(shù)頻繁進(jìn)行網(wǎng)絡(luò)入侵。如今的網(wǎng)絡(luò)安全技術(shù)，包括防火墻技術(shù)、VPN技術(shù)、PKI技術(shù)等都是著重于對網(wǎng)絡(luò)攻擊的防護(hù)，但是從網(wǎng)絡(luò)安全發(fā)展的趨勢來看，做好防護(hù)的同時，引入入侵檢測技術(shù)對網(wǎng)絡(luò)攻擊行為進(jìn)行預(yù)測和阻止才是治標(biāo)又治本的辦法。

網(wǎng)絡(luò)入侵檢測一直是人們研究的熱點問題，近年來相關(guān)人員針對這個問題提出了很多模型和方法，數(shù)據(jù)挖掘就是其中的一種。具體的、常用的有分類技術(shù)、聚類技術(shù)、關(guān)聯(lián)規(guī)則挖掘等[2]。支持向量機(jī)(Support Vector Machine，SVM)便是一種具有良好學(xué)習(xí)能力和推廣能力的分類技術(shù)。

SVM是俄羅斯統(tǒng)計學(xué)家和數(shù)學(xué)家Vapnic與其同事于1995年首先提出的[3]，它在預(yù)測小樣本、非線性以及高維數(shù)據(jù)的訓(xùn)練擬合中擁有很多特有的優(yōu)勢。支持向量機(jī)方法以統(tǒng)計學(xué)習(xí)理論里的VC維理論和結(jié)構(gòu)風(fēng)險最小化原理為基礎(chǔ)，將訓(xùn)練樣本映射到高維空間，并在這個空間里建立最大分類超平面，即最大間隔分類器，如圖1所示。通過最大間隔分類器對測試樣本進(jìn)行預(yù)測。

圖1 使用安德森鳶尾花卉數(shù)據(jù)集 訓(xùn)練得到的最大間隔分類器

基于支持向量機(jī)的網(wǎng)絡(luò)入侵檢測方法具有很好的泛化能力，在分類模型建立過程中，核函數(shù)的參數(shù)g和懲罰系數(shù)c對分類器的性能有很大的影響。但是對于SVM參數(shù)的優(yōu)化選取，并沒有公認(rèn)的最好的方法。通?；赟VM的網(wǎng)絡(luò)入侵檢測方法的參數(shù)選取，一般都采用默認(rèn)參數(shù)或者根據(jù)經(jīng)驗設(shè)置。實驗證明，使用網(wǎng)格搜索法對SVM參數(shù)進(jìn)行優(yōu)化，具有最好的泛化精度。在此基礎(chǔ)上，對數(shù)據(jù)集進(jìn)行歸一化處理，將大幅度減少構(gòu)建分類器的迭代次數(shù)，從而減少訓(xùn)練和預(yù)測時間。

目前，SVM檢測技術(shù)在文本分類、車輛識別、工業(yè)生產(chǎn)等領(lǐng)域都有普遍的應(yīng)用。張國梁等[4]提出了使用互信息特征選擇法結(jié)合GIGMOID核函數(shù)對新聞文本分類的研究，取得了不錯的分類準(zhǔn)確率；周辰雨等[5]以遺傳算法為搜索模式，采用交叉驗證技術(shù)確定SVM的最佳參數(shù)組合；賈存良等[6]通過對三種核函數(shù)的計算結(jié)果對比，選擇合適的核函數(shù)并應(yīng)用于煤炭需求預(yù)測；張琨等[7]通過實驗對比的方式來確定核函數(shù)并進(jìn)行參數(shù)選擇。上述理論只是單純比較核函數(shù)或者僅采用某一種參數(shù)優(yōu)化算法，預(yù)測結(jié)果并未達(dá)到最優(yōu)。近年來，王健峰等[8]提出使用改進(jìn)的網(wǎng)格搜索法對SVM參數(shù)進(jìn)行優(yōu)化，在確定最優(yōu)參數(shù)區(qū)間之后，再進(jìn)行小步距精搜索。該方法適用于樣本屬性值在同一數(shù)量級且無量綱的數(shù)據(jù)。網(wǎng)絡(luò)連接數(shù)據(jù)的屬性值變化很大，在參數(shù)優(yōu)化之前，若不采用數(shù)據(jù)歸一化處理，會降低對樣本的預(yù)測成功率且極大地增加迭代計算量。另外，還有一些學(xué)者專注于樣本數(shù)據(jù)集的屬性選擇。朱文杰等[9]通過信息熵理論對樣本數(shù)據(jù)進(jìn)行處理，剝離下行屬性集，從而降低樣本的特征維數(shù)，有效減少檢測的計算規(guī)模；徐永華等[10]提出K-means與屬性信息熵相結(jié)合，對訓(xùn)練樣本集進(jìn)行約簡。傳統(tǒng)屬性約簡方法有Relief[11]算法、K-means算法、粗糙集理論[12]等。

2 網(wǎng)格搜索算法和數(shù)據(jù)歸一化

2.1 交叉驗證

交叉驗證(Cross Validation[13]，CV)是一種檢驗分類器泛化能力的統(tǒng)計方法。交叉驗證的基本思想是將訓(xùn)練數(shù)據(jù)切割成K個較小的子集，每次迭代，使用一個子集做測試集，其余K-1個子集作為訓(xùn)練集進(jìn)行分析。這種分組方法，被稱為K折交叉驗證(K-foldCV)。K折交叉驗證可以有效選取支持向量機(jī)的最優(yōu)核參數(shù)和最優(yōu)懲罰系數(shù)，同時避免出現(xiàn)過度擬合的發(fā)生，因此，實驗結(jié)果具有很強(qiáng)的說服力。實驗中采用10折交叉驗證，將數(shù)據(jù)集分為10份，依次將其中9份作為訓(xùn)練數(shù)據(jù)，另外1份作為測試數(shù)據(jù)進(jìn)行試驗。每次試驗都會得到相對應(yīng)的迭代次數(shù)和檢測準(zhǔn)確率(CVAccuracy)。

2.2 網(wǎng)格搜索法

網(wǎng)格搜索法的基本原理是讓c和g在一定的范圍劃分網(wǎng)絡(luò)并遍歷網(wǎng)格內(nèi)所有點進(jìn)行取值，對于取定的c和g利用K-CV方法得到此組c和g下訓(xùn)練集驗證分類準(zhǔn)確率，最終取使得訓(xùn)練集驗證分類準(zhǔn)確率最高的那組c和g作為最佳的參數(shù)[8]。網(wǎng)格搜索法參數(shù)優(yōu)化的結(jié)果如圖2所示，其中c的取值范圍設(shè)置為[2-8,28]，g的取值范圍設(shè)置為[2-8,28]，參數(shù)c和g的步進(jìn)大小范圍設(shè)置為1。

由圖2可以看出，c和g在一定的區(qū)間上分類準(zhǔn)確率較低，造成這一結(jié)果的原因是，訓(xùn)練數(shù)據(jù)中某些列的屬性值(如第5列)過大，而其他列的屬性值相對較小，容易造成訓(xùn)練時某些樣本屬性值的丟失。因此，對樣本數(shù)據(jù)進(jìn)行歸一化處理是必要的。

2.3 歸一化處理

對于每個樣本，由于它在每個維度上的量綱不同，如果不對樣本進(jìn)行歸一化處理，在量綱數(shù)量級差別懸殊的時候，會使樣本中較低數(shù)量級的屬性變?yōu)?，從而會使原來樣本數(shù)據(jù)的信息丟失過多。

圖2 網(wǎng)格搜索法參數(shù)選擇結(jié)果

2.3.1 Min-Max標(biāo)準(zhǔn)化(Min-Max Normalization)

標(biāo)準(zhǔn)化是對原樣本數(shù)據(jù)的線性變換，也稱為離差標(biāo)準(zhǔn)化。通過變換使樣本數(shù)據(jù)映射到0～1之間。轉(zhuǎn)換函數(shù)如下所示：

2.3.2 訓(xùn)練集和測試集合并歸一化

如果現(xiàn)將訓(xùn)練集進(jìn)行歸一化(假設(shè)第一維度的最大值為M)，并將這個歸一化映射記錄下來，當(dāng)有新的測試集(假設(shè)第一維度的最大值為N)時再用這個歸一化映射對測試集進(jìn)行歸一化。這樣，就接受了這樣一個假設(shè)：N不能超過M。不然歸一化會產(chǎn)生結(jié)果大于1的不合理情況。但是，將訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)放在一起歸一化就可以避免出現(xiàn)這種情況，歸一化后每一維度的最大值和最小值是從訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的集合中尋找。

做這樣的處理會出現(xiàn)一個問題，每次變換測試數(shù)據(jù)，都要對分類器進(jìn)行重新訓(xùn)練，較為耗費時間。但是，需要考慮到所處理的問題是面向數(shù)據(jù)的，當(dāng)加入了新的測試數(shù)據(jù)時，如果建立一個更加適合這個測試集的SVM模型，預(yù)測結(jié)果將更加準(zhǔn)確和合理。歸一化處理后的參數(shù)尋優(yōu)效果如圖3所示?？梢钥闯觯?dāng)取得

圖3 歸一化+網(wǎng)格搜索法參數(shù)選擇結(jié)果

最佳參數(shù)的同時，分類準(zhǔn)確率也有一定提升。

2.4 SVM入侵檢測過程

使用數(shù)據(jù)歸一化和網(wǎng)格搜索法的網(wǎng)絡(luò)入侵檢測過程如圖4所示。

圖4 網(wǎng)絡(luò)入侵檢測過程

具體步驟如下：

步驟1：在互聯(lián)網(wǎng)中獲取網(wǎng)絡(luò)中的數(shù)據(jù)包信息。通常使用網(wǎng)絡(luò)嗅探器來實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的獲?。?/p>

步驟2：對獲取的數(shù)據(jù)進(jìn)行簡單的特征抽取和屬性選擇，去除含字符串的三列屬性值，并將標(biāo)簽列數(shù)據(jù)變換成正常與攻擊兩種類型，方便進(jìn)行二分類處理；

步驟3：對屬性列進(jìn)行歸一化處理，將數(shù)據(jù)訓(xùn)練集和測試集合并起來進(jìn)行歸一化處理。集成之后的數(shù)據(jù)集所建立的model更能反映測試集的性質(zhì)，因而可以獲得更高的分類準(zhǔn)確率；

步驟4：使用網(wǎng)格搜索算法對SVM進(jìn)行參數(shù)尋優(yōu)。使用10折交叉驗證，限定懲罰參數(shù)c和RBF核函數(shù)g的變化范圍都在[2-8,28]，限定c和g的步進(jìn)大小為1，步進(jìn)間隔大小為4.5；

步驟5：SVM核函數(shù)選擇RBF核函數(shù)。使用最優(yōu)參數(shù)訓(xùn)練分類器，得到最優(yōu)參數(shù)所對應(yīng)的model，將測試數(shù)據(jù)代入該model中計算，得到迭代次數(shù)和分類準(zhǔn)確率；

步驟6：分別使用遺傳算法和粒子群算法對SVM參數(shù)進(jìn)行尋優(yōu)，將實驗結(jié)果和步驟5中得到的實驗結(jié)果進(jìn)行對比。其中遺傳算法中的參數(shù)終止代數(shù)設(shè)為50，種群數(shù)量pop設(shè)為20；粒子群算法中的參數(shù)終止代數(shù)設(shè)為100，種群數(shù)量pop設(shè)為20。實驗中將未歸一化數(shù)據(jù)也代入model進(jìn)行計算，得出結(jié)果進(jìn)行對比。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

文中實驗數(shù)據(jù)集采用KDDCUP 99[14]數(shù)據(jù)集。1998年美國國防部高級規(guī)劃署(DARPA)在MIT林肯實驗室進(jìn)行了一項網(wǎng)絡(luò)入侵檢測評估項目，通過模擬美國空軍局域網(wǎng)，收集了長達(dá)9周的網(wǎng)絡(luò)連接和審計數(shù)據(jù)，仿真各種攻擊手段。每個網(wǎng)絡(luò)連接都被標(biāo)記為normal或attack,異常類型有四大類：PROBE、DOS、U2R和R2L，其中DOS攻擊最多。異常細(xì)分為39種攻擊類型。實驗工具使用臺灣大學(xué)林智仁教授編寫的LIBSVM工具和Matlab軟件。

實驗中，從KDDCUP 99數(shù)據(jù)集的訓(xùn)練樣本集中分別選取212、520、2 387條數(shù)據(jù)作為候選訓(xùn)練樣本數(shù)據(jù)。從KDDCUP數(shù)據(jù)集的測試集中選取30 000條數(shù)據(jù)作為測試樣本數(shù)據(jù)。

3.2 實驗對比

實驗分為兩步：

1)采用傳統(tǒng)SVM、基于遺傳算法(GA)的SVM參數(shù)優(yōu)化、基于粒子群算法(PSO)的SVM參數(shù)優(yōu)化和基于網(wǎng)格搜索的SVM參數(shù)優(yōu)化進(jìn)行對比。實驗結(jié)果如表1所示。

表1 參數(shù)尋優(yōu)對比

可以看出：

(1)隨著訓(xùn)練樣本數(shù)的提高，分類準(zhǔn)確率也相應(yīng)提高；

(2)三種參數(shù)優(yōu)化算法均有較大幅度提高；

(3)和其他優(yōu)化算法相比，基于網(wǎng)格搜索的參數(shù)尋優(yōu)分類效果最好。

2)使用數(shù)據(jù)歸一化和未使用數(shù)據(jù)歸一化處理的SVM參數(shù)優(yōu)化對比，以及相應(yīng)建模迭代次數(shù)和訓(xùn)練數(shù)據(jù)擬合程度的對比。實驗結(jié)果如表2～4所示。

表2 歸一化前后準(zhǔn)確率對比 %

表3 歸一化前后迭代次數(shù)對比

表4 歸一化前后CVAccuracy的對比 %

可以看出：

(1)數(shù)據(jù)歸一化后，對測試數(shù)據(jù)的分類準(zhǔn)確率有一定的提升；

(2)建立分類器的迭代次數(shù)大幅減少，當(dāng)測試數(shù)據(jù)很大的時候，會極大地縮短測試和系統(tǒng)應(yīng)對的時間；

(3)數(shù)據(jù)歸一化之后，分類器對訓(xùn)練數(shù)據(jù)的擬合度提升，同時可以提升對測試數(shù)據(jù)的分類準(zhǔn)確率，說明并未過擬合。

4 結(jié)束語

文中探討了將網(wǎng)格搜索技術(shù)和數(shù)據(jù)歸一化方法應(yīng)用于基于SVM的網(wǎng)絡(luò)入侵檢測的系統(tǒng)中，以解決傳統(tǒng)SVM技術(shù)在檢測時間和分類準(zhǔn)確率方面的問題。結(jié)果表明，通過對樣本數(shù)據(jù)進(jìn)行歸一化處理，并采用網(wǎng)格搜索技術(shù)對SVM的參數(shù)進(jìn)行優(yōu)化，可以減少檢測網(wǎng)絡(luò)異常所需的時間并提高檢測的準(zhǔn)確率，是網(wǎng)絡(luò)入侵檢測算法優(yōu)化中一次有效的嘗試。

[1] 雷渭侶，王玉蘭.計算機(jī)網(wǎng)絡(luò)安全技術(shù)與應(yīng)用[M].北京：清華大學(xué)出版社，2009.

[2] 倪志偉，倪麗萍，劉惠婷,等.動態(tài)數(shù)據(jù)挖掘[M].北京：科學(xué)出版社，2010.

[3] Cortes C,Vapnic V.Support-vector networks[J].Machine Learning,1995,20(3):273-297.

[4] 張國梁，肖超鋒.基于SVM新聞文本分類的研究[J].電子技術(shù),2011,38(8):16-17.

[5] 周辰雨，張亞岐，李 健.基于SVM的車輛識別技術(shù)[J].科技導(dǎo)報,2012,30(30):53-57.

[6] 賈存良,吳海山,鞏敦衛(wèi).煤炭需求量預(yù)測的支持向量機(jī)模型[J].中國礦業(yè)大學(xué)學(xué)報,2007,36(1):107-110.

[7] 張 琨,曹宏鑫,嚴(yán) 悍,等.支持向量機(jī)在網(wǎng)絡(luò)異常入侵檢測中的應(yīng)用[J].計算機(jī)應(yīng)用研究,2006,23(5):98-100.

[8] 王健峰，張 磊，陳國興,等.基于改進(jìn)的網(wǎng)格搜索法的SVM參數(shù)優(yōu)化[J].應(yīng)用科技,2012,39(3):28-31.

[9] 朱文杰，王 強(qiáng)，翟獻(xiàn)軍.基于信息熵的SVM入侵檢測技術(shù)[J].計算機(jī)工程與科學(xué),2013,35(6):47-51.

[10] 徐永華,李廣水.基于距離加權(quán)模板約簡和屬性信息熵的增量SVM入侵檢測算法[J].計算機(jī)科學(xué),2012,39(12):76-78.

[11] Kohavi R.A study of cross-validation and bootstrap for accuracy estimation and model selection[C]//Proc of international joint conference on artificial intelligence.[s.l.]:[s.n.],2001.

[12] 張文修.粗糙集理論與方法[M].北京:科學(xué)出版社,2001.

[13] Kononenko I.Estimating attributes:analysis and extensions of relief[C]//Proc of ECML.[s.l.]:[s.n.],1994:171-182.

[14] Kdd B.KDD99 cup dataset[EB/OL].1999.http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html.

Application of Support Vector Machine in Network Intrusion Detection Based on Grid Search

ZHANG Gong-rang,WAN Fei

(School of Management，Hefei University of Technology,Hefei 230009,China)

With the rapid popularization and development of network,network security problems are becoming increasingly prominent.How to guarantee the security of the network has become an international problem.Among the many methods,intrusion detection technology is an effective means to solve this problem.In this paper,Support Vector Machine (SVM) method will be used in intrusion detection.First of all,the current situation of the intrusion detection technology is introduced based on SVM.Secondly,the grid search algorithm is used into the optimization of the SVM’s parameters.At last,bring the result of the SVM’s parameters that based on PSO algorithm,GA algorithm and grid search algorithm into comparison.The results of the experiment show that using the grid search method for optimization of SVM’s parameters has the best generalized accuracy,and on this basis,the normalization of dataset will greatly reduce the number of the classifier’s iterations,so as to reduce the forecast time.Therefore,it is considered that SVM based on grid search can realize the intrusion detection excellently.

intrusion detection;network security;support vector machine;grid search

2015-01-03

2015-05-06

時間：2016-01-04

國家自然科學(xué)青年基金項目(71271071)

張公讓(1966-)，男，副教授，研究方向為商務(wù)智能、數(shù)值模擬；萬 飛(1988-)，男，碩士研究生，研究方向為數(shù)據(jù)挖掘、人工智能。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1453.004.html

TP39

A

1673-629X(2016)01-0097-04

10.3969/j.issn.1673-629X.2016.01.020