馬群 胡佳卉 于雅靜

【摘要】? ? 針對(duì)當(dāng)前軟件定義網(wǎng)絡(luò)中傳統(tǒng)的入侵檢測(cè)效率較低，為提高網(wǎng)絡(luò)入侵檢測(cè)的效率和準(zhǔn)確性，本文提出一種基于LightGBM算法的入侵檢測(cè)模型。針對(duì)LightGBM算法準(zhǔn)確性高、速度快可以處理高維數(shù)據(jù)等特點(diǎn)，采用LightGBM算法建模對(duì)入侵?jǐn)?shù)據(jù)特征分析處理，然后與隨機(jī)森林、XGBoost、LSTM、SVM和邏輯回歸算法對(duì)比效果，最后對(duì)網(wǎng)格搜索算法進(jìn)行改進(jìn)，提高網(wǎng)格搜索算法優(yōu)化模型參數(shù)的效率。通過(guò)實(shí)驗(yàn)分析，在模型的精確率、F1值，AUC值等評(píng)估指標(biāo)上都有較好的效果，驗(yàn)證了本文所提方法的有效性。

【關(guān)鍵詞】? ? 入侵檢測(cè)? ? LightGBM算法? ? 網(wǎng)格搜索算法

引言：

隨著網(wǎng)絡(luò)時(shí)代的發(fā)展，當(dāng)前的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)缺乏對(duì)頻繁變化的網(wǎng)絡(luò)環(huán)境的適應(yīng)性。不安全的網(wǎng)絡(luò)環(huán)境會(huì)給人們?cè)诠ぷ鳌⑸詈涂蒲械确矫嬖斐啥喾N損失。因此在網(wǎng)絡(luò)安全領(lǐng)域，入侵檢測(cè)成為一個(gè)重點(diǎn)研究方向。

目前，在網(wǎng)絡(luò)安全的研究領(lǐng)域有很多關(guān)于入侵檢測(cè)的文獻(xiàn)，其中，在文獻(xiàn)[1]中提出了一種提出了一種自適應(yīng)集成學(xué)習(xí)模型。通過(guò)調(diào)整訓(xùn)練數(shù)據(jù)的比例，可建立多棵決策樹。為了提高整體檢測(cè)效果，選擇了幾種基分類器，包括決策樹、隨機(jī)森林、KNN和DNN算法，并設(shè)計(jì)了一種集成自適應(yīng)投票算法。實(shí)驗(yàn)驗(yàn)證，該方法有較好的檢測(cè)效果，而加入自適應(yīng)投票算法的最終準(zhǔn)確率更高。文獻(xiàn)[2]研究了基于深度學(xué)習(xí)的全方位入侵檢測(cè)系統(tǒng) （IDS），用于監(jiān)控和數(shù)據(jù)采集 （SCADA） 網(wǎng)絡(luò)，該系統(tǒng)能夠檢測(cè)時(shí)間上不相關(guān)和相關(guān)的攻擊，并通過(guò)集成方法結(jié)合 LSTM 和 FNN 進(jìn)一步提高了 IDS 性能。文獻(xiàn)[3]設(shè)計(jì)了改進(jìn)遺傳算法（GA）結(jié)合深度置信網(wǎng)絡(luò)（DBN）的入侵檢測(cè)模型，面對(duì)不同類型攻擊通過(guò)GA多次迭代，自適應(yīng)生成最優(yōu)隱藏層數(shù)和神經(jīng)元數(shù)，使基于DBN的入侵檢測(cè)模型結(jié)構(gòu)緊湊檢測(cè)率高。實(shí)驗(yàn)表明改進(jìn)的入侵檢測(cè)模型有效提高了檢測(cè)效果。文獻(xiàn)[4]中通過(guò)利用SDN流的概念，采用了分層和重量級(jí)入侵檢測(cè)系統(tǒng)（IDS）的體系結(jié)構(gòu)，基于流的IDS使用基于受DARPA入侵檢測(cè)數(shù)據(jù)集訓(xùn)練的支持向量機(jī)（SVM）的異常檢測(cè)算法。第一道防線檢測(cè)網(wǎng)絡(luò)上的任何入侵。當(dāng)檢測(cè)到攻擊時(shí)，惡意流將鏡像到基于數(shù)據(jù)包的IDS，以進(jìn)行進(jìn)一步檢查和采取措施。文獻(xiàn)[5]針對(duì)當(dāng)前復(fù)雜、高維的網(wǎng)絡(luò)環(huán)境給入侵檢測(cè)帶來(lái)的巨大壓力，分別構(gòu)建了基于主成分分析-BP神經(jīng)網(wǎng)絡(luò)（PCA-BP）和深度置信網(wǎng)絡(luò)（DBN）的入侵檢測(cè)模型，并通過(guò)實(shí)驗(yàn)評(píng)估兩種檢測(cè)模型的效果，結(jié)果表明深度信念網(wǎng)絡(luò)在特征學(xué)習(xí)方面具有獨(dú)特的優(yōu)勢(shì)和良好的性能。

針對(duì)降低入侵檢測(cè)的誤報(bào)率、入侵?jǐn)?shù)據(jù)流特征差異性較大等問(wèn)題，本文提出一種基于LightGBM算法的入侵檢測(cè)方法，并對(duì)網(wǎng)格搜索算法進(jìn)行改進(jìn)，提高網(wǎng)格搜索算法優(yōu)化模型參數(shù)的效率。

一、算法原理

LightGBM（Light Gradient Boosting Machine）是微軟亞洲研究院2017年1月在GitHub上公布的一個(gè)開源、快速、高效的基于決策樹算法的提升 （GBDT、GBRT、GBM和MART）框架[5]。在各種應(yīng)用場(chǎng)景和各大競(jìng)賽中，XGBoost已經(jīng)被證明是一種非常高效熱門的分類算法，但LightGBM是一種更加準(zhǔn)確高效的新算法，它在保證準(zhǔn)確率的前提下，內(nèi)存占用下降了大約3倍，速度比XGBoost提升了近10倍。

LightGBM是基于 Histogram 的決策樹算法，采用最優(yōu)的按葉子分裂的學(xué)習(xí)方法（Leaf- wise Learning），然而其它的提升算法分裂樹通常不采用這種方法，而是采用按層分裂的學(xué)習(xí)方法（Level-wise Learning）。

1. Level-wise Learning處理一次數(shù)據(jù)同時(shí)可分裂同一層的葉子，因此可實(shí)現(xiàn)多線程優(yōu)化，并能較好控制模型的復(fù)雜度，不易過(guò)擬合。但實(shí)際上因?yàn)楹芏嗳~子的分裂增益較低，沒(méi)必要進(jìn)行搜索和分裂，而Level-wise又不加區(qū)別的分裂同一層的葉子，這就增加了很多沒(méi)必要的計(jì)算成本。

2. Leaf- wise Learning是每次從當(dāng)前所有葉子中，找到分裂增益最大的進(jìn)行分裂，然后重復(fù)此步驟。因此在分裂次數(shù)相同時(shí)，Leaf-wise可降低更多誤差，效率更高。但有一個(gè)明顯缺點(diǎn)：生成的決策樹可能深度過(guò)大，產(chǎn)生過(guò)擬合。因此LightGBM在Leaf-wise上增加最大深度限制，保證高效率同時(shí)防止過(guò)擬合，使算法更快速有效，因此有更高的精度，同時(shí)支持并行學(xué)習(xí)也會(huì)占用更小運(yùn)行內(nèi)存。而其他任何已存在的提升算法都很難做到。

二、改進(jìn)網(wǎng)格搜索算法

網(wǎng)格搜索算法一般用來(lái)優(yōu)化模型的參數(shù)，但對(duì)于一些參數(shù)多，取值范圍較大的模型來(lái)說(shuō)，網(wǎng)格搜索會(huì)很耗時(shí)。因此，本文提出了一種改進(jìn)的網(wǎng)格搜索算法，保證優(yōu)化模型參數(shù)效果的同時(shí)提高效率。

網(wǎng)格搜索算法是網(wǎng)格化處理作為變量的區(qū)域，即將算法參數(shù)可能取值的所有排列組合結(jié)果生成“網(wǎng)格”。然后采用窮舉法計(jì)算運(yùn)行所有的網(wǎng)格點(diǎn)，尋找出滿足約束函數(shù)的目標(biāo)函數(shù)值，最后通過(guò)比較得到最優(yōu)點(diǎn)[6]。由于計(jì)算所有的網(wǎng)格點(diǎn)耗費(fèi)了大量計(jì)算時(shí)間，因此為提高計(jì)算效率，本文提出一種大范圍尋優(yōu)，小范圍求解的方法。

在保證LightGBM算法性能得到提高的前提下，也要考慮到每棵決策樹的準(zhǔn)確性和樹的多樣性。在本文中使用改進(jìn)的網(wǎng)格搜索算法尋求LightGBM最優(yōu)參數(shù)，選用模型的準(zhǔn)確率作為目標(biāo)函數(shù)值。改進(jìn)網(wǎng)格搜索方法的具體步驟如下：

1.確定需要優(yōu)化的參數(shù)，相應(yīng)的參數(shù)就是網(wǎng)格上的點(diǎn)，設(shè)定較長(zhǎng)的網(wǎng)格間距來(lái)劃分網(wǎng)格;

2.將網(wǎng)格上的每一組參數(shù)全部遍歷一次，采用LightGBM算法的準(zhǔn)確率作為評(píng)價(jià)標(biāo)準(zhǔn)，進(jìn)行初步的大范圍尋優(yōu);

3.選擇準(zhǔn)確率最高即誤差最小的一組數(shù)據(jù)，繼續(xù)縮短網(wǎng)格間距進(jìn)行參數(shù)優(yōu)化。若袋外分?jǐn)?shù)或網(wǎng)格間距滿足要求，則輸出結(jié)果，否則重復(fù)上述步驟。

三、實(shí)驗(yàn)

3.1 優(yōu)化參數(shù)

在建模的參數(shù)調(diào)優(yōu)時(shí)，采用改進(jìn)的網(wǎng)格搜索算法快速高效的調(diào)參。以參數(shù)“LightGBM中決策樹最大深度md”和“單棵樹的葉子數(shù)量ml為例”為例，采用改進(jìn)的網(wǎng)格搜索算法對(duì)決策樹參數(shù)進(jìn)行優(yōu)化。首先在進(jìn)行大間距初步搜索，md的取值范圍確定為0

由上表可知最優(yōu)結(jié)果為md =11，ml =40時(shí)，此時(shí)準(zhǔn)確率為0.816，成正比例增長(zhǎng)，所以繼續(xù)以小間距細(xì)分網(wǎng)格，將md的取值范圍確定為9< md <15，網(wǎng)格間距設(shè)定為2;ml的取值范圍確定為29

再次細(xì)分網(wǎng)格的結(jié)果為md =10，ml =36時(shí)，準(zhǔn)確率為0.862，已經(jīng)趨于穩(wěn)定。由此可初步確定md和ml兩個(gè)參數(shù)的取值，另外模型的其他參數(shù)也通過(guò)此方法求得模型的最優(yōu)參數(shù)。

3.2 模型評(píng)價(jià)指標(biāo)

在對(duì)本文的入侵檢測(cè)模型進(jìn)行評(píng)估時(shí)，主要采用了模型的精確率（Pre）、AUC（Area under the Curve of ROC）值、F1值和誤報(bào)率（FPR）等指標(biāo)。AUC值可以更直觀的體現(xiàn)出ROC曲線所表達(dá)的結(jié)果，ROC曲線表示模型分類能力，AUC值就越大則ROC曲線就越高，說(shuō)明模型的預(yù)測(cè)精度高。F1值兼顧了分類模型的準(zhǔn)確率和召回率。誤報(bào)率表示被錯(cuò)分到正常樣本類別的負(fù)樣本，在全部負(fù)樣本的所占比例，是入侵檢測(cè)模型的重要評(píng)估指標(biāo)之一。

3.3 實(shí)驗(yàn)結(jié)果分析

本文采用 OpenDaylight作為控制器，Mininet在VMware Workstation pro上運(yùn)行的 Ubuntul6.04操作系統(tǒng)進(jìn)行。所有的實(shí)驗(yàn)均在CPU為2 CPU Cores i5-8265U，1.80GHZ，內(nèi)存為8G的計(jì)算機(jī)上運(yùn)行，使用Python3.5構(gòu)建代碼進(jìn)行實(shí)驗(yàn)。同時(shí)，為了增加本文方法的說(shuō)服力和對(duì)比性，加入隨機(jī)森林（Random Forest，RF）、XGBoost、邏輯回歸（Logistic Regression，LR）、支持向量機(jī)（Support Vector Machine，SVM）和長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）算法與本文方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果如表3所示：

由上表各項(xiàng)模型評(píng)價(jià)指標(biāo)可知，邏輯回歸模型的整體性能最弱，各項(xiàng)性能指標(biāo)最低。同屬集成學(xué)習(xí)的隨機(jī)森林、XGBoost和LightGBM模型中，隨機(jī)森林模型的整體性能最弱，但強(qiáng)于邏輯回歸和SVM模型;XGBoost模型的性能中等，優(yōu)于邏輯回歸、隨機(jī)森林和SVM模型。SVM模型的各項(xiàng)評(píng)價(jià)指標(biāo)強(qiáng)于邏輯回歸模型，但比其他模型較差。LSTM模型的性能僅次于LightGBM模型。由此可知，基于LightGBM算法的入侵檢測(cè)模型性能最好。

另外，本文分別測(cè)試了幾種模型在各種類型攻擊下的入侵檢測(cè)精確率，實(shí)驗(yàn)結(jié)果如表4所示：

由表4各種類型檢測(cè)結(jié)果可知，LSTM模型和XGBoost模型的入侵檢測(cè)水平基本持平，隨機(jī)森林模型稍次之，LightGBM模型對(duì)Normal、Probe、U2R、R2L和DDos的幾種入侵檢測(cè)效果最好，說(shuō)明本文所提基于LightGBM算法的入侵檢測(cè)模型具有良好的實(shí)際應(yīng)用效果。

通過(guò)觀察入侵檢測(cè)模型的ROC曲線圖和AUC曲線下面積來(lái)對(duì)比幾種不同模型的分類性能。其中黑色實(shí)線為L(zhǎng)ightGBM算法的ROC曲線，LSTM算法的ROC曲線用黃色虛線表示，綠色實(shí)線代表XGBoost算法，黑色虛線代表隨機(jī)森林算法，藍(lán)色點(diǎn)虛線代表SVM算法，紅色點(diǎn)劃線代表LR算法，從圖1中可以看出基于LightGBM算法的入侵檢測(cè)模型ROC曲線明顯高于另外幾種模型的曲線圖，同樣，AUC值（曲線下面積值）最大，效果更優(yōu)，說(shuō)明模型的分類能力較好。

另外，為了驗(yàn)證網(wǎng)格搜索算法改進(jìn)前后的效果，在此額外引入KS（Kolmogorov-Smirnov）值和KS曲線圖（用采用默認(rèn)參數(shù)值和采用改進(jìn)網(wǎng)格搜索算法優(yōu)化參數(shù)的C5.0進(jìn)行對(duì)比，此處不加入其他幾種算法做比較的目的是因?yàn)镃5.0模型的性能最好）。KS值越大，說(shuō)明模型的預(yù)測(cè)準(zhǔn)確性越好，KS>0.2時(shí)，模型就有較好的預(yù)測(cè)準(zhǔn)確性。通過(guò)對(duì)比KS值和KS曲線圖可以體現(xiàn)出經(jīng)過(guò)改進(jìn)的網(wǎng)格搜索算法的有效性，采用默認(rèn)參數(shù)值的LightGBM模型的KS值為0.47，采用優(yōu)化參數(shù)后的LightGBM模型的KS值為0.59。圖2為L(zhǎng)ightGBM模型默認(rèn)參數(shù)值的KS曲線圖。圖3為KS曲線對(duì)比圖，其中藍(lán)色虛線和藍(lán)色實(shí)現(xiàn)為默認(rèn)參數(shù)值的KS曲線圖，黑色實(shí)線和黑色虛線為最優(yōu)參數(shù)值組合的KS曲線圖。

通過(guò)實(shí)驗(yàn)結(jié)果對(duì)比分析，LightGBM算法的入侵檢測(cè)精確率為0.9887，F(xiàn)1值為0.9726，AUC值為0.9837?？傮w檢測(cè)效果優(yōu)于其他集成學(xué)習(xí)算法并且同樣優(yōu)于LSTM、LR和SVM算法。說(shuō)明了本文所提方法的有效性。

四、結(jié)束語(yǔ)

本文針對(duì)降低入侵檢測(cè)的誤報(bào)率、入侵?jǐn)?shù)據(jù)流特征差異性較大等問(wèn)題，提出一種基于LightGBM算法的入侵檢測(cè)模型，并通過(guò)實(shí)驗(yàn)對(duì)比了幾種集成學(xué)習(xí)算法和其他幾種機(jī)器學(xué)習(xí)算法的檢測(cè)效果，另外本文對(duì)網(wǎng)格搜索算法進(jìn)行了改進(jìn)，實(shí)驗(yàn)證明基于LightGBM算法的入侵檢測(cè)模型性能優(yōu)于其他幾種集成學(xué)習(xí)算法，同樣優(yōu)于其他幾種對(duì)比算法，同時(shí)提高了優(yōu)化模型參數(shù)的效率，證明了改進(jìn)網(wǎng)格搜索算法的有效性。

參? 考? 文? 獻(xiàn)

[1] X Gao， Shan C， Hu C， et al. An Adaptive Ensemble Machine Learning Model for Intrusion Detection[J]. IEEE Access， 2019， 7：82512-82521.

[2] Gao J， Gan L， Buschendorf F， et al. Omni SCADA Intrusion Detection Using Deep Learning Algorithms[J]. 2019.

[3] Zhang Y， Li P， Wang X. Intrusion Detection for IoT Based on Improved Genetic Algorithm and Deep Belief Network[J]. IEEE Access， 2019：1-1.

[4] Q. Schueller， K. Basu， M. Younas， M. Patel and F. Ball， “A Hierarchical Intrusion Detection System using Support Vector Machine for SDN Network in Cloud Data Center，” 2018 28th International Telecommunication Networks and Applications Conference （ITNAC）， Sydney， NSW， 2018， pp. 1-6， doi： 10.1109/ATNAC.2018.8615255.

[5] Duan T， Tian Y， Zhang H， et al. Intelligent Processing of Intrusion Detection Data[J]. IEEE Access， 2020， PP（99）：1-1.

[6] Perez-Diaz J A， Valdovinos I A， Choo K， et al. A Flexible SDN-based Architecture for Identifying and Mitigating Low-Rate DDoS Attacks using Machine Learning[J]. IEEE Access， 2020， PP（99）：1-1.