張翼英，阮元龍，尚 靜

(天津科技大學(xué)人工智能學(xué)院，天津 300457)

近年來，隨著網(wǎng)絡(luò)技術(shù)的進(jìn)步，網(wǎng)絡(luò)安全問題日益嚴(yán)峻，各種各樣的入侵方式層出不窮.根據(jù)中國互聯(lián)網(wǎng)應(yīng)急中心2020年2月發(fā)布的《網(wǎng)絡(luò)信息安全與動態(tài)周報(bào)》[1]的數(shù)據(jù)顯示，境內(nèi)感染網(wǎng)絡(luò)病毒的設(shè)備數(shù)量達(dá)到132萬個(gè)[2].網(wǎng)絡(luò)入侵威脅著用戶的信息安全，因此入侵檢測[3]的重要性日益凸顯，建立一套有效的檢測機(jī)制尤為必要.

隨著人工智能的興起，有學(xué)者[3-4]將機(jī)器學(xué)習(xí)引入入侵檢測系統(tǒng).但是，基于深度學(xué)習(xí)的入侵檢測方法存在3個(gè)問題：第一，深度學(xué)習(xí)結(jié)構(gòu)復(fù)雜，需要花費(fèi)大量時(shí)間訓(xùn)練參數(shù)，檢測實(shí)時(shí)性不好[5]；第二，訓(xùn)練需要大量完備的數(shù)據(jù)，以增強(qiáng)模型的訓(xùn)練效果[6]；第三，神經(jīng)網(wǎng)絡(luò)復(fù)雜的結(jié)構(gòu)決定了其強(qiáng)大的擬合能力，但同時(shí)容易導(dǎo)致過擬合.

目前，國內(nèi)外基于深度學(xué)習(xí)方法的入侵檢測研究均取得一定成果.針對訓(xùn)練效率，Khan等[7]結(jié)合主成分分析方法(principal component analysis，PCA)和貝葉斯網(wǎng)絡(luò)，基于PCA提取數(shù)據(jù)主要特征，基于貝葉斯網(wǎng)絡(luò)進(jìn)行入侵分類，但檢測時(shí)效性不好.Gurung等[8]采用基于深度置信網(wǎng)絡(luò)(deep belief network，DBN)與支持向量機(jī)(support vector machine，SVM)相結(jié)合的模型，模型的檢測準(zhǔn)確率高，但在訓(xùn)練時(shí)長上存在不足.Lopez-Martin等[9]采用基于稀疏自編碼器(sprarse auto-encoder，SAE)的特征提取方法，并用自學(xué)習(xí)(self-taught learning，STL)的方式對數(shù)據(jù)進(jìn)行有監(jiān)督的訓(xùn)練，檢測準(zhǔn)確率在90%以上，但訓(xùn)練時(shí)間過長.馮文英等[10]設(shè)計(jì)了一種完全基于前饋神經(jīng)網(wǎng)絡(luò)的檢測模型(simplified feed-forward intrusion detection，SFID)，模型通過神經(jīng)元個(gè)數(shù)逐級遞減，消除樣本數(shù)據(jù)中的冗余特征，基于降維后的特征對網(wǎng)絡(luò)行為進(jìn)行分類，實(shí)現(xiàn)特征抽取和入侵分類，提升了模型整體的訓(xùn)練效率，但檢測結(jié)果仍有提升空間.

針對信息不完備的處理，池亞平等[11]將SVM作為弱分類器，每個(gè)SVM對應(yīng)一個(gè)特征，一組SVM作為所有選取的特征所組成一個(gè)基分類器，Adaboost將多個(gè)基分類器組合，利用SVM和Adaboost的各自優(yōu)點(diǎn)構(gòu)建了SVM-Adaboost模型.雖然提升了訓(xùn)練效率，但是并沒有考慮數(shù)據(jù)類別不平衡的問題.Li等[12]采用半監(jiān)督算法對未標(biāo)記的數(shù)據(jù)進(jìn)行自動標(biāo)記，雖然無需人工干預(yù)，但缺少對不完備信息數(shù)據(jù)的處理.Hamid等[13]構(gòu)建小波變換和人工神經(jīng)網(wǎng)絡(luò)的結(jié)合模型，降低了數(shù)據(jù)不平衡所造成的影響，提高了低頻數(shù)據(jù)類別的檢測準(zhǔn)確率.Wu等[14]設(shè)計(jì)了SAE和Bagging組合的檢測方法，通過對大量高維、無標(biāo)簽原始數(shù)據(jù)的特征降維，獲得原始數(shù)據(jù)的深層特征.算法引入了稀疏因子，使得棧式稀疏自編碼在檢測過程中有更好的泛化性能，檢測準(zhǔn)確率較高，但對數(shù)據(jù)特征量要求大.饒緒黎等[15]設(shè)計(jì)了數(shù)據(jù)不完備下的入侵檢測方法，方法丟棄了部分特征，僅利用少量特征就獲得較好的檢測效果.

綜上所述，雖然有很多機(jī)器學(xué)習(xí)算法被應(yīng)用于入侵檢測領(lǐng)域，也取得了不錯(cuò)的檢測效果，但大多數(shù)模型的結(jié)構(gòu)復(fù)雜、訓(xùn)練時(shí)間長，難以滿足真實(shí)網(wǎng)絡(luò)環(huán)境下檢測實(shí)時(shí)性的要求，且其中一些模型對數(shù)據(jù)的特征非常敏感，一旦數(shù)據(jù)特征量減少，檢測準(zhǔn)確率會迅速下降.

針對上述問題，本文提出一種面向不完備信息的集成神經(jīng)網(wǎng)絡(luò)入侵檢測方法(intrusion detection with incomplete information based on ensemble neural network，IDII-ENN)，實(shí)現(xiàn)了不完備信息下的輕量級網(wǎng)絡(luò)入侵檢測.模型主要包含了3個(gè)部分：首先，模型對數(shù)據(jù)類別不平衡的缺陷進(jìn)行彌補(bǔ)，避免了因信息不完備導(dǎo)致訓(xùn)練不充分的問題；然后，將采樣后的數(shù)據(jù)送入基于前饋神經(jīng)網(wǎng)絡(luò)的分類器，網(wǎng)絡(luò)的低復(fù)雜度可以有效降低模型的訓(xùn)練時(shí)間，滿足網(wǎng)絡(luò)入侵檢測實(shí)時(shí)性的要求；最后，采用基于集成學(xué)習(xí)的方法，對基分類器的分類結(jié)果進(jìn)行融合，強(qiáng)化了模型的分類效果.模型在滿足檢測實(shí)時(shí)性的同時(shí)，以較高的準(zhǔn)確率實(shí)現(xiàn)了不完備信息下的入侵檢測.

1 模型設(shè)計(jì)

在網(wǎng)絡(luò)傳輸?shù)倪^程中，存在數(shù)據(jù)丟包和網(wǎng)絡(luò)延遲等問題，以及為了保護(hù)隱私對數(shù)據(jù)進(jìn)行隱藏的現(xiàn)象.因此，模型在數(shù)據(jù)層面，對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行信息完備化處理，優(yōu)化各類別的數(shù)據(jù)量，彌補(bǔ)網(wǎng)絡(luò)數(shù)據(jù)自身的缺陷.模型在算法層面，基于前饋神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行分類，降低神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，提升訓(xùn)練效率.模型在分類階段，設(shè)計(jì)基于集成學(xué)習(xí)的結(jié)果融合方法，對多個(gè)基分類器的結(jié)果按照一定策略進(jìn)行融合，得到最終的檢測結(jié)果，提高模型檢測的準(zhǔn)確率.入侵檢測的模型如圖1所示.

圖1 IDII-ENN入侵檢測模型Fig. 1 IDII-ENN intrusion detection model

1.1 基于bootstrap采樣的信息完備化

信息不完備導(dǎo)致了各類別數(shù)據(jù)的數(shù)據(jù)量不均衡的問題，為了避免訓(xùn)練數(shù)據(jù)在各類別上存在較大的差別，避免訓(xùn)練不充分.模型先對數(shù)據(jù)進(jìn)行完備化處理，處理方法基于改進(jìn)后的bootstrap方法.

自助抽樣法(bootstrap sampling，BS)是有放回的抽樣算法，在給定包含m個(gè)樣本的數(shù)據(jù)集D中，經(jīng)m次有放回的抽樣生成一個(gè)數(shù)據(jù)子集.但在樣本訓(xùn)練集的隨機(jī)采樣中，每個(gè)樣本被采集到的概率是1/m，不被采集到的概率為1?1/m.經(jīng)m次采樣均沒有被采集到的概率是(1?1/)mm，因此當(dāng)采樣次數(shù)足夠大時(shí)，在每輪的隨機(jī)采樣中，訓(xùn)練集中仍有約36.8%的數(shù)據(jù)無法被采樣到.

為了使盡可能多的數(shù)據(jù)被采樣到，對BS稍作改進(jìn)，將原始數(shù)據(jù)集按照抽取、選取、合并、丟棄這4步進(jìn)行采樣，得到一份新的數(shù)據(jù)子集.平衡各類別間的數(shù)據(jù)量，基于BS的完備化處理如圖2所示.

圖2 基于BS的完備化處理Fig. 2 Complete processing based on BS

完備化處理步驟：

(1)假定分類器的個(gè)數(shù)為N個(gè)，為了提升采集到低頻樣本的概率，使用有放回的BS方法對數(shù)據(jù)進(jìn)行N輪采樣，抽取N份數(shù)據(jù)子集D′，記為α1,α2,…,αN，αi中的數(shù)據(jù)量與原始數(shù)據(jù)集D中的數(shù)據(jù)量相同，記為m.

份數(shù)據(jù)，記為β1,β2,…,βlnN.

(3)將選取出的β1,β2,…,βlnN進(jìn)行合并，得到數(shù)據(jù)集 β，即β=β1+β2+…+βlnN，從而獲取較單份采樣數(shù)據(jù)更豐富的樣本子集.

在獲取到一份新的樣本數(shù)據(jù)子集∑i后，重復(fù)N次上述的抽樣算法，得到基于BS有放回采樣的N份樣本數(shù)據(jù)子集，記為 ∑1,∑2,…,∑N，以便每個(gè)學(xué)習(xí)器學(xué)習(xí).通過多輪的采集數(shù)據(jù)，降低了各類別在數(shù)據(jù)量上的不均衡；通過對數(shù)據(jù)的隨機(jī)丟棄，避免了因數(shù)據(jù)冗余而導(dǎo)致的訓(xùn)練效率低的問題.

1.2 基于前饋神經(jīng)網(wǎng)絡(luò)的入侵檢測

基于前饋神經(jīng)網(wǎng)絡(luò)對入侵行為進(jìn)行分類，前饋神經(jīng)網(wǎng)絡(luò)包含輸入層、隱藏層、輸出層，其中隱藏層有3層，數(shù)據(jù)由輸入層傳入，經(jīng)隱藏層降維，送進(jìn)輸出層，輸出層采用softmax函數(shù)，并完成分類.前饋神經(jīng)網(wǎng)絡(luò)分類器如圖3所示.

基于正則化后交叉熵?fù)p失函數(shù)，對樣本點(diǎn)為m、類別為n的交叉熵?fù)p失函數(shù)的表達(dá)式為式中：n為類別數(shù)量；m為當(dāng)前batch的訓(xùn)練樣本數(shù)量；yji為該樣本真實(shí)的one-hot編碼；ji為softmax

函數(shù)的輸出值，wi為權(quán)重值.loss函數(shù)中加入正則項(xiàng)，預(yù)防模型因個(gè)別特征的影響產(chǎn)生較大誤差.

模型的參數(shù)集合為θ= { wi,bi,i =1,2,3,4}，基于隨機(jī)低度下降(stochastic gradient descent，SGD)的方法對參數(shù)進(jìn)行更新.參數(shù)θ的更新表達(dá)式為式(3)，α為模型更新的速率.

1.3 基于Bagging集成學(xué)習(xí)結(jié)果融合

集成學(xué)習(xí)是使用多個(gè)學(xué)習(xí)器共同學(xué)習(xí)的算法，然后使用一定的策略對多個(gè)學(xué)習(xí)器的結(jié)果加以融合，從而獲得比單個(gè)學(xué)習(xí)器更好的學(xué)習(xí)效果.本文設(shè)計(jì)了基于Bagging算法的結(jié)果融合方法.首先對網(wǎng)絡(luò)數(shù)據(jù)按照前文所述方法進(jìn)行N次重復(fù)采樣，獲得N份不完全相同的訓(xùn)練數(shù)據(jù)；然后將每一份數(shù)據(jù)送入前饋神經(jīng)網(wǎng)絡(luò)分類器，并行對其進(jìn)行入侵檢測的判斷；最后對多個(gè)結(jié)果進(jìn)行融合，得到最終的檢測結(jié)果.基于Bagging的集成結(jié)果融合如圖4所示.

圖4 基于Bagging的集成結(jié)果融合Fig. 4 Ensemble result fusion based on Bagging

模型基于集成學(xué)習(xí)的方法將多個(gè)弱分類器組合成一個(gè)強(qiáng)分類器，強(qiáng)化模型的分類效果，提升了分類準(zhǔn)確率.通過簡化神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度縮短了模型訓(xùn)練時(shí)間.經(jīng)過采樣后的數(shù)據(jù)具有較大差異性，提高了基于集成學(xué)習(xí)分類方法的檢測準(zhǔn)確率.模型基于投票表決法融合了多個(gè)分類器的結(jié)果，投票公式為

式中：Ni表示類別為i的分類器的個(gè)數(shù).f(x)即為入侵檢測數(shù)據(jù)的最終類別.

2 實(shí)驗(yàn)設(shè)置

KDD Cup 99數(shù)據(jù)集是入侵檢測的標(biāo)準(zhǔn)數(shù)據(jù)集.在入侵檢測前，先對數(shù)據(jù)進(jìn)行預(yù)處理，包括特征數(shù)值化和歸一化等操作.在入侵檢測模塊，基于前饋神經(jīng)網(wǎng)絡(luò)對采樣后的數(shù)據(jù)進(jìn)行分類，并用集成學(xué)習(xí)將多個(gè)弱分類器組成一個(gè)強(qiáng)分類器.本文對每個(gè)數(shù)據(jù)集進(jìn)行多次實(shí)驗(yàn)，并在測試集上驗(yàn)證了模型的有效性.

2.1 實(shí)驗(yàn)數(shù)據(jù)

KDD Cup 99數(shù)據(jù)集的每個(gè)網(wǎng)絡(luò)連接被標(biāo)記為正常或異常，異常類型包含拒絕服務(wù)攻擊(denial of service，DOS)、遠(yuǎn)程主機(jī)攻擊(remote to local，R2L)、用戶到根攻擊(user to root，U2R)、端口掃描攻擊(Probe)等共39種攻擊類型，其中22種攻擊類型出現(xiàn)在訓(xùn)練集中，另有17種未知攻擊類型出現(xiàn)在測試集中.數(shù)據(jù)類型數(shù)量分布見表1.

2.2 數(shù)據(jù)預(yù)處理

樣本特征包含數(shù)值型數(shù)據(jù)和字符型數(shù)據(jù)(protocol_type，service，flag)，采用one-hot編碼方式將字符型數(shù)據(jù)數(shù)值化處理.部分?jǐn)?shù)據(jù)存在數(shù)值量綱差異大的問題，而過大的量綱差異導(dǎo)致網(wǎng)絡(luò)收斂慢，故對數(shù)據(jù)進(jìn)行歸一化，歸一化公式為式中：x′為歸一化后的特征值；x為原特征值；xmax和 xmin分別為該特征屬性中的最大值和最小值.模型采用Min-Max線性歸一化方法，把所有特征均映射到[0，1]的區(qū)間上.

2.3 評估機(jī)制

使用準(zhǔn)確率(accuracy，AC)和訓(xùn)練時(shí)間對模型的檢測效果進(jìn)行評價(jià).樣例根據(jù)其真實(shí)類別與分類器的預(yù)測類別組合分為真正例(true positive，TP)、假正例(false positive，F(xiàn)P)、真反例(true negative，TN)、假反例(false negative，F(xiàn)N).準(zhǔn)確率的定義表達(dá)式為

模型的準(zhǔn)確率表示預(yù)測正確的個(gè)數(shù)占全部樣本的百分比，百分比越大表示模型的檢測效果越好.

3 實(shí)驗(yàn)及結(jié)果評估

為模擬信息不完備的情況，實(shí)驗(yàn)中將數(shù)據(jù)特征量遞減，觀察IDII-ENN準(zhǔn)確率的變化.

準(zhǔn)確率的實(shí)驗(yàn)包括：第一，觀察數(shù)據(jù)特征量對準(zhǔn)確率的影響，特征量從80%特征開始，以10%遞減，直至為總特征量的10%，對比IDII-ENN、SFID、SAE各自的準(zhǔn)確率；第二，觀察分類器個(gè)數(shù)的差異對準(zhǔn)確率的影響，比較3種方法在準(zhǔn)確率上的表現(xiàn).

訓(xùn)練時(shí)間的實(shí)驗(yàn)包括：第一，在分類器個(gè)數(shù)變化的情況下比較集成算法的耗時(shí)；第二，在確定分類器個(gè)數(shù)的情況下，比較各算法在特征量不同情況下的耗時(shí).

3.1 準(zhǔn)確率

在數(shù)據(jù)預(yù)處理后，實(shí)驗(yàn)對比了SFID、SAE、IDIIENN算法在信息不完備情況下的檢測準(zhǔn)確率.為避免結(jié)果的隨機(jī)性，在相同實(shí)驗(yàn)環(huán)境下，進(jìn)行多次實(shí)驗(yàn)，取平均準(zhǔn)確率為最終結(jié)果.IDII-ENN算法在特征量40%時(shí)獲得了較高的準(zhǔn)確率且趨于穩(wěn)定.3種算法實(shí)驗(yàn)的準(zhǔn)確率如圖5所示.

圖5 不同算法的檢測準(zhǔn)確率Fig. 5 Detection accuracy of different algorithms

集成學(xué)習(xí)的分類器數(shù)量會對模型的檢測準(zhǔn)確率產(chǎn)生影響，因此設(shè)計(jì)了Bagging-DL和SVMAdaboost在不同分類器個(gè)數(shù)下的準(zhǔn)確率對比實(shí)驗(yàn).本文的模型在分類器個(gè)數(shù)達(dá)到60個(gè)時(shí)就獲得了較高的準(zhǔn)確率，該結(jié)果優(yōu)于對比算法(圖6).

圖6 不同分類器下的檢測準(zhǔn)確率Fig. 6 Detection accuracy of different classifiers

為了驗(yàn)證模型對各數(shù)據(jù)類型的分類準(zhǔn)確率情況，本文設(shè)計(jì)了IDII-ENN模型在不同特征量下對各數(shù)據(jù)類型的檢測實(shí)驗(yàn)(圖7).IDII-ENN對Normal、DOS、Probe這3類數(shù)據(jù)檢測結(jié)果較好，在特征數(shù)量達(dá)到50%時(shí)就已經(jīng)獲得了較高的準(zhǔn)確率.3個(gè)類別的檢測準(zhǔn)確率曲線非常接近，表明在相同條件下數(shù)據(jù)量對模型檢測有著重要影響，訓(xùn)練數(shù)據(jù)越多，模型的擬合效果越好.同時(shí)，原始數(shù)據(jù)的數(shù)據(jù)量對模型的初始訓(xùn)練非常重要，可以使模型快速獲得較好的檢測效果.模型對U2R、R2L的檢測在特征較多時(shí)同樣可以獲得較好的檢測準(zhǔn)確率.這說明本文的模型對各數(shù)據(jù)類型的分類均有良好的表現(xiàn).

圖7 不同數(shù)據(jù)類型的檢測準(zhǔn)確率Fig. 7 Detection accuracy chart of different data types

損失函數(shù)在不同的神經(jīng)網(wǎng)絡(luò)中有不同的效果，實(shí)驗(yàn)對比了Mean Squared Error、Root Mean Square Error、Mean Absolute Error、Cross Entry等損失函數(shù)的優(yōu)化效果.為了驗(yàn)證不同特征數(shù)量下?lián)p失函數(shù)的表現(xiàn)，本文對比了幾種損失函數(shù)在特征數(shù)量為20%、40%、80%下的檢測準(zhǔn)確率(表2).通過實(shí)驗(yàn)結(jié)果可知，Cross Entry損失函數(shù)相比其他損失函數(shù)在檢測準(zhǔn)確率上的表現(xiàn)更好.

表2 不同特征數(shù)量各類損失函數(shù)的檢測準(zhǔn)確率Tab. 2 Accuracy of various loss functions of different feature quantites

3.2 訓(xùn)練時(shí)間

為了驗(yàn)證模型在檢測時(shí)間上的表現(xiàn)，對比了IDII-ENN、SFID、SAE算法在信息不完全情況下的訓(xùn)練時(shí)間.Bagging-DL和SVM-Adaboost都是基于集成學(xué)習(xí)的分類算法，本文設(shè)計(jì)了兩種算法在不同分類器數(shù)量下訓(xùn)練時(shí)間的對比實(shí)驗(yàn).實(shí)驗(yàn)中對各算法的運(yùn)行時(shí)間進(jìn)行記錄，在相同實(shí)驗(yàn)環(huán)境下，多次實(shí)驗(yàn)，取平均運(yùn)行時(shí)間作為最終結(jié)果.3種算法在不同特征數(shù)量的訓(xùn)練時(shí)間如圖8所示.Bagging-DL和SVMAdaboost不同分類器數(shù)量的訓(xùn)練時(shí)間如圖9所示.

圖8 不同特征數(shù)量的訓(xùn)練時(shí)間圖Fig. 8 Training time graph of different feature quantities

圖9 不同分類器數(shù)量的訓(xùn)練時(shí)間圖Fig. 9 Training time graph for different number of classifiers

由圖8和圖9可知：本文模型和SFID模型訓(xùn)練時(shí)間相差無幾，但本文的算法在訓(xùn)練時(shí)間上更平穩(wěn)，相較之下SAE的訓(xùn)練時(shí)間略長.在特征數(shù)量減小時(shí)，IDII-ENN、SFID、SAE這3種算法的訓(xùn)練時(shí)間均有一定的變化，表明數(shù)據(jù)的特征數(shù)量對這3種算法的訓(xùn)練時(shí)間存在影響.集成學(xué)習(xí)分類器個(gè)數(shù)對訓(xùn)練時(shí)間也有影響，隨著分類器數(shù)量增加，訓(xùn)練時(shí)間也隨之上升，但是整體來看影響并不大.

4 結(jié) 語

針對傳統(tǒng)入侵檢測方法很難同時(shí)滿足準(zhǔn)確率和實(shí)時(shí)性的雙重要求，同時(shí)為了解決不完備信息下入侵檢測的問題，本文提出了一種面向不完備信息網(wǎng)絡(luò)的集成神經(jīng)網(wǎng)絡(luò)入侵檢測方法.該方法的檢測結(jié)果與其他算法的結(jié)果在準(zhǔn)確率方面不相上下，但在訓(xùn)練時(shí)間上縮短了15%，表明該方法具有可推廣性，能夠滿足網(wǎng)絡(luò)入侵檢測實(shí)時(shí)性的需求.