丁龍斌,伍忠東,蘇佳麗

(蘭州交通大學(xué) 電子與信息工程學(xué)院,蘭州 730070)

0 概述

入侵檢測(cè)是網(wǎng)絡(luò)安全技術(shù)的重要組成部分,其通過(guò)對(duì)網(wǎng)絡(luò)上的各種信息進(jìn)行收集和分析來(lái)檢測(cè)各種入侵行為。隨著網(wǎng)絡(luò)的普及和網(wǎng)速的提升,網(wǎng)絡(luò)攻擊行為日益增多,攻擊方法不斷更新,傳統(tǒng)的智能化檢測(cè)技術(shù)難以取得期望的成效[1]。

近年來(lái),鑒于深度學(xué)習(xí)在任務(wù)分類、回歸學(xué)習(xí)等方面的優(yōu)越性能[2],研究人員提出了多種基于深度學(xué)習(xí)的入侵檢測(cè)算法。傳統(tǒng)的深度模型多是全連接網(wǎng)絡(luò),當(dāng)網(wǎng)絡(luò)較深時(shí),存在參數(shù)多、耗時(shí)長(zhǎng)、易過(guò)擬合等缺點(diǎn)?；诰矸e神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的入侵檢測(cè)方法與SVM、決策樹、k-近鄰等傳統(tǒng)機(jī)器學(xué)習(xí)算法相比,在性能上取得了顯著的提升。CNN的鏈接和參數(shù)較少,易于訓(xùn)練,其泛化能力較好并且能夠提取更深層的細(xì)微特征[3-4]。然而,CNN在實(shí)際應(yīng)用中需要大量帶有標(biāo)簽的數(shù)據(jù),使工作量大幅增加,同時(shí),CNN在處理高維數(shù)據(jù)時(shí),需要使用高維卷積核進(jìn)行卷積運(yùn)算,計(jì)算復(fù)雜度高,耗時(shí)長(zhǎng)[5-6]。此外,雖然深度神經(jīng)網(wǎng)絡(luò)的參數(shù)比傳統(tǒng)深度模型少,但是仍有許多超參數(shù)(如節(jié)點(diǎn)數(shù)、層數(shù)、學(xué)習(xí)效率等),需要花費(fèi)大量時(shí)間進(jìn)行調(diào)試。

集成學(xué)習(xí)通過(guò)不同算法的組合,將傳統(tǒng)的智能算法或者深度學(xué)習(xí)算法設(shè)計(jì)為多個(gè)弱分類器,然后統(tǒng)籌分類器群的分類策略,以改善算法的性能,集成學(xué)習(xí)具有穩(wěn)健性強(qiáng)、容錯(cuò)率高等優(yōu)點(diǎn)[7]。決策樹(Decision Tree,DT)是集成學(xué)習(xí)常用的基分類器,其不依賴于線性或非線性分類,只關(guān)心數(shù)據(jù)樣本之間的信息增益,這一特點(diǎn)使其在分類問(wèn)題上具有天然優(yōu)勢(shì)。隨機(jī)森林(Random Forests,RF)是決策樹的集成學(xué)習(xí)方法,其繼承了決策樹的分類優(yōu)勢(shì)和高容錯(cuò)的特點(diǎn),在大量分類回歸問(wèn)題中具有比SVM、k-近鄰等傳統(tǒng)深度學(xué)習(xí)算法更加優(yōu)異的表現(xiàn)。然而,集成學(xué)習(xí)在提高魯棒性和準(zhǔn)確率的同時(shí),并不能挖掘數(shù)據(jù)中更深層次的抽象信息,這也是限制其性能的因素之一。

本文針對(duì)CNN入侵檢測(cè)算法復(fù)雜度高、耗時(shí)長(zhǎng)的缺點(diǎn),提出一種基于集成深度森林(Ensemble Deep Forests,EDF)的入侵檢測(cè)算法。綜合CNN表征學(xué)習(xí)的優(yōu)勢(shì)和傳統(tǒng)集成學(xué)習(xí)高容錯(cuò)的特點(diǎn),在類似于CNN的級(jí)聯(lián)模型中引入收斂條件,使其能夠根據(jù)復(fù)雜度自適應(yīng)地調(diào)整模型的深度。同時(shí),使用森林層代替卷積層和全連接層,以簡(jiǎn)化模型結(jié)構(gòu),降低計(jì)算復(fù)雜度。

1 深度森林

1.1 決策樹

決策樹是通過(guò)分析對(duì)象屬性和對(duì)象類別的關(guān)系而建立的樹狀圖,其分支代表預(yù)測(cè)方向,葉子節(jié)點(diǎn)表示最終預(yù)測(cè)結(jié)果[8]。決策樹是一種典型的解釋型算法,可以根據(jù)不同的對(duì)象類別將數(shù)據(jù)分為不同的類,每個(gè)類中的數(shù)據(jù)都具有某種同一性[9]。決策樹的分類準(zhǔn)確性可以用信息增益或基尼指數(shù)衡量,為獲取每個(gè)決策的最大信息增益,定義決策樹的目標(biāo)函數(shù),如式(1)所示:

(1)

其中,f為數(shù)據(jù)特征,Dp和Dj分別為父節(jié)點(diǎn)和第j個(gè)子節(jié)點(diǎn),I為不純性度量,Np為父節(jié)點(diǎn)的樣本總數(shù),Nj為第j個(gè)子節(jié)點(diǎn)的樣本數(shù)目。為了計(jì)算簡(jiǎn)便并減少搜索空間,決策樹一般使用二分樹,此時(shí)父節(jié)點(diǎn)分出2個(gè)子節(jié)點(diǎn)Dleft和Dright,代入式(1)即可得到二分決策樹的目標(biāo)函數(shù),如式(2)所示:

(2)

其中,I(Dleft)和I(Dright)分別為左右節(jié)點(diǎn)的不純性度量,Nleft和Nright為左右節(jié)點(diǎn)的樣本數(shù)量。不純性度量是評(píng)估分裂節(jié)點(diǎn)前后信息增益的參數(shù),可以由信息熵函數(shù)得出,如式(3)所示:

(3)

其中,p(i|t)表示節(jié)點(diǎn)t中樣本類別為c的概率。熵函數(shù)定義了樹中樣本與類別的相關(guān)信息增益,增益越大表示樣本屬于該類別的概率越高,因此,優(yōu)化熵的最大值即可得到最優(yōu)決策。由式(3)可知,在樣本類型確定即概率為1時(shí),信息熵為0,而在均勻分布,即概率為50%時(shí),信息熵取最大值1,表明熵策略盡可能地最大化決策樹中的互信息。

在決策樹算法中,首先遍歷每個(gè)特征屬性,并將熵增益最大的屬性作為子節(jié)點(diǎn)的劃分依據(jù),然后對(duì)子節(jié)點(diǎn)進(jìn)行重復(fù)迭代,直到分裂出的節(jié)點(diǎn)唯一。決策樹算法如算法1所示[10]。

算法1決策樹算法

輸入數(shù)據(jù)樣本集D,屬性集A

1.While True:

2.TreeGenerate(D,A):

3.生成節(jié)點(diǎn)node

4.If D中樣本全屬于同一類別C:

5.將node標(biāo)記為C類葉節(jié)點(diǎn)

6.Return

7.If 屬性集A為空或D中所有樣本屬性值相同:

8.將node標(biāo)記為最多類

9.Return

10.從A中選取最佳劃分屬性a*

11.For a in a*:

12.為node生成一個(gè)分支,令Dv表示D中屬性為a*的a的集合

13.If Dv為空:

14.Continue

15.Else:

16.TreeGenerate(Dv,A(〗a*})

1.2 隨機(jī)森林

集成學(xué)習(xí)通過(guò)合并弱分類器,得到分類性能更加優(yōu)越和穩(wěn)健的強(qiáng)分類器,從而有效減小過(guò)擬合,提升分類器準(zhǔn)確率。集成學(xué)習(xí)分類算法的組合方式有2種,分別為Bagging和Boosting。Bagging是在總樣本中隨機(jī)抽取不同的樣本來(lái)訓(xùn)練各個(gè)分類器,且可通過(guò)并行方式進(jìn)行訓(xùn)練。Boosting將全部的樣本送入每個(gè)分類器,在分類器輸出后依據(jù)錯(cuò)判率更新樣本的權(quán)值,然后通過(guò)擬合權(quán)值殘差得到最終模型。

RF是一種Bagging集成學(xué)習(xí)方式,在分類回歸領(lǐng)域有著廣泛的應(yīng)用[11]。RF通過(guò)Bagging方式生成多組決策樹,從而得到不同的分類策略,然后執(zhí)行判決算法(如取預(yù)測(cè)值期望),以達(dá)到綜合所有分類策略、改善分類器性能的目的。圖1給出RF決策方法的示意圖,假設(shè)回歸的輸出向量長(zhǎng)度為3,隨機(jī)森林首先訓(xùn)練n組決策樹得出每組的預(yù)測(cè)概率,然后對(duì)n組輸出概率求均值,得到隨機(jī)森林的最終輸出[12]。

圖1 隨機(jī)森林決策方法Fig.1 Decision method of random forests

1.3 集成深度森林

集成深度森林利用多個(gè)RF構(gòu)成一個(gè)森林層,然后通過(guò)級(jí)聯(lián)形成層間連接。每一層的輸出類向量為一組預(yù)測(cè)值,使用測(cè)試集判定該層模型是否滿足收斂條件(如準(zhǔn)確率、循環(huán)次數(shù)等),若不滿足則將輸出的類向量與初始訓(xùn)練數(shù)據(jù)相連接,以此作為下一層的輸入[13]。深度森林(Deep Forests,DF)模型如圖2所示,samples為預(yù)處理后的數(shù)據(jù)向量,輸入第1個(gè)森林層后,4個(gè)森林分別估計(jì)所有樣本的類別概率,然后將其作為輸出向量與原始樣本數(shù)據(jù)進(jìn)行拼接,并作為下一層的輸入向量,直至達(dá)到預(yù)設(shè)的循環(huán)次數(shù)或收斂條件為止。最后,對(duì)輸出層的向量求均值,將輸出概率最大的類別作為預(yù)測(cè)的樣本類別。

圖2 DF級(jí)聯(lián)模型示意圖Fig.2 Schematic diagram of DF cascade model

類比CNN的網(wǎng)絡(luò)結(jié)構(gòu)、特征表示方法和表征學(xué)習(xí)方法,EDF使用RF層代替CNN的隱藏層和全連接層,構(gòu)建深度森林網(wǎng)絡(luò)EDF[14]。由于RF的超參數(shù)少且對(duì)參數(shù)設(shè)置不敏感,其在小規(guī)模數(shù)據(jù)和大規(guī)模數(shù)據(jù)上都有良好的性能,不需要復(fù)雜的卷積運(yùn)算,在實(shí)驗(yàn)過(guò)程中,其訓(xùn)練時(shí)間、調(diào)參難度和測(cè)試集識(shí)別率與深度神經(jīng)網(wǎng)絡(luò)相比極具競(jìng)爭(zhēng)力。

本文將DF應(yīng)用到入侵檢測(cè)中,提出EDF算法。該算法使用2個(gè)特殊的森林構(gòu)建森林層,使用Bagging集成方式擴(kuò)展森林層,使用ending-to-ending的方法合并上層輸入與下層輸出,并將其作為新的輸入數(shù)據(jù),然后分別使用交叉驗(yàn)證和袋外估計(jì)方法預(yù)測(cè)每一層的輸出概率,EDF學(xué)習(xí)流程如圖3所示。由圖3可知,每一層使用4個(gè)森林節(jié)點(diǎn),其中包含RF和極限樹(Extra Trees,ET)森林2種森林模型。DF模型的深度可以由收斂條件控制,而深度神經(jīng)網(wǎng)絡(luò)需要人為設(shè)置深度。由于DF模型的深度自適應(yīng),因此EDF算法適用于不同規(guī)模的數(shù)據(jù)集。

圖3 EDF算法流程Fig.3 Procedure of EDF algorithm

2 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)過(guò)程包括數(shù)據(jù)預(yù)處理、分類器算法設(shè)計(jì)、結(jié)果分析3個(gè)部分。實(shí)驗(yàn)平臺(tái)為CPU Intel i7-7700Q,Python3.6.5。

2.1 數(shù)據(jù)預(yù)處理

本文實(shí)驗(yàn)采用NLP-KDD入侵檢測(cè)數(shù)據(jù)集,該數(shù)據(jù)集包含KDDtrain+、KDDtest+、KDDtrain-20percent和KDDtest-21等多組數(shù)據(jù),其中KDDtrain+含有125 793條數(shù)據(jù),按攻擊類型可分為5類,按攻擊方式可分為23種,共41種特征。KDDtrian-20percent為KDDtrain+的子集,包含25 192條數(shù)據(jù)[15-17]。圖4給出KDDtrain+和KDDtest+中樣本攻擊類型的分布情況[12]。

圖4 KDDtrain+和KDDtest+的數(shù)據(jù)類分布Fig.4 Data class distribution of KDDtrain+ and KDDtest+

數(shù)據(jù)預(yù)處理的目的是去除數(shù)據(jù)噪聲、降低數(shù)據(jù)維度、減少訓(xùn)練時(shí)間以及提高運(yùn)算性能,主要步驟包括畸形樣本處理、數(shù)據(jù)分類與序數(shù)數(shù)據(jù)編碼、數(shù)據(jù)尺度縮放以及特征選擇與提取[18]。

數(shù)據(jù)集中包含3個(gè)分類數(shù)據(jù)特征,分別為service、flag和protocol_type。其中,service有72種標(biāo)識(shí),flag有11種標(biāo)識(shí),protocol_type有3種標(biāo)識(shí)。對(duì)這3條特征標(biāo)識(shí)進(jìn)行二進(jìn)制化(LabelBinarizer)處理,形成83條新的特征并與其他數(shù)據(jù)特征連接,得到122種特征的無(wú)標(biāo)簽數(shù)據(jù)集。

數(shù)據(jù)尺度縮放方法包含對(duì)數(shù)尺度變換、標(biāo)準(zhǔn)化、歸一化和中心化等,本文選擇數(shù)據(jù)標(biāo)準(zhǔn)化方法,具體如式(4)～式(6)所示:

(4)

(5)

(6)

其中,μf、σf為一組特征數(shù)據(jù)中的均值和標(biāo)準(zhǔn)差,fi為特征中的第i組數(shù)據(jù)。

特征選擇和提取的目的是去除冗余無(wú)關(guān)特征,從原始特征空間中選取最優(yōu)特征子集,使其擁有比原始特征空間更好的分類性能并縮短數(shù)據(jù)處理所用的時(shí)間。特征選擇和提取的主要方法包括高維空間映射(例如核函數(shù))、主成分分析(Principal Component Analysis,PCA)、線性判別分析(Linear Discriminant Analysis,LDA)等。其中,LDA屬于監(jiān)督學(xué)習(xí),需要用到標(biāo)簽數(shù)據(jù),而入侵方式與協(xié)議類型、所耗費(fèi)時(shí)間線性相關(guān),不存在高維度關(guān)系,因此不需要高維空間分析,PCA屬于無(wú)監(jiān)督學(xué)習(xí),可以達(dá)到降低維度和信息降噪的目的[19-20]。

本文使用PCA將高維數(shù)據(jù)映射到另一個(gè)低維子空間中,子空間的長(zhǎng)軸(即主成分)代表數(shù)據(jù)變化率最高的特征。此外,PCA可以反映特征的重要程度和相關(guān)程度,進(jìn)而達(dá)到特征選擇的目的。具體過(guò)程如算法2所示,其中m表示選擇的特征數(shù)量[13]。

算法2PCA算法

1)數(shù)據(jù)特征x1,x2,…,xn標(biāo)準(zhǔn)化并中心化。

2)計(jì)算特征的協(xié)方差矩陣Σ。

3)解協(xié)方差矩陣得到特征向量v1,v2,…,vn和特征值λ1,λ2…,λn。

4)選取前m個(gè)最大特征值和其對(duì)應(yīng)的特征向量。

5)由m個(gè)特征向量構(gòu)建映射矩陣W。

6)使用映射矩陣W將原數(shù)據(jù)映射至m維特征子空間。

在數(shù)據(jù)分類過(guò)程中,當(dāng)類別較少而使用的特征較多或者模型過(guò)于復(fù)雜時(shí),會(huì)出現(xiàn)過(guò)擬合現(xiàn)象,具體表現(xiàn)為在訓(xùn)練集上準(zhǔn)確率高而在測(cè)試集準(zhǔn)確率低。為減少過(guò)擬合的影響,本文使用基于相關(guān)性的特征選擇(Correlation-based Feature Selection,CFS)算法估計(jì)每個(gè)特征對(duì)標(biāo)簽的重要程度,從而確定最優(yōu)特征數(shù),圖5給出重要程度最高的25種特征的重要度。在圖5中,25組特征重要度之和為90.27%,而其特征數(shù)只占總數(shù)的20.22%,因此選擇少量最重要的特征作為訓(xùn)練集,可在不影響分類性能的同時(shí)大幅減少計(jì)算量。

圖5 特征重要度分布Fig.5 Distribution of feature importance

本文實(shí)驗(yàn)使用grid-search方法在(1,56)中確定最優(yōu)特征數(shù)(前56組特征重要度之和達(dá)99.90%),最終確定的最優(yōu)特征數(shù)為15,入侵檢測(cè)框架如圖6所示。

圖6 EDF入侵檢測(cè)方法框架Fig.6 Framework of EDF intrusion detection method

2.2 分類器算法設(shè)計(jì)

將EDF與CNN進(jìn)行對(duì)比,在實(shí)驗(yàn)平臺(tái)、特征數(shù)量相同的條件下,分別構(gòu)建有3層隱藏層的CNN模型和有3層Forest層的EDF模型,優(yōu)化2種模型的參數(shù),使其達(dá)到最優(yōu)。使用上述2種模型對(duì)數(shù)據(jù)集進(jìn)行分類預(yù)測(cè),以評(píng)估模型性能,每種模型在相同條件下進(jìn)行10次實(shí)驗(yàn),取平均值作為最終結(jié)果。

2.2.1 實(shí)驗(yàn)方案

本文的實(shí)驗(yàn)方案如下:

方案1在KDDtrain+和KDDtest+數(shù)據(jù)集上比較EDF和CNN的性能,并與其他分類器[12,14-15]進(jìn)行比較。評(píng)估指標(biāo)為在Normal、Anormaly標(biāo)簽下的二分類準(zhǔn)確率和模型訓(xùn)練時(shí)間。

方案2在KDDtrain+和KDDtest+數(shù)據(jù)集去除畸形樣本后比較EDF和CNN的性能,評(píng)估指標(biāo)為數(shù)據(jù)集總體的分類(4類攻擊和Normal類)的準(zhǔn)確率(accuracy)、精確率(precision)、召回率(recall)和攻擊類的F1值,以及在5種樣本類型上各自的準(zhǔn)確率和模型訓(xùn)練時(shí)間。

2.2.2 參數(shù)設(shè)置

EDF中每層的森林均使用Grid Search方法搜尋最優(yōu)參數(shù),表1給出最終的參數(shù)設(shè)置。CNN算法使用3層卷積網(wǎng)絡(luò),每層參數(shù)配置如表2所示。

表1 EDF算法參數(shù)配置Table 1 Parameter configuration of EDF algorithm

表2 CNN算法參數(shù)配置Table 2 Parameter configuration of CNN algorithm

CNN多分類任務(wù)的激活函數(shù)為Softmax,二分類任務(wù)使用sigmoid算法,并通過(guò)Adam算法進(jìn)行優(yōu)化,利用交叉熵估計(jì)損失。其中,Adam算法的學(xué)習(xí)效率設(shè)為0.000 1。CNN模型的迭代輪數(shù)(epoch)設(shè)置為40,批量梯度更新數(shù)量(batch)設(shè)為經(jīng)典值100。

2.2.3 評(píng)價(jià)標(biāo)準(zhǔn)

本文采用分類準(zhǔn)確率、精確率、召回率和攻擊類的F1值作為評(píng)價(jià)指標(biāo),具體如式(7)～式(10)所示:

(7)

(8)

(9)

(10)

其中,NTP表示模型預(yù)測(cè)正確的攻擊樣本數(shù),NFP表示預(yù)測(cè)為攻擊類而實(shí)際為正常類的樣本數(shù),NTN表示模型預(yù)測(cè)正確的正常類樣本數(shù),NFN表示將攻擊類預(yù)測(cè)為正常類的樣本數(shù)。

2.3 結(jié)果分析

2.3.1 方案1結(jié)果分析

表3給出2種算法的入侵檢測(cè)性能對(duì)比?？梢钥闯?EDF算法的Normal類分類準(zhǔn)確率比CNN算法高5.16%,而在Anormaly類上比CNN算法低2.46%。這是因?yàn)镋DF算法在預(yù)測(cè)負(fù)向類(Normal)的樣本時(shí)誤報(bào)率較低,而CNN算法在預(yù)測(cè)正向類(Anormaly)時(shí)漏報(bào)率低?？傮w而言,兩者的準(zhǔn)確率和F1值相差不大,而在訓(xùn)練時(shí)間方面,EDF算法比CNN算法少74.86 s,具有明顯優(yōu)勢(shì)。

表3 2種算法的入侵檢測(cè)性能對(duì)比Table 3 Comparison of intrusion detection performancebetween two algorithms

表4給出EDF算法與其他入侵檢測(cè)算法的檢測(cè)準(zhǔn)確率對(duì)比。其中,RF算法使用weka的經(jīng)典參數(shù)進(jìn)行實(shí)驗(yàn),其他算法的數(shù)據(jù)來(lái)自文獻(xiàn)[12,14-15]?？梢钥闯?EDF算法和CNN算法的檢測(cè)準(zhǔn)確率優(yōu)于樸素貝葉斯(NB)、多層感知機(jī)(MLP)和支持向量機(jī)(SVM)等傳統(tǒng)機(jī)器學(xué)習(xí)算法,但比J48決策樹(J48)、樸素貝葉斯樹(NBTree)和隨機(jī)樹(RandomTree)算法低2%左右。這是因?yàn)镴48、NBTree和RandomTree算法都只有單一的特征表征,同種算法每次訓(xùn)練得到的分類數(shù)據(jù)有巨大差異,導(dǎo)致其F1值較小,沒(méi)有獲得完全的數(shù)據(jù)特征,在實(shí)際應(yīng)用中穩(wěn)定性較差。圖7給出3種算法的F1值對(duì)比?？梢钥闯?從決策樹算法到隨機(jī)森林算法,再到EDF算法,隨著算法集成度的提高,其F1值不斷上升,其中,EDF算法的F1值分別比決策樹算法和隨機(jī)森林算法高2%和1%。

表4 KDDtest+上的檢測(cè)準(zhǔn)確率對(duì)比Table 4 Comparison of detection accuracy on KDDtest+

圖7 3種算法的F1值對(duì)比Fig.7 Comparison of F1 values between three algorithms

2.3.2 方案2結(jié)果分析

表5給出實(shí)驗(yàn)方案2的預(yù)測(cè)準(zhǔn)確率和模型訓(xùn)練時(shí)間對(duì)比。

表5 2種算法在五分類任務(wù)的檢測(cè)性能對(duì)比Table 5 Comparison of detection performance oftwo algorithms in five classification tasks

可以看出,在Normal、DoS和Probe類型上的預(yù)測(cè)準(zhǔn)確率非常接近,而在R2L和U2R類型上的準(zhǔn)確率相差較大且總體不高。這是因?yàn)樵谟?xùn)練集中R2L和U2R的樣本數(shù)量非常少,分別只有995和52,只占總體樣本數(shù)量的0.79%和0.04%,所以算法很難學(xué)習(xí)得到這2類數(shù)據(jù)的特征,很容易被誤分為具有大量樣本的其他類。同時(shí),EDF算法比CNN算法的訓(xùn)練時(shí)間少52 s,約節(jié)省了55.5%的耗時(shí),表明EDF算法在降低運(yùn)算復(fù)雜度方面具有明顯優(yōu)勢(shì)。

另外,比較實(shí)驗(yàn)方案1和方案2的訓(xùn)練時(shí)間可知,EDF算法的訓(xùn)練時(shí)間增幅較大,而CNN算法幾乎不變,表明EDF算法的運(yùn)算復(fù)雜度受多分類的影響較大。這是因?yàn)樵谟?xùn)練時(shí),每個(gè)EDF算法的網(wǎng)絡(luò)節(jié)點(diǎn)都受多分類運(yùn)算的影響,而CNN算法只有最后的全連接層和輸出層進(jìn)行多分類運(yùn)算,隱藏層的特征映射計(jì)算幾乎不變。但是,CNN算法在進(jìn)行多分類任務(wù)時(shí)為了保持訓(xùn)練的精確度,需要更多卷積層來(lái)提取細(xì)微特征,每層的濾波器數(shù)量保持不變或增加,其時(shí)間復(fù)雜度服從O(F2·K2),其中,F為特征數(shù)量,K為卷積核尺寸,而EDF算法的時(shí)間復(fù)雜度與層數(shù)線性相關(guān)。綜上所述,與CNN算法相比,EDF入侵檢測(cè)算法在保持檢測(cè)準(zhǔn)確率的同時(shí),降低了時(shí)間復(fù)雜度,提高了檢測(cè)效率。

3 結(jié)束語(yǔ)

本文提出一種基于集成深度森林EDF的入侵檢測(cè)方法。將DF應(yīng)用到入侵檢測(cè)中,利用2個(gè)特殊的森林構(gòu)建森林層,使用Bagging集成方式擴(kuò)展森林層,通過(guò)ending-to-ending方法合并上層輸入與下層輸出,并將其作為新的輸入數(shù)據(jù)。在此基礎(chǔ)上,分別使用交叉驗(yàn)證和袋外估計(jì)方法預(yù)測(cè)每一層的輸出概率。實(shí)驗(yàn)結(jié)果表明,該算法的入侵檢測(cè)率與CNN算法相近,但其訓(xùn)練速度遠(yuǎn)高于CNN算法,能更好地解決當(dāng)前網(wǎng)絡(luò)環(huán)境中數(shù)據(jù)量大而導(dǎo)致處理不及時(shí)、不準(zhǔn)確的問(wèn)題。下一步將解決如何確定最優(yōu)森林節(jié)點(diǎn)個(gè)數(shù)的問(wèn)題,從而改進(jìn)EDF算法,同時(shí)提高該算法在樣本不平衡數(shù)據(jù)集上的入侵檢測(cè)性能。