高　妮, 高　嶺, 賀毅岳,3

(1. 西北大學(xué)信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127; 2. 西安財(cái)經(jīng)學(xué)院 信息學(xué)院,陜西 西安 710100; 3. 西北大學(xué)經(jīng)濟(jì)管理學(xué)院,陜西 西安 710127)

?

面向入侵檢測(cè)系統(tǒng)的DeepBeliefNets模型

高妮1,2, 高嶺1, 賀毅岳1,3

(1. 西北大學(xué)信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127; 2. 西安財(cái)經(jīng)學(xué)院 信息學(xué)院,陜西 西安 710100; 3. 西北大學(xué)經(jīng)濟(jì)管理學(xué)院,陜西 西安 710127)

連續(xù)的網(wǎng)絡(luò)流量會(huì)導(dǎo)致海量數(shù)據(jù)問題,這為入侵檢測(cè)提出了新的挑戰(zhàn)。為此,提出一種面向入侵檢測(cè)系統(tǒng)的深度信念網(wǎng)絡(luò)(deepbeliefnetsorientedtotheintrusiondetectionsystem,DBN-IDS)模型。首先,通過無監(jiān)督的、貪婪的算法自底向上逐層訓(xùn)練每一個(gè)受限玻爾茲曼機(jī)(restrictedBoltzmannmachine,RBM)網(wǎng)絡(luò),使得大量高維、非線性的無標(biāo)簽數(shù)據(jù)映射為最優(yōu)的低維表示；然后利用帶標(biāo)簽數(shù)據(jù)被附加到頂層,通過反向傳播(backpropagation,BP)算法自頂向下有監(jiān)督地對(duì)RBM網(wǎng)絡(luò)輸出的低維表示進(jìn)行分類,并同時(shí)對(duì)RBM網(wǎng)絡(luò)進(jìn)行微調(diào)；最后,利用NSL-KDD數(shù)據(jù)集對(duì)模型參數(shù)和性能進(jìn)行了深入的分析。實(shí)驗(yàn)結(jié)果表明,DBN-IDS分類效果優(yōu)于支持向量機(jī)(supportvectormachine,SVM)和神經(jīng)網(wǎng)絡(luò)(neuralnetwork，NN),適用于高維、非線性的海量入侵?jǐn)?shù)據(jù)的分類處理。

入侵檢測(cè)； 神經(jīng)網(wǎng)絡(luò)； 深度信念網(wǎng)絡(luò)

0　引　言

隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大,如何識(shí)別各種網(wǎng)絡(luò)攻擊是一個(gè)不可回避的關(guān)鍵技術(shù)問題。入侵檢測(cè)系統(tǒng)(intrusiondetectionsystem,IDS)是對(duì)企圖入侵、正在進(jìn)行的入侵或已經(jīng)發(fā)生的入侵進(jìn)行識(shí)別,其本質(zhì)是對(duì)大量攻擊數(shù)據(jù)給出威脅分析。以往研究者在IDS研究中引入了各種機(jī)器學(xué)習(xí)方法,如神經(jīng)網(wǎng)絡(luò)(neuralnetwork,NN)[1]、支持向量機(jī)(supportvectormachine,SVM)[2-3]、蟻群算法[4]等機(jī)器學(xué)習(xí)方法都在IDS中取得了突破性的進(jìn)展。

傳統(tǒng)機(jī)器學(xué)習(xí)多數(shù)屬于淺層學(xué)習(xí),在帶標(biāo)簽的數(shù)據(jù)集中抽取有用信息。在面臨真實(shí)的網(wǎng)絡(luò)應(yīng)用環(huán)境,大量連續(xù)的網(wǎng)絡(luò)連接數(shù)據(jù)會(huì)導(dǎo)致海量數(shù)據(jù)問題,這給入侵檢測(cè)提出了新的挑戰(zhàn),而如何建立穩(wěn)定、可靠且高效的入侵檢測(cè)模型是入侵檢測(cè)研究中的首要任務(wù)。傳統(tǒng)的淺層學(xué)習(xí)方法無法有效解決海量入侵?jǐn)?shù)據(jù)分類問題：①隨著數(shù)據(jù)集動(dòng)態(tài)增長(zhǎng),多類別的分類任務(wù)會(huì)導(dǎo)致準(zhǔn)確率低下；②淺層學(xué)習(xí)是一種單線程任務(wù),已經(jīng)不適用于海量數(shù)據(jù)智能化分析和預(yù)測(cè)需求的多任務(wù)學(xué)習(xí)，在海量數(shù)據(jù)分類問題上,淺層學(xué)習(xí)在復(fù)雜函數(shù)運(yùn)算方面有一定限制,對(duì)新樣本的適應(yīng)能力也受到一定限制[5]。

因此,如何提出一個(gè)面向海量數(shù)據(jù)有效的入侵檢測(cè)模型是一個(gè)亟待解決的問題。深度學(xué)習(xí)在海量數(shù)據(jù)分析方面有著突出的表現(xiàn),可以用來解決入侵檢測(cè)領(lǐng)域的難題。通過構(gòu)建具有多隱藏層的非線性網(wǎng)絡(luò)結(jié)構(gòu)和海量的訓(xùn)練數(shù)據(jù),學(xué)習(xí)更易于分類的低維特征,從而提升分類的準(zhǔn)確性。因此,表達(dá)能力強(qiáng)的深度模型能夠挖掘海量數(shù)據(jù)中蘊(yùn)含的豐富內(nèi)在信息,是解決海量數(shù)據(jù)環(huán)境下入侵檢測(cè)問題的一種極具前景的方法。

2006年,文獻(xiàn)[6]提出了深度信念網(wǎng)絡(luò)(deepbeliefnets,DBN)的深度學(xué)習(xí)方法。DBN受到學(xué)術(shù)界的廣泛關(guān)注,已成為大數(shù)據(jù)和人工智能的一個(gè)熱潮。2009年,微軟研究院的專家們與Hinton開展了深度合作,將DBN引入語音識(shí)別領(lǐng)域,取得了錯(cuò)誤率相對(duì)降低30%的突破性進(jìn)展[7]。以模擬人腦的多層結(jié)構(gòu)為原理的深度學(xué)習(xí)網(wǎng)絡(luò)可通過逐層特征抽取,將高維、非線性數(shù)據(jù)逐漸形成為更適合模式分類的抽象特征。因此,海量數(shù)據(jù)分類需要深度學(xué)習(xí),它是解決入侵檢測(cè)速度低和分類性能低的一種極具前景的方法。

本文將DBN深度學(xué)習(xí)方法引入到入侵檢測(cè)領(lǐng)域中,提出一種面向入侵檢測(cè)系統(tǒng)的深度信念網(wǎng)絡(luò)(deepbeliefnetsorientedtointrusiondetectionsystem,DBN-IDS)模型。首先,通過無監(jiān)督的、貪婪的算法,自底向上逐層訓(xùn)練每一個(gè)限制玻爾茲曼機(jī)(restrictedBoltzmannmachine,RBM)網(wǎng)絡(luò),在該非監(jiān)督學(xué)習(xí)過程中獲得原始數(shù)據(jù)的低維表示,從而顯著降低數(shù)據(jù)的維數(shù),即保留數(shù)據(jù)的關(guān)鍵重要特征,同時(shí)去除冗余特征。然后，利用反向傳播(backpropagation,BP)算法對(duì)低維表示進(jìn)行分類,并同時(shí)對(duì)RBM網(wǎng)絡(luò)進(jìn)行微調(diào)。利用NSL-KDD數(shù)據(jù)集[8]進(jìn)行驗(yàn)證,將本文DBN-IDS與SVM和NN進(jìn)行了比較,實(shí)驗(yàn)結(jié)果表明DBN-IDS模型優(yōu)于這兩種機(jī)器學(xué)習(xí)方法,有效提高了分類準(zhǔn)確率。

1　DBN模型

1.1RBM模型

RBM是DBN的核心組件之一,是一個(gè)兩層的神經(jīng)網(wǎng)絡(luò),其兩層單元分別是可視單元(v)和隱藏單元(h)。RBM模型是一個(gè)二分圖結(jié)構(gòu),同層單元之間互不相連,位于底層的可視層(v)描述了輸入數(shù)據(jù)特征,位于上層的隱藏層(h)數(shù)據(jù)由機(jī)器學(xué)習(xí)自動(dòng)生成,通常沒有實(shí)際意義。

RBM可定義為：滿足二值變量的可視層單元和隱藏層單元的全概率分布p(v|h)服從Boltzmann分布。RBM可看作一種無向圖模型,如圖1所示。當(dāng)輸入可視層單元v時(shí),通過全概率分布p(h|v)得到隱藏層h；獲得隱藏層h后,通過p(v|h)又能得到可視層單元v。

圖1　RBM結(jié)構(gòu)Fig.1　Structure of RBM

假設(shè)可視層單元v表示輸入數(shù)據(jù),h是隱藏層單元,W表示可視單元和隱藏單元之間的連接權(quán)重。令所有單元均為二值變量,即?i,j,vi∈{0,1},hj∈{0,1}。

由于RBM的對(duì)稱結(jié)構(gòu),其層間有連接,層內(nèi)無連接,故在已知v情況下,所有的隱藏節(jié)點(diǎn)條件獨(dú)立,第j個(gè)單元h的后驗(yàn)概率表示為

(1)

同理,在已知h條件下,所有的可視節(jié)點(diǎn)條件獨(dú)立,故第i個(gè)單元v的后驗(yàn)概率表示為

(2)

σ是激活函數(shù)：

(3)

關(guān)于某一狀態(tài){v,h}的能量函數(shù)定義為

(4)

式中,θ={W,a,b}是模型參數(shù),W是RBM模型的權(quán)值參數(shù),a表示隱藏單元的偏置,b表示可視層的偏置。狀態(tài){v,h}基于能量函數(shù)的聯(lián)合概率分布滿足：

(5)

1.2貪婪的DBN

DBN是一個(gè)概率生成模型[6],是由多層無監(jiān)督的RBM網(wǎng)絡(luò)和一層有監(jiān)督的BP[9]網(wǎng)絡(luò)組成的一種深層神經(jīng)網(wǎng)絡(luò)。這些網(wǎng)絡(luò)被“限制”為一個(gè)可視層和一個(gè)隱藏層,層間存在連接,而層內(nèi)單元間不存在連接。

圖2展示了一個(gè)多層的生成模型結(jié)構(gòu),該模型最高兩層通過無向連接交互,其他層通過有向連接進(jìn)行交互。向上的箭頭代表了認(rèn)知模型,向下的箭頭代表了生成模型。在生成模型學(xué)習(xí)過程中,權(quán)重參數(shù)W一旦被學(xué)習(xí),通過使用WT,原始數(shù)據(jù)v被映射為隱藏層h1的高層數(shù)據(jù)表示。WT可以用來推理隱藏層h1的近似后驗(yàn)概率。因此,可視層的條件概率是網(wǎng)絡(luò)中每個(gè)隱藏層后驗(yàn)概率的階乘表示：

(6)

圖2　DBN結(jié)構(gòu)圖Fig.2　Graphical representation of a DBN

DBM在自底向上的傳遞中,認(rèn)知連接被用來推斷出下面一層二進(jìn)制表示。每一層RBM網(wǎng)絡(luò)的隱藏層單元被訓(xùn)練去捕捉在可視層表現(xiàn)出來的高維數(shù)據(jù)的相關(guān)性,從具體的高維、非線性數(shù)據(jù)逐漸轉(zhuǎn)化為抽象數(shù)據(jù),即從復(fù)雜的高維、非線性輸入數(shù)據(jù)抽取維數(shù)較低的特征。在自頂向下的傳遞過程中,生成連接被用來將聯(lián)想記憶的狀態(tài)映射到原始數(shù)據(jù)。利用RBM訓(xùn)練后的低維特征會(huì)大大減少模型訓(xùn)練時(shí)間,在頂層的神經(jīng)網(wǎng)絡(luò)形成易于分類的特征。

DBN在訓(xùn)練模型的過程中分為兩步。

(1) 預(yù)訓(xùn)練：通過一個(gè)非監(jiān)督的、貪婪的學(xué)習(xí)方法,自底而上逐層訓(xùn)練每一個(gè)RBM網(wǎng)絡(luò),將大量高維、非線性的無標(biāo)簽數(shù)據(jù)(原始數(shù)據(jù))映射至低維表示,獲得一個(gè)較優(yōu)的初始模型參數(shù)。這種非監(jiān)督的、貪婪的且逐層的學(xué)習(xí)方法被稱為對(duì)比分歧(contrastive divergence, CD)算法[10],被Hinton證明是可以快速訓(xùn)練RBM網(wǎng)絡(luò)的。

(2) 微調(diào)權(quán)值：在預(yù)訓(xùn)練后,利用少數(shù)帶標(biāo)簽數(shù)據(jù)被附加到頂層,通過BP網(wǎng)絡(luò)接收RBM輸出的低維表示作為它的輸入特征向量,自頂向下有監(jiān)督地訓(xùn)練分類器。通過逐層、貪婪的訓(xùn)練每一層RBM網(wǎng)絡(luò)以確保層內(nèi)特征向量映射達(dá)到最優(yōu),但卻不能確保整個(gè)DBN的特征向量映射達(dá)到最優(yōu)。因此,BP網(wǎng)絡(luò)還擔(dān)負(fù)著對(duì)RBM網(wǎng)絡(luò)性能進(jìn)行微調(diào)的功能,將錯(cuò)誤信息自頂向下傳播至每一層RBM,以最大似然函數(shù)為目標(biāo)函數(shù),使整個(gè)DBN網(wǎng)絡(luò)達(dá)到最優(yōu)。

1.3基于吉布斯采樣的馬爾可夫鏈模型

在生成RBM數(shù)據(jù)過程中,可視層和隱藏層從一個(gè)隨機(jī)狀態(tài)開始,然后執(zhí)行交替的吉布斯采樣。首先,原始可視單元v0映射到隱藏單元h0；其次,可視單元v0由隱藏單元h0重構(gòu)為新的可視單元v1；再次,v1映射為新的隱藏單元h1。這種前后交替迭代的過程就是吉布斯采樣。

為了使得RBM的聯(lián)合概率分布p(v,h;θ)最大,依據(jù)可視層單元和隱藏層單元存在的相關(guān)性差異,更新RBM模型的參數(shù)θ。傳統(tǒng)的方法是使用交替的吉布斯采樣,利用馬爾可夫鏈蒙特卡羅方法使馬爾可夫鏈趨于平穩(wěn)分布[11]。在圖3可以看出,利用馬爾可夫鏈在迭代次數(shù)接近∞時(shí),聯(lián)合概率分布接近平穩(wěn)分布。

圖3　基于吉布斯采樣的馬爾可夫鏈模型Fig.3　Markov chain based on alternating Gibbs sampling

對(duì)訓(xùn)練樣本求解極大似然假設(shè)的梯度：

(7)

1.4CD算法

CD算法是由文獻(xiàn)[10]提出的快速訓(xùn)練RBM的方法,最小化兩個(gè)KL分歧的差異性表示為

(8)

(9)

式中,n為迭代次數(shù)；ε為學(xué)習(xí)速度。

2　DBN-IDS模型

2.1模型設(shè)計(jì)

本文提出的DBN-IDS模型總體框架如圖4所示,包含5個(gè)步驟：

步驟 1數(shù)據(jù)預(yù)處理。將NSL-KDD數(shù)據(jù)集[8]中符號(hào)型數(shù)據(jù)轉(zhuǎn)化為數(shù)值型數(shù)據(jù),進(jìn)而實(shí)施數(shù)據(jù)歸一化處理,將標(biāo)準(zhǔn)化數(shù)據(jù)分離為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。詳見第2.2節(jié)內(nèi)容。

步驟 2對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行基于CD算法的預(yù)訓(xùn)練過程。按照一定的非監(jiān)督、貪婪的CD算法預(yù)訓(xùn)練每層RBM,使得大量高維、非線性的無標(biāo)簽數(shù)據(jù)映射為最優(yōu)的低維表示,獲得數(shù)百萬的DBN模型參數(shù)。預(yù)訓(xùn)練算法詳見第2.3節(jié)內(nèi)容。

步驟 3微調(diào)權(quán)值過程。利用帶標(biāo)簽數(shù)據(jù)被附加到頂層,通過BP算法自頂向下對(duì)RBM網(wǎng)絡(luò)輸出的低維表示進(jìn)行有監(jiān)督的分類。同時(shí),BP網(wǎng)絡(luò)還擔(dān)負(fù)著對(duì)整個(gè)DBN模型參數(shù)進(jìn)行微調(diào)的功能。最終學(xué)習(xí)獲得最優(yōu)的深度學(xué)習(xí)訓(xùn)練模型。微調(diào)權(quán)值算法詳見第2.4節(jié)內(nèi)容。

步驟 4將測(cè)試數(shù)據(jù)輸入到已經(jīng)建立好的深度學(xué)習(xí)訓(xùn)練模型中,進(jìn)而快速學(xué)習(xí)獲得每條測(cè)試數(shù)據(jù)的入侵類別。

步驟 5將入侵分類結(jié)果與規(guī)則庫進(jìn)行判斷比較,對(duì)檢測(cè)到的入侵做出響應(yīng)處理。

圖4　DBN-IDS學(xué)習(xí)過程Fig.4　Learning process of DBN-IDS

2.2數(shù)據(jù)預(yù)處理

NSL-KDD數(shù)據(jù)集[8]的每條連接記錄由41個(gè)屬性特征組成,其中包含38個(gè)數(shù)字型特征和3個(gè)符號(hào)型特征。數(shù)據(jù)集預(yù)處理包含兩個(gè)步驟：

步驟 1符號(hào)型特征數(shù)值化

本文采用屬性映射方法將符號(hào)型特征轉(zhuǎn)變成數(shù)值型數(shù)據(jù)。例如第2列屬性特征‘protocol_type’有3種取值：tcp,udp,icmp,將其字符分別編碼為二進(jìn)制向量[1,0,0],[0,1,0]和[0,0,1]。同理,屬性特征‘service’的70種符號(hào)取值和‘flag’的11種符號(hào)取值可建立符號(hào)值與相應(yīng)數(shù)值的映射關(guān)系。以此類推,41維特征經(jīng)過變換之后有122維特征。

步驟 2歸一化處理

對(duì)步驟1獲得的數(shù)據(jù)進(jìn)行最小-最大規(guī)范化處理后,各屬性特征位于同一數(shù)量級(jí)。根據(jù)式(13)將數(shù)據(jù)歸一化到[0,1]范圍：

(10)

式中,y是屬性值；MIN是該屬性的最小值；MAX是該屬性的最大值。

2.3預(yù)訓(xùn)練過程

基于CD準(zhǔn)則的預(yù)訓(xùn)練步驟如算法1所示。

算法 1DBN預(yù)訓(xùn)練算法

輸入輸入特征變量(v1,v2,…,vm),權(quán)重Wij,偏置ai,bj,學(xué)習(xí)率ε；

初始化Wij=ai=bj=0(i=1,2,…,m；j=1,2,…,n),并初始化迭代次數(shù)k；

輸出模型參數(shù)θ={W,a,b}；

步驟 1對(duì)于每一個(gè)輸入特征變量(v1,v2,…,vm),將vi賦值給v0；

步驟 4對(duì)于所有的可視單元和隱藏單元,根據(jù)式(7)獲得初始狀態(tài)和更新狀態(tài)下的聯(lián)合概率分布的梯度,代入式(9)更新參數(shù)θ,即：

(11)

步驟 5如果t=k,保存模型參數(shù),算法結(jié)束；

步驟 6如果t

2.4微調(diào)權(quán)值過程

在本文的DBN模型中,BP[9]算法起到微調(diào)整個(gè)網(wǎng)絡(luò)中模型參數(shù)的作用。基于BP算法的DBN微調(diào)權(quán)值訓(xùn)練過程分為兩步：①先通過RBM模型訓(xùn)練建立DBN的前向傳播,獲得一個(gè)較優(yōu)的初始模型參數(shù)；②利用BP算法計(jì)算訓(xùn)練樣本網(wǎng)絡(luò)的輸出誤差信息并自頂向下傳播至每一層RBM,微調(diào)整個(gè)DBN模型的參數(shù)。

算法 2DBN微調(diào)權(quán)值算法

輸入訓(xùn)練樣本為〈xi,ti〉(i=1,2,…,m),權(quán)重Wij,偏置ai,bj,學(xué)習(xí)率ε；

初始化從DBN預(yù)訓(xùn)練算法中獲得模型參數(shù)并初始化θ={W,a,b},初始化迭代次數(shù)為k；

輸出微調(diào)整后的模型參數(shù)θ={W,a,b}；

步驟 1對(duì)于每一個(gè)實(shí)例xi輸入DBN網(wǎng)絡(luò),計(jì)算xi的輸出oi,使誤差沿網(wǎng)絡(luò)反向傳播；

步驟 2對(duì)DBN的每個(gè)輸出單元k,計(jì)算它的誤差項(xiàng)δk：

(12)

步驟 3對(duì)于DBN的每個(gè)隱藏單元h,計(jì)算它的誤差項(xiàng)δh：

(13)

步驟 4更新每個(gè)網(wǎng)絡(luò)模型參數(shù)θji：

(14)

式中,θji=ηδjxj,η為學(xué)習(xí)速率；

步驟 5如果t=k,保存微調(diào)整后的模型參數(shù),算法結(jié)束；

步驟 6如果t

3　實(shí)驗(yàn)與分析

3.1數(shù)據(jù)描述

本文采用NSL-KDD數(shù)據(jù)集[8]進(jìn)行IDS系統(tǒng)測(cè)試,它是一種新的數(shù)據(jù)集。NSL-KDD數(shù)據(jù)集包含了KDD’ 99數(shù)據(jù)集的一些記錄,解決了KDD’ 99數(shù)據(jù)集中存在冗余記錄等問題。NSL-KDD數(shù)據(jù)集包含25 192個(gè)實(shí)例的訓(xùn)練數(shù)據(jù)和11 850個(gè)測(cè)試數(shù)據(jù),包括4種類型的攻擊行為：拒絕服務(wù)攻擊(DoS),遠(yuǎn)程用戶攻擊(R2L),提升權(quán)限攻擊(U2R)和端口掃描攻擊(Probing)。

3.2實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)

在本文的對(duì)比實(shí)驗(yàn)中,采用準(zhǔn)確率(accuracy,AC)、檢測(cè)率(detection rate,DR)和誤報(bào)率(false alarm,FA)等作為評(píng)價(jià)指標(biāo)來衡量DBN模型的性能:

(15)

(16)

(17)

將每層網(wǎng)絡(luò)中重構(gòu)后的數(shù)據(jù)與原有數(shù)據(jù)之間的重構(gòu)誤差也作為性能評(píng)價(jià)標(biāo)準(zhǔn),重構(gòu)誤差的計(jì)算式為

(18)

3.3實(shí)驗(yàn)分析

本文設(shè)計(jì)了2組實(shí)驗(yàn)：①綜合DBN網(wǎng)絡(luò)深度、輸出層節(jié)點(diǎn)數(shù)和有無預(yù)訓(xùn)練3類因素,探索了各種因素在入侵識(shí)別任務(wù)中的性能影響；②DBN模型與其他分類方法的性能比較。

3.3.1DBN模型參數(shù)設(shè)置

DBN模型表示為DBNi(i表示DBN包含的RBM的層數(shù))。DBN參數(shù)設(shè)置如表1所示。DBN網(wǎng)絡(luò)結(jié)構(gòu)的輸入層節(jié)點(diǎn)數(shù)為122,第1隱藏層節(jié)點(diǎn)數(shù)選取接近輸入層節(jié)點(diǎn)數(shù)的維數(shù)110,之后依次選取80,50,30和10對(duì)輸入數(shù)據(jù)進(jìn)行降維。將選取好的參數(shù)輸入到DBN網(wǎng)絡(luò)結(jié)構(gòu)中,在建立好的網(wǎng)絡(luò)結(jié)構(gòu)上對(duì)每一層RBM網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,采用1次吉布斯采樣對(duì)模型參數(shù)進(jìn)行更新,文獻(xiàn)[12]論證了k=1時(shí),RBM模型趨于平穩(wěn)分布,能得到最好的實(shí)驗(yàn)結(jié)果。在訓(xùn)練每層RBM時(shí),迭代次數(shù)為30次,基于BP算法的DBN微調(diào)權(quán)值算法的迭代次數(shù)為300次。

表1　DBNi模型參數(shù)列表

3.3.2DBN結(jié)構(gòu)驗(yàn)證分析

(1) 網(wǎng)絡(luò)深度的影響

DBN的深度對(duì)入侵識(shí)別效果起到非常重要的作用。本實(shí)驗(yàn)設(shè)置5種不同的DBN網(wǎng)絡(luò)結(jié)構(gòu),性能對(duì)比分析結(jié)果如圖5所示。設(shè)置DBN2、DBN3、DBN4、DBN5和DBN6分別表示為122-60-10、122-80-40-10、122-110-70-40-10、122-110-80-50-30-10和122-110-80-60-40-20-10的RBM網(wǎng)絡(luò)結(jié)構(gòu)。由圖5可知,DBN采用5層的RBM網(wǎng)絡(luò)結(jié)構(gòu)的準(zhǔn)確率、檢測(cè)率最大。

圖5　不同的DBN結(jié)構(gòu)的性能比較Fig.5　Performance comparison of the different DBN structures

采用淺層122-60-10的DBN結(jié)構(gòu)和深層122-110-80-50-30-10的DBN結(jié)構(gòu)進(jìn)行均方差性能對(duì)比分析。利用深層122-110-80-50-30-10和淺層122-60-10的DBN結(jié)構(gòu)進(jìn)行預(yù)訓(xùn)練后,獲得網(wǎng)絡(luò)結(jié)構(gòu)的模型參數(shù)。然后,對(duì)所獲得的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行微調(diào)權(quán)值。如圖6所示,在微調(diào)權(quán)值100次迭代后,擁有相同參數(shù)的深層比淺層模型均方差小0.28,實(shí)驗(yàn)表明深層模型能更有效地抽取特征。

圖6　淺層與深層結(jié)構(gòu)的重構(gòu)誤差對(duì)比Fig.6　Comparison of the squared reconstruction error of the shallow and deep network structure

(2) 輸出層節(jié)點(diǎn)數(shù)的影響

本文另外一個(gè)重要的研究是選擇最小的特征向量維數(shù)來提高入侵識(shí)別準(zhǔn)確率。為了測(cè)試輸出層節(jié)點(diǎn)數(shù)是如何影響入侵檢測(cè)性能的,本文采用深層122-110-80-50-30-10的DBN5模型,其他參數(shù)不變,輸出層節(jié)點(diǎn)數(shù)從3變化至12,結(jié)果如圖7所示。由圖7可知,DBN5模型設(shè)置10個(gè)輸出層節(jié)點(diǎn)的準(zhǔn)確率和檢測(cè)率最大。

圖7　不同輸出層節(jié)點(diǎn)數(shù)的性能比較Fig.7　Performance comparison of the different output layer nodes

(3) 有無預(yù)訓(xùn)練過程的影響

DBN預(yù)訓(xùn)練過程對(duì)入侵識(shí)別效果也起到非常重要的作用。本實(shí)驗(yàn)設(shè)計(jì)了3種DBN網(wǎng)絡(luò)結(jié)構(gòu)(DBN2、DBN3和DBN4)分別在有、無預(yù)訓(xùn)練兩種情況下的性能對(duì)比。從表2可知,2層RBM的DBN網(wǎng)絡(luò)結(jié)構(gòu)在有無預(yù)訓(xùn)練情況下的準(zhǔn)確率沒有顯著性差異。3層的DBN結(jié)構(gòu)執(zhí)行預(yù)訓(xùn)練過程后再進(jìn)行微調(diào)訓(xùn)練,準(zhǔn)確率比隨機(jī)初始化權(quán)值再微調(diào)訓(xùn)練略微高些。而4層的DBN結(jié)構(gòu)已經(jīng)表現(xiàn)出兩種情況下明顯的差異。從實(shí)驗(yàn)結(jié)果不難看出,3層以上的RBM網(wǎng)絡(luò)結(jié)構(gòu)執(zhí)行預(yù)訓(xùn)練過程對(duì)于入侵識(shí)別準(zhǔn)確率變得很重要。

表2　有無預(yù)訓(xùn)練階段的性能比較

3.3.3與其他分類方法的性能對(duì)比分析

在NSL-KDD數(shù)據(jù)集中分別提取不同攻擊類型進(jìn)行入侵分類實(shí)驗(yàn),將DBN模型與SVM和傳統(tǒng)NN分類方法做了性能對(duì)比。采用開源工具LIVSVM[13],其參數(shù)設(shè)置如下：類型為C-SVC,核函數(shù)采用徑向基函數(shù),懲罰因子C=100,核函數(shù)控制因子g=0.000 001,采用十折交叉驗(yàn)證獲得較高的準(zhǔn)確率。NN算法采用3層結(jié)構(gòu),輸入層、中間層和輸出層各一個(gè),采用常用的BP優(yōu)化方式,其余參數(shù)和DBN類似。

表3給出了深層的DBN5模型與SVM、NN的性能對(duì)比。從結(jié)果不難看出,本文所述的DBN5模型在分類檢測(cè)率方面要略高于NN和SVM機(jī)器學(xué)習(xí)方法,且在誤報(bào)率方面,DBN5模型也低于它們。實(shí)驗(yàn)結(jié)果表明，深層的DBN5模型有效提高了網(wǎng)絡(luò)入侵檢測(cè)正確率,降低檢測(cè)誤報(bào)率,更有利于提高入侵檢測(cè)模型的入侵識(shí)別能力。

表3　不同攻擊類型下3種算法性能比較

4　結(jié)　論

DBN的深度學(xué)習(xí)方法對(duì)于入侵檢測(cè)是一種全新的機(jī)器學(xué)習(xí)方法,該方法結(jié)合了無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)的學(xué)習(xí)優(yōu)點(diǎn),不僅對(duì)高維特征向量具有很強(qiáng)的提取特征能力,而且具有高效的分類能力。本文探索了基于DBN的深度學(xué)習(xí)方法在入侵檢測(cè)中的應(yīng)用。探索了DBN網(wǎng)絡(luò)深度、輸出層節(jié)點(diǎn)數(shù)和有無預(yù)訓(xùn)練3類因素在入侵識(shí)別任務(wù)中的性能影響。實(shí)驗(yàn)結(jié)果表明,本文提出的DBN-IDS模型非常適用于高維空間的信息抽取任務(wù),提高了入侵檢測(cè)正確率,降低了檢測(cè)誤報(bào)率,為入侵檢測(cè)提供了一種新的研究方法。

[1]ShahB,TrivediBH.Artificialneuralnetworkbasedintrusiondetectionsystems:asurvey[J]. International Journal of Computer Applications, 2012, 39(6):13-18.

[2]KuangFJ,XuWH,ZhangSY.AnovelhybridKPCAandSVMwithGAmodelforintrusiondetection[J]. Applied Soft Computing, 2014, 18:178-184.

[3]JingXP,WangHX,NieK.NetworkintrusiondetectionbasedonmodifiedkernelfunctionSVM[J]. Systems Engineering and Electronics, 2012, 34(5):1036-1040. (井小沛, 汪厚祥, 聶凱. 基于修正核函數(shù)SVM的網(wǎng)絡(luò)入侵檢測(cè)[J]. 系統(tǒng)工程與電子技術(shù), 2012, 34(5): 1036-1040.)

[4]AghdamMH,KabiriP.Featureselectionforintrusiondetectionsystemusingantcolonyoptimization[J]. International Journal of Network Security, 2016, 18(3): 420-432.

[5]BengioY.LearningdeeparchitecturesforAI[J]. Foundations and Trends in Machine Learning, 2009, 2(1): 1-127.

[6]HintonGE,OsinderoS,TehYW.Afastlearningalgorithmfordeepbeliefnets[J]. Neural Computation, 2006, 18(7):1527-1554.

[7]DahlGE,YuD,DengL,etal.Context-dependentpre-traineddeepneuralnetworksforlargevocabularyspeechrecognition[J].IEEE Trans.on Audio Speech & Language Processing,2012,20(1):30-42.

[8]TavallaeeM,BagheriE,LuW,etal.NSL-KDDdataset[EB/OL]. [2009-07-08].http:∥www.unb.ca/research/iscx/dataset/iscx-NSL-KDD-dataset.html.

[9]RumehartDE,HintonGE,WilliamsRJ.Learningrepresentationsbyback-propagatingerrors[J]. Nature, 1986, 323(6088):533-536.

[10]HintonGE.Trainingproductsofexpertsbyminimizingcontrastivedivergence[J]. Neural Computation, 2002, 14(8):1771-1800.

[11]NealRM.ProbabilisticinferenceusingMarkovchainMonteCarlomethods,CRG-TR-93-1[J]. Toronto:Department of Computer Science, University of Toronto, 1993.

[12]Carreira-PerpinanMA,HintonGE.Oncontrastivedivergencelearning[C]∥Proc. of the Artificial Intelligence and Statistics, 2005:33-41.

[13]ChangCC,LinCJ.LIBSVM:alibraryforsupportvectormachines[J]. ACM Trans. on Intelligent Systems & Technology, 2007, 2(3):389-396.

Deepbeliefnetsmodelorientedtointrusiondetectionsystem

GAONi1,2,GAOLing1,HEYi-yue1,3

(1. School of Information Science & Technology, Northwest University, Xi’an 710127, China;2. School of Information, Xi’an University of Finance and Economics, Xi’an 710100, China;3. School of Economics and Management, Northwest University, Xi’an 710127, China)

Itputsforwardanewchallengewithintrusiondetection,thecontinuouscollectionoftrafficdatabythenetworkleadstothemassivedataproblems.Therefore,adeepbeliefnetsmodelorientedtotheintrusiondetectionsystem(DBN-IDS)isproposed.First,anunsupervised,greedyalgorithmisemployedtotraineachrestrictedBoltzmannmachine(RBM)atatimebyabottom-upapproach,whichmakeslargeamountsofnonlinearhigh-dimensionalunlabeledinputdatacanbesampledasoptimallow-dimensionalfeaturerepresentations.Second,usingthelabeleddataatthetoplayer,thesupervisedbackpropagation(BP)algorithmisemployedinclassifyingthelearnedlow-dimensionalrepresentationsandfine-tuningtheRBMnetworksimultaneously.TheparametersandtheperformanceofthemodelaredeeplyanalyzedonNSL-KDDdataset.ExperimentalresultsdemonstratethattheDBN-IDSoutperformsthesupportvectormachine(SVM)andneuralnetwork(NN),andwhichisafeasibleapproachinintrusionclassificationforthehigh-dimensional,nonlinearandlarge-scaledata.

intrusiondetection;neuralnetwork(NN);deepbeliefnets

2015-09-21；

2016-06-19；網(wǎng)絡(luò)優(yōu)先出版日期：2016-07-06。

國家自然科學(xué)基金 (61373176,61572401) 資助課題

TP393

ADOI:10.3969/j.issn.1001-506X.2016.09.33

高妮(1982-),女,講師,博士,主要研究方向?yàn)榫W(wǎng)絡(luò)安全、機(jī)器學(xué)習(xí)。

E-mail:gaoni@nwu.edu.cn

高嶺(1964-),男,教授,博士,主要研究方向?yàn)榫W(wǎng)絡(luò)管理、信息安全。

E-mail:gaoling@nwu.edu.cn

賀毅岳(1982-),男,講師,博士,主要研究方向?yàn)閿?shù)據(jù)挖掘、信息管理。

E-mail:heyiyue@nwu.edu.cn

網(wǎng)絡(luò)優(yōu)先出版地址：http:∥www.cnki.net/kcms/detail/11.2422.TN.20160706.1030.002.html