李玉峰，明拓思宇，魏 鵬

(1.上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院，上海200444；2.31401部隊(duì)，吉林吉林132000；3.61660部隊(duì)，北京100089)

1 引言

DBN 是深度學(xué)習(xí)中的一種經(jīng)典模型，通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)對(duì)復(fù)雜函數(shù)的逼近，目的是提升分類或預(yù)測(cè)的準(zhǔn)確性，常用模型主要是卷積神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼器等[1]。同時(shí)，DBN也是一種由多層無(wú)監(jiān)督學(xué)習(xí)的限制玻爾茲曼機(jī)(restricted Boltzmann machine，RBM)和一層有監(jiān)督學(xué)習(xí)的BP神經(jīng)網(wǎng)絡(luò)組合成的深度神經(jīng)網(wǎng)絡(luò)分類器[2]，在語(yǔ)音識(shí)別，圖像識(shí)別等領(lǐng)域應(yīng)用廣泛。

DBN基本網(wǎng)絡(luò)結(jié)構(gòu)及權(quán)值和閾值參數(shù)是分類器檢測(cè)速度和精度的關(guān)鍵，其中，DBN的基本網(wǎng)絡(luò)結(jié)構(gòu)指DBN深度、每層神經(jīng)元的個(gè)數(shù)。因此，可以通過(guò)以下兩種方式優(yōu)化DBN分類器性能：對(duì)DBN網(wǎng)絡(luò)結(jié)構(gòu)尋優(yōu)，即找到合適的DBN深度及其每層的神經(jīng)元個(gè)數(shù)，若DBN網(wǎng)絡(luò)太復(fù)雜，會(huì)導(dǎo)致DBN訓(xùn)練時(shí)間過(guò)長(zhǎng)，若網(wǎng)絡(luò)太簡(jiǎn)單，則會(huì)影響DBN分類準(zhǔn)確率；對(duì)DBN模型中基本網(wǎng)絡(luò)結(jié)構(gòu)上的權(quán)值或閾值參數(shù)進(jìn)行優(yōu)化調(diào)整，若參數(shù)設(shè)置不合理，則無(wú)法生成有效的訓(xùn)練模型，容易降低DBN分類準(zhǔn)確率。在不確定DBN網(wǎng)絡(luò)結(jié)構(gòu)的情況下，直接優(yōu)化DBN模型參數(shù)難度較大，而直接優(yōu)化DBN網(wǎng)絡(luò)結(jié)構(gòu)計(jì)算成本較小，故本文通過(guò)優(yōu)化DBN網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整DBN模型。

DBN網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化問(wèn)題公開(kāi)文獻(xiàn)較少，大都采用圖像領(lǐng)域、語(yǔ)音識(shí)別等領(lǐng)域的經(jīng)驗(yàn)方法設(shè)定。目前，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)或參數(shù)尋優(yōu)問(wèn)題可借鑒的研究方法主要是演化計(jì)算[3]，它是模擬自然界中生物演化過(guò)程產(chǎn)生的一種群體導(dǎo)向隨機(jī)搜索技術(shù)和方法，該方法主要圍繞三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的優(yōu)化問(wèn)題展開(kāi)研究。簡(jiǎn)要文獻(xiàn)如下：文獻(xiàn)[4]將通過(guò)粒子群優(yōu)化算法(particle swarm optimization，PSO)優(yōu)化了權(quán)重矩陣和閾值的BP神經(jīng)網(wǎng)絡(luò)(back propagation neural networks，BPNN)作為分類器；文獻(xiàn)[5]使用RBF神經(jīng)網(wǎng)絡(luò)(radial basis function，RBFNN)作為分類器，通過(guò)PSO優(yōu)化了RBFNN隱含層的寬度及隱含層到輸出層間的網(wǎng)絡(luò)權(quán)重。文獻(xiàn)[6]將自組織徑向基函數(shù)(a self-organizing radial basis function，SORBF)神經(jīng)網(wǎng)絡(luò)作為分類器，利用非線性回歸函數(shù)調(diào)整PSO的慣性權(quán)重，并利用改進(jìn)PSO尋優(yōu)SORBF的單隱含層節(jié)點(diǎn)個(gè)數(shù)和網(wǎng)絡(luò)權(quán)重。傳統(tǒng)PSO網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法都是針對(duì)BP、RBF等的單隱含層網(wǎng)絡(luò)的參數(shù)和隱含層節(jié)點(diǎn)個(gè)數(shù)進(jìn)行優(yōu)化，缺乏對(duì)多隱含層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)尋優(yōu)的成果。

2 相關(guān)技術(shù)

2.1 DBN

本文將DBN模型作為入侵檢測(cè)分類模型，針對(duì)DBN模型中多隱含層神經(jīng)網(wǎng)絡(luò)的優(yōu)化問(wèn)題，提出一種用于構(gòu)建和優(yōu)化基于DBN的入侵檢測(cè)分類模型的演化算法，將粒子和隱含層結(jié)構(gòu)相對(duì)應(yīng)，采用基于人工魚群(Artificial fish swarm)PSO算法聯(lián)合基于環(huán)形滑動(dòng)窗口PSO算法尋優(yōu)到使DBN模型分類性能優(yōu)越且結(jié)構(gòu)簡(jiǎn)單的隱含層結(jié)構(gòu)。本文克服了文獻(xiàn)[4]-[6]只能對(duì)單隱含層的神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，且優(yōu)化算法結(jié)構(gòu)簡(jiǎn)單，缺乏針對(duì)性問(wèn)題，引入魚群思想，有利于粒子群快速跳出局部最優(yōu)解，且增加了傳統(tǒng)粒子群位置移動(dòng)方式，有利于粒子群確定最佳隱含層個(gè)數(shù)；引入滑動(dòng)窗口機(jī)制，可以保留粒子群對(duì)應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)某些位置中較優(yōu)的值，能夠找到更優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。值得一提，本文DBN模型的權(quán)重或閾值參數(shù)主要是在DBN基本網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上根據(jù)DBN自適應(yīng)調(diào)節(jié)機(jī)制自動(dòng)生成。

如圖1所示，DBN由多層RBM和一層BP神經(jīng)網(wǎng)絡(luò)組成，其中，RBM是由輸入層和隱含層組成的雙層神經(jīng)網(wǎng)絡(luò)，RBM同一層節(jié)點(diǎn)之間缺乏直接連接，只有輸入層和隱含層之間存在連接，BP神經(jīng)網(wǎng)絡(luò)是一種按誤差反向傳播訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，主要用于分類數(shù)據(jù)。DBN訓(xùn)練過(guò)程是自底向上利用每一層RBM對(duì)輸入層的輸入數(shù)據(jù)進(jìn)行提取、抽象，并通過(guò)隱含層輸出，將輸出信息作為上層網(wǎng)絡(luò)的輸入數(shù)據(jù)。其中，上層網(wǎng)絡(luò)指RBM網(wǎng)絡(luò)或頂部BP神經(jīng)網(wǎng)絡(luò)，RBM個(gè)數(shù)是n(n>1)，與DBN的隱含層個(gè)數(shù)相等，第d層隱含層表示為hd(d=1，2，…，n)，其節(jié)點(diǎn)個(gè)數(shù)表示為num(hd)。

圖1 DBN結(jié)構(gòu)

本文的DBN基本網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、輸出層及每層隱含層節(jié)點(diǎn)個(gè)數(shù)，其中，輸入層節(jié)點(diǎn)個(gè)數(shù)對(duì)應(yīng)特征個(gè)數(shù)，輸出層節(jié)點(diǎn)個(gè)數(shù)對(duì)應(yīng)數(shù)據(jù)類別總數(shù)，因此只需尋優(yōu)隱含層數(shù)n和每層隱含層節(jié)點(diǎn)個(gè)數(shù)num(hd)即可，為此，可以引入以粒子群為代表的演化計(jì)算以尋優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)。

2.2 粒子群優(yōu)化算法

粒子群優(yōu)化(Particle Swarm Optimization，PSO)算法是由Kennedy和Eberhart提出的一種演化方法，可以用來(lái)解決許多工程問(wèn)題[7]。每個(gè)粒子都有自己的位置和移動(dòng)速度。為了保存最佳位置，粒子記錄其歷史最好的位置，稱為pbest，以及所有粒子的歷史最佳位置，稱為gbest，其中，粒子位置的優(yōu)劣可由適應(yīng)度標(biāo)準(zhǔn)判定[8]。pbest和gbest用于確定速度矢量，由xi和vstepi表示的第i個(gè)粒子的位置和速度根據(jù)以下等式(1)和(2)進(jìn)行更新：

(1)

(2)

其中，t表示迭代次數(shù)，d是向量中的第d項(xiàng)或搜索空間的第d維，pbestid和gbestd分別表示pbest和gbest的第d維，randi1和randi2是[0，1]之間的隨機(jī)數(shù)，w是慣性權(quán)重，通過(guò)式(3)確定，c1體現(xiàn)了粒子對(duì)自身的學(xué)習(xí)能力，c2體現(xiàn)了粒子對(duì)群體的學(xué)習(xí)能力[9]，c1遞減和c2遞增有利于發(fā)揮粒子初期探索和后期對(duì)群體的認(rèn)知能力。因此本文學(xué)習(xí)因子c1、c2賦值如式(4)和(5)。

(3)

(4)

(5)

其中，wmax和wmin分別表示慣性權(quán)重的最大值和最小值，maxt表示最大迭代次數(shù)，c3和c4是常數(shù)，且c3

PSO有三個(gè)主要的變體，即實(shí)數(shù)、二進(jìn)制和整型PSO。由于DBN的深度和隱含層的寬度都是整型數(shù)據(jù)，因此，本文將使用整型PSO來(lái)優(yōu)化DBN網(wǎng)絡(luò)結(jié)構(gòu)。

3 入侵檢測(cè)分類模型構(gòu)建和優(yōu)化方法

本文入侵檢測(cè)分類模型DBN的基本網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建和尋優(yōu)概要流程如圖2所示。DBN網(wǎng)絡(luò)結(jié)構(gòu)的輸入層數(shù)和數(shù)據(jù)特征個(gè)數(shù)有關(guān)，輸出層數(shù)和類別數(shù)量有關(guān)，故只需要尋優(yōu)隱含層結(jié)構(gòu)，將隱含層結(jié)構(gòu)中每層隱含層節(jié)點(diǎn)個(gè)數(shù)和粒子中非零元素的每一維相對(duì)應(yīng)，通過(guò)隨機(jī)方式生成的整型粒子群swarm作為初始網(wǎng)絡(luò)結(jié)構(gòu)，swarm=[x1，x2，…，xi，…，xn]T，swarm粒子群對(duì)應(yīng)的速度矩陣svstep=[vstep1，vstep2，…，vstepi，…，vstepn]T，第i個(gè)粒子位置xi=[num(hi1)，num(hi2)，…，num(hid)，…，num(hin)]，第i個(gè)粒子速度vstepi=[vsi1，vsi2，…，vsid，…，vsin]，smin≤num(hid)≤smax，vmin≤vsid≤vmax，其中，smin和smax表示粒子位置中元素最小值和最大值，vmin和vmax表示粒子速度中元素最小值和最大值，num(hid)和vsid都是整數(shù)。

圖2 DBN網(wǎng)絡(luò)結(jié)構(gòu)尋優(yōu)概要流程

如圖2所示，本文提出的魚群思想優(yōu)化PSO聯(lián)合滑動(dòng)窗口優(yōu)化PSO算法，具有尋優(yōu)DBN基本網(wǎng)絡(luò)結(jié)構(gòu)的功能，最終實(shí)現(xiàn)對(duì)基于DBN的入侵檢測(cè)分類模型的構(gòu)建和優(yōu)化。首先將初始網(wǎng)絡(luò)結(jié)構(gòu)作為初始粒子群，基于魚群行為的PSO算法搜索初始優(yōu)化粒子，將搜尋到的初始優(yōu)化粒子作為入侵檢測(cè)模型中DBN的網(wǎng)絡(luò)結(jié)構(gòu)[10]，入侵檢測(cè)模型對(duì)入侵檢測(cè)數(shù)據(jù)集進(jìn)行檢測(cè)后得到分類準(zhǔn)確率、誤報(bào)率和漏報(bào)率[11]，并求解出適應(yīng)度，記錄每個(gè)粒子的歷史個(gè)體極值，將其作為候選初始優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，然后判斷是否結(jié)束迭代，若不結(jié)束則繼續(xù)搜尋初始優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，否則選取歷史個(gè)體極值平均適應(yīng)度最優(yōu)粒子的前N個(gè)最優(yōu)個(gè)體極值作為初始優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。將初始優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)作為初始粒子群，基于環(huán)形滑動(dòng)窗口的PSO算法搜尋全局優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，搜尋過(guò)程和基于魚群行為的PSO算法尋優(yōu)初始優(yōu)化粒子流程基本相同，其中，將每輪迭代中適應(yīng)度最優(yōu)粒子作為候選全局優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，迭代結(jié)束后將適應(yīng)度最優(yōu)粒子作為全局優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，最終完成對(duì)入侵檢測(cè)分類模型的構(gòu)建和優(yōu)化過(guò)程。

針對(duì)圖2中的適應(yīng)度標(biāo)準(zhǔn)，本文提出的適應(yīng)度函數(shù)如式(6)。

(6)

ERRate=1-Accuracy

(7)

其中，Accuracy指分類準(zhǔn)確率，如式(8)。

(8)

其中，在入侵檢測(cè)中TP和TN表示正確分類的正常數(shù)據(jù)和異常數(shù)據(jù)；FP和FN表示錯(cuò)誤分類的正常數(shù)據(jù)和異常數(shù)據(jù)，即誤報(bào)和漏報(bào)。

(9)

(10)

通過(guò)構(gòu)建如式(6)的適應(yīng)度函數(shù)，在確保Accuracy的前提下，本文方法可找到DBN隱含層深度dim和整體網(wǎng)絡(luò)結(jié)構(gòu)xi的優(yōu)化配置組合，實(shí)現(xiàn)了對(duì)DBN網(wǎng)絡(luò)結(jié)構(gòu)的尋優(yōu)。

3.1 魚群思想優(yōu)化PSO算法

人工魚群算法是一種基于動(dòng)物自治體的優(yōu)化策略[12]，其基本思想是：魚類聚集至多的地方食物一般也非常豐富；根據(jù)上述特點(diǎn)構(gòu)造人工魚，并模擬魚群聚群、追尾和覓食行為[13]，通過(guò)魚群虛擬水域中游動(dòng)實(shí)現(xiàn)尋優(yōu)。

本文利用魚群思想優(yōu)化PSO尋找初始優(yōu)化粒子，將人工魚群算法中的聚群、追尾和覓食行為用于改進(jìn)PSO算法的移動(dòng)方式，基于魚群思想的粒子群算法基本流程如下：

算法1：粒子群聚群活動(dòng)算法

Step1：粒子執(zhí)行聚群行為：探測(cè)其鄰域粒子中心xj，若適應(yīng)度(求極小值問(wèn)題)Fitnessi>Fitnessj，則向中心位置xj如式(11)前進(jìn)一步，否則跳到Step2。其中，函數(shù)rand產(chǎn)生范圍[0，1]的隨機(jī)數(shù)

(11)

Step2：粒子執(zhí)行覓食行為：在其Visual內(nèi)隨機(jī)選擇一個(gè)粒子xk，xk如式(12)。如果適應(yīng)度(求極小值問(wèn)題)Fitnessi>Fitnessk，則向該方向前進(jìn)一步，如式(13)。其中，Step

(12)

(13)

Step3：粒子執(zhí)行隨機(jī)行為：當(dāng)前粒子在視野范圍內(nèi)隨機(jī)選擇一個(gè)新粒子，然后向該粒子方向移動(dòng)，作為一種缺省行為，如式(14)；

(14)

雖然魚群優(yōu)化PSO可以尋優(yōu)初始優(yōu)化粒子，但是粒子群的移動(dòng)會(huì)改變所有位置的值，不會(huì)留存某些位置較優(yōu)的值。本文在尋優(yōu)初始優(yōu)化粒子基礎(chǔ)上，引入滑動(dòng)窗口機(jī)制優(yōu)化粒子群算法，尋找全局優(yōu)化粒子。

3.2 滑動(dòng)窗口優(yōu)化PSO算法

傳統(tǒng)PSO基于全維度向個(gè)體極值和群落全局最優(yōu)解的位置移動(dòng)，粒子群無(wú)法保留某些維對(duì)應(yīng)的優(yōu)良值，致使無(wú)法找到更好的優(yōu)化解?；瑒?dòng)窗口是通信領(lǐng)域中的一種流量控制技術(shù)，可用來(lái)控制網(wǎng)絡(luò)中的流量[15]。本文將滑動(dòng)窗口用于優(yōu)化粒子群移動(dòng)，通過(guò)限定粒子指定長(zhǎng)度的連續(xù)位置，控制粒子部分維度進(jìn)行移動(dòng)，能夠更精確地找到優(yōu)化解[16]。但如果初始粒子群不夠優(yōu)良，基于環(huán)形滑動(dòng)窗口的粒子群算法尋優(yōu)效果會(huì)受影響。本文在魚群思想優(yōu)化粒子群得到優(yōu)良粒子的基礎(chǔ)上，利用基于環(huán)形滑動(dòng)窗口的粒子群進(jìn)行搜索，環(huán)形滑動(dòng)窗口基本結(jié)構(gòu)如圖3：其中，1，2，…，n表示粒子的維數(shù)，本文中基于滑動(dòng)窗口的粒子群算法基本流程如下：

算法2：粒子群環(huán)形滑動(dòng)窗口算法

Step1：判定迭代次數(shù)d是否滿足d

圖3 環(huán)形滑動(dòng)窗口圖

3.3 魚群思想優(yōu)化PSO聯(lián)合滑動(dòng)窗口優(yōu)化PSO算法應(yīng)用于入侵檢測(cè)分類模型

綜上，將魚群思想優(yōu)化PSO和環(huán)形滑動(dòng)窗口優(yōu)化PSO算法相結(jié)合，該算法首先利用魚群思想優(yōu)化的PSO搜索初始優(yōu)化粒子，再利用滑動(dòng)窗口優(yōu)化的PSO對(duì)初始優(yōu)化粒子搜索找到全局優(yōu)化解。本文算法中粒子群大小均為n2，粒子中非零元素個(gè)數(shù)和隱含層個(gè)數(shù)一致，其中，魚群思想優(yōu)化的PSO中粒子群swarm中粒子的維度取決于n的大小，即聯(lián)合算法中第n次迭代的魚群思想優(yōu)化PSO中粒子群總維度就是n；環(huán)形滑動(dòng)窗口優(yōu)化的PSO中粒子群swarm2第i個(gè)粒子表示有l(wèi)ength個(gè)隱含層的網(wǎng)絡(luò)結(jié)構(gòu)，第i個(gè)粒子xi=[num(hi1)，num(hi2)，…，num(hilength)]，粒子速度vstepi=[vsi1，vsi2，…，vsilength]，length取決于初始優(yōu)化粒子的維度。本文算法基本流程如算法3：該算法中，魚群思想優(yōu)化PSO算法模仿學(xué)習(xí)了鳥群飛行過(guò)程，并利用魚群思想中的追尾、覓食、聚群行為豐富和優(yōu)化鳥群的飛行行為，有利于尋優(yōu)到效果較為良好的初始優(yōu)化解。將初始優(yōu)化解作為滑動(dòng)窗口優(yōu)化PSO的初始解，滑動(dòng)窗口優(yōu)化PSO算法中的滑動(dòng)窗口可以用來(lái)控制粒子中允許進(jìn)行飛行行為的維度，有利于保護(hù)效果較為良好的部分維度，并繼續(xù)對(duì)滑動(dòng)窗口范圍內(nèi)的維度進(jìn)行搜索，可以更精確有效地搜尋到效果較好的全局優(yōu)化解。

4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果

入侵檢測(cè)系統(tǒng)(intrusion detection system，IDS)通過(guò)對(duì)網(wǎng)絡(luò)上獲取的信息進(jìn)行分析處理，實(shí)現(xiàn)對(duì)攻擊行為的檢測(cè)，文獻(xiàn)[17]將DBN應(yīng)用于入侵檢測(cè)模型中，基于KDD CUP99數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)DBN性能優(yōu)于支持向量機(jī)(support vector machine，SVM)

算法3：魚群思想優(yōu)化PSO聯(lián)合滑動(dòng)窗口優(yōu)化PSO算法

輸入：訓(xùn)練集Trset，測(cè)試集Teset，粒子群的權(quán)值w，學(xué)習(xí)因子c1、c2，粒子最大速度vmax和最小速度vmin，聚群或覓食行為的試探次數(shù)trytimes，視野范圍Visual，移動(dòng)步長(zhǎng)Step，DBN隱含層最大寬度smax和最小寬度smin，魚群思想優(yōu)化PSO的最大迭代次數(shù)fmaxiter和環(huán)形滑動(dòng)窗口優(yōu)化PSO的最大迭代次數(shù)wmaxiter，迭代次數(shù)iter=0，iter2=0，窗口滑動(dòng)次數(shù)d=0，DBN隱含層數(shù)n=1，最大DBN隱含層數(shù)nmax

輸出：全局優(yōu)化極值gbest

Step1：若n≤nmax，跳到Step2，否則跳到Step9；

Step2：根據(jù)n值隨機(jī)初始化粒子群swarm，初始化swarm2為零矩陣，求解swarm的適應(yīng)度f(wàn)swarm，初始化pbest為swarm，初始化gbest為swarm中最優(yōu)適應(yīng)度粒子，并求其適應(yīng)度f(wàn)gbest，初始化第i個(gè)粒子pbest的極值記錄矩陣temppbesti和其適應(yīng)度f(wàn)temppbesti；

Step3：魚群優(yōu)化過(guò)程中，若當(dāng)前迭代次數(shù)iter≤fmaxiter，跳到Step4，否則跳到Step5；

Step4：更新粒子慣性權(quán)重，粒子群速度、位置及其適應(yīng)度，pbest和gbest及其適應(yīng)度。粒子群如算法1執(zhí)行聚群活動(dòng)算法，并記錄每個(gè)粒子的pbest到temppbest中，然后跳到Step3；

Step5：求解每個(gè)粒子temppbest的平均適應(yīng)度，選取temppbest平均適應(yīng)度最優(yōu)的粒子，將該粒子temppbest中適應(yīng)度最優(yōu)前n個(gè)pbest清除零元素后賦值給新的粒子群swarm2，并更新ftemppbest；

Step6：滑動(dòng)窗口優(yōu)化過(guò)程中，若當(dāng)前迭代次數(shù)iter2≤wmaxiter，跳到Step7，否則跳到Step8；

Step7：如式(3)更新粒子慣性權(quán)重w，如式(4)，(5)更新學(xué)習(xí)因子c1、c2，粒子群如算法2執(zhí)行基于環(huán)形滑動(dòng)窗口的PSO算法，然后跳到Step6；

Step8：將每次循環(huán)后得到的全局優(yōu)化粒子gbest當(dāng)作DBN在隱含層數(shù)為n的優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，并記錄下來(lái)，且令n=n+1，然后跳到Step1。

Step9：選取DBN隱含層數(shù)為n(n=1，2，…，nmax)中適應(yīng)度最優(yōu)的DBN隱含層結(jié)構(gòu)。

Step10：基于適應(yīng)度最優(yōu)的DBN隱含層結(jié)構(gòu)構(gòu)建DBN最終分類模型和人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)。

文獻(xiàn)[18]提出一種基于DBN和概率神經(jīng)網(wǎng)絡(luò)(probabilistic neural network，PNN)的入侵檢測(cè)模型，利用DBN模型對(duì)入侵?jǐn)?shù)據(jù)降維，并使用PNN對(duì)降維后的數(shù)據(jù)進(jìn)行分類，實(shí)驗(yàn)結(jié)果表明DBN-PNN分類性能優(yōu)于傳統(tǒng)PNN。其中，DBN的網(wǎng)絡(luò)結(jié)構(gòu)直接決定入侵檢測(cè)性能。雖然已有DBN應(yīng)用于入侵檢測(cè)的相關(guān)成果，但缺乏對(duì)DBN網(wǎng)絡(luò)結(jié)構(gòu)尋優(yōu)的研究，本文將第三章方法用于尋找DBN優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，然后構(gòu)建出DBN分類模型，將其應(yīng)用于IDS中，并取得了良好的實(shí)驗(yàn)效果。

4.1 KDD CUP99樣本數(shù)據(jù)集的選取

KDD CUP99數(shù)據(jù)集是網(wǎng)絡(luò)入侵檢測(cè)領(lǐng)域的標(biāo)準(zhǔn)數(shù)據(jù)集，其源于美國(guó)國(guó)防部高級(jí)計(jì)劃署DARPA的入侵檢測(cè)項(xiàng)目，由Lincoln實(shí)驗(yàn)室主持完成。雖然該數(shù)據(jù)集到目前已有近20年歷史，但其仍然反映了網(wǎng)絡(luò)中最基本的攻擊類型和攻擊特征，是入侵檢測(cè)領(lǐng)域的事實(shí)Benchmark，為基于計(jì)算智能的入侵檢測(cè)技術(shù)研究奠定了基礎(chǔ)[19]。因此，即使在當(dāng)前網(wǎng)絡(luò)環(huán)境下，該數(shù)據(jù)集也常被研究人員應(yīng)用在學(xué)術(shù)范圍內(nèi)檢驗(yàn)入侵檢測(cè)分類模型的優(yōu)劣。KDD CUP99數(shù)據(jù)集中每個(gè)網(wǎng)絡(luò)連接都標(biāo)記為正常和異常，異常類型分為Probe(掃描與探測(cè))、DoS(拒絕服務(wù)攻擊)、U2R(對(duì)本地超級(jí)用戶的非法訪問(wèn))和R2L(未經(jīng)授權(quán)的遠(yuǎn)程訪問(wèn))等4大類型，包含共39種攻擊類型。

本文選取的KDD CUP99樣本數(shù)據(jù)集如表1所示。

表1 KDD CUP99樣本數(shù)據(jù)集

4.2 數(shù)據(jù)預(yù)處理

深度信念網(wǎng)絡(luò)的輸入層神經(jīng)元中必須輸入浮點(diǎn)數(shù)，浮點(diǎn)數(shù)值的范圍是從0到1。預(yù)處理數(shù)據(jù)有兩個(gè)階段，如下所示：

1)特征的數(shù)值化。

使用新的編碼映射方法，可以將protocol_type特征映射到有序數(shù)字，例如協(xié)議類型：tcp=[1，0，0]，協(xié)議類型：udp=[0，1，0]，協(xié)議類型：icmp3=[0，0，1]。同樣，具有53個(gè)不同值的符號(hào)特征“service”和具有10個(gè)不同值的“flag”特征可以映射到有序數(shù)字。最后，41個(gè)特征被數(shù)字化為104個(gè)特征。

2)數(shù)字特征的歸一化。

為了消除每個(gè)特征的維數(shù)影響，必須對(duì)訓(xùn)練集和測(cè)試集進(jìn)行歸一化。根據(jù)下面的數(shù)據(jù)變換式(15)，在第一階段獲得的數(shù)據(jù)集

(15)

中的每個(gè)數(shù)值在范圍[0，1]上被歸一化。

其中，Yoriginal是一個(gè)數(shù)值，Ymin是屬于y特征的最小值，Ymax是屬于y特征的最大值。

4.3 參數(shù)設(shè)置

六種優(yōu)化算法公共參數(shù)如表2所示。本文算法非公共參數(shù)設(shè)置如下：設(shè)置權(quán)值wmax=0.9，wmin=0.4，學(xué)習(xí)因子c1=1.5，c2=1.0，聚群行為的試探次數(shù)Trytimes=5，視野范圍Visual=150，設(shè)置移動(dòng)步長(zhǎng)Step=5。設(shè)置循環(huán)次數(shù)fmaxiter略多于wmaxiter更有利于尋優(yōu)初始解，且不會(huì)影響尋優(yōu)全局優(yōu)化解，因此，設(shè)置本文循環(huán)次數(shù)fmaxiter=60，wmaxiter=40。其它優(yōu)化算法循環(huán)次數(shù)均設(shè)置為maxiter=100。

表2 六種優(yōu)化算法公共參數(shù)設(shè)置

4.4 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)的計(jì)算機(jī)操作系統(tǒng)為 Windows 10，處理器為Intel(R)Core(TM)i5-3230M 2.60 GHz，內(nèi)存為4GB，測(cè)試環(huán)境為Matlab 2014b。本文在4.3節(jié)參數(shù)條件下進(jìn)行實(shí)驗(yàn)，從尋優(yōu)到的DBN模型最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)、平均訓(xùn)練時(shí)間、平均檢測(cè)時(shí)間、平均分類準(zhǔn)確率、平均誤報(bào)率六個(gè)方面，對(duì)比了APSO[6]、CMPSO[20]、PSO[21]、本文算法的分支人工魚群算法優(yōu)化PSO(AFSA-PSO)和滑動(dòng)窗口優(yōu)化PSO算法，得到如下實(shí)驗(yàn)結(jié)果。

1)表3給出了六種優(yōu)化算法在10次相同實(shí)驗(yàn)尋優(yōu)到的網(wǎng)絡(luò)結(jié)構(gòu)中最佳DBN網(wǎng)絡(luò)結(jié)構(gòu)。從表3中發(fā)現(xiàn)，相較其它優(yōu)化算法，本文算法及其分支人工魚群優(yōu)化PSO算法得到的DBN模型最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)隱含層數(shù)只有四層，且隱含層節(jié)點(diǎn)總數(shù)至少，有利于提高入侵檢測(cè)中的檢測(cè)速度。

表3 六種優(yōu)化算法得到的DBN模型最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)

2)表4給出了六種優(yōu)化算法10次相同實(shí)驗(yàn)下尋優(yōu)到的網(wǎng)絡(luò)結(jié)構(gòu)平均訓(xùn)練時(shí)間以及最佳DBN網(wǎng)絡(luò)結(jié)構(gòu)的平均檢測(cè)時(shí)間，從圖4和圖5中發(fā)現(xiàn)，不同數(shù)據(jù)集中，相比其它模型，本文算法尋優(yōu)的最佳網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練時(shí)間增加了至多7.37%，但平均檢測(cè)時(shí)間降低了至少7.51%，至多54.96%，由此說(shuō)明，本文算法時(shí)間復(fù)雜度雖然略微提升，但卻能有效尋找到更優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。其中，AFSA-PSO算法得到的訓(xùn)練時(shí)間是最長(zhǎng)的，但是得到的檢測(cè)時(shí)間僅長(zhǎng)于本文算法；滑動(dòng)窗口優(yōu)化PSO得到的訓(xùn)練時(shí)間和檢測(cè)時(shí)間在優(yōu)化算法中均處于中等水平。本文算法將上述兩者相聯(lián)合進(jìn)行尋優(yōu)，雖然以提高一定訓(xùn)練時(shí)間為代價(jià)，但有利于獲取使得檢測(cè)時(shí)間更短的DBN網(wǎng)絡(luò)結(jié)構(gòu)。

圖4 六種優(yōu)化算法平均訓(xùn)練時(shí)間對(duì)比

圖5 六種優(yōu)化算法平均檢測(cè)時(shí)間對(duì)比

表4 六種優(yōu)化算法得到的平均訓(xùn)練時(shí)間和平均檢測(cè)時(shí)間

3)表5中給出了六種優(yōu)化算法得到的最佳DBN網(wǎng)絡(luò)結(jié)構(gòu)平均分類準(zhǔn)確率以及平均誤報(bào)率對(duì)比。從表5、圖6和圖7中發(fā)現(xiàn)：本文算法尋優(yōu)的最佳網(wǎng)絡(luò)結(jié)構(gòu)相比其它模型，平均分類準(zhǔn)確率增加至少0.924%，至多2.176%，平均誤報(bào)率降低了至少0.228%，至多0.864%，相較其它優(yōu)化算法，本文算法得到的平均分類準(zhǔn)確率高于其它算法，平均誤報(bào)率低于其它優(yōu)化算法。本文方法得到的DBN模型網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)于其它優(yōu)化算法，得到的DBN模型具有更高的平均分類準(zhǔn)確率、更低的平均誤報(bào)率，DBN模型的平均檢測(cè)時(shí)間更短。其中，AFSA-PSO算法得到的分類準(zhǔn)確率和評(píng)價(jià)誤報(bào)率在優(yōu)化算法中處于較高的水平；雖然滑動(dòng)窗口優(yōu)化PSO算法得到的訓(xùn)練時(shí)間和測(cè)試時(shí)間處于中等水平，但是得到的平均分類準(zhǔn)確率和誤報(bào)率處于較低水平。通過(guò)將上述兩者相聯(lián)合進(jìn)行優(yōu)化得到的本文算法，在實(shí)驗(yàn)測(cè)試中發(fā)現(xiàn)可以有效提升所得DBN網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建入侵檢測(cè)模型的性能。由此說(shuō)明，本文設(shè)計(jì)的算法中：人工魚群優(yōu)化PSO算法本身性能較為優(yōu)越，但有一定局限性，無(wú)法尋優(yōu)到更好的優(yōu)化解；滑動(dòng)窗口優(yōu)化PSO算法性能雖然一般，但在前置算法得到良好基礎(chǔ)解的情況下，有利于尋優(yōu)到更好的全局優(yōu)化解。

表5 六種優(yōu)化算法得到的平均分類準(zhǔn)確率和平均誤報(bào)率

圖6 六種優(yōu)化算法平均分類準(zhǔn)確率對(duì)比

圖7 六種優(yōu)化算法平均誤報(bào)率對(duì)比

5 結(jié)束語(yǔ)

DBN深度學(xué)習(xí)模型分類性能優(yōu)異，被廣泛應(yīng)用于語(yǔ)音識(shí)別、圖像識(shí)別等領(lǐng)域，其良好的分類性能也使其適用于入侵檢測(cè)中，而網(wǎng)絡(luò)結(jié)構(gòu)是決定DBN模型分類性能的關(guān)鍵之一，然而，公開(kāi)文獻(xiàn)中少見(jiàn)此類研究。本文提出的一種改進(jìn)粒子群聯(lián)合算法尋優(yōu)DBN網(wǎng)絡(luò)結(jié)構(gòu)算法，研究了1.DBN網(wǎng)絡(luò)結(jié)構(gòu)的具體尋優(yōu)方法；2.魚群思想在改進(jìn)粒子群算法搜索機(jī)制中的研究；3.滑動(dòng)窗口在改進(jìn)粒子群算法搜索機(jī)制中的研究；4.改進(jìn)粒子群聯(lián)合算法在網(wǎng)絡(luò)結(jié)構(gòu)尋優(yōu)中的應(yīng)用。本文尋優(yōu)到的最佳網(wǎng)絡(luò)結(jié)構(gòu)相比其它模型，訓(xùn)練時(shí)間增加了至多7.37%，但平均檢測(cè)時(shí)間降低了至少7.51%，至多54.96%，平均分類準(zhǔn)確率增加了至少0.924%，至多2.176%，平均誤報(bào)率降低了至少0.228%，至多0.864%，經(jīng)過(guò)實(shí)驗(yàn)表明，有效增加了平均分類準(zhǔn)確率，降低了平均檢測(cè)時(shí)間和平均誤報(bào)率。但是，本文方法是在有限隱含層范圍內(nèi)尋優(yōu)到效果良好的DBN網(wǎng)絡(luò)結(jié)構(gòu)，若DBN最大隱含層數(shù)設(shè)置過(guò)大，會(huì)使訓(xùn)練時(shí)間對(duì)適應(yīng)度造成較大影響，不利于尋優(yōu)到效果良好的DBN網(wǎng)絡(luò)結(jié)構(gòu)，下一步可以探究一種更合適的適應(yīng)度函數(shù)，拋去訓(xùn)練時(shí)間對(duì)于適應(yīng)度可能存在的過(guò)量影響，并在該結(jié)構(gòu)基礎(chǔ)上，改進(jìn)DBN網(wǎng)絡(luò)結(jié)構(gòu)上的權(quán)值或閾值參數(shù)，從而進(jìn)一步優(yōu)化基于DBN的入侵檢測(cè)分類模型。本文方法不僅適用于尋優(yōu)入侵檢測(cè)中DBN網(wǎng)絡(luò)結(jié)構(gòu)，還適應(yīng)于對(duì)其它非線性系統(tǒng)或?qū)崟r(shí)系統(tǒng)中深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的尋優(yōu)，在這些系統(tǒng)中，都存在對(duì)數(shù)據(jù)進(jìn)行檢測(cè)和分類的需求，因此，本文方法具有一定的普適性。