劉 唐，周創(chuàng)明，周 煒，王曉丹

（1.解放軍31436 部隊(duì)，沈陽(yáng) 110000；2.空軍工程大學(xué)防空反導(dǎo)學(xué)院，西安 710051；3.西安財(cái)經(jīng)大學(xué)行知學(xué)院，西安 710038）

0 引言

人工神經(jīng)網(wǎng)絡(luò)因其具有很強(qiáng)的記憶力和魯棒性而被眾多領(lǐng)域廣泛應(yīng)用。極限學(xué)習(xí)機(jī)［1］是一種快速學(xué)習(xí)的單隱層前饋神經(jīng)網(wǎng)絡(luò)，隱層輸入權(quán)值和偏置根據(jù)輸入節(jié)點(diǎn)和隱層節(jié)點(diǎn)數(shù)隨機(jī)生成，根據(jù)隱層輸入權(quán)值和偏置求得隱層輸出矩陣。盡管極限學(xué)習(xí)機(jī)與標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)相比有很多的優(yōu)點(diǎn)，但是并不能滿足人們對(duì)精度更高和速度更快的需要，因此，很多優(yōu)化的ELM 算法出現(xiàn)。例如小波核極限學(xué)習(xí)機(jī)、粒子群極限學(xué)習(xí)機(jī)、蟻群優(yōu)化極限學(xué)習(xí)機(jī)、人工蜂群算法優(yōu)化極限學(xué)習(xí)機(jī)等［2］，優(yōu)化了極限學(xué)習(xí)機(jī)的分類性能或極限學(xué)習(xí)機(jī)的隱層節(jié)點(diǎn)。

受煙花在空中爆炸產(chǎn)生火花，照亮臨近的天空并構(gòu)造出美麗的圖案這一現(xiàn)象的啟發(fā)，譚營(yíng)［3］等在首屆國(guó)際群體智能大會(huì)上提出了煙花算法。煙花算法是一種由爆炸產(chǎn)生火花的群體優(yōu)化算法，它具有局部探索能力和全局搜索能力，是一種求解復(fù)雜問(wèn)題最優(yōu)解的高效方法。因此，煙花算法在許多領(lǐng)域都有應(yīng)用［4-5］。

極限學(xué)習(xí)機(jī)的隱層輸入權(quán)值和偏置隨機(jī)生成可能使誤報(bào)率較大，并導(dǎo)致使用許多無(wú)效隱層節(jié)點(diǎn)。因此，為了得到更高的精度和更好的泛化性能，提出了基于改進(jìn)的煙花算法的ELM 分類模型，并通過(guò)實(shí)驗(yàn)驗(yàn)證，結(jié)果表明：改進(jìn)煙花算法極限學(xué)習(xí)機(jī)（IFWAELM）具有更高的精度、更好的泛化性能，同時(shí)所需的隱層節(jié)點(diǎn)數(shù)更少。

1 極限學(xué)習(xí)機(jī)

以上N 個(gè)方程的矩陣形式可寫(xiě)為

式中：

H 為隱層輸出矩陣，H 的第i 行表示全部隱層節(jié)點(diǎn)與輸入xi相關(guān)的輸出。

ELM 算法對(duì)輸入權(quán)值wi和偏置bi的值采取隨機(jī)設(shè)置，在輸入樣本集（xj，y）j，j=1，2，…，N 給定的情況下，隱層輸出矩陣H 也被確定了，Y 從而求得符合以下條件的學(xué)習(xí)參數(shù)：

由上式得到的解為最小范數(shù)二乘解：

式中：H+為H 的Moore-Penrose 廣義逆。

2 煙花算法

煙花算法是一種模擬煙花爆炸過(guò)程的新型群體智能優(yōu)化算法，與一般的群智能算法類似，對(duì)于一個(gè)優(yōu)化問(wèn)題，經(jīng)過(guò)多次迭代搜索求得最優(yōu)解，具體描述過(guò)程參考文獻(xiàn)［4］。煙花算法主要有爆炸算子、變異算子、映射規(guī)則和選擇策略4 部分組成，爆炸算子主要由爆炸半徑、爆炸火花數(shù)、爆炸強(qiáng)度等組成；變異算子一般選擇高斯變異［8-9］，選擇策略有隨機(jī)選擇和基于距離選擇等。

煙花算法具有局部探索能力和全局搜索能力自動(dòng)調(diào)節(jié)功能，其中單個(gè)煙花的爆炸火花數(shù)和爆炸半徑是不同的，適應(yīng)度值低的煙花爆炸半徑小，在其周?chē)哂懈蟮耐诰蚰芰Γ贿m應(yīng)度值高的煙花爆炸半徑大，在全局范圍具有更大的搜索能力［10］。初始化每個(gè)煙花的爆炸半徑Ri和爆炸火花數(shù)Si的公式分別為：

為了避免適應(yīng)度值高的煙花爆炸產(chǎn)生過(guò)少的火花，同時(shí)限制適應(yīng)度值低的不會(huì)產(chǎn)生太多的火花［3］，對(duì)每個(gè)煙花產(chǎn)生火花數(shù)進(jìn)行如下限制：

式中：a、b 是兩個(gè)給定常數(shù)，round（·）是取整函數(shù)。

3 改進(jìn)煙花算法的ELM 分類模型

針對(duì)極限學(xué)習(xí)機(jī)隨機(jī)生成的隱層輸入權(quán)值和偏置可能只有很少部分是較優(yōu)的，更多的是較差的，更可能造成誤報(bào)率過(guò)大，導(dǎo)致使用更多無(wú)效隱層節(jié)點(diǎn)。本文提出了改進(jìn)煙花算法極限學(xué)習(xí)機(jī)。改進(jìn)煙花算法（IFWA）是一種新型群體智能優(yōu)化算法，在提高精度的同時(shí)有很強(qiáng)收斂性、魯棒性和穩(wěn)定性。IFWA 通過(guò)多次迭代搜索求解出最優(yōu)的隱層輸入權(quán)值和偏置，然后訓(xùn)練極限學(xué)習(xí)機(jī)得到分類模型。

3.1 算法改進(jìn)

3.1.1 自適應(yīng)動(dòng)態(tài)爆炸半徑

在動(dòng)態(tài)搜索煙花算法中煙花種群被分為核心煙花（core fireworks）和非核心煙花（non-core fireworks），核心煙花就是目前煙花種群中適應(yīng)度值最低的煙花。非核心煙花的爆炸半徑用式（5）計(jì)算，核心煙花xc的爆炸半徑用Rc表示，計(jì)算如下：

式中：Ca、Cr是兩個(gè)調(diào)整變量，分別用來(lái)增加和減小爆炸半徑；t 為當(dāng)前迭代次數(shù)為新的最優(yōu)火花個(gè)體。

針對(duì)動(dòng)態(tài)搜索煙花算法面對(duì)多峰問(wèn)題時(shí)可能陷入局部最優(yōu)，導(dǎo)致算法提前收斂的問(wèn)題，提出在算法中增加一個(gè)產(chǎn)生火花的自調(diào)節(jié)算子。自調(diào)節(jié)算子利用搜索過(guò)程中的歷史成功信息和最優(yōu)的煙花位置來(lái)學(xué)習(xí)總結(jié)。具體如下：

式中：xbest為目前最優(yōu)煙花位置；z 是記憶因子，用于調(diào)節(jié)新生火花與目前最優(yōu)煙花間距，其使煙花向種群中最好煙花個(gè)體學(xué)習(xí)并向歷史最優(yōu)煙花位置逼近，其產(chǎn)生如下：

式中：randz（a，b）是位置、尺度參數(shù)分別為a、b 的柯西分布；rand 為服從均勻分布的隨機(jī)數(shù)［11］。p 是變量，計(jì)算如下：

式中：t1、t2分別為大參數(shù)、小參數(shù)時(shí)，柯西分布產(chǎn)生c 的次數(shù)；p 初始值取0.6，每迭代T 次更新一次，即對(duì)這次迭代過(guò)程進(jìn)行學(xué)習(xí)總結(jié)。由于記憶因子是向歷史最優(yōu)煙花學(xué)習(xí)生成的，為后面的求解提供了更優(yōu)的候選解和更佳的尋優(yōu)方向，增強(qiáng)了算法全局的魯棒性和穩(wěn)定性。

3.1.2 變異算子生成策略

在FWA 中高斯變異算子采用隨機(jī)選取原則，這使得生成更優(yōu)煙花的幾率降低。為提高生成更優(yōu)煙花的幾率并且讓變異具有更好的方向性，選擇目前種群最優(yōu)煙花作為變異對(duì)象，變異公式如下：式中：xk是變異煙花個(gè)體的第k 個(gè)分量；x（best，k）是目前種群最優(yōu)煙花的第k 個(gè)分量；g～N（0，1），q 是高斯變異概率，反映種群中最優(yōu)煙花對(duì)變異后火花產(chǎn)生的作用大小。作用越小，其值越大。作用越大，其值越?。?］。具體取值根據(jù)實(shí)驗(yàn)具體情況而定。

3.1.3 映射規(guī)則

產(chǎn)生的一些火花可能超出邊界，為解決這一情況，提出如下映射規(guī)則來(lái)處理超出邊界的火花：

式中：xik為第i 個(gè)煙花的第k 維分量位置；x（lb，k）、x（ub，k）分別表示煙花第k 維分量位置的下界和上界。

3.1.4 精英選擇策略

在FWA 中采用的是基于距離的選擇策略，增加選擇多樣性的同時(shí)也增加了算法的迭代時(shí)間。為加快選擇速度，采用精英選擇策略，在候選集K（煙花種群、爆炸火花）中按下式概率選擇：

易知，適應(yīng)度值越低的個(gè)體，被選中的概率越大，反之則概率越小。特別地，適應(yīng)度值最低（即目前最優(yōu)）的個(gè)體被選中的概率為1，如果按此方法選出的數(shù)不夠N 個(gè)，則在候選集中采用輪盤(pán)賭方法選取足夠個(gè)填補(bǔ)。

3.2 算法描述

利用原始ELM 求出隱層輸出權(quán)值（選用效果較好的Sigmoid 作為激勵(lì)函數(shù)），并以訓(xùn)練樣本集求得的均方根誤差（RMSE）為IFWA 的適應(yīng)度值函數(shù)。算法的維度大小取n=h（d+1），h 是輸入神經(jīng)元個(gè)數(shù)，d 是隱層節(jié)點(diǎn)數(shù)［12］。算法中參數(shù)設(shè)為r=36，m=56，a=0.05，b=0.7。IFWAELM 算法流程如圖1：

圖1 IFWAELM 算法流程圖

IFWAELM 算法具體過(guò)程如下：

1）初始化隨機(jī)生成N 個(gè)煙花，設(shè)定初始迭代次數(shù)i=1；

2）根據(jù)適應(yīng)度值函數(shù)計(jì)算每一個(gè)煙花的適應(yīng)度值；

3）使用式（5）計(jì)算非核心煙花的爆炸半徑，使用式（8）～式（11）計(jì)算核心煙花的爆炸半徑；

4）使用式（6）和式（7）計(jì)算每個(gè)煙花產(chǎn)生的爆炸火花數(shù)Si；

5）選擇目前種群最優(yōu)煙花使用式（12）進(jìn)行高斯變異操作，并選出最優(yōu)火花，使用式（13）把超出邊界的火花映射到可行域內(nèi)；

6）計(jì)算所有火花的適應(yīng)度值（包括爆炸火花和變異火花）；

7）使用式（14）從候選集K 中最合適的N 個(gè)個(gè)體作為下一代煙花；

8）令i=i+1，判斷是否達(dá)到結(jié)束條件，如果沒(méi)達(dá)到則返回2）繼續(xù)進(jìn)行。

根據(jù)上面算法求得最優(yōu)的煙花個(gè)體，即最優(yōu)的隱層輸入權(quán)值和偏置，代入得到輸出權(quán)值矩陣，根據(jù)ELM 的式（3）和式（4）求得符合條件的學(xué)習(xí)訓(xùn)練參數(shù)。

4 實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)采取的數(shù)據(jù)為美國(guó)國(guó)防部高級(jí)研究規(guī)劃署（DARPA）在1999 年KDD 競(jìng)賽所供給的入侵檢測(cè)系統(tǒng)評(píng)估的數(shù)據(jù)［13］。數(shù)據(jù)集含有一個(gè)標(biāo)明入侵攻擊類型的標(biāo)識(shí)屬性，一共有23 種類型，Normal 為正常的網(wǎng)絡(luò)活動(dòng)，其他22 種（Smurf、Back、Neptune等）為入侵行為［14］。將其映射為5 大類型，即Normal、DoS、R2L、U2R 和Probing。實(shí)驗(yàn)數(shù)據(jù)需要進(jìn)行數(shù)據(jù)預(yù)處理和數(shù)據(jù)劃分。

所采用的學(xué)習(xí)訓(xùn)練數(shù)據(jù)集（Kddcup10per）共有494 021 條記錄，其中標(biāo)記為Normal 的有97 278 條記錄，占19.6%，而攻擊記錄396 743 條，占80.4%。測(cè)試數(shù)據(jù)集共有311 029 條記錄。

此數(shù)據(jù)集中有41 個(gè)特征屬性，其中34 個(gè)特征屬性為數(shù)值型變量、4 個(gè)為二元變量、3 個(gè)為標(biāo)稱變量（屬性及其意義見(jiàn)文獻(xiàn)［13］）。在實(shí)驗(yàn)檢測(cè)過(guò)程中發(fā)現(xiàn)，并不是所有的特征屬性都對(duì)入侵檢測(cè)有幫助，有些特征屬性甚至?xí)档捅鎰e率。根據(jù)文獻(xiàn)［15］，屬性約簡(jiǎn)后如表1：

表1 特征屬性約簡(jiǎn)

此外，原始數(shù)據(jù)中有34 個(gè)數(shù)值屬性，但每個(gè)屬性的取值范圍卻大不相同，所以，對(duì)數(shù)據(jù)進(jìn)行規(guī)范化處理，將其規(guī)范化到區(qū)間［-1，+1］。采用如下公式：

規(guī)范化后，upper 為上界，取+1；lower 為下界，取-1；max（fi），min（fi）分別表示屬性fi的最大值和最小值。

數(shù)據(jù)劃分即把原始數(shù)據(jù)分成學(xué)習(xí)訓(xùn)練樣本集和測(cè)試樣本集。學(xué)習(xí)訓(xùn)練樣本集是從原始學(xué)習(xí)訓(xùn)練數(shù)據(jù)集隨機(jī)抽取出來(lái)的10 000 條數(shù)據(jù)；測(cè)試樣本集是從原始測(cè)試樣本集中隨機(jī)抽取出來(lái)的10 000 條數(shù)據(jù)，包括Normal 數(shù)據(jù)5 182 條、DoS 攻擊3 869條、R2L 攻擊276 條、U2R 攻擊71 條、Probing 攻擊602 條［16］。

4.1 隱層節(jié)點(diǎn)數(shù)分析

理論上，隨著迭代次數(shù)增加到一定后，誤報(bào)率降低程度變得十分微小，學(xué)習(xí)訓(xùn)練時(shí)間卻依舊增大。因此，迭代次數(shù)不宜取太大。設(shè)IFWAELM 的迭代次數(shù)為30，對(duì)實(shí)驗(yàn)結(jié)果去掉一個(gè)最低和一個(gè)最高后取平均值（下同）。分析隱層節(jié)點(diǎn)數(shù)對(duì)原始ELM、FWAELM 和IFWAELM 的影響，結(jié)果如圖2。

圖2 隱層節(jié)點(diǎn)數(shù)的影響對(duì)比

由圖2 易知，在相同的迭代次數(shù)時(shí)，IFWAELM比原始ELM 和FWAELM 都先收斂到最小值，并且IFWAELM 在測(cè)試誤報(bào)率到最小值時(shí)的隱層節(jié)點(diǎn)數(shù)為8，而ELM 和FWAELM 的測(cè)試誤報(bào)率到最小值時(shí)隱層節(jié)點(diǎn)數(shù)分別為18 和10。易得在測(cè)試誤報(bào)率取最小值時(shí)，IFWAELM 比原始ELM 和FWAELM分別少用10 個(gè)和2 個(gè)隱層節(jié)點(diǎn)。更有IFWAELM 比原始ELM 和FWAELM 能達(dá)到的最小測(cè)試誤報(bào)率分別降低了72.22%和61.21%，在隱層節(jié)點(diǎn)數(shù)逐漸增長(zhǎng)到60 的過(guò)程中，ELM 的測(cè)試誤報(bào)率先減小后趨于穩(wěn)定。IFWAELM 和FWAELM 分別在隱層節(jié)點(diǎn)數(shù)為8 和10 時(shí)，收斂到最小值后，直到60 的過(guò)程中基本保持穩(wěn)定狀態(tài)。

4.2 迭代次數(shù)分析

設(shè)IFWAELM 的隱層節(jié)點(diǎn)數(shù)為8，迭代次數(shù)為i=1，4，…，40。分析迭代次數(shù)對(duì)IFWAELM 的影響，結(jié)果如圖3。由圖易知，IFWAELM 的訓(xùn)練誤報(bào)率和測(cè)試誤報(bào)率都隨著迭代次數(shù)的增加而減少，最后趨于平穩(wěn)狀態(tài)。此外，由于迭代次數(shù)的增加會(huì)使學(xué)習(xí)訓(xùn)練時(shí)間增加，所以考慮測(cè)試誤報(bào)率降低程度十分微小的情況，設(shè)IFWAELM 的最佳迭代次數(shù)為21。綜上所述，IFWAELM 的隱層節(jié)點(diǎn)數(shù)取8，迭代次數(shù)取21。

4.3 算法性能分析

在對(duì)隱層節(jié)點(diǎn)數(shù)和迭代次數(shù)分析的基礎(chǔ)上，我們還將IFWAELM 和FWAELM、ELM、BP 及SVM 的性能作了對(duì)比。設(shè)IFWAELM 的隱層節(jié)點(diǎn)數(shù)為8，迭代次數(shù)為21。設(shè)FWAELM 的隱層節(jié)點(diǎn)數(shù)為10，迭代次數(shù)為23。設(shè)ELM 的隱層節(jié)點(diǎn)數(shù)為100，重復(fù)運(yùn)行100 次后，取平均值。激勵(lì)函數(shù)選用效果較好的Sigmoid 函數(shù)。BP 采用matlab 自帶的工具箱函數(shù)來(lái)學(xué)習(xí)訓(xùn)練，SVM 的參數(shù)采用交叉驗(yàn)證來(lái)完成［17-19］，實(shí)驗(yàn)結(jié)果如表2：

圖3 迭代次數(shù)對(duì)IFWAELM 誤報(bào)率的影響

表2 算法性能對(duì)比

從表2 可以看出，IFWAELM 算法的測(cè)試平均正確率相比BP 算法高出11.33%，比其他算法也都高出幾個(gè)百分點(diǎn)。訓(xùn)練誤報(bào)率和測(cè)試誤報(bào)率也是5種算法中最低的，測(cè)試誤報(bào)率相比其他算法更是低一個(gè)數(shù)量級(jí)。在這5 種算法性能對(duì)比中，IFWAELM性能最好。IFWAELM 只用8 個(gè)隱層節(jié)點(diǎn)就超越了ELM 用100 個(gè)隱層節(jié)點(diǎn)的測(cè)試平均正確率，并且達(dá)到更低的訓(xùn)練誤報(bào)率和測(cè)試誤報(bào)率。相對(duì)于FWAELM，IFWAELM 也在使用更少的隱層節(jié)點(diǎn)和迭代次數(shù)情況下，取得了更好的效果。與BP 和SVM相比，測(cè)試平均正確率和誤報(bào)率更是優(yōu)勢(shì)明顯。

5 結(jié)論

本文在ELM 的基礎(chǔ)上提出了改進(jìn)煙花算法優(yōu)化極限學(xué)習(xí)機(jī)的分類模型。該方法利用改進(jìn)煙花算法優(yōu)化極限學(xué)習(xí)機(jī)的隱層輸入權(quán)值和偏置，綜合了改進(jìn)煙花算法和極限學(xué)習(xí)機(jī)的優(yōu)點(diǎn)。通過(guò)實(shí)驗(yàn)驗(yàn)證表明：IFWAELM 達(dá)到最小測(cè)試誤報(bào)率比原始ELM和FWAELM 所用隱層節(jié)點(diǎn)數(shù)更少，并且IFWAELM比原始ELM 和FWAELM 能達(dá)到更小的測(cè)試誤報(bào)率。迭代次數(shù)和學(xué)習(xí)訓(xùn)練時(shí)間成正比。最后5 種同類算法的性能對(duì)比，IFWAELM 在測(cè)試平均正確率和誤報(bào)率等方面都是最優(yōu)的。雖然IFWAELM 比FWAELM 的學(xué)習(xí)訓(xùn)練時(shí)間有所減少，但是與原始ELM 相比，IFWAELM 的學(xué)習(xí)訓(xùn)練時(shí)間還是很長(zhǎng)，這是下一步需要研究的方向。