毛 羽， 毛 力， 楊 弘， 肖 煒

(1.輕工過程先進控制教育部重點實驗室 江南大學 物聯(lián)網(wǎng)工程學院，江蘇 無錫 214122；2.中國水產(chǎn)科學研究院 淡水漁業(yè)研究中心，江蘇 無錫 214081)

0 引 言

近年來，一種新型的前饋神經(jīng)網(wǎng)絡—極限學習機(extreme learning machine,ELM)被Huang G B等人提出[1～4]。由于ELM在訓練之前可以隨機產(chǎn)生連接權值以及閾值，克服了傳統(tǒng)前饋神經(jīng)網(wǎng)絡的不足。ELM因其較快的學習速度和優(yōu)良的泛化性能，引起了國內(nèi)外廣泛的研究和關注。ELM不僅僅適用于回歸、擬合問題，還適用于分類、模式識別等領域，因此,得到了廣泛的應用[5,6]。文獻[4]指出，為了達到理想的精度，需要設置大量的隱含層節(jié)點。為此有學者使用智能優(yōu)化算法結合ELM得到了很好的效果。

近年來，有學者使用了人工蜂群(artificial bee colony,ABC)算法對單隱含層前饋神經(jīng)網(wǎng)絡(single-hidden layer feedforward neural networks,SLFNs)的隱含層節(jié)點參數(shù)進行優(yōu)化。文獻[11]首次將ABC算法用于優(yōu)化神經(jīng)網(wǎng)絡的連接權值和閾值，并得到了較好的效果；文獻[12]使用了ABC算法對前饋神經(jīng)網(wǎng)絡的連接權值和閾值進行優(yōu)化；文獻[13]提出了ABC-反向傳播(back propagation,BP)算法將ABC算法和BP算法進行結合，先使用ABC算法對前饋神經(jīng)網(wǎng)絡的隱含層節(jié)點參數(shù)進行優(yōu)化，再使用BP算法對其進行微調(diào)。

本文在上述工作的基礎上，提出了一種改進的ABC優(yōu)化的極限學習機即差分進化與克隆算法改進人工蜂群優(yōu)化的極限學習機(differential evolution ABC-ELM,DECABC-ELM)算法，在ABC的基礎上，借鑒了差分進化(DE)算法的差分變異算子和免疫克隆算法的克隆擴增算子，ABC收斂速度慢、容易陷入局部最優(yōu)解的缺點進行了改進，并使用DECABC算法優(yōu)化SLFNs的隱含層節(jié)點參數(shù)，再使用Moore-Penrose(MP)廣義逆求得SLFNs的輸出權值。為了體現(xiàn)算法的有效性，將DECABC-ELM和文獻[8]中的自適應進化極限學習機(self-adaptive evolutionary ELM,SaE-ELM)，文獻[9]中的粒子群優(yōu)化極限學習機(particle swarm optimization ELM,PSO-ELM)，文獻[10]中的混合智能優(yōu)化算法(DEPSO-ELM)以及使用原始ABC算法優(yōu)化的ABC-ELM在分類數(shù)據(jù)集和回歸數(shù)據(jù)集上進行了對比，結果顯示DECABC-ELM的效果較好。

1 ELM

對于N個任意不同的訓練樣本集(xi,yi) ,i=1,2,…,N,xi∈Rd,yi∈Rm,則一個具有L個隱含層節(jié)點的前饋神經(jīng)網(wǎng)絡的輸出為

(1)

式中wj∈Rd為輸入層到隱含層節(jié)點i的連接權值；bj∈R為隱含層節(jié)點j的神經(jīng)元閾值；g(·)為隱含層節(jié)點的激活函數(shù)；g(wj·xi+bj)為第i個樣本在隱含層節(jié)點j的輸出；wj·xi為向量的內(nèi)積；βj為隱含層節(jié)點j和輸出層之間的連接權值。

不同于傳統(tǒng)的梯度下降迭代算法，Huang G B等人證明了[14]當隱含層節(jié)點個數(shù)與訓練集樣本數(shù)相等時，任給w和b，在具有g(·)為激活函數(shù)的SLFNs中，能夠以零誤差接近訓練樣本，即

(2)

這里設H為隱含層輸出矩陣，即H={hij}，hij=g(wj·xi+bj)，則式(1)可以表述如下

Hβ=T

(3)

由于w和b在訓練前可隨機選取，并且在訓練過程中保持不變，因此，隱含層輸出矩陣H為定值，根據(jù)式(3)，輸出權值矩陣 可以通過求其最小二乘解得到

(4)

式中H+為隱含層輸出矩陣的Moore-Penrose(MP)廣義逆。

2 ABC算法[15]

ABC算法的計算過程如下：

1)產(chǎn)生初始解：在初始化階段，產(chǎn)生SN個初始解

(5)

2) 雇傭蜂搜尋階段：從初始位置開始，每個雇傭蜂個體在當前位置的附近搜索新的蜜源，其更新公式

vi,j=xi,j+rand[-1,1](xi,j-xk,j)

(6)

式中vi,j為新的蜜源位置信息；xi,j為原蜜源位置信息；rand[-1,1]為取-1～1之間的隨機數(shù)；xk,j為第k個蜜源的j維信息，k∈{1,2,…，SN}且k≠i。

當雇傭蜂獲取到新的蜜源位置信息后，將計算蜜源的適應度值，如果新蜜源的比原蜜源適應度好，則采用新蜜源位置;否則，繼續(xù)采用原蜜源位置信息，且開采次數(shù)加1。

3) 跟隨蜂跟隨階段：跟隨蜂根據(jù)位置信息，依概率選擇適應度較高的蜜源信息，在雇傭蜂的基礎上產(chǎn)生一個變化的位置，去尋找新的蜜源。其概率選擇公式如下

(7)

式中fitness(xi)為第i個跟隨蜂的適應度值，Pi為第i個跟隨蜂被選擇的概率。一旦跟隨蜂被選擇，即按照式(6)進行位置更新操作。

4) 偵查蜂搜尋階段：當蜜源開采達到一定次數(shù)卻未改變適應度值時，雇傭蜂轉為偵查蜂并尋找新的蜜源位置，其搜索公式同式(5)。

3 DECABC-ELM

ELM的輸入層與隱含層之間連接權值w以及隱含層神經(jīng)元閾值b隨機生成，個別隱含層節(jié)點的作用非常小，造成ELM需要設置大量隱含層節(jié)點才能達到理想精度。為提高ELM的性能，本文提出了一種改進的ABC優(yōu)化算法來優(yōu)化連接權值w和閾值b。

在數(shù)學教學中，無論是數(shù)與代數(shù)、圖形與幾何，還是統(tǒng)計與概率等知識，處處蘊含著數(shù)形結合思想。教材借助幾何圖形的直觀來幫助學生理解抽象概念。生動形象的圖形使得抽象的知識變得趣味化、直觀化，學生在學習時，不再感到枯燥乏味，反而能從中獲得有趣的情感體驗，從而實現(xiàn)了主動探索，把握了概念本質(zhì)。

對于N個任意不同的維度為D的訓練樣本集，激活函數(shù)為g(·)的具有L個隱含層節(jié)點的ELM，DECABC-ELM的計算步驟如下：

1)初始化

按照式(5)產(chǎn)生SN個初始解，其中每個個體的編碼方式如下

根據(jù)ELM算法，編碼中wj,D維向量，每一維均為-1～1之間的隨機數(shù)j=1,…L為；bj為0～1之間的隨機數(shù)；G為蜂群的迭代次數(shù)。

2)雇傭蜂搜索階段

將DE算法中的差分變異算子和雇傭蜂搜索公式進行結合

vi,j=xi,j+rand[-1,1](xbest,j-xk,j+xl,j-xm,j)

(8)

式中xbest,j為當前蜂群最優(yōu)個體；xk,j，x1,j和xm,j為除當前個體外隨機選擇的其他3個不同的個體，即i≠k≠l≠m。每當雇傭蜂到達一個新的位置，將位置信息，即ELM的連接權值w和閾值b對訓練集進行驗證并得到適應度值，如果適應度值較高，則使用新的位置信息代替舊的位置信息。

將免疫克隆算法中的克隆擴增算子引入到跟隨蜂更新過程。

首先將跟隨蜂根據(jù)其適應度進行克隆，克隆的數(shù)目和其適應度成正比

(9)

式中Ni為第i個跟隨蜂的克隆數(shù)目；SN為群體數(shù)目；fitness(xi)為第i個跟隨蜂的適應度值。

根據(jù)式(7)選擇跟隨蜂的位置進行變化，變化公式同式(6)。

跟隨蜂位置信息變化后，通過新位置的濃度和適應度選出適應度較高的食物源。其中，適應度概率同式(7)，濃度概率以及選擇概率見式(10)、式(11)。

濃度概率計算

(10)

式中Ni為和第i個跟隨蜂適應度值相近的跟隨蜂數(shù)目；Ni/SN為適應度相近的跟隨蜂在群體中的數(shù)量比例；T為濃度閾值；HN為濃度大于T的跟隨蜂數(shù)目。

選擇概率計算

Pchoose(xi)=αPi(xi)+(1-α)Pd(xi)

(11)

利用輪盤賭的形式對新產(chǎn)生的跟隨蜂群體進行選擇，并和原食物源進行對比，如有改善，則替換原食物源。

4)偵查蜂搜尋階段

如果食物源信息在一定時間內(nèi)沒有更新，則將雇傭蜂轉換為偵查蜂，使用步驟(1)的方法重新生成該個體。

5)當?shù)螖?shù)到達設定或適應度值達到一定精度后，從最優(yōu)個體中提取出的ELM的連接權值w和閾值b，并使用測試集進行驗證。

4 仿真實驗

為驗證DECABC-ELM的效果，與SaDE-ELM，PSO-ELM，DEPSO-ELM和ABC-ELM分別在回歸和分類數(shù)據(jù)集上進行了對比實驗。所有的實驗中種群進化最大次數(shù)均設定為50次，種群規(guī)模SN為80。所有實驗均運行10次取均方根誤差或分類正確率的平均值和標準差作為實驗結果，最優(yōu)結果以粗體標出。

4.1 Sinc函數(shù)仿真實驗

5種算法通過擬合Sinc函數(shù)進行對比，Sinc函數(shù)的表達式如下

(12)

產(chǎn)生5 000個[-10,10]均勻分布的數(shù)據(jù)x，計算得到5 000個數(shù)據(jù)集{xi,f(xi)},i=1,…,5 000，再產(chǎn)生5 000個[-0.2,0.2]均勻分布的噪聲ε；令訓練集為{xi,f(xi)+εi},i=1,…,5 000，再產(chǎn)生另一組5 000個數(shù)據(jù)集{yi,f(yi)},i=1,…,5 000作為測試集。逐漸增加5種算法的隱含層節(jié)點數(shù)對函數(shù)進行擬合，其他參數(shù)參考文獻[8～10]中的參數(shù)設置，ABC-ELM和DECABC-ELM算法參數(shù)設置相同。結果如表1所示，可知隨著隱含層節(jié)點的增加，平均測試誤差和標準差逐漸減小，當隱含層節(jié)點過多時，會出現(xiàn)過擬合的情況。在大部分情況下，當隱含層節(jié)點數(shù)相同時，DECABC-ELM具有更小的平均測試誤差和標準差。

表1 Sinc函數(shù)擬合結果對比

4.2 回歸數(shù)據(jù)集仿真實驗

使用加州大學歐文分校的機器學習庫中的4個真實回歸數(shù)據(jù)集對5種算法的性能進行對比實驗,包括均方根誤差(RMSE)和標準差(Std.Dev.)。數(shù)據(jù)集名稱分別為：Auto MPG(MPG)，Computer Hardware(CPU)，Housing和Servo。

實驗過程中數(shù)據(jù)集中的數(shù)據(jù)被隨機分為訓練集和測試集，其中70 %作為訓練集，剩余30 %作為測試集。為減少各個變量差異較大的影響，在算法運行前先對數(shù)據(jù)進行歸一化處理，具有平均最優(yōu)RMSE的實驗結果被記錄在表2～表5中?？梢钥闯?，DECABC-ELM在所有的數(shù)據(jù)集擬合實驗中獲得了最小的RMSE，但在Auto MPG和Computer Hardware中，DECABC-ELM的Std.Dev.卻比其他算法差，即穩(wěn)定性有待提升。從訓練時間和隱層節(jié)點數(shù)上看，PSO-ELM和DEPSO-ELM收斂速度較快，且使用的隱含層節(jié)點數(shù)較少，但精度差于DECABC-ELM。綜合考慮，DEABC-ELM的性能較為優(yōu)越。

表2 Auto MPG擬合結果對比

表3 Computer Hardware擬合結果對比

表4 Housing擬合結果對比

表5 Servo擬合結果對比

4.3 分類數(shù)據(jù)集仿真實驗

使用加州大學歐文分校的機器學習庫。4個真實分類數(shù)據(jù)集名稱分別為：Blood Transfusion Service Center(Blood)，Ecoli，Iris和Wine。與分類數(shù)據(jù)集相同，實驗數(shù)據(jù)中70 %作為訓練集，30 %作為測試集，具有最優(yōu)分類率的實驗結果被記錄在表6～表9中。

表6 Blood分類結果對比

表7 Ecoli分類結果對比

表8 Iris分類結果對比

由表可以看出，在4種分類數(shù)據(jù)集中DECABC-ELM均取得了最高分類正確率。但DECABC-ELM在穩(wěn)定性上依然不夠理想。DECABC-ELM算法較PSO-ELM，DEPSO-ELM和ABC-ELM 3種算法用時更長，較SaE-ELM短。相較于其他算法，DECABC-ELM使用了較少的隱含層節(jié)點即可達到較高的分類正確率。綜上，DECABC-ELM的性能較優(yōu)。

5 結束語

通過引入差分進化算法的差分變異算子和免疫克隆算法的克隆擴增算子，改進了人工蜂群收斂速度慢、易于陷入局部最優(yōu)解等缺點，從而能夠快速求出ELM的接權值w和閾值b，優(yōu)化ELM使其擁有了更好的計算速度和精度。提出的DECABC-ELM算法分別在分類和回歸數(shù)據(jù)集上進行了驗證，并獲得了良好的效果。如何提高算法的穩(wěn)定性是下一步要研究的內(nèi)容。

參考文獻:

[1] Wang L,Ren T,Nie B,et al.Development of a spontaneous combustion TARPs system based on BP neural network[J].International Journal of Mining Science and Technology,2015,25(5):803-810.

[2] Ji T,Lu S,Tang M,et al.Application of BP neural network model in fracturing productivity prediction of Fuyu tight oil reservoir in Jilin oilfield[J].Acta Geologica Sinica:English Edition,2015,89(s1):154-155.

[3] Wu Z Q,Jia W J,Zhao L R,et al.Maximum wind power tracking based on cloud RBF neural network[J].Re-newable Energy,2016,86:466-472.

[4] Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:Theory and applications[J].Neurocomputing,2006,70(1):489-501.

[5] 楊 勤,董洪偉,薛燕娜.核多元基因選擇和極限學習機在微陣列分析中的應用[J].傳感器與微系統(tǒng),2016,35(5):146-148.

[6] 許夢陽,黃金泉,潘慕絢.用于航空發(fā)動機動態(tài)辨識的MSMEA-ELM算法[J].傳感器與微系統(tǒng),2016,35(12):1-4.

[7] Zhu Q Y,Qin A K,Suganthan P N,et al.Evolutionary extreme learning machine[J].Pattern Recognition,2005,38(10):1759-1763.

[8] Cao J,Lin Z,Huang G B.Self-adaptive evolutionary extreme learning machine[J].Neural Processing letters,2012,36(3):285-305.

[9] 王 杰,畢浩洋.一種基于粒子群優(yōu)化的極限學習機[J].鄭州大學學報:理學版,2013,45(1):100-104.

[10] 林梅金,羅 飛,蘇彩紅,等.一種新的混合智能極限學習機[J].控制與決策,2015,30(6):1078-1084.

[11] Huang G B,Chen L,Siew C K.Universal approximation using incremental constructive feedforward networks with random hidden nodes[J].IEEE Transactions on Neural Networks,2006,17(4):879-892.

[12] Karaboga D.An idea based on honey bee swarm for numerical optimization[R].Erciyes:Erciyes University,2005.

[13] Karaboga D,Akay B,Ozturk C.Modeling decisions for artificial intelligence[M].Berlin Heidelberg:Springer,2007:318-329.

[14] Karaboga D,Ozturk C.Neural networks training by artificial bee colony algorithm on pattern classification[J].Neural Network World,2009,19(3):279-292.

[15] Sarangi P P,Sahu A,Panda M.Intelligent computing,networking,and informatics[M].India:Springer,2014:511-519.