韋鵬宇，潘福成，李 帥

1.無錫中科泛在信息技術(shù)研發(fā)中心有限公司，江蘇 無錫 214135

2.中國科學(xué)院大學(xué)，北京 100049

3.中國科學(xué)院 沈陽自動化研究所，沈陽 110016

4.中國科學(xué)院 物聯(lián)網(wǎng)研究發(fā)展中心，江蘇 無錫 214135

1 引言

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)[1]是按照誤差反向傳播進(jìn)行訓(xùn)練的多層前饋（Multilayer feed-forward）神經(jīng)網(wǎng)絡(luò),是應(yīng)用最廣泛的人工神經(jīng)網(wǎng)絡(luò)模型。但是BP神經(jīng)網(wǎng)絡(luò)尚有如下不足：（1）BP算法是隨機(jī)梯度下降算法[2]，全局搜索能力差，容易陷入局部最優(yōu)；（2）BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值是隨機(jī)而來[3]，進(jìn)而造成結(jié)果波動范圍比較大，魯棒性低。

為了克服這些缺點，諸多學(xué)者引入群智能算法對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了改進(jìn)，有代表性的是蟻群算法[4]（Ant Colony Optimization，AOC）、粒子群算法[5]（Particle Swarm Optimization，PSO）和遺傳算法[6]（Genetic Algorithm，GA）。但是它們存在許多缺點，其中ACO算法尋優(yōu)比較盲目，收斂速度慢；由于信息素更新能力有限，算法容易陷入局部最優(yōu)解；當(dāng)問題規(guī)模增大時，算法效率明顯下降；PSO算法在迭代后期難以保持種群多樣性，容易陷入局部最優(yōu)解，且搜索精度不高；GA算法易早熟收斂，在迭代后期收斂速度慢。

人工蜂群[7]（Artificial Bee Colony，ABC）算法是由Karaboga在2005年比較系統(tǒng)地提出的，它是一種基于蜜蜂采蜜行為的優(yōu)化算法，其主要優(yōu)點是全局尋優(yōu)能力強(qiáng)；能利用蜜蜂之間尋優(yōu)的正反饋機(jī)制均有效加快全局尋優(yōu)過程，尤其適用于求解組合優(yōu)化和連續(xù)優(yōu)化以及復(fù)雜的優(yōu)化問題[8]。然而，標(biāo)準(zhǔn)ABC算法存在局部探索能力較差，開發(fā)能力弱等問題。

針對神經(jīng)網(wǎng)絡(luò)和人工蜂群的缺點，本文提出一種基于改進(jìn)人工蜂群和誤差反向傳播的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法——IABC-BP（Improved Artificial Bee Colony and Back Propagation）。首先，根據(jù)跟隨蜂到某一位置后，先在附近尋找最優(yōu)蜜源這一習(xí)性來增強(qiáng)局部探索能力。其次，用全局最優(yōu)來引導(dǎo)跟隨蜂的搜索軌跡，增強(qiáng)開發(fā)能力。最后，用改進(jìn)的人工蜂群全局搜索神經(jīng)網(wǎng)絡(luò)的初始權(quán)重，防止神經(jīng)網(wǎng)絡(luò)陷入局部最優(yōu)。用新的方法對神經(jīng)網(wǎng)絡(luò)訓(xùn)練進(jìn)行分類，實驗結(jié)果表明，該算法相對于標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)，有效提高了分類正確率，泛化能力較強(qiáng)。

2 人工蜂群算法原理及改進(jìn)

2.1 人工蜂群算法

人工蜂群算法在求解最小值優(yōu)化問題時,將優(yōu)質(zhì)蜜源的位置抽象成優(yōu)化問題的可行解，人工蜂群尋找蜜源的過程就是算法搜尋最優(yōu)解的過程。該算法把人工蜂群分為雇傭蜂、跟隨蜂和偵查蜂3種角色，群體的一半由雇傭蜂構(gòu)成，另一半由跟隨蜂構(gòu)成，每一處蜜源僅僅有一個雇傭蜂，偵查蜂由進(jìn)化停滯的雇傭蜂轉(zhuǎn)化而來，蜜源的含蜜量則對應(yīng)優(yōu)化問題的適應(yīng)度值，算法通過三種蜜蜂之間的相互協(xié)作來實現(xiàn)對最優(yōu)蜜源的搜索過程。蜂群的搜索過程如下。

（1）初始化：設(shè)ABC算法生成了SN個解，每個解Xi(i=1,2,…,SN)是一個D維向量，每個可行解對應(yīng)一個蜜源。蜜源i的初始值依照式（1）在搜索空間隨機(jī)產(chǎn)生。

其中，xij∈(Lmin,Lmax)，Lmin和Lmax分別表示搜索空間的最小值和最大值 j∈(1 ,2,…,D )。

（2）雇傭蜂負(fù)責(zé)全局搜索：依次對雇傭蜂中每個蜜源進(jìn)行更新操作，即隨機(jī)選擇蜜源Xi中任意的一維分量按式（2）進(jìn)行變異，產(chǎn)生新蜜源。

其中，Xk是隨機(jī)選取的一個蜜源，k∈(1 ,2,…,SN ) ；j∈(1 ,2,…,D )是隨機(jī)選取的，且k≠i；φ∈[- 1,1]是控制搜索步長的隨機(jī)數(shù)。在產(chǎn)生新的候選蜜源后，計算其適應(yīng)度。雇傭蜂采用貪婪原則在和xij之間進(jìn)行選擇：如果新蜜源的適應(yīng)度值高于原蜜源xij，則以替換 xij，否則保持 xij不變，并且記錄 xij的更新失敗次數(shù)加1。

（3）跟隨蜂局部搜索：當(dāng)雇傭蜂搜索完成后，它們把蜜源信息分享給跟隨蜂，跟隨蜂根據(jù)花蜜量，按照概率pi選擇蜜源位置，選定蜜源之后，在其附近按照式（2）搜索出新的蜜源，并根據(jù)貪婪原則選擇蜜源。

其中，fit(Xi)為蜜源i的適應(yīng)度，f(x)是人工蜂群優(yōu)化的目標(biāo)函數(shù)。

（4）偵查蜂處理進(jìn)化失敗的蜜源：如果某個解Xi經(jīng)過指定的limit次循環(huán)沒有得到改善,則該解對應(yīng)的雇傭蜂轉(zhuǎn)變?yōu)閭刹榉?通過式（1）產(chǎn)生一個新解來代替該解，并計算它的適應(yīng)度。然后返回到雇傭蜂階段，開始下一輪迭代。

2.2 改進(jìn)的人工蜂群算法

實際的蜜蜂采蜜過程中，當(dāng)雇傭蜂把蜜源信息分享給跟隨蜂后，跟隨蜂來到這個區(qū)域，會選擇這個區(qū)域中最合適的蜜源，因此跟隨蜂和雇傭蜂在尋找蜜源的方式上不同。Zhu等[9]學(xué)者指出在ABC搜索公式（2）中，由于φ∈[- 1,1]是隨機(jī)數(shù)且xkj為隨機(jī)選取的種群中的個體的一個分量，使得該搜索方程具有較好的探索能力，卻忽略了算法的開發(fā)能力，于是受粒子群算法的啟發(fā)，他們提出如下的搜索公式：

其中，k和 j的選取與式（2）相同；uij為[0，1.5]之間的隨機(jī)數(shù)；Xbest為整個蜂群搜索到的最優(yōu)蜜源位置?？梢钥闯?，受粒子群啟發(fā)的搜索方程式（5）由于有最優(yōu)位置Xbest的引導(dǎo)，在保證算法的探索能力的同時也在一定程度上提高了算法的開發(fā)能力。為了進(jìn)一步提高算法的開發(fā)能力，高衛(wèi)峰等[10]受差分進(jìn)化算法的啟發(fā)，提出如下的搜索方程：

其中，Xk是從當(dāng)前蜂群中隨機(jī)選取的不同于Xi的蜜源，Xbest為整個蜂群搜索到的最優(yōu)蜜源位置，φ∈[0 , 1]為隨機(jī)數(shù)。與式（2）相比，公式（6）由最優(yōu)位置引導(dǎo)蜂群搜索軌跡并僅在最優(yōu)位置附近產(chǎn)生新的候選解，從而大大提高了算法的開發(fā)能力，但是忽略了算法的探索能力。在實際的蜜蜂采蜜活動中，跟隨蜂在第一次到達(dá)某一區(qū)域后會根據(jù)蜂蜜量尋找這一區(qū)域內(nèi)的最優(yōu)位置。為了平衡算法探索能力和開發(fā)能力，本文跟隨蜂的搜索方程采用公式（7）來描述。

其中，k,j,uij和 Xbest的選取與式（5）相同，Ni是 Xi的鄰域，是Xi鄰域中的最優(yōu)解。式（7）是在鄰域最優(yōu)解的附近產(chǎn)生的候選解，與式（2）相比更加符合蜜蜂的實際活動，增強(qiáng)了算法的開發(fā)能力，防止算法陷入局部最優(yōu)，與式（5）相比，保留了算法的開發(fā)能力，也增加了算法的探索能力。在計算過程中，采用歐氏距離來尋找鄰域，Xi到其余所有解的平均半徑mi用公式（8）表示，dij表示 Xi和 Xj的歐氏距離，只要 dij＜mi就可認(rèn)為Xj∈Ni。假設(shè)Ni中共有S個解，其中也包含Xi，適應(yīng)度最大解就是，其計算公式如式（9）所示。

改進(jìn)的人工蜂群算法——IABC，從實際情況出發(fā)，改進(jìn)跟隨蜂搜索方程，增強(qiáng)了局部探索能力，同時也能提高開發(fā)能力。

3 改進(jìn)人工蜂群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)

3.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是由一個輸入層、一個或多個隱含層和一個輸出層組成[11]，每層由神經(jīng)元組成。典型的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

在BP網(wǎng)絡(luò)中輸入向量X=(x1,x2,…,xn)，隱含層各神經(jīng)元輸入由式（10）計算：

其中，wih是輸入層第i個神經(jīng)元和隱藏層第h個神經(jīng)元之間的權(quán)值，θh是隱藏層第h個神經(jīng)元的閾值。隱含層各神經(jīng)元的輸出由公式（11）計算：

同理，輸出層各神經(jīng)元的輸出為yoo。

輸出層所有神經(jīng)元的誤差平方和是BP算法優(yōu)化的目標(biāo)函數(shù)值，由式（12）計算：

其中，do表示輸出層神經(jīng)元O的期望輸出值。根據(jù)梯度下降法，輸出層各神經(jīng)元的誤差由公式（13）得到：

輸出層的權(quán)值和閾值可以通過公式（14）和公式（15）調(diào)整：

其中，?∈[0 , 1]是學(xué)習(xí)率，反映的是訓(xùn)練學(xué)習(xí)的速度。同理，可得隱含層的權(quán)值和閾值。

如果不能從輸出層得到期望的結(jié)果，它需要不斷調(diào)整權(quán)值和閾值，逐漸使誤差變小。BP神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自學(xué)習(xí)能力，并能迅速獲得最優(yōu)解。

3.2 IABC-BP算法

在用改進(jìn)的人工蜂群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)過程中，優(yōu)化的對象為網(wǎng)絡(luò)的權(quán)值和閾值，網(wǎng)絡(luò)的結(jié)構(gòu)和文獻(xiàn)[12]的相同。人工蜂群的目標(biāo)函數(shù)值為樣本的預(yù)測值和實際值的均方誤差MSE（Mean Square Error），當(dāng)MSE越小，蜜源的適應(yīng)度就越大。選取使適應(yīng)度最大的蜜源，然后用這組權(quán)值和閾值初始化神經(jīng)網(wǎng)絡(luò)，用BP算法訓(xùn)練網(wǎng)絡(luò)，然后對測試樣本進(jìn)行分類。人工蜂群蜜源的維數(shù)由公式（16）計算可得：

其中，I、H、O分別是輸入層神經(jīng)元個數(shù)、隱含層神經(jīng)元個數(shù)、輸出層神經(jīng)元個數(shù)。改進(jìn)的人工蜂群優(yōu)化BP神經(jīng)的流程圖如圖2所示。

具體實現(xiàn)步驟如下：

（1）設(shè)定改進(jìn)人工蜂群的參數(shù)，使用公式（1）初始化SN個蜜源，即SN組BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值。

（2）進(jìn)入循環(huán)階段直到達(dá)到最大循環(huán)次數(shù)。

（3）雇傭蜂使用公式（2）搜索新的蜜源，對新的蜜源使用BP算法計算目標(biāo)函數(shù)值，然后使用公式（4）計算新的蜜源的適應(yīng)度，并根據(jù)貪婪原則選擇新舊蜜源。

（4）使用公式（3）計算每個蜜源被選擇的概率，跟隨蜂選定蜜源后，使用公式（7）搜索新的蜜源，然后對新的蜜源使用BP算法計算目標(biāo)函數(shù)值，然后使用公式（4）計算新的蜜源的適應(yīng)度，并根據(jù)貪婪原則選擇新舊蜜源。

（5）如果全局最優(yōu)蜜源的目標(biāo)函數(shù)值滿足最小的MSE或者兩次MSE之差小于某個定值，則進(jìn)入步驟（8）。

（6）偵查蜂處理進(jìn)化失敗的蜜源。

圖2 IABC-BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

（7）如果達(dá)到最大循環(huán)次數(shù)，則進(jìn)入步驟（8），否者進(jìn)入步驟（3）。

（8）用最優(yōu)蜜源初始化神經(jīng)網(wǎng)絡(luò)，然后使用BP算法訓(xùn)練網(wǎng)絡(luò)。

（9）將測試集進(jìn)行分類，評價測試集的分類錯誤率。

4 實驗結(jié)果與分析

本文采用WEKA數(shù)據(jù)挖掘平臺進(jìn)行仿真，運行環(huán)境為Intel?CoreTMi5-2310 2.9處理器，2.89 GHz主頻以及 3.34 GB內(nèi)存，操作系統(tǒng)是Ubuntu16.04。

4.1 IABC的結(jié)果與分析

為了測試本文提出的改進(jìn)的人工蜂群算法的性能以及先進(jìn)性，選取10個常用的測試函數(shù)如表1所示，其中函數(shù)1～5為單峰值函數(shù)，函數(shù)6～10是多峰值函數(shù)，將這10個函數(shù)分別用ABC、GABC和IABC進(jìn)行測試對比。算法的參數(shù)設(shè)置為：蜂群規(guī)模為100，最大循環(huán)次數(shù)為1 000，蜂群進(jìn)化失敗最大值為100，維數(shù)為50。表2是在相同的測試條件下，三種算法的測試結(jié)果，其中Best、Worst、Mean和Std[10]分別為算法獨立實驗30次的最優(yōu)值、最差值、平均值和標(biāo)準(zhǔn)差，Best和Worst反映了解的質(zhì)量，Std反映了算法的魯棒性和穩(wěn)定性。

從表2中可以看出，IABC算法在函數(shù) f1、f2、f5、f6、f7、f8、f9、f10上表現(xiàn)顯著，和ABC以及GABC相比精度提高了103～107倍，在函數(shù) f3和 f4上精度提高了2倍，同時在穩(wěn)定性上也都大幅提高。本文提出的IABC算法能夠在高維上對目標(biāo)函數(shù)進(jìn)行優(yōu)化，并且相比于現(xiàn)有的優(yōu)秀算法改進(jìn)效果明顯，達(dá)到了預(yù)期的結(jié)果。

4.2 IABC-BP神經(jīng)網(wǎng)絡(luò)的結(jié)果與分析

為了客觀地比較和分析IABC-BP神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)的分類效果，本文采用UCI機(jī)器學(xué)習(xí)庫[13]中的8組數(shù)據(jù)集進(jìn)行實驗，它們分別是Breast Cancer、Heart Disease、Pima Diabetes、Iris、Breast Tissue、Blood Transfusion Service Center、Banknote Authentication 和Climate Model Simulation Crashes。這8組數(shù)據(jù)集的樣本個數(shù)、屬性個數(shù)和類別個數(shù)如表3所示。其中將每個數(shù)據(jù)集中的40%的樣本作為測試集，40%的樣本作為訓(xùn)練集，20%的樣本作為驗證集[14]，驗證集是為了防止過擬合。

表1 測試函數(shù)

表2ABC，GABC和IABC的對比實驗結(jié)果

表3 數(shù)據(jù)集信息

將這8個數(shù)據(jù)集分別用IABC-BP神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)進(jìn)行10次獨立的測試。算法的參數(shù)設(shè)置為：蜂群規(guī)模為20，蜂群最大循環(huán)次數(shù)為100，神經(jīng)網(wǎng)絡(luò)最大訓(xùn)練次數(shù)為500，學(xué)習(xí)率為0.3，隱含層神經(jīng)元的個數(shù)為6，激活函數(shù)為S型函數(shù)，兩次MSE之差小于10－4時，跳出循環(huán)。統(tǒng)計10次測試的平方根誤差的均值MRMSE（Mean of Root Mean Square Error）、絕對平均誤差的均值 MMAE（Mean of Mean Absolute Error）、平均運行時間ART（Average Running Time）以及分類正確率中的最好值Best、最差值Worst和平均值Mean。實驗結(jié)果如表4和表5所示。

表4IABC-BP和BP的MRMSE、MMAE和ART

表5 IABC-BP和BP的分類正確率%

由表4和表5可知，在8個數(shù)據(jù)集上，IABC-BP在MRMSE和MMAE上比BP提高了10－3～10－2倍。 IABC-BP的分類正確率的平均值明顯高于BP的分類正確率的平均值，大約提高了1%～3%。在Heart、Diabetes、Iris和Transfusion數(shù)據(jù)集上IABC-BP的Best值相比于BP提高了約1%～2%，在其余數(shù)據(jù)集上持平，表明IABC-BP的全局尋優(yōu)能力高于BP的全局尋優(yōu)能力。在所有數(shù)據(jù)集上，IABC-BP的Worst值高于BP的值，表明IABC-BP比BP在尋優(yōu)能力上更加穩(wěn)定，跳出局部最優(yōu)的能力比較強(qiáng)。本文提出的IABC-BP算法的尋優(yōu)能力和精度都比BP算法好。

IABC-BP是在ABC算法的基礎(chǔ)上對BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值做優(yōu)化，表4中IABC-BP的ART都比BP的ART要高。BP和IABC-BP的時間復(fù)雜度分別由公式（17）和（18）表示：

其中，M是循環(huán)次數(shù)，N是樣本個數(shù)，n1、n2、n3分別是輸入層、隱含層和輸出層的節(jié)點個數(shù)。SN是蜂群個數(shù)，D是維數(shù)。IABC-BP的時間復(fù)雜度是BP的M×SN倍，IABC-BP以提高時間復(fù)雜度為代價來提高分類正確率。

5 結(jié)束語

本文提出了一種改進(jìn)的人工蜂群算法，優(yōu)化了跟隨蜂的搜索行為，使算法更符合現(xiàn)實蜂群的采蜜行為，提高了人工蜂群算法的探索能力和開發(fā)能力。將改進(jìn)的人工蜂群引入到BP神經(jīng)網(wǎng)絡(luò)中，利用人工蜂群的全局尋優(yōu)能力有效防止了目標(biāo)函數(shù)陷入局部最優(yōu)，使算法具有較好的分類效果，較強(qiáng)的魯棒性。下一步工作將進(jìn)一步優(yōu)化BP網(wǎng)絡(luò)的結(jié)構(gòu)，使分類效果更加顯著，同時選取合適的參數(shù)來降低計算復(fù)雜度。

：

[1]Rumelhart D E，Hinton G E，Williams R J.Learning representations by back-propagating errors[J].Nature，1986，323：533-536.

[2]Lee H K H.Model selection for neural network classification[J].Journal of Classification，2001，18（2）：227-243.

[3]王燕妮，樊養(yǎng)余.改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的自適應(yīng)預(yù)測算法[J].計算機(jī)工程與應(yīng)用，2010，46（17）：23-26.

[4]裴振兵，陳雪波.改進(jìn)蟻群算法及在車輛運輸調(diào)度中的應(yīng)用[J].信息與控制，2015，44（6）：753-758.

[5]周利軍，彭衛(wèi)，鄒芳，等.自適應(yīng)變異粒子群算法[J].計算機(jī)工程與應(yīng)用，2016，52（7）：50-55.

[6]肖志權(quán)，崔玲麗.基于遺傳算法的柔性機(jī)械臂的同時優(yōu)化設(shè)計[J].機(jī)器人，2004，26（2）.

[7]Karaboga D.An idea based on honey bee swarm for numerical optimization，Technical Report-TR06[R].Engineering Faculty Erciyes University，2005.

[8]Karaboga D，Basturk B.A powerful and efficient algorithm for numerical function optimization：Artificial Bee Colony（ABC） algorithm[J].Journal of Global Optimization，2007，39.

[9]Zhu G，Kwong S.Gbest-guided artificial bee colony algorithm for numerical function optimization[J].Applied Mathematics and Computation，2010，217（7）：3166-3173.

[10]Gao W F，Liu S Y.A modified artificial bee colony algorithm[J].Computers&Operations Research，2012，39（3）：687-697.

[11]謝文蘭，石躍祥，肖平.應(yīng)用BP神經(jīng)網(wǎng)絡(luò)對自然圖像分類[J].計算機(jī)工程與應(yīng)用，2010，46（2）：163-166.

[12]Bullinaria J A.Yahya K A.Artificial Bee Colony training of neural networks：comparison with back-propagation[J].Memetic Comp，2014，6：171-182.

[13]Sarangi P P，Sahu A，Panda M.Training a feed-forward neural network using artificial bee colony with backpropagation algorithm[J].Advancesin IntelligentSystems&Computing，2014，243：511-519.

[14]Prechelt L P.A set of neural network benchmark problems and benchmarking rules，Technical Report 21[R].Fakult AatfAur Informatik University，Karlsruhe，Germany，1994.