劉藝凡， 田雨波

(江蘇科技大學(xué) 電子信息學(xué)院，鎮(zhèn)江 212100)

伊朗科曼大學(xué)Esmat Rashedi教授等人在2009年提出了萬(wàn)有引力搜索算法(Gravitation search algorithm, GSA)[1]，它是根據(jù)牛頓萬(wàn)有引力定律提出的優(yōu)化搜索技術(shù)，屬于群體智能優(yōu)化算法.研究表明[2]，在許多實(shí)際問題的應(yīng)用中，GSA與其它群體智能優(yōu)化算法相比，尋優(yōu)能力更為突出，但在進(jìn)化后期同樣會(huì)有落入局部最優(yōu)的缺點(diǎn).文獻(xiàn)[3]提出在速度更新公式中參考粒子群算法的更新方式，局部搜索效果得到提升，既保證了種群多樣性又加強(qiáng)了搜索能力，可用于優(yōu)化最小二乘支持向量機(jī)(least squares support vector machine,LSSVM)參數(shù)；文獻(xiàn)[4]在速度更新公式中引入了隨時(shí)間線性減小的慣性權(quán)重，并在位置更新造成越界后再次隨機(jī)初始化粒子，增強(qiáng)了粒子的全局搜索能力和局部?jī)?yōu)化能力；文獻(xiàn)[5]提出每次迭代逐漸減小粒子的數(shù)量直到迭代后期只剩質(zhì)量最大的粒子對(duì)剩余粒子造成引力，加快了收斂速度和避免過早收斂；文獻(xiàn)[6]受兩層結(jié)構(gòu)GSA的啟發(fā)，構(gòu)建了由種群層、迭代最佳層、個(gè)人最佳層和全局最佳層組成的四層結(jié)構(gòu)的多層GSA，在不同的搜索階段動(dòng)態(tài)地實(shí)現(xiàn)四層之間的層次交互，以極大地提高種群的探索和開發(fā)能力；文獻(xiàn)[7]提出將GSA應(yīng)用于雙耳音頻均衡的穩(wěn)定IIR濾波器設(shè)計(jì)；文獻(xiàn)[8]提出將GSA應(yīng)用于平面天線陣列的設(shè)計(jì)，并與利用粒子群優(yōu)化算法優(yōu)化此實(shí)際問題產(chǎn)生的結(jié)果進(jìn)行對(duì)比，通過仿真體現(xiàn)出GSA算法的高效率；文獻(xiàn)[9]提出將GSA應(yīng)用于優(yōu)化微帶天線的尺寸參數(shù)，通過對(duì)比粒子群優(yōu)化算法和蝙蝠優(yōu)化算法，可以發(fā)現(xiàn)利用GSA優(yōu)化可以得到更好的優(yōu)化結(jié)果；文獻(xiàn)[10]提出將GSA應(yīng)用于線性偶極天線陣列參數(shù)的優(yōu)化設(shè)計(jì)，以此來確定性能參數(shù)，優(yōu)化后的方向圖表明應(yīng)用GSA算法優(yōu)化可以獲得更高的方向性和更窄的波瓣.

極限學(xué)習(xí)機(jī)(extreme learning machine, ELM)是2004年由南洋理工大學(xué)黃廣斌教授提出的單隱層前饋神經(jīng)網(wǎng)絡(luò)[11]，由于其學(xué)習(xí)速度快、訓(xùn)練精度高和計(jì)算復(fù)雜度低的特征，大規(guī)模應(yīng)用在各種工程問題和學(xué)術(shù)研究上.文獻(xiàn)[12]進(jìn)一步提出增量式極限學(xué)習(xí)機(jī)(Incremental-ELM，簡(jiǎn)稱I-ELM)，采取逐漸添加隱含層節(jié)點(diǎn)達(dá)到不斷提升訓(xùn)練精度的目的；文獻(xiàn)[13]將I-ELM中融入凸優(yōu)化的思想，提出了CI-ELM，加快訓(xùn)練I-ELM的速度；文獻(xiàn)[14]提出了EI-ELM，通過多次試驗(yàn)取最優(yōu)結(jié)果，解決了I-ELM隨機(jī)生成權(quán)值的造成的影響，訓(xùn)練精度得到提升；文獻(xiàn)[15]使用ELM進(jìn)行逼近和補(bǔ)償控制系統(tǒng)中存在的不確定量，以消除混聯(lián)輸送機(jī)構(gòu)模型中不確定量的影響；文獻(xiàn)[16]使用多隱層輸出矩陣的ELM對(duì)微波濾波器的參數(shù)模型進(jìn)行建模，通過對(duì)比BP網(wǎng)絡(luò)和SVM，可以發(fā)現(xiàn)ELM泛化性好并且有更高的精確度；文獻(xiàn)[17]提出了用張量輸入的ELM來處理信道插值任務(wù)，在誤差相同的情況下運(yùn)行速度更快；文獻(xiàn)[18]提出了一種基于機(jī)器學(xué)習(xí)算法、ELM和基于極點(diǎn)剩余的傳遞函數(shù)的微波元件電磁特性參數(shù)化建模模型.

文中引入粒子更新策略，在GSA每次迭代時(shí)按照適應(yīng)度值重新排列所有粒子，更新性能較差的部分，在一定程度上解決進(jìn)化后期可能會(huì)落入局部極值的問題，以此獲得更好的搜索能力.同時(shí)，在ELM中引入改進(jìn)的GSA優(yōu)化輸入權(quán)值和隱層偏置，避免這些參數(shù)隨機(jī)生成導(dǎo)致算法的不穩(wěn)定.最后基于改進(jìn)GSA的ELM對(duì)微帶天線的諧振頻率進(jìn)行了建模，并與已有結(jié)論進(jìn)行了對(duì)比，驗(yàn)證了所提方法的有效性.

1 萬(wàn)有引力搜索算法及其改進(jìn)

1.1 萬(wàn)有引力搜索算法

假設(shè)在D維搜索空間中有N個(gè)粒子，第i個(gè)粒子的位置為:

(1)

(1) 慣性質(zhì)量計(jì)算

每個(gè)粒子的慣性質(zhì)量是由粒子所在位置所求得的適應(yīng)度有關(guān)，在時(shí)刻t，粒子Xi的質(zhì)量用Mi(t)表示為:

(2)

(3)

式中：fiti(t)為粒子Xi的適應(yīng)度值；best(t)為時(shí)刻t所有粒子中的最優(yōu)解；worst(t)為時(shí)刻t中所有粒子中的最差解，其計(jì)算方式為：

(4)

(5)

(2) 引力計(jì)算

在時(shí)刻t，物體j在第k維上受到物體i的引力為：

(6)

式中：ε為一個(gè)極小數(shù)；Maj(t)和Mpi(t)分別為作用粒子j和被作用粒子i的慣性質(zhì)量.引力系數(shù)G(t)為：

G(t)G0×e-αt/T

(7)

式中：原始引力系數(shù)G0表示在t0時(shí)G取值，G0=100；衰減系數(shù)α=20；T為迭代次數(shù)的峰值.Rij(t)表示粒子Xi和粒子Xj的間距，計(jì)算方式為:

Rij(t)‖Xi(t),Xj(t)‖2

(8)

因此在t時(shí)刻，第k維上作用于Xi的合外力等于其它所有物體對(duì)其引力之和，計(jì)算公式為:

(9)

(3) 位置更新

根據(jù)牛頓第二定律，有：

(10)

每次迭代遵循的更新公式為：

(11)

(12)

1.2 改進(jìn)的萬(wàn)有引力搜索算法

雖然GSA在處理大多數(shù)優(yōu)化問題時(shí)都能求得十分出色的最優(yōu)解，然而在面對(duì)復(fù)雜多峰問題求解時(shí)可能會(huì)陷入局部最優(yōu).針對(duì)經(jīng)典GSA搜索能力不強(qiáng)的問題，文中引入粒子更新策略，即在每次迭代時(shí)按適應(yīng)度值的大小重新排列所有粒子，將性能最差的30%部分利用混沌理論進(jìn)行更新，取更新前后最好的30%粒子，和剩余的70%粒子組成新的粒子種群.由于該算法對(duì)性能較差粒子根據(jù)混沌理論進(jìn)行更新，充分利用了混沌系統(tǒng)的隨機(jī)性、遍歷性、規(guī)律性，在小范圍內(nèi)進(jìn)行局部搜索，比一般的隨機(jī)搜索方法取得更好的效果，更容易細(xì)致搜索，并保證了種群多樣性，消除了落入局部最優(yōu)的可能性，加快了算法的收斂.改進(jìn)的GSA流程如圖1.

圖1 改進(jìn)的萬(wàn)有引力搜索算法流程

2 改進(jìn)的萬(wàn)有引力搜索算法用于極限學(xué)習(xí)機(jī)優(yōu)化

2.1 極限學(xué)習(xí)機(jī)算法

ELM作為一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，輸入權(quán)值與隱層偏置隨機(jī)產(chǎn)生，然后輸出權(quán)值根據(jù)計(jì)算求得，核心理念是簡(jiǎn)化非線性優(yōu)化帶來的困難，如確定輸入權(quán)值、隱層偏置的最優(yōu)取值和分析計(jì)算求得輸出權(quán)值的最優(yōu)取值.由于可以隨機(jī)產(chǎn)生前兩組參數(shù)，所以只需要關(guān)注輸出權(quán)值的確定.

ELM由輸入層、隱含層與輸出層組成.假設(shè)激活函數(shù)為h，隱含層有L個(gè)節(jié)點(diǎn)，訓(xùn)練樣本數(shù)據(jù)集(xj,tj)∈Rn×Rq包含N組數(shù)據(jù)，有:

(13)

式中：θi為第i個(gè)隱含層節(jié)點(diǎn)的輸出權(quán)值向量.與一般的δ學(xué)習(xí)法則不同，輸入權(quán)值w與隱層偏置b隨機(jī)產(chǎn)生，然后根據(jù)分析計(jì)算求得輸出權(quán)值B.通過這些計(jì)算，訓(xùn)練誤差能夠取得最小值，也能夠獲得更優(yōu)的泛化能力.根據(jù)ELM原理，式(13)可以改寫為：

HB=T

(14)

ELM訓(xùn)練過程為：

步驟1:確定激活函數(shù)類型和隱含層節(jié)點(diǎn)數(shù)L，隨機(jī)產(chǎn)生輸入權(quán)值wi與隱層偏置bi，1

步驟2:計(jì)算隱含層的輸出矩陣H;

步驟3:計(jì)算輸出權(quán)值矩陣B=H+T.

2.2 改進(jìn)的萬(wàn)有引力搜索算法用于極限學(xué)習(xí)機(jī)優(yōu)化

由于ELM輸入權(quán)值和隱層偏置隨機(jī)產(chǎn)生，一些隱含層節(jié)點(diǎn)的輸入權(quán)值和偏置可能會(huì)過小，導(dǎo)致算法穩(wěn)定性比較差，不能保證每次訓(xùn)練都能達(dá)到良好的訓(xùn)練精度.因此，基于改進(jìn)的GSA來優(yōu)化ELM的輸入權(quán)值和隱層偏置，即把輸入權(quán)值和隱層偏置作為待優(yōu)化粒子，ELM函數(shù)的訓(xùn)練誤差作為適應(yīng)度值，稱為GSA-ELM算法.利用改進(jìn)的GSA算法優(yōu)化獲取輸入權(quán)值和隱層偏置的最優(yōu)解后，根據(jù)計(jì)算就能獲得相應(yīng)的輸出權(quán)值，以此完成對(duì)ELM的訓(xùn)練.在仿真實(shí)例中，粒子數(shù)設(shè)置為50，每個(gè)粒子的維度為ELM輸入權(quán)值和隱層偏置的總個(gè)數(shù)，進(jìn)行500次迭代.

3 GSA-ELM算法用于矩形微帶天線諧振頻率建模

文中使用GSA-ELM算法對(duì)矩形微帶天線(microstrip antenna, MSA)的諧振頻率進(jìn)行建模，矩形微帶天線的結(jié)構(gòu)如圖2.

圖2 矩形微帶天線

訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)源于文獻(xiàn)[19-20]的實(shí)驗(yàn)結(jié)果，如表1，共有33組數(shù)據(jù)，其中26組作為訓(xùn)練數(shù)據(jù)，其他7組帶有標(biāo)記(*)的作為測(cè)試數(shù)據(jù).輸入樣本集合為矩形微帶天線的尺寸參數(shù)，包括貼片的寬度W、長(zhǎng)度L以及介質(zhì)材料的相關(guān)參數(shù)包括厚度h、相對(duì)介電常數(shù)εr，記作(W,L,h,εr)，輸出為對(duì)應(yīng)實(shí)測(cè)諧振頻率fME.ELM通過學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù)集可以擬合出矩形MSA尺寸參數(shù)和對(duì)應(yīng)實(shí)測(cè)諧振頻率之間的關(guān)系.

表1 矩形微帶天線諧振頻率

表2列出了使用ELM算法和GSA-ELM算法計(jì)算得到的矩形MSA諧振頻率.其中，兩種算法的隱層節(jié)點(diǎn)數(shù)都為12，激活函數(shù)都取sigmod函數(shù)，并且ELM算法取運(yùn)行50次的最好結(jié)果.為便于比較，該表中也給出文獻(xiàn)[21]提出的神經(jīng)元模型及文獻(xiàn)[22]提出的改進(jìn)的神經(jīng)元模型得到的預(yù)測(cè)數(shù)據(jù)，表中fEDBD、fDBD、fBP和fPTS分別為通過EDBD(extended delta-bar-delta)、DBD(delta-bar-delta)和BP算法的神經(jīng)元模型及采用PTS(parallel tabu search)算法的改進(jìn)的神經(jīng)元模型的預(yù)測(cè)結(jié)果.表2也列出了各個(gè)模型預(yù)測(cè)值與實(shí)測(cè)值之間的絕對(duì)誤差之和.根據(jù)表2可以得出結(jié)論，ELM算法和GSA-ELM算法的預(yù)測(cè)結(jié)果比神經(jīng)元模型方法更接近于實(shí)驗(yàn)結(jié)果，并且GSA-ELM算法的誤差比ELM算法還要小，實(shí)測(cè)值和預(yù)測(cè)結(jié)果之間的一致性證明了該方法的有效性.

表2 文中算法與對(duì)比算法的絕對(duì)誤差總和

表3給出了通過傳統(tǒng)方法[23-33]求出的矩形MSA諧振頻率理論值和實(shí)測(cè)值之間的絕對(duì)誤差之和，表3可以明顯地看出，文中GSA-ELM算法的結(jié)果明顯好于對(duì)比文獻(xiàn)結(jié)果.

表3 傳統(tǒng)方法求得的矩形MSA諧振頻率理論值與實(shí)測(cè)值之間的絕對(duì)誤差之和

4 結(jié)論

萬(wàn)有引力搜索算法作為群體智能優(yōu)化方法，在計(jì)算機(jī)、電子信息、控制科學(xué)等多個(gè)領(lǐng)域中交叉融合應(yīng)用和發(fā)展，其利用種群中的粒子進(jìn)行信息交流的特點(diǎn)，為求解復(fù)雜問題提供了新的方案，所以研究和掌握它的規(guī)律與特征，既具有理論意義又具有應(yīng)用于實(shí)際問題的現(xiàn)實(shí)意義.

(1) 雖然萬(wàn)有引力搜索算法已經(jīng)有效地應(yīng)用于多個(gè)領(lǐng)域，但存在進(jìn)化后期易于陷入局部最優(yōu)的問題.文中引入粒子更新方法對(duì)經(jīng)典的萬(wàn)有引力搜索算法進(jìn)行改進(jìn)，并取更新前后最好的粒子組成新的粒子種群繼續(xù)參與迭代.

(2) 通過在極限學(xué)習(xí)機(jī)算法中引入改進(jìn)的萬(wàn)有引力算法，可以根據(jù)最優(yōu)解確定輸入權(quán)值和隱層偏置，有效增強(qiáng)極限學(xué)習(xí)機(jī)的穩(wěn)定性.

(3) 基于改進(jìn)萬(wàn)有引力搜索算法的極限學(xué)習(xí)機(jī)仿真并建立矩形微帶天線的諧振頻率模型，與經(jīng)典的極限學(xué)習(xí)機(jī)算法和神經(jīng)網(wǎng)絡(luò)模型法等方法進(jìn)行了比較，可以明顯地看出所提算法的結(jié)果比經(jīng)典的極限學(xué)習(xí)機(jī)算法和其他學(xué)者得到的結(jié)果要好.

(4) 文中算法也可以用于其他類似工程問題.