錢(qián)兆樓

（淮安信息職業(yè)技術(shù)學(xué)院，江蘇淮安，223003）

一種基于改進(jìn)粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法

錢(qián)兆樓

（淮安信息職業(yè)技術(shù)學(xué)院，江蘇淮安，223003）

粒子群優(yōu)化算法作為一種新型的算法由于具有原理簡(jiǎn)單、收斂速度快且易于實(shí)現(xiàn)的優(yōu)勢(shì)等成為學(xué)術(shù)界的專(zhuān)家學(xué)者關(guān)注的熱點(diǎn)問(wèn)題。文介紹了BP神經(jīng)網(wǎng)絡(luò)和粒子群算法兩種預(yù)測(cè)方法，提出了基于改進(jìn)改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)的基本算法及操作流程。

BP神經(jīng)網(wǎng)絡(luò)優(yōu)化；粒子群算法改進(jìn)；方法

1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是指前饋神經(jīng)網(wǎng)絡(luò)中的誤差逆?zhèn)鞑W(xué)習(xí)算法，是目前應(yīng)用范圍最為廣泛的人工神經(jīng)網(wǎng)絡(luò)，包括信息的前向輸入和誤差的反向輸入兩種算法。其中信息的前向輸入算法公式為netij=,Oij=fs(netij)=,其中net表示神經(jīng)元總輸入，N為神經(jīng)元節(jié)點(diǎn)數(shù)。計(jì)算實(shí)際輸出時(shí)是按從輸入到輸出的方向進(jìn)行，而權(quán)值和閾值的修正從輸出到輸入的方向進(jìn)行。P網(wǎng)絡(luò)結(jié)構(gòu)是信號(hào)前向傳播導(dǎo)入，經(jīng)輸入層到中間隱含層實(shí)現(xiàn)正向傳播，若輸出層得到期望值，則學(xué)習(xí)算法結(jié)束。若未得到期望值則反向傳播，將誤差信號(hào)按原連接通路反向計(jì)算，根據(jù)誤差梯度下降法再調(diào)節(jié)前各層的權(quán)值和閾值，權(quán)值和閾值隨著更多正向信息變量和反向信息變量的不斷進(jìn)入從而始終處于動(dòng)態(tài)調(diào)節(jié)之中，目的就是使修改后的網(wǎng)絡(luò)最終輸出能接近最佳期望值。

2 粒子群算法

粒子群優(yōu)化算法是在研究人員在研究鳥(niǎo)群的群體效應(yīng)的基礎(chǔ)上發(fā)現(xiàn)的一種算法，在粒子群算法中，粒子群在一個(gè)n維空間中搜索，其中的每個(gè)粒子所處的位置都表示問(wèn)題的一個(gè)解。粒子通過(guò)不斷地調(diào)整自己的位置X來(lái)搜索新解，粒子的集合用Zi=(Zil, Zi2, Zi3……Zin),粒子的速度用集合Vi=（Vi1, Vi2,Vi3……Vin）表示，其算法公式為：Zid(t+1)=Zid(t)+Vid(t+1)，在上個(gè)公式中t、t+1代表的是代數(shù)，Vid表示的是每個(gè)粒子的速度，其中d的范圍是大于等于1小于等于n。

要想實(shí)現(xiàn)粒子群算法，就要遵循以下的步驟，第一步是明確整個(gè)群體的總數(shù)目N；第二步設(shè)計(jì)每一個(gè)“粒子”的目標(biāo)函數(shù)以及運(yùn)動(dòng)方向；第三步是設(shè)計(jì)好運(yùn)動(dòng)的速度和位置，計(jì)算每個(gè)“粒子”的運(yùn)動(dòng)軌跡；第四步將所有的運(yùn)動(dòng)軌跡進(jìn)行對(duì)比，進(jìn)而選擇最佳的運(yùn)動(dòng)軌跡。

3 改進(jìn)粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)

3.1 改進(jìn)粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的基本方法

粒子群算法和BP神經(jīng)網(wǎng)絡(luò)二者之間存在某種共性，從而有可能將二者結(jié)合起來(lái)，融合二者的長(zhǎng)處構(gòu)建更為有效的優(yōu)化方法。

神經(jīng)網(wǎng)絡(luò)與粒子群算法的結(jié)合主要有兩種方式：一是利用粒子群算法的全局搜索能力來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、連接權(quán)值和閾值，將粒子群算法良好的全局尋優(yōu)能力與BP算法良好的局部尋優(yōu)能力相結(jié)合，以提高神經(jīng)網(wǎng)絡(luò)的泛化能力和學(xué)習(xí)性能，從而改進(jìn)神經(jīng)網(wǎng)絡(luò)的整體搜索效率；二是將神經(jīng)網(wǎng)絡(luò)嵌入到粒子群算法當(dāng)中，利用神經(jīng)網(wǎng)絡(luò)良好的學(xué)習(xí)性能來(lái)改進(jìn)粒子群算法的優(yōu)化性能，以提高粒子群算法的收斂速度，減少計(jì)算的工作量。

在粒子群算法中，慣性權(quán)重和學(xué)習(xí)因子等參數(shù)對(duì)算法有著顯著的影響，改進(jìn)粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)主要從參數(shù)的改變著手，使用粒子群的迭代來(lái)代替BP算法中的梯度修正。

BP神經(jīng)網(wǎng)絡(luò)主要通過(guò)權(quán)值和閥值的更新改變來(lái)實(shí)現(xiàn)算法的變化，而粒子群算法則通過(guò)不同維度上粒子速度和位置的變化而不斷改變，要想實(shí)現(xiàn)二者的結(jié)合就要將不同維度上的粒子的位置向量同神經(jīng)網(wǎng)絡(luò)中的權(quán)值和閥值聯(lián)系起來(lái)，用給定訓(xùn)練樣集的神經(jīng)網(wǎng)絡(luò)輸出誤差作為適應(yīng)度函數(shù)，神經(jīng)網(wǎng)絡(luò)的誤差表示適應(yīng)度值，誤差較大表示粒子在搜索中未發(fā)揮出其優(yōu)勢(shì)，誤差越小則表示粒子在搜索過(guò)程中表現(xiàn)出較好的性能，粒子在權(quán)值的空間內(nèi)移動(dòng)搜索使得網(wǎng)絡(luò)輸出層的誤差最小，粒子的更新速度代表著更新網(wǎng)絡(luò)的權(quán)值。這種方式實(shí)現(xiàn)了誤差最小。這樣不斷重復(fù)產(chǎn)生滿足要求的誤差，迭代中止，算法結(jié)束，此時(shí)的權(quán)值集合即為最終結(jié)果。

3.2 粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的算法步驟與流程圖

粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的具體算法如下：

第一步，初始化參數(shù)，初始BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，設(shè)定網(wǎng)絡(luò)中的神經(jīng)元的個(gè)數(shù)，統(tǒng)計(jì)好網(wǎng)絡(luò)中輸入層、輸出層和隱藏層的神經(jīng)元，盡量做到全面。設(shè)定不同維度上的粒子速度，設(shè)置初始慣性權(quán)重、學(xué)習(xí)因子、迭代次數(shù)等參數(shù)。

第二步，計(jì)算粒子的適應(yīng)度值，首先輸入一個(gè)粒子，測(cè)定粒子的適應(yīng)度值，將測(cè)定好的適應(yīng)度值與個(gè)體最優(yōu)值進(jìn)行對(duì)比，如果確定兩個(gè)數(shù)值相等或相近，那么這就是當(dāng)前粒子最好的位置，記錄下該粒子所處的位置；然后繼續(xù)輸入所有的粒子，得到適應(yīng)度值，將所得到的結(jié)果與全局最優(yōu)值相比較，記錄下當(dāng)前粒子最好的位置。在使用BP算法的前向傳播計(jì)算時(shí)，每個(gè)神經(jīng)元的激勵(lì)函數(shù)是可微的Sigmoid函數(shù)：,其中a的范圍為大于零，x的范圍不受限制，為任何數(shù)字。

第三步更新每個(gè)粒子的速度和位置，并判斷更新后粒子的速度和位置是否在限定的范圍之內(nèi)。

第四步檢驗(yàn)算法迭代停止條件，當(dāng)算法迭代停止時(shí)，測(cè)定的全局極值是否符合神經(jīng)網(wǎng)絡(luò)的權(quán)值和閥值，若測(cè)定的答案符合要求則停止迭代，若測(cè)定的答案不在神經(jīng)網(wǎng)絡(luò)的權(quán)值和閥值的范圍之內(nèi)則重新開(kāi)始測(cè)定粒子的適應(yīng)度值，直到數(shù)據(jù)符合要求為止。

圖1 改進(jìn)粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)流程圖

粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的算法流程圖，如圖1所示。

3.3 粒子群算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的仿真實(shí)驗(yàn)

簡(jiǎn)單采用BP神經(jīng)網(wǎng)絡(luò)運(yùn)用于模型的構(gòu)建主體還是有一定的局限性，需要結(jié)合其他算法應(yīng)該會(huì)更好。

為驗(yàn)證粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的正確性和有效性，本文選取廣泛用于測(cè)試數(shù)值優(yōu)化算法性能的標(biāo)準(zhǔn)基準(zhǔn)測(cè)試函數(shù)，這些函數(shù)在優(yōu)化過(guò)程中存在多峰性與欺騙性的問(wèn)題。能否正確地解決問(wèn)題，是衡量新算法在數(shù)值優(yōu)化方面的表現(xiàn)。實(shí)驗(yàn)結(jié)果如表1所示。

算法誤差為0 . 0 0 0 0 1的迭代次數(shù)迭代5 0 0 0步的誤差標(biāo)準(zhǔn)B P算法超過(guò)1 0 0 0 0次9 . 3 0 9 8 e -0 0 5改進(jìn)后的算法3 1 7 9次0 . 6 7 4 6 e -0 0 5

從以上實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)算法比標(biāo)準(zhǔn)BP 算法在收斂速度和逼近效果上都有很大的改善，本文對(duì)粒子群算法的改進(jìn)不僅提高了算法的收斂速度和收斂精度，還有效解決了算法易陷入局部極小值的問(wèn)題，故本文改進(jìn)算法有效。

3.4 粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)

粒子群算法是一種新興的群智能算法，用其來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)具有很多優(yōu)點(diǎn)：(1)粒子群算法直接以目標(biāo)函數(shù)變化的適應(yīng)度函數(shù)值進(jìn)行尋優(yōu)，不需要誤差函數(shù)的梯度信息，不受誤差函數(shù)是否連續(xù)可微的影響，具有更廣泛的適應(yīng)性；(2)粒子群算法是一種隨機(jī)尋優(yōu)方法，一開(kāi)始就是從多個(gè)點(diǎn)的群體開(kāi)始搜索，其全局搜索能力較強(qiáng)，能以很大的概率找到全局最優(yōu)值，能有效的避免BP神經(jīng)網(wǎng)絡(luò)陷入局部極小值；(3)粒子群算法整個(gè)搜索更新的過(guò)程是跟隨當(dāng)前的最優(yōu)解的過(guò)程，是單向的信息流動(dòng)，在大多數(shù)的情況下，所有的粒子可能更快的收斂于全局最優(yōu)解；(4)粒子群算法不僅可以?xún)?yōu)化神經(jīng)網(wǎng)絡(luò)的連接權(quán)值和閾值，還可優(yōu)化神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，有效提高神經(jīng)網(wǎng)絡(luò)的整體搜索性能。

4 結(jié)語(yǔ)

神經(jīng)網(wǎng)絡(luò)和粒子群算法各自的特點(diǎn)十分鮮明，但二者并不沖突，相互之間具有極強(qiáng)的互補(bǔ)性。它們之間的結(jié)合不會(huì)因?yàn)榫哂邢嗤奶匦远@現(xiàn)沖突或冗余，相反，它們的結(jié)合如果方式適當(dāng)，往往能取長(zhǎng)補(bǔ)短、相互促進(jìn)，得到更好的效果。因此，用粒子群算法來(lái)優(yōu)化BP神經(jīng)網(wǎng)絡(luò)不僅具有可行性，而且效果良好。

[1]龐明月.基于粒子群與遺傳算法的BP算法優(yōu)化研究[D].青島理工大學(xué),2014.

[2]李雪.基于粒子群的糧食產(chǎn)量預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)優(yōu)化研究[D].浙江海洋學(xué)院,2014

錢(qián)兆樓（1978年5月）、男、江蘇淮安、講師、工程師、碩士研究生、研究方向?yàn)?網(wǎng)絡(luò)與信息安全、 軟件工程。

Based on improved particle swarm algorithm to optimize the BP neural network prediction method

Qian Zhaolou
（Huaian College of Information Technology,Jiangsu Huaian,223003）

As a new kind of particle swarm optimization algorithm is presented with the principle of simple, fast convergence speed and the advantages of easy to implement and so on become the hot topic in the academic experts and scholars. This paper introduces the BP neural network and two kinds of prediction method of particle swarm optimization, is proposed based on improved particle swarm algorithm of the basic algorithm of BP neural network and the operation process.

BP neural network optimization; Particle swarm optimization algorithm to improve; method

N93 文獻(xiàn)標(biāo)示碼：A