?

自適應(yīng)差分進(jìn)化算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測(cè)*

通信地址：430074 湖北省武漢市華中科技大學(xué)管理學(xué)院Address:School of Management,Huazhong University of Science and Technology,Wuhan 430074,Hubei,P.R.China

王林1，彭璐1，夏德2，曾奕1

(1.華中科技大學(xué)管理學(xué)院,湖北 武漢 430074; 2.武漢理工大學(xué)管理學(xué)院,湖北 武漢 430070)

摘要：針對(duì)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法隨機(jī)初始化連接權(quán)值和閾值易使模型陷入局部極小點(diǎn)的缺點(diǎn)，設(shè)計(jì)了一種自適應(yīng)差分進(jìn)化算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的混合算法。該混合算法中，差分進(jìn)化算法采用自適應(yīng)變異和交叉因子優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，再用預(yù)尋優(yōu)得到的初始權(quán)值和閾值訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)得到最優(yōu)的權(quán)值和閾值。首先對(duì)改進(jìn)的自適應(yīng)差分進(jìn)化算法運(yùn)用測(cè)試函數(shù)進(jìn)行性能測(cè)試，然后用一個(gè)經(jīng)典時(shí)間序列問(wèn)題對(duì)提出的混合算法進(jìn)行了檢驗(yàn)，并與一般的神經(jīng)網(wǎng)絡(luò)、ARIMA預(yù)測(cè)模型及其它混合預(yù)測(cè)模型進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果表明，本文提出的混合算法有效并且明顯提高了預(yù)測(cè)精度。

關(guān)鍵詞：時(shí)間序列預(yù)測(cè)；BP神經(jīng)網(wǎng)絡(luò)；差分進(jìn)化算法

1引言

時(shí)間序列預(yù)測(cè)是預(yù)測(cè)系統(tǒng)中很重要的一個(gè)領(lǐng)域，應(yīng)用最廣泛的一種時(shí)間序列模型是ARIMA(AutoregressiveIntegratedMovingAverage)，此模型預(yù)先假設(shè)待研究的時(shí)間序列是線性的，但是現(xiàn)實(shí)世界中的系統(tǒng)通常是非線性的，很難假設(shè)模型的形式。近年來(lái)，神經(jīng)網(wǎng)絡(luò)模型因其靈活的非線性建模能力、較強(qiáng)的自適應(yīng)性、學(xué)習(xí)能力和大規(guī)模并行計(jì)算能力，被廣泛地應(yīng)用于時(shí)間序列預(yù)測(cè)研究中，其中，前向型神經(jīng)網(wǎng)絡(luò)是應(yīng)用最多的時(shí)間序列預(yù)測(cè)模型，BP神經(jīng)網(wǎng)絡(luò)BPNN(BackPropagationNeuralNetwork)又是前向型神經(jīng)網(wǎng)絡(luò)中應(yīng)用最多的一種[1]。BP神經(jīng)網(wǎng)絡(luò)又名誤差反向傳播網(wǎng)絡(luò)，它是一種通過(guò)信息前向進(jìn)行傳遞而誤差反向進(jìn)行傳播來(lái)修正誤差的多層映射網(wǎng)絡(luò)。通常，單隱含層的BP神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近任何非線性函數(shù)[2]，這一優(yōu)勢(shì)使其在復(fù)雜的非線性系統(tǒng)預(yù)測(cè)中備受青睞。

傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是一個(gè)梯度下降或其變形的有導(dǎo)師學(xué)習(xí)算法[1]，先隨機(jī)初始化網(wǎng)絡(luò)的權(quán)值和閾值，利用訓(xùn)練樣本，通過(guò)網(wǎng)絡(luò)輸出值與實(shí)際值的均方誤差反向傳播來(lái)調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值和閾值，使得均方誤差梯度下降，當(dāng)誤差達(dá)到設(shè)定的目標(biāo)時(shí)，BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值得到確定，即網(wǎng)絡(luò)的訓(xùn)練過(guò)程結(jié)束。這種學(xué)習(xí)算法的缺點(diǎn)是初始的權(quán)值和閾值對(duì)最終的訓(xùn)練結(jié)果影響很大，導(dǎo)致訓(xùn)練結(jié)果極易陷入局部極小點(diǎn)而不是全局最優(yōu)，進(jìn)而使得網(wǎng)絡(luò)的預(yù)測(cè)精度不能達(dá)到很高的程度。為了克服傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)易陷入局部極小點(diǎn)的缺點(diǎn)，眾多學(xué)者提出了不同的改進(jìn)方法來(lái)優(yōu)化傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值。YamJYF等[3]在線性代數(shù)的基礎(chǔ)上設(shè)計(jì)了一種優(yōu)化前向神經(jīng)網(wǎng)絡(luò)初始權(quán)值的算法，采用優(yōu)化后的初始權(quán)值可使初始的培訓(xùn)誤差極大程度地減小，從而使達(dá)到設(shè)定誤差所需的培訓(xùn)次數(shù)也得到減少。IraniR等[4]用遺傳算法對(duì)BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值和閾值進(jìn)行了優(yōu)化。李松等[5]用改進(jìn)粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)進(jìn)行短時(shí)交通流預(yù)測(cè)。

差分進(jìn)化DE(DifferentialEvolution)算法是一種隨機(jī)啟發(fā)式搜索算法，其基于差分的簡(jiǎn)單變異和交叉操作產(chǎn)生新的個(gè)體，然后將新產(chǎn)生個(gè)體與原來(lái)個(gè)體的適應(yīng)值進(jìn)行比較，適應(yīng)值較優(yōu)的個(gè)體將保存下來(lái)，且能利用個(gè)體局部信息和群體全局信息協(xié)同搜索，以其實(shí)用性、魯棒性和強(qiáng)大的全局尋優(yōu)能力在許多領(lǐng)域都有很好的應(yīng)用[6，7]。鄧華等[8]用DE結(jié)合BPNN對(duì)多因素影響的產(chǎn)品成本進(jìn)行了預(yù)測(cè)。本文設(shè)計(jì)了嵌入自適應(yīng)SDE(Self-adaptiveDE)算法的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型(SDE-BPNN)，為了克服基本DE算法早熟和后期搜索遲鈍等缺點(diǎn)，采用了自適應(yīng)DE變異和交叉因子。本文用被廣為采用的檢驗(yàn)非線性預(yù)測(cè)模型效果的時(shí)間序列問(wèn)題[9]對(duì)SDE-BPNN進(jìn)行了檢驗(yàn)，與ZhangGP[10]、KhasheiM[11]和WangL[12]提出的預(yù)測(cè)模型相比，SDE-BPNN的預(yù)測(cè)結(jié)果比這三個(gè)模型都要優(yōu)。

2BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)基本原理

(1)

(2)

(3)

(4)

其中，n為輸入層神經(jīng)元數(shù)，h為隱含層神經(jīng)元數(shù)，wji和woj分別為輸入層與隱含層神經(jīng)元之間、隱含層與輸出層之間的連接權(quán)值，βj和αo分別為隱含層與輸出層神經(jīng)元的閾值，fh和fo分別為隱含層與輸出層的轉(zhuǎn)移函數(shù)。本文隱含層轉(zhuǎn)移函數(shù)選取tansig函數(shù)：f(x)=2/(1+e-2x)-1；輸出層轉(zhuǎn)移函數(shù)選取purelin函數(shù)：f(x)=x。

Figure 1　BPNN structure with single hidden layer圖1　單隱含層BPNN結(jié)構(gòu)圖

3差分進(jìn)化算法流程分析

3.1　標(biāo)準(zhǔn)DE算法

標(biāo)準(zhǔn)DE算法包括初始化、變異、交叉和選擇操作。

(1)初始化：DE算法采用實(shí)數(shù)編碼方法，先設(shè)定種群規(guī)模Np和基因維數(shù)D，以及每個(gè)基因的變化范圍[Umin，Umax]，然后用式(5)隨機(jī)初始化種群,產(chǎn)生種群個(gè)體xij:

(5)

(6)

其中，G為進(jìn)化代數(shù)，個(gè)體序號(hào)r1、r2和r3隨機(jī)選擇產(chǎn)生且互不相同，且r1、r2和r3與目標(biāo)向量序號(hào)i也不一樣。因此，一般種群規(guī)模NP≥4。F為變異因子，眾多文獻(xiàn)中建議的取值范圍為[0，2]，用以控制差分矢量的縮放。

(3) 交叉操作：交叉操作按照式(7)產(chǎn)生：

(7)

其中，rand(j)∈[0，1]為均勻分布的隨機(jī)產(chǎn)生的數(shù)；j表示第j個(gè)基因，CR為交叉因子；randn(i)∈[1，2，…，D]，為隨機(jī)選擇生成的參數(shù)，以保證實(shí)驗(yàn)矢量至少能夠從變異矢量中獲得一維變量。

(8)

3.2　兩種自適應(yīng)DE算法及其性能測(cè)試

3.2.1　兩種自適應(yīng)DE算法

(1)ADE(AdaptiveDE):僅采用自適應(yīng)變異因子。

變異因子決定了偏差向量的放大比例，變異因子太大，算法搜索效率會(huì)很低，求解全局最優(yōu)解的精度低；如果變異因子過(guò)小，又不能保證種群的多樣性，很容易出現(xiàn)早熟的現(xiàn)象[12]。因此，將引入自適應(yīng)的變異因子，變異因子隨著迭代次數(shù)的增加，變異率將逐漸減小，初期較大的變異因子能夠保證種群多樣性，后期較小的變異因子則能保留優(yōu)良個(gè)體，自適應(yīng)變異因子按照式(9)產(chǎn)生：

(9)

其中,Fmin表示變異因子的最小值，F(xiàn)max表示變異因子的最大值，GenM表示最大的迭代代數(shù)，G則為當(dāng)前進(jìn)化的代數(shù)。

(2)SDE(Self-adaptiveDE)：采用自適應(yīng)交叉和變異因子。

在ADE基礎(chǔ)上，引入自適應(yīng)交叉因子。交叉因子隨著迭代次數(shù)的增加，交叉率也動(dòng)態(tài)變化，初期較大的交叉因子保證全局范圍的變異情況，后期較小的交叉率更關(guān)注局部的收斂情況。自適應(yīng)交叉因子的設(shè)計(jì)如式(10)所示：

(10)

其中,CRmin表示交叉參數(shù)的最小值，CRmax表示交叉參數(shù)的最大值。

3.2.2　性能測(cè)試

(1) 函數(shù)介紹。

為了比較SDE、ADE和DE的性能，選擇四個(gè)常用的多峰函數(shù)進(jìn)行測(cè)試，函數(shù)細(xì)節(jié)如下：

F1∶Rastrigin函數(shù)：

F2∶Griewangk 函數(shù)：

其中,xi∈[-600，600]，n=30。該函數(shù)為多峰函數(shù)，在xi=0處取得全局最小值0。

F3∶Ackley’s Path 函數(shù)：

其中,xi∈[-1，1]，n=30。該函數(shù)為多峰函數(shù)，在xi=0處取得全局最小值0。

F4∶Weierstrass 函數(shù):

其中,a=0.5，b=0.3，kmax=30,xi∈[-0.5，0.5]，n=10。該函數(shù)為多峰函數(shù)，在xi=0處取得全局最小值0。

(2) 測(cè)試結(jié)果。

用SDE、ADE和DE三種算法對(duì)以上四個(gè)函數(shù)進(jìn)行優(yōu)化計(jì)算。具體參數(shù)設(shè)置為：Np=100,DE中F=0.6，CR=0.6；ADE中Fmin=0.2,Fmax=0.9,CR=0.6；SDE中Fmin=0.2,Fmax=0.9,CRmin=0.1,CRmax=0.6；最大迭代次數(shù)均設(shè)為1 000，每次運(yùn)行20次。由表1知，SDE算法的平均值和方差均比DE和ADE算法的值好，這顯示了SDE算法具有較好的性能。

Table 1　Result comparison of the three algorithms

4SDE優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型(SDE-BPNN)

(11)

其中，yt是BPNN的目標(biāo)輸出。

SDE-BPNN混合算法的流程為：

Step 1初始化。對(duì)種群規(guī)模、最大迭代次數(shù)、變異因子和交叉因子進(jìn)行初始化，另根據(jù)式(5)初始化種群。

Step 2判斷是否達(dá)到迭代結(jié)束條件(全局極小值達(dá)到設(shè)定的精度要求或者達(dá)到設(shè)定的最大迭代次數(shù))，如果是則停止迭代并且輸出最優(yōu)個(gè)體；否則，轉(zhuǎn)到下一步。

Step 4重復(fù)Step 3，直到得到下一代種群。

Step 5評(píng)價(jià)下一代種群的適應(yīng)度值，最小適應(yīng)度值即為全局極小值，對(duì)應(yīng)的個(gè)體即為全局最優(yōu)個(gè)體。

Step 6G=G+1，返回Step 2。

Step 7將自適應(yīng)DE優(yōu)化輸出的最優(yōu)個(gè)體作為BPNN的初始權(quán)值和閾值，用訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)。

Step 8輸入測(cè)試集，用訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。

5對(duì)比算例與分析

5.1　實(shí)驗(yàn)條件

(1)實(shí)驗(yàn)數(shù)據(jù)：選取文獻(xiàn)[9]中自1821~1934年在加拿大馬更些河被捕獲的猞猁時(shí)間序列數(shù)據(jù)。最先是Elton 和 Nicholson詳細(xì)描述了200多年前在加拿大各地區(qū)捕獲的猞猁數(shù)量的波動(dòng)情況，表明猞猁數(shù)量變化的平均周期為9.6年[13]。如圖2所示，這組數(shù)據(jù)多次被用于檢驗(yàn)非線性預(yù)測(cè)模型的有效性，這里同樣對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，方法是對(duì)原數(shù)據(jù)取以10為底的對(duì)數(shù)，取預(yù)處理后的前100個(gè)數(shù)據(jù)為訓(xùn)練集，用于SDE預(yù)尋優(yōu)和BPNN訓(xùn)練，后14個(gè)數(shù)據(jù)為測(cè)試集驗(yàn)證混合預(yù)測(cè)模型的有效性。預(yù)測(cè)結(jié)果與Zhang G P[10]、Khashei M[11]和Wang L[12]提出的預(yù)測(cè)模型的預(yù)測(cè)結(jié)果進(jìn)行比較。

Figure 2　Canadian lynx series (1821~1934)圖2　加拿大猞猁數(shù)據(jù)時(shí)間序列(1821~1934)

參照文獻(xiàn)[12]，預(yù)測(cè)性能指標(biāo)選取平均誤差平方和MSE和平均絕對(duì)值誤差MAE，如式(12)所示：

(12)

(2)實(shí)驗(yàn)參數(shù)設(shè)置。

5.2　實(shí)驗(yàn)結(jié)果分析

SDE-BPNN預(yù)測(cè)結(jié)果如圖3所示，圖中數(shù)據(jù)是預(yù)處理后的實(shí)際測(cè)試數(shù)據(jù)與預(yù)測(cè)結(jié)果的比較。其與ARIMA模型、ANNs及其他混合模型的預(yù)測(cè)效果比較如表2、表3所示。

Figure 3　Comparison between pratical test data and the SDE-BPNN predict results(logarithmic test sample data set)圖3　SDE-BPNN預(yù)測(cè)猞猁數(shù)據(jù)結(jié)果(測(cè)試集)

模型MSEMAEARIMA0.0204860.112255ANNs0.0204660.112109ARIMA-ANNs[10]0.0172330.103972ARIMA-ANNs[11]0.0136090.089625ADE-BPNN[12]0.0103920.070623SDE-BPNN0.0068330.066110

Table 3　Improvement comparison of

從表3可以看出，對(duì)于MSE指標(biāo)，SDE-BPNN算法的預(yù)測(cè)效果比ARIMA、ANNs模型提高了將近67%，比文獻(xiàn)[10]提出的模型要高出60.35%，比文獻(xiàn)[11]提出的模型要高出49.79%，比文獻(xiàn)[12]提出的模型要高出34.25%；對(duì)于MAE指標(biāo)，SDE-BPNN混合算法比其他五種模型分別提高了41.11%、41.03%、36.42%、26.24%和6.39%。

6結(jié)束語(yǔ)

本文將DE算法與BP神經(jīng)網(wǎng)絡(luò)結(jié)合，用于時(shí)間序列預(yù)測(cè)，主要工作和貢獻(xiàn)如下：為了克服傳統(tǒng)BP學(xué)習(xí)算法易使訓(xùn)練過(guò)程陷入局部極值點(diǎn)的缺點(diǎn)，改善其預(yù)測(cè)精度。本文先用具有強(qiáng)大全局尋優(yōu)能力的自適應(yīng)DE算法進(jìn)行全局預(yù)尋優(yōu)，然后用傳統(tǒng)學(xué)習(xí)算法進(jìn)行深度尋優(yōu)，訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)。測(cè)試函數(shù)表明了自適應(yīng)DE算法的有效性，并通過(guò)一個(gè)具有明顯非線性特點(diǎn)的時(shí)間序列樣本驗(yàn)證了SDE-BPNN混合算法的有效性，預(yù)測(cè)精度得到了明顯提高。

本研究將兩種新穎的智能算法相結(jié)合應(yīng)用于時(shí)間序列預(yù)測(cè)，理論上拓展了非線性時(shí)間序列預(yù)測(cè)理論，擴(kuò)大了DE算法的應(yīng)用范圍。本文提出的混合預(yù)測(cè)方法可用于幫助企業(yè)進(jìn)行銷售預(yù)測(cè)等，具有廣泛的適用性和較強(qiáng)的應(yīng)用價(jià)值。以后將把本文提出的預(yù)測(cè)方法和ARIMA模型結(jié)合，用來(lái)滿足其他方面的預(yù)測(cè)需求，如旅游需求和零售業(yè)銷售預(yù)測(cè)等。

參考文獻(xiàn):附中文

[1]Zhang G,Patuwo B E,Hu M Y. Forecasting with artificial neural networks:The state of the art [J]. International Journal of Forecasting,1998,14(1):35-62．

[2]Aslanargun A,Mammadov M,Yazici B,et al. Comparison of ARIMA,neural networks and hybrid models in time series:Tourist arrival forecasting [J]. Journal of Statistical Computation and Simulation,2007,77(1):29-53．

[3]Yam J Y F,Chow T W S. A weight initialization method for improving training speed in feedforward neural network [J]. Neurocomputing,2000,30(1):219-232．

[4]Irani R,Nasimi R. Evolving neural network using real coded genetic algorithm for permeability estimation of the reservoir [J].Expert Systems with Applications,2011,38(8):9862-9866．

[5]Li Song，Liu Li-jun，Zhai Man. Prediction for short-term traffic flow based on modified PSO optimized BP neural network[J].Systems Engineering-Theory & Practice，2012，32(9):2045-2049. (in Chinese)

[6]Onwubolu G,Davendra D. Scheduling flow shops using differential evolution algorithm [J]. European Journal of Operational Research,2006,171(2):674-692．

[7]Qu H,Wang L,Zeng Y R. Modeling and optimization for the joint replenishment and delivery problem with heterogeneous items[J]. Knowledge-Based Systems,2013,54:207-215．

[8]Deng Hua, Zhao Hui. Prediction of product cost based on DE-BP algorithm[J]. Computer Engineering and Applications,2009,45(3):233-234. (in Chinese)

[9]Campbell M J,Walker A M. A survey of statistical work on the Mackenzie River series of annual Canadian lynx trappings for the years 1821-1934 and a new analysis [J].Journal of the Royal Statistical Society (Series A),1977,140:411-431．

[10]Zhang G P. Time series forecasting using a hybrid ARIMA and neural network model[J]. Neurocomputing,2003,50:159-175．

[11]Khashei M,Bijari M. An artificial neural network (p，d，q) model for timeseries forecasting [J]. Expert Systems with Applications,2010,37(1):479-489．

[12]Wang L,Zeng Y,Chen T. Back propagation neural network with adaptive differential evolution algorithm for time series forecasting [J]. Expert Systems with Applications,2015,42(2):855-863．

[13]Elton C,Nicholson M. The ten-year cycle in numbers of the lynx in Canada [J]. The Journal of Animal Ecology,1942,11:215-244．

[5]李松,劉力軍,翟曼. 改進(jìn)粒子群算法優(yōu)化BP 神經(jīng)網(wǎng)絡(luò)的短

時(shí)交通流預(yù)測(cè)[J]. 系統(tǒng)工程理論與實(shí)踐,2012,32(9):2045-2049．

[8]鄧華,趙輝. DE-BP 神經(jīng)網(wǎng)絡(luò)對(duì)產(chǎn)品成本預(yù)測(cè)的研究[J].計(jì)算機(jī)工程與應(yīng)用,2009，45(3):233-234．

王林(1974-),男，湖北棗陽(yáng)人，博士，教授，研究方向?yàn)橹悄軆?yōu)化算法。E-mail:wanglin982@163.com

WANG Lin,born in 1974,PhD,professor,his research interest includes intelligent optimization algorithms.

彭璐(1991-),女，湖北荊州人，碩士生，研究方向?yàn)槲锪鞴こ?。E-mail:pengluhust@163.com

PENG Lu,born in 1991,MS candidate,her research interest includes logistics engineering.

夏德(1974-),男，湖北紅安人，博士，教授，研究方向?yàn)楣芾砜茖W(xué)與工程。E-mail:xiadetiger@126.com

XIA De,born in 1974,PhD,professor,his research interest includes management science and engineering.

曾奕(1990-),女，湖南益陽(yáng)人，碩士生，研究方向?yàn)楣?yīng)鏈管理。E-mail:zengy200810@126.com

ZENG Yi,born in 1990,MS candidate,her research interest includes supply chain management.

BPneuralnetworkincorporatingself-adaptivedifferentialevolutionalgorithmfortimeseriesforecasting

WANGLin1,PENG Lu1,XIA De2,ZENG Yi1

(1.SchoolofManagement,HuazhongUniversityofScienceandTechnology,Wuhan430074;

2.SchoolofManagement,WuhanUniversityofTechnology,Wuhan430070,China)

Abstract:It is easy for a BP neural network (BP-NN) to be trapped into a local minimum point for the time series forecasting problem. To improve the forecasting accuracy, we design a hybrid algorithm which combines the self-adaptive differential evolution algorithm (SDE) with the BP-NN. We adopt the SDE algorithm to search for global initial weights and thresholds of the BP-NN. These values are then employed to further search for the optimal weights and thresholds. The performance of the proposed SDE algorithm is verified through benchmark functions and a well-known real data set is used to verify the effectiveness of the hybrid algorithm. Compared with general neural network, ARIMA and other hybrid models,experimental results indicate that the proposed algorithm can be an effective way to improve forecasting accuracy.

Key words:time series forecasting;BP neural network;differential evolution algorithm

作者簡(jiǎn)介:

doi:10.3969/j.issn.1007-130X.2015.12.012

中圖分類號(hào)：TP301

文獻(xiàn)標(biāo)志碼：A

基金項(xiàng)目：中央高?；究蒲袠I(yè)務(wù)費(fèi)資助項(xiàng)目(HUST:2014QN201)

收稿日期：修回日期：2015-03-10

文章編號(hào)：1007-130X(2015)12-2270-06