丁碩，常曉恒，巫慶輝，楊友林

（渤海大學(xué)工學(xué)院，遼寧 錦州 121013）

數(shù)值優(yōu)化改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)逼近性能對比研究

丁碩，常曉恒，巫慶輝，楊友林

（渤海大學(xué)工學(xué)院，遼寧 錦州 121013）

為了比較不同的數(shù)值優(yōu)化改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)的逼近性能，本文在MATLAB 7.0環(huán)境下，建立了三類基于數(shù)值優(yōu)化改進(jìn)的BP算法，并以非線性函數(shù)逼近為例，對7種典型的數(shù)值優(yōu)化改進(jìn)算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練和仿真實驗，得出了在不同環(huán)境下，每種數(shù)值優(yōu)化差法逼近的可行性。

數(shù)值優(yōu)化；BP神經(jīng)網(wǎng)絡(luò)；逼近性能；對比研究

數(shù)值逼近是指給定一組數(shù)據(jù)，用數(shù)學(xué)分析的方法來分析這組數(shù)據(jù)，常用的數(shù)學(xué)分析方法有多項式擬合和插值運(yùn)算。由于人工神經(jīng)元網(wǎng)絡(luò)（Artificial Neural Networks，ANN）具有很強(qiáng)的非線性映射能力、自學(xué)習(xí)性和容錯性，所以，近些年來采用ANN對非線性函數(shù)進(jìn)行逼近成為該領(lǐng)域的一個研究熱點(diǎn)，其優(yōu)越性可在數(shù)據(jù)本身需要決定的模式特征不明確或含有噪聲等情況下得到體現(xiàn)。目前，國內(nèi)外學(xué)者絕大部分使用的ANN模型是BP神經(jīng)網(wǎng)絡(luò)，但是，傳統(tǒng)的BP網(wǎng)絡(luò)存在收斂速度慢、訓(xùn)練時間長和目標(biāo)函數(shù)存在局部最小等缺點(diǎn)，所以，學(xué)者們提出了許多改進(jìn)算法。BP網(wǎng)絡(luò)算法，其實就是對于非線性函數(shù)進(jìn)行優(yōu)化。以往在求解此類問題時，經(jīng)常利用數(shù)值優(yōu)化的方法，因為該方法在求解非線性函數(shù)時具有收斂速度較快的優(yōu)點(diǎn)，所以部分學(xué)者用其對BP算法進(jìn)行改進(jìn)。數(shù)值優(yōu)化算法需要同時考慮非線性函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)信息［1－3］。本文在詳細(xì)分析了3類基于數(shù)值優(yōu)化改進(jìn)的BP算法的基礎(chǔ)上，通過實例仿真，比較各類數(shù)值優(yōu)化算法應(yīng)用于BP神經(jīng)網(wǎng)絡(luò)后的逼近效果，得出在不同環(huán)境下，每種數(shù)值優(yōu)化算法逼近的可行性。

1 數(shù)值優(yōu)化改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法原理

1.1 共軛梯度優(yōu)化算法原理

共軛梯度優(yōu)化算法的實質(zhì)是沿著梯度最陡的方向下降來對權(quán)值進(jìn)行修正，誤差函數(shù)沿著梯度最陡的方向下降最快，收斂速度比沿著梯度最陡的方向的收斂速度更快。典型的共軛梯度優(yōu)化算法主要有4種，分別是：Fletcher-Reeves、Polak-Ribiere、Powell-Beale和Scaled Conjugate Gradient（SCG）優(yōu)化算法。共軛梯度優(yōu)化算法的首輪迭代過程為：

最佳線性搜索方向如式（2）所示：

式（3）中，p（k）為經(jīng)過k＋1輪迭代后的搜索方向，由前一輪迭代后的梯度、搜索方向共同決定，β（k）的算法視其具體屬于哪一種共軛梯度優(yōu)化算法而定。在MATLAB的Toolbox中，F(xiàn)letcher-Reeves優(yōu)化算法對應(yīng)的訓(xùn)練函數(shù)為traincgf（β（k）的算法如式（4）所示），Polak-Ribiere優(yōu)化算法的對應(yīng)的訓(xùn)練函數(shù)為traincgp（β（k）的算法如式（5）所示）［4］。

Powell-Beale優(yōu)化算法的迭代過程為：

SCG優(yōu)化算法在4種共軛梯度優(yōu)化算法中迭代過程最為簡單，計算量最小。

1.2 擬牛頓優(yōu)化算法原理

擬牛頓法是一種改進(jìn)BP算法的常見數(shù)值優(yōu)化方法，其理論基礎(chǔ)是牛頓法。擬牛頓算法的權(quán)值更新如式（8）所示：

式（9）中，方向向量p（k）用梯度向量g（k）來定義，矩陣S（k）是每次迭代中調(diào)整的正定矩陣，這樣做的目的在于方向向量d（k）逼近牛頓法的方向｛H（k）｝－1×▽f（x（k））。令q（k）＝g（k＋1）－g（k），Δw（k）＝w（k＋1）－w（k），且通過逼近式（10）可以成立。

用S（k）去逼近H（k），則式（11）可以成立。

當(dāng)誤差函數(shù)是二次函數(shù)時，式（11）是精確的，擬牛頓算法實現(xiàn)了對Hessian矩陣H（k）的逼近。H（k）的近似矩陣S（k）根據(jù)式（11）使用遞歸公式可得：

當(dāng)式（12）中ε（k）取值不同時，逼近Hessian矩陣的方法不同［5］。比較典型的是BFGS（Broyden，F(xiàn)ietcher，Goidfard，Shanno）優(yōu)化算法和一步割線優(yōu)化算法。在MATLAB的Toolbox中，采用BFGS優(yōu)化算法和一步割線優(yōu)化算法的訓(xùn)練函數(shù)分別為trainbfg和trainoss。

1.3 LM（Levenberg-Marguardt）優(yōu)化算法原理

LM算法與擬牛頓算法一樣是為了在近似二階訓(xùn)練速率進(jìn)行修正時避免計算Hessian矩陣而設(shè)計的。若誤差函數(shù)用平方和表示時，可以用下式來表示Hessian矩陣：

梯度表達(dá)式如為：

式（13）中，J（k）是包含網(wǎng)絡(luò)誤差對權(quán)值和閾值的一階導(dǎo)數(shù)的雅克比矩陣，式（14）中，e為誤差向量。

LM算法可按照下式進(jìn)行修正：

式（15）中，I為單位矩陣，比例系數(shù)μ是一個大于0的很小的參數(shù)，當(dāng)μ接近0時，式（15）變?yōu)榕ｎD法；當(dāng)μ很大時，式（15）變?yōu)樘荻认陆捣?。因為牛頓法在對最小誤差進(jìn)行逼近時，收斂速度快、精度高，所以應(yīng)使式（15）最終接近于牛頓法，使μ減??；僅在進(jìn)行嘗試性迭代后的誤差性能增加的情況下，才使μ增加［6－7］。在MATLAB的Toolbox中，LM算法對應(yīng)的訓(xùn)練函數(shù)為trainlm。

2 數(shù)值優(yōu)化改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)的建立

建立數(shù)值優(yōu)化改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)，主要包含網(wǎng)絡(luò)層數(shù)、隱層神經(jīng)元個數(shù)、初始權(quán)值和學(xué)習(xí)率4個要素。

2.1 網(wǎng)絡(luò)層數(shù)的確定

根據(jù)ANN的函數(shù)逼近理論，1個3層BP網(wǎng)絡(luò)可以逼近任意非線性函數(shù)。網(wǎng)絡(luò)層數(shù)越多誤差越小，精度越高，但另一方面會增加網(wǎng)絡(luò)的復(fù)雜性，使訓(xùn)練時間延長。一般來講，在預(yù)設(shè)的精度范圍內(nèi)，具有單隱層的BP神經(jīng)網(wǎng)絡(luò)足以逼近非線性函數(shù)。因此，本文在進(jìn)行函數(shù)逼近實驗時，BP神經(jīng)網(wǎng)絡(luò)采用單隱層結(jié)構(gòu)。

2.2 隱層神經(jīng)元個數(shù)

隱層神經(jīng)元數(shù)目的冗余將使網(wǎng)絡(luò)龐大、訓(xùn)練困難，而不足又會導(dǎo)致訓(xùn)練失敗。隱層神經(jīng)元數(shù)目與輸入、輸出層神經(jīng)元數(shù)目相關(guān)。本文采用動態(tài)法來確定隱層神經(jīng)元數(shù)，即一開始選用較少的隱層神經(jīng)元，如果學(xué)習(xí)一定次數(shù)后效果不好，再增加隱層神經(jīng)元，一直達(dá)到比較合理的隱層神經(jīng)元數(shù)為止。經(jīng)過多次實驗，隱層神經(jīng)元數(shù)最終確定為13，可以達(dá)到逼近要求。

2.3 初始權(quán)值的選取

初始權(quán)值對于非線性的BP神經(jīng)網(wǎng)絡(luò)的收斂程度和訓(xùn)練時間影響很大。若初始權(quán)值過大，會造成輸入值在加權(quán)后落入傳遞函數(shù)的飽和區(qū)，進(jìn)而使得訓(xùn)練停止。所以，本文在建立數(shù)值優(yōu)化BP神經(jīng)網(wǎng)絡(luò)時，輸入值在加權(quán)處理后盡可能接近0，這樣可以保證初始權(quán)值的調(diào)整發(fā)生在S型傳遞函數(shù)的斜率最陡處。

2.4 學(xué)習(xí)率

學(xué)習(xí)率過大，系統(tǒng)就會不穩(wěn)定；相反，網(wǎng)絡(luò)的訓(xùn)練時間就會延長，收斂速度緩慢，最終陷入局部最小值0，所以學(xué)習(xí)率一般選取（0.01，0.8）之間。本文為了兼顧系統(tǒng)穩(wěn)定性和較快的收斂速度，學(xué)習(xí)率選取為0.1。

3 7種數(shù)值優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的逼近性能仿真對比

針對共軛梯度算法、擬牛頓法和LM算法分別設(shè)計實現(xiàn)了7種數(shù)值優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，由樣本數(shù)據(jù)實現(xiàn)對如式（16）所示的非線性函數(shù)逼近。

MATLAB7.0作為計算機(jī)仿真平臺，輸入樣本數(shù)據(jù)為x∈［0，8］，采樣間隔是0.1，樣本總數(shù)是80個。因為線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則是Widrow-Hoff學(xué)習(xí)規(guī)則，又稱為最小均方誤差（Least Mean Error，LMS）學(xué)習(xí)算法，所以本文在建立數(shù)值優(yōu)化BP神經(jīng)網(wǎng)絡(luò)時所選用的誤差準(zhǔn)則為均方誤差（MSE），其計算公式如式為：

式（17）中，k＝1，2，…，表示輸入向量與對應(yīng)的期望輸出向量樣本對的數(shù)量，dk＝（d1（k），d2（k），…），表示網(wǎng)絡(luò)的期望輸出向量，yk＝（y1（k），y2（k），…）表示網(wǎng)絡(luò)的實際輸出向量。選取Sigmoid作為激活函數(shù)，在MSE預(yù)置誤差精度為0.000 01，學(xué)習(xí)率0.1，學(xué)習(xí)次數(shù)設(shè)為20 000次時，對共軛梯度算法、擬牛頓法和LM算法進(jìn)行計算機(jī)編程，并對網(wǎng)絡(luò)進(jìn)行訓(xùn)練和仿真逼近，取20次計算機(jī)運(yùn)算的平均值作為實驗最終結(jié)果。7種優(yōu)化算法對于目標(biāo)函數(shù)的實際逼近結(jié)果如圖1～7所示。7種數(shù)值優(yōu)化改進(jìn)BP算法仿真結(jié)果對比見表1。

表1 數(shù)值優(yōu)化改進(jìn)BP算法仿真結(jié)果對比Table 1 Simulation result comparison of numerical optimization improved BP neural network algorithms

圖1 Fietcher-Powell算法逼近結(jié)果Fig.1 Approximation results of Fietcher-Powell algorithm

圖2 Polak-Ribiere算法逼近結(jié)果Fig.2 Approximation results of Polak-Ribiere algorithm

圖3 Powell-Beale算法逼近結(jié)果Fig.3 Approximation results of Powell-Beale algorithm

圖4 SCG算法逼近結(jié)果Fig.4 Approximation results of SCG algorithm

圖5 一步割線算法逼近結(jié)果Fig.5 Approximationresultsofone-step secantalgorithm

圖6 BFGS算法逼近結(jié)果Fig.6 ApproximationresultsofBFGS algorithm

由圖1～3可以看出，在4種典型的共軛梯度算法中，F(xiàn)letcher-Reeves算法、Polak-Ribiere算法和Powell-Beale算法的逼近效果很差，在目標(biāo)函數(shù)斜率變化較大處均出現(xiàn)了很大程度的逼近誤差，且在規(guī)定的最大收斂步數(shù)范圍內(nèi)，最終未能完成逼近任務(wù)，均方誤差也未能達(dá)到逼近要求，且誤差很大。

圖7 LM算法逼近結(jié)果Fig.7 ApproximationresultsofLMalgorithm

由圖4和表1可以看出，在4種典型的共軛梯度算法的逼近性能中，采用SCG算法訓(xùn)練較其他共軛梯度算法需要的迭代次數(shù)顯著減少，收斂速度較快，均方誤差明顯較其他3種典型的共軛梯度算法減小，達(dá)到了逼近誤差要求，完成了逼近任務(wù)，這是因為SCG算法不用進(jìn)行行搜索。由圖5～6可以看出，BFGS和一步割線算法的整體逼近效果優(yōu)于4種典型的共軛梯度算法。由表1可以看出，在2種典型的擬牛頓算法中，BFGS算法的收斂步數(shù)較一步割線算法少，逼近精度也明顯優(yōu)于一步割線算法，但因為要存儲近似Hessian矩陣，BFGS算法每步迭代的計算量和內(nèi)存需求大于共軛梯度法?？偟膩碚f，在訓(xùn)練稍小網(wǎng)絡(luò)時使用BFGS算法效果較好，擬牛頓法的逼近性能優(yōu)于共軛梯度法。LM算法收斂速度最快，且精度也最高，逼近結(jié)果遠(yuǎn)遠(yuǎn)小于其他數(shù)值優(yōu)化算法的均方誤差，具有最佳的逼近性能見圖7。

4 結(jié)語

由于無法對所有非線性函數(shù)一一進(jìn)行逼近，本文僅以一個函數(shù)為例設(shè)計了實驗。對于不同函數(shù)進(jìn)行逼近實驗，BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)時間有很大差別，但各類優(yōu)化算法誤差收斂快慢的優(yōu)劣趨勢沒有很大變化?？梢钥吹贸龉曹椞荻确ǖ谋平Ч鄬^差。一般來講，共軛梯度算法要求在每次迭代時進(jìn)行行搜索，而這種行搜索導(dǎo)致收斂速度明顯慢于LM算法和擬牛頓算法。在4種典型的共軛梯度算法中，SCG算法和其他3種共軛梯度算法相比，需要較少的迭代次數(shù)，勉強(qiáng)達(dá)到逼近精度要求。采用LM算法收斂速度最快，如果就訓(xùn)練準(zhǔn)確性和逼近精度來講，該算法明顯優(yōu)于其他幾種數(shù)值優(yōu)化算法，但該算法需要計算誤差函數(shù)的二階導(dǎo)數(shù)，算法的復(fù)雜度增大，因此，當(dāng)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相對簡單且網(wǎng)絡(luò)參數(shù)很少時，該算法比較容易實現(xiàn)，仿真效果好；當(dāng)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)比較復(fù)雜時，該算法在計算過程中會產(chǎn)生大量的中間結(jié)果矩陣，需要較大的計算機(jī)內(nèi)存空間，實現(xiàn)LM算法的難度會大大增加。所以在中小型網(wǎng)絡(luò)中應(yīng)優(yōu)先采用LM算法進(jìn)行逼近。盡管擬牛頓算法進(jìn)行逼近時要求存儲近似Hessian矩陣，但仍比共軛梯度法的收斂速度要快，僅次于LM算法。所以，如果內(nèi)存空間較小，也可以嘗試使用擬牛頓算法。

［1］高雪鵬，叢爽．BP網(wǎng)絡(luò)改進(jìn)算法的性能對比研究［J］．控制與決策，2001，16（2）：167－171．

［2］周黃斌，周永華，朱麗娟．基于MATLAB的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的實現(xiàn)與比較［J］．計算技術(shù)與自動化，2008，27（1）：28－31．

［3］曹旭帆，葉舟，萬俊，等．基于BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近實驗及MATLAB實現(xiàn)［J］．實驗室研究與探索，2008，27（5）：34－38．

［4］丁碩，巫慶輝．基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近性能對比研究［J］．計算機(jī)與現(xiàn)代化，2012（11）：10－13．

［5］劉天舒．BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)研究及應(yīng)用［D］．哈爾濱：東北林業(yè)大學(xué)，2011．

［6］DING S，WU Q H．A MATLAB-based study on approximation performances of improved algorithms of typical BP neural networks［J］．Applied Mechanics and Materials，2013，313／314：1353－1356．

［7］智會強(qiáng)，牛坤，田亮，等．BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)在函數(shù)逼近領(lǐng)域內(nèi)的比較研究［J］．科技通報，2005，21（2）：193－197．

Comparative study of approximation performance of numerical optimization improved BP neural networks

DING Shuo，CHANG Xiao-heng，WU Qing-hu i，YANG You-Iin
（School of Industry，Bohai University，Jinzhou 121013，China）

We address numerical optimization improved BP neural network algorithms to compare their approximation capabilities. We establish three kinds of numerical optimization improved BP algorithms in MATLAB 7.0. Network training and simulation test are then performed for seven typical numerical optimization improved algorithms with non-linear function approximation as an example. We compare the approximation performance of different numerical optimization in defferent environments.

numerical optimization；BP neural networks；approximation performance；comparative study

TP391.9

A

1002-4026（2014）01-0068-05

10.3976／j.issn.1002－4026.2014.01.012

2013-07-02

國家自然科學(xué)基金（61104071）；遼寧省教育廳科學(xué)研究一般項目（L2012402）

丁碩（1979－），男，講師，研究方向為動態(tài)檢測、測試信號處理以及虛擬儀器。Email：dingshuo2004＠sina．com