翟龍飛+陳迎春++楊沖++閆心寶

摘 要： 通過對標準梯度下降算法BP神經網絡進行應用研究，眾多學者發(fā)現(xiàn)其收斂速度有待進一步提高。本文通過對標準BP網絡分析以及針對網絡中暴露的問題逐步解決優(yōu)化，逐算法進行訓練比較，最終選出最優(yōu)算法。

關鍵詞：學習算法 標準梯度 最優(yōu)理論

中圖分類號：TP301.5 文獻標識碼：A 文章編號：1003-9082（2016）04-0006-01

研究發(fā)現(xiàn)，標準BP網絡算法暴露出的主要問題有：一是訓練網絡易陷入局部最優(yōu)；二是網絡收斂慢，訓練時間長；三是訓練時對于舊樣本趨勢進行遺忘[1]。目前BP網絡的優(yōu)化學習算法可分為兩大類：基于標準梯度下降的啟發(fā)式學習算法和基于最優(yōu)理論的訓練算法[2]。

一、基于改進標準梯度啟發(fā)式學習算法分析

改進梯度算法是在原有標準梯度算法基礎上，通過優(yōu)化計算網絡權值和閾值的調整方式實現(xiàn)收斂優(yōu)化的目的。改進梯度算法包括增加動量法、學習速率可變法和彈性梯度法。

1.增加動量的梯度下降算法

標準梯度算法有遺忘舊樣本趨勢，即在網絡訓練中只參考本次樣本輸入影響，在此情況下便導致網絡訓練震蕩性大。為克服該弱點，引入動量因素，即考慮以往網絡輸入對于當前梯度方向影響，如式（1）中引入前一時刻網絡調整方向： （1）

表示時刻，表示時刻的負梯度。由于考慮了以往梯度的影響，相當于給迭代過程中增加了一個低通濾波器，使得網絡綜合歷史以及當前情況進行調整，從而忽略了誤差下降曲面的部分不規(guī)則細節(jié)優(yōu)化了網絡收斂。

2.學習速率可變的梯度下降算法

在標準梯度下降的BP網絡中，學習速率是恒定的，這就造成了網絡訓練前期和后期，學習速率對于網絡自身的不適應性。為解決學習速率帶來的問題，引入學習速率可變的算法。

該算法通過當前總誤差與前一次總誤差對比，實現(xiàn)學習速率的自適應調整，根據(jù)當前訓練所在誤差曲面的復雜度來確定學習速率的調整。

同增加動量的梯度下降算法一樣，學習速率可變的梯度下降算法同樣存在權值的修正量過小，學習效率得不到保證的問題。

3.彈性梯度下降算法

為解決輸入數(shù)據(jù)進入Sigmoid傳輸函數(shù)“飽和區(qū)”的不利影響，當訓練進入平坦區(qū)時，壓縮神經元輸入，從而使得輸入退飽和區(qū)。該算法數(shù)學表達為：

由（2）式可知，當 時，傳輸函數(shù)的敏感區(qū)段延長至原來的倍。輸入退出飽和區(qū)時，自適應調整 ，使得傳輸函數(shù)擁有較高靈敏度。

二、基于最優(yōu)理論的算法分析

基于最優(yōu)化理論，在BP網絡的研究上有共軛梯度法、擬牛頓法和Levenberg-Marquardt法。

1.共軛梯度算法

標準梯度下降算法，目標擬合思想是權值和閾值調整沿誤差函數(shù)下降最快的方向，然而由于誤差曲面的非光滑性質，導致梯度下降方向并不一定為收斂最快方向，且易陷入局部最優(yōu)。因此，引入共軛梯度，權值和閾值調整沿共軛梯度方向調整來獲得更快收斂[3]。

2.擬牛頓算法

在數(shù)值優(yōu)化算法中，標準的牛頓法迭代公式為： （3）

是誤差性能函數(shù)對當前權值和偏差的二階微分構成的Hessian矩陣[3]。然而，對于前向型BP網絡，計算Hessian矩陣耗費的計算資源量較大，反而提高了收斂時間。擬牛頓算法是每一次迭代計算一個近似Hessian矩陣，不僅提高了計算效率而且還解決了Hessian矩陣計算困難的問題，提高了網絡性能。

3.Levenberg-Marquardt算法

綜合以上兩種算法特點，提出Levenberg-Marquardt學習算法BP網絡。L-M法中，將誤差性能函數(shù)可以表示為平方和的形式，此時，Hessian矩陣可以近似為[3]： （4）

梯度為： （5）

L-M算法的更新過程與牛頓法類似，公式表達如下：

（6）

三、最優(yōu)算法

1.標準梯度以及其改進算法綜合比較

2.基于最優(yōu)理論學習算法的綜合比較

3.兩類算法中的最優(yōu)算法進行比較

通過比較，Levenberg-Marquardt算法在收斂速度和收斂效果上都要優(yōu)于彈性梯度算法。因此，選取Levenberg-Marquardt算法為最優(yōu)算法。