李 波 , 張 琳, 張 搏, 張保山

(1. 空軍工程大學(xué)研究生院， 陜西 西安 710000； 2. 93748 部隊(duì)，內(nèi)蒙古 包頭 014000；3. 空軍工程大學(xué)防空反導(dǎo)學(xué)院， 陜西 西安 710000)

BP神經(jīng)網(wǎng)絡(luò)是一種誤差反向傳播的前饋神經(jīng)網(wǎng)絡(luò)[1]，通常用誤差梯度下降法更新網(wǎng)絡(luò)。由于具備并行分布處理、非線性映射和自學(xué)習(xí)等優(yōu)點(diǎn)，BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于智能故障診斷[2]、健康狀態(tài)預(yù)測[3]和自動控制[4]等領(lǐng)域。但是，因其存在易形成局部極小、學(xué)習(xí)效率低和收斂速度慢等固有缺陷[5]，未經(jīng)改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)直接應(yīng)用時效果常不夠理想。目前，研究者對BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)研究通常集中在附加動量項(xiàng)和學(xué)習(xí)率自適應(yīng)等方面,如：謝汝兵等[6]對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了附加動量項(xiàng)改進(jìn)并應(yīng)用于機(jī)械故障診斷；王莉莉等[7]對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行“動量-學(xué)習(xí)率自適應(yīng)”改進(jìn)后應(yīng)用于電容層析成像(Electrical Gapacitance Tomography，ECT)流型辨識；陳華珍等[8]提出了附加動量和學(xué)習(xí)率的自適應(yīng)算法，并將這種“雙自適應(yīng)”BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于智能手環(huán)體征檢測。然而，由于上述方法中動量因子和學(xué)習(xí)率或固定不變,或僅在有限的固定點(diǎn)上變動，自適應(yīng)功能較弱，網(wǎng)絡(luò)收斂性仍顯不足。筆者將C語言中的“指針”思想引入BP神經(jīng)網(wǎng)絡(luò)中，創(chuàng)建了網(wǎng)絡(luò)“誤差指針”。通過“誤差指針”對學(xué)習(xí)率和動量因子進(jìn)行雙自適應(yīng)調(diào)整，進(jìn)一步擴(kuò)展了二者的取值空間，有利于網(wǎng)絡(luò)更深層次的自適應(yīng)調(diào)整，可提高網(wǎng)絡(luò)收斂速度和診斷精度。

1 典型BP神經(jīng)網(wǎng)絡(luò)及改進(jìn)

1.1 典型BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)通常有輸入層、隱含層和輸出層3部分，根據(jù)隱含層數(shù)量不同，BP神經(jīng)網(wǎng)絡(luò)可分為單隱層和多隱層。研究表明:單隱層即可實(shí)現(xiàn)任意非線性映射功能。典型的單隱層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

BP神經(jīng)網(wǎng)絡(luò)基本信號傳輸和調(diào)整原理如下：

輸入信號

(1)

輸出信號

(2)

式中：σ(·)為激活函數(shù)。

樣本誤差

e(n)=L(a[l](n),y)，

(3)

式中:y為期望的輸出;L(·)為損失函數(shù)。

輸出層梯度

(4)

式中：σ′(·)為激活函數(shù)的導(dǎo)數(shù)。

隱含層梯度

(5)

第n次迭代的偏置

(6)

式中：η為學(xué)習(xí)率(也稱步長)，通常取(0,1)區(qū)間內(nèi)的一個常數(shù)。

第n次迭代的權(quán)重

(7)

可見，標(biāo)準(zhǔn)BP算法屬于簡單的最速下降尋優(yōu)法，其調(diào)整方向與梯度方向相反。

1.2 動量-自適應(yīng)學(xué)習(xí)率BP神經(jīng)網(wǎng)絡(luò)

由于神經(jīng)網(wǎng)絡(luò)在修正權(quán)值和偏置過程中僅僅考慮了當(dāng)前時刻的梯度，未考慮前一時刻的變化方向，導(dǎo)致網(wǎng)絡(luò)在學(xué)習(xí)過程中容易發(fā)生振蕩，收斂速度緩慢。因此，有研究者提出通過附加動量項(xiàng)的方式進(jìn)行改進(jìn)，改進(jìn)后偏置和權(quán)重修正公式如下：

第n次迭代的偏置為

(8)

式中：μ為動量因子，通常取[0.1,0.8]區(qū)間內(nèi)的一個常數(shù)。

第n次迭代的權(quán)重為

(9)

為了進(jìn)一步加速網(wǎng)絡(luò)收斂，有研究者提出對學(xué)習(xí)率η進(jìn)行自適應(yīng)改進(jìn)，即η不再取固定值，而根據(jù)誤差大小進(jìn)行調(diào)整，通常取如下階梯函數(shù)[9]：

(10)

可見，這種學(xué)習(xí)率自適應(yīng)調(diào)整的基本思路是：誤差降低時說明調(diào)整方向正確，此時增大學(xué)習(xí)率加速收斂；誤差增大時說明調(diào)整方向錯誤，此時降低學(xué)習(xí)率避免振蕩。使用批量訓(xùn)練方式的動量-學(xué)習(xí)率自適應(yīng)BP算法流程如圖2所示，其中ep為誤差容限。

2 改進(jìn)的雙自適應(yīng)BP神經(jīng)網(wǎng)絡(luò)

前述方法中，雖然通過附加動量項(xiàng)能有效抑制振蕩，促進(jìn)網(wǎng)絡(luò)收斂，但如何選取動量因子μ一直沒有較好的方法。μ選取過小，慣性效果弱，對于網(wǎng)絡(luò)的振蕩抑制不夠明顯；μ選取過大，慣性效果過于顯著，又不易加速收斂。孫瑜[10]通過對比μ取不同值時神經(jīng)網(wǎng)絡(luò)收斂效果，得出了μ的最佳值與學(xué)習(xí)率η有關(guān)的結(jié)論，并給出了不同η下μ的一些取值范圍。但因神經(jīng)網(wǎng)絡(luò)初始權(quán)值的隨機(jī)性，其最佳值理論尚不具備一般性。同時，學(xué)習(xí)率自適應(yīng)方法僅考慮誤差的增大或減小，而未考慮誤差連續(xù)增大或減小的情況，自適應(yīng)能力仍顯不足。

于海寧等[11]在研究C語言程序設(shè)計(jì)時提出一種改進(jìn)的指針分析方法，提高了對敏感量的控制能力。BP神經(jīng)網(wǎng)絡(luò)中動量因子和學(xué)習(xí)率作為對誤差函數(shù)敏感的變量，同樣適用于上述方法。因此，筆者設(shè)計(jì)了計(jì)數(shù)器p1(p2)作為網(wǎng)絡(luò)誤差e(n)連續(xù)增大(減小)的標(biāo)志量，并將其作為“誤差指針”供動量因子和學(xué)習(xí)率自適應(yīng)調(diào)節(jié)時引用，具體調(diào)整策略如下：

誤差指針p1和p2分別為

(11)

(12)

自適應(yīng)學(xué)習(xí)率η為

(13)

自適應(yīng)動量因子μ為

(14)

如：誤差e(n)連續(xù)減小k次時，說明調(diào)整方向正確并且搜索步長不足，此時以k冪指數(shù)方式提高學(xué)習(xí)率η，并以k冪指數(shù)方式降低動量因子μ，這樣就可以進(jìn)一步加速網(wǎng)絡(luò)收斂。使用批量訓(xùn)練方式，改進(jìn)的雙自適應(yīng)BP算法流程如圖3所示。

3 仿真實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)分析程序運(yùn)行于Windows10系統(tǒng)，處理器為Intel(R)Core(TM)i5-7200u，CPU 2.50 GHz 2.71 GHz，軟件版本為MATLAB R2016a。

3.1 樣本數(shù)據(jù)

絕緣柵雙極型晶體管(Insulated Gate Bipolar Transistor，IGBT)是一種常用的電力電子元件，廣泛應(yīng)用于整流、逆變、脈寬調(diào)制等電路。筆者以某型雷達(dá)的三相電壓型交-直-交變頻器逆變電路為研究對象，對其IGBT開路故障進(jìn)行診斷，其電路如圖4所示。

統(tǒng)計(jì)表明：三相電壓型交-直-交變頻器逆變電路中1個IGBT開路故障居多，2個IGBT同時開路故障較少，3個以上IGBT同時故障的概率極小。因此，筆者以單IGBT開路、雙IGBT開路(以T3、T4為例)和無故障等狀態(tài)為診斷內(nèi)容，對不同狀態(tài)進(jìn)行二進(jìn)制編碼并設(shè)定了故障編號；通過Simulink獲取了IGBT在不同狀態(tài)下的電路輸出電壓值，共取得880組樣本[12](其中110組為正常值)；隨機(jī)選取其中的800組用于訓(xùn)練，另外80組用于測試。三相逆變電路IGBT開路故障數(shù)據(jù)(歸一化后)如表1所示。

表1 三相逆變電路IGBT開路故障數(shù)據(jù)(歸一化)

3.2 故障診斷方法對比

根據(jù)樣本特點(diǎn)，設(shè)計(jì)了3×5×6的BP神經(jīng)網(wǎng)絡(luò)，使用批量訓(xùn)練方式。其中隱層傳輸函數(shù)為Log-sigmoid，輸出層傳輸函數(shù)為Purelin。最大迭代次數(shù)為300步，為了更好地對比各算法收斂性，誤差容限設(shè)為0。

當(dāng)使用典型BP神經(jīng)網(wǎng)絡(luò)進(jìn)行故障診斷時，選取的學(xué)習(xí)率和動量因子不同，網(wǎng)絡(luò)收斂也不同。經(jīng)測試，學(xué)習(xí)率η和動量因子μ分別選取0.8和0.7時，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效果最理想，達(dá)到穩(wěn)定誤差的迭代次數(shù)132步。使用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行測試，診斷正確率為75%，誤差曲線及診斷結(jié)果見圖5、6。

由式(3)、(7)，可得典型BP神經(jīng)網(wǎng)絡(luò)的誤差為

(15)

在使用動量-自適應(yīng)學(xué)習(xí)率調(diào)整方法時，學(xué)習(xí)率初始值設(shè)置為0.8。經(jīng)驗(yàn)證，μ=0.6時，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效果最理想，達(dá)到穩(wěn)定的迭代次數(shù)為38步，測試準(zhǔn)確率提高至76.25%，誤差曲線及診斷結(jié)果如圖7、8所示。

由式(3)、(9)，可得動量-自適應(yīng)學(xué)習(xí)率的網(wǎng)絡(luò)誤差為

(16)

最后，使用基于誤差指針改進(jìn)的學(xué)習(xí)率和動量因子雙自適應(yīng)性BP算法，學(xué)習(xí)率初始值同樣取0.8，動量因子初始值取0.6。此時，網(wǎng)絡(luò)達(dá)到穩(wěn)定的迭代次數(shù)為46步，準(zhǔn)確率為82.5%。誤差曲線及診斷結(jié)果如圖9、10所示。

由式(3)、(13)、(14),可得改進(jìn)的雙自適應(yīng)神經(jīng)網(wǎng)絡(luò)誤差為

(17)

此時，誤差e(n)受η(n-1)和μ(n-1)雙重調(diào)節(jié)，在指針變量p1(p2)的控制下，誤差正常下降時，調(diào)節(jié)速度不斷加快，出現(xiàn)震蕩時，調(diào)節(jié)幅度時將得到抑制。因此，其誤差降低速度加快，并且振蕩效果得到了較好的抑制。

為了進(jìn)一步對比各種算法，取網(wǎng)絡(luò)最后100次迭代誤差進(jìn)行對比，結(jié)果如圖11所示。不同算法誤差均值分別為0.685、0.390、0.308，均方差分別為0.002 40、0.001 30、0.000 12，由此可知：經(jīng)改進(jìn)的雙自適應(yīng)BP算法收斂性和診斷精度均優(yōu)于典型BP算法和動量-自適應(yīng)學(xué)習(xí)率BP算法。

4 結(jié)論

筆者通過建立誤差指針，設(shè)計(jì)了基于改進(jìn)雙自適應(yīng)的BP算法，并建立了相應(yīng)故障診斷模型。仿真實(shí)驗(yàn)證明該方法既增強(qiáng)了網(wǎng)絡(luò)的收斂性，又提高了故障診斷精度，可以改善現(xiàn)有方法收斂速度慢、不穩(wěn)定、診斷精度偏低等缺陷。但本文并未對動量因子、學(xué)習(xí)率初始值和調(diào)整門限的選取進(jìn)行研究，而初始值和調(diào)整門限的取值在一定程度上影響B(tài)P神經(jīng)網(wǎng)絡(luò)的性能，因此，需對相關(guān)內(nèi)容做進(jìn)一步研究。