朱如鵬，俞莎莎，李苗苗，趙英豪，王宇

(南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016)

0 引言

預(yù)測是根據(jù)客觀事物過去和現(xiàn)在的發(fā)展規(guī)律，借助于科學(xué)的方法對其未來的發(fā)展趨勢和狀況進(jìn)行描述和分析，并形成科學(xué)的假設(shè)和判斷。BP神經(jīng)網(wǎng)絡(luò)[1]具有高度非線性映射能力、良好的數(shù)據(jù)并行處理能力及容錯(cuò)能力，可以不涉及非線性函數(shù)的具體性質(zhì), 只要有足夠訓(xùn)練樣本組，就可以以任意精度逼近任意函數(shù)的特點(diǎn)，已在故障診斷[2]、預(yù)測[3]、函數(shù)逼近[4]、識(shí)別[5]等方面的應(yīng)用中取得了顯著的成效。但BP算法是基于梯度的算法，由于其理論缺陷，單獨(dú)使用神經(jīng)網(wǎng)絡(luò)效果不是很理想[6]。在實(shí)際應(yīng)用中，人們常將神經(jīng)網(wǎng)絡(luò)和小波變換[7]、遺傳算法[8]、粒子群算法[9]及模糊控制[10]等相結(jié)合。2016年，新疆大學(xué)王雅等[11]利用變速箱齒輪磨損實(shí)驗(yàn)輸入-輸出數(shù)據(jù)，通過基于粒子群算法的RBF神經(jīng)網(wǎng)絡(luò)建立輸出預(yù)測模型對齒輪磨損量進(jìn)行預(yù)測。2017年，四川大學(xué)周丹等[10]將改進(jìn)的粒子群算法、灰色模型和神經(jīng)網(wǎng)絡(luò)模型有機(jī)結(jié)合，構(gòu)建了改進(jìn)粒子群優(yōu)化灰色神經(jīng)網(wǎng)絡(luò)預(yù)測模型對我國專利授權(quán)數(shù)量進(jìn)行預(yù)測。2018年，華僑大學(xué)范偉等[12]提出遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的壓電陶瓷蠕變預(yù)測算法。

為了建立更加精確的預(yù)測模型，本文提出一種基于遺傳退火算法優(yōu)化的小波神經(jīng)網(wǎng)絡(luò)(GA-WNN)預(yù)測模型，其思路如下：首先通過用小波元對BP神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元的替換，建立小波神經(jīng)網(wǎng)絡(luò)；然后針對小波神經(jīng)網(wǎng)絡(luò)的初始權(quán)值、閾值、尺度因子、平移因子初始參數(shù)的優(yōu)化問題，提出了采用遺傳退火算法對其進(jìn)行優(yōu)化；最后利用已優(yōu)化的網(wǎng)絡(luò)初始參數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，得到基于遺傳退火算法優(yōu)化的小波神經(jīng)網(wǎng)絡(luò)預(yù)測模型。進(jìn)而，通過實(shí)例仿真，對模型進(jìn)行了驗(yàn)證。

利用MATLAB開發(fā)出界面友好、使用方便的圖形用戶界面(GUI)以實(shí)現(xiàn)基于遺傳退火的小波神經(jīng)網(wǎng)絡(luò)算法集成和交互可視化功能。 本文GUI設(shè)計(jì)中引入分層思想，將遺傳退火算法優(yōu)化模型參數(shù)設(shè)計(jì)為輔助GUI模塊，由主模塊GUI調(diào)用，每一層只專注自己需要實(shí)現(xiàn)的功能，實(shí)現(xiàn)高內(nèi)聚，降低復(fù)雜度。

1 基于遺傳退火優(yōu)化的小波神經(jīng)網(wǎng)絡(luò)模型

1.1 構(gòu)建小波神經(jīng)網(wǎng)絡(luò)模型

小波神經(jīng)網(wǎng)絡(luò)的思想是將常規(guī)神經(jīng)網(wǎng)絡(luò)隱含層的激勵(lì)函數(shù)用小波基函數(shù)代替，利用誤差函數(shù)極小化原理，不斷調(diào)整網(wǎng)絡(luò)的權(quán)值、閾值、小波基的平移、伸縮尺度因子從而增強(qiáng)函數(shù)逼近能力。研究表明：3層神經(jīng)網(wǎng)絡(luò)即可實(shí)現(xiàn)任意復(fù)雜的非線性映射問題，本文構(gòu)造出來的3層小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

設(shè)輸入層、隱含層及輸出層的神經(jīng)元個(gè)數(shù)分別為m、n、l，網(wǎng)絡(luò)訓(xùn)練過程基于誤差反向傳播思想，按梯度下降方向調(diào)整權(quán)值、閾值及小波伸縮、平移尺度因子，具體步驟如下：

1) 信息的正向傳播

輸出層第i個(gè)神經(jīng)元的輸出為：

(1)

定義誤差函數(shù)為：

(2)

圖1 小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2) 基于誤差的反向傳播

各參數(shù)調(diào)整公式為：

(3)

其中η為學(xué)習(xí)率，負(fù)號(hào)表示梯度下降。

1.2 遺傳退火算法優(yōu)化網(wǎng)絡(luò)模型初始參數(shù)

遺傳退火算法克服了傳統(tǒng)遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)初始參數(shù)過程中存在的收斂速度慢、計(jì)算的穩(wěn)定性不好、容易陷入“早熟”收斂等問題。該結(jié)合算法能夠豐富優(yōu)化過程中的搜索行為，增強(qiáng)全局和局部的搜索能力和效率，進(jìn)而在解空間中定位出一個(gè)較好的搜索空間，并將此作為其后采用小波神經(jīng)網(wǎng)絡(luò)搜索的初始權(quán)值。已知小波神經(jīng)網(wǎng)絡(luò)需要優(yōu)化的初始參數(shù)集合為：

{w1kj，b1j，aj,τj，w2ji,b2i}

其中：k=1,2,…,m;j=1,2,…,n;i=1,2,…,l。則要優(yōu)化變量個(gè)數(shù)N為：

N=m×n+3×n+n×l+l

(4)

故對小波神經(jīng)網(wǎng)絡(luò)初始參數(shù)優(yōu)化問題轉(zhuǎn)化為基于遺傳退火算法的多參數(shù)優(yōu)化問題，其主要步驟描述如下：

1) 參數(shù)設(shè)置，設(shè)定種群大小NIND、遺傳代數(shù)MAXGEN、變量二進(jìn)制位數(shù)PRECI、遺傳算法的交叉概率PC、變異概率Pm、代溝GGAP、退火初始溫度T0、溫度衰減系數(shù)k，當(dāng)前進(jìn)化代數(shù)gen=1；

2) 編碼并產(chǎn)生初始種群，對待優(yōu)化的N個(gè)變量按順序進(jìn)行編碼，并產(chǎn)生初始種群Sgen。本文采用二進(jìn)制編碼方式，即每1條染色體代表了1個(gè)網(wǎng)絡(luò)的所有權(quán)值和閾值及尺度因子，用N維數(shù)組表示；

3) 適應(yīng)度計(jì)算，利用適應(yīng)度函數(shù)計(jì)算種群中個(gè)體i的適應(yīng)度，以小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差作為適應(yīng)度函數(shù)，其公式為：

fit(i)=E

(5)

式中：fit為個(gè)體適應(yīng)度函數(shù)；E為小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差；i表示個(gè)體；

4) 選擇操作產(chǎn)生下一代新的種群；

8) 終止條件判斷，算法的迭代次數(shù)是否達(dá)到最大進(jìn)化代數(shù)；

如果滿足終止條件，則轉(zhuǎn)向9)，算法結(jié)束；如果不滿足終止條件，則gen=gen+1，轉(zhuǎn)到4)。

9) 輸出當(dāng)前最優(yōu)個(gè)體作為問題的最優(yōu)解并將遺傳退火算法搜索的最優(yōu)個(gè)體解碼, 賦值給小波神經(jīng)網(wǎng)絡(luò)權(quán)值、節(jié)點(diǎn)閾值、伸縮尺度因子及平移尺度因子。

1.3 GA-WNN網(wǎng)絡(luò)模型訓(xùn)練過程

基于遺傳退火算法優(yōu)化的小波神經(jīng)網(wǎng)絡(luò)的算法流程如下：

圖2 基于遺傳退火優(yōu)化的小波神經(jīng)網(wǎng)絡(luò)算法流程圖

主要步驟描述如下：

1) 樣本數(shù)據(jù)輸入及預(yù)處理；

2) 確定小波神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，本文采用3層小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，輸入輸出節(jié)點(diǎn)數(shù)由輸入輸出樣本維度決定，設(shè)置隱含層節(jié)點(diǎn)數(shù)hiddenum；

3) 小波神經(jīng)網(wǎng)絡(luò)建立及網(wǎng)絡(luò)參數(shù)設(shè)置，設(shè)置隱含層激勵(lì)函數(shù)IH、輸出層激勵(lì)函數(shù)HO、學(xué)習(xí)函數(shù)LF、學(xué)習(xí)率η、最大訓(xùn)練次數(shù)Epochs及訓(xùn)練目標(biāo)Goal；

4) 利用遺傳退火算法優(yōu)化小波神經(jīng)網(wǎng)絡(luò)的初始參數(shù)，具體過程包括：設(shè)定相應(yīng)的參數(shù),執(zhí)行遺傳退火操作，并由此得到進(jìn)化解(最佳染色體個(gè)體)；

5) 解碼并分解為網(wǎng)絡(luò)所對應(yīng)的優(yōu)化權(quán)值、閾值、伸縮和平移尺度因子；

6) 將優(yōu)化得到的權(quán)值、閾值、小波伸縮和平移尺度因子賦給小波神經(jīng)網(wǎng)絡(luò)，使用訓(xùn)練樣本訓(xùn)練網(wǎng)格，按梯度下降方向調(diào)整網(wǎng)絡(luò)參數(shù)并用測試樣本測試網(wǎng)絡(luò)；

7) 仿真預(yù)測得到結(jié)果。

1.4 GUI設(shè)計(jì)

為了實(shí)現(xiàn)整個(gè)建模過程的簡便化，運(yùn)用MATLAB/GUI工具開發(fā)了交互式基于遺傳退火的小波神經(jīng)網(wǎng)絡(luò)預(yù)測仿真系統(tǒng)，該系統(tǒng)由數(shù)據(jù)導(dǎo)入與顯示模塊、遺傳退火算法優(yōu)化模型初始參數(shù)模塊、仿真預(yù)測模塊和結(jié)果保存模塊4個(gè)部分，可以實(shí)現(xiàn)網(wǎng)絡(luò)的建立、預(yù)測及仿真結(jié)果顯示，如圖3所示。其中遺傳退火算法優(yōu)化模型初始參數(shù)模塊作為輔助模塊通過點(diǎn)擊主界面中“調(diào)用優(yōu)化模塊”按鈕來調(diào)用，界面如圖4所示。GUI的嵌套使用，使每一層只專注自己需要實(shí)現(xiàn)的功能實(shí)現(xiàn)高內(nèi)聚，降低界面復(fù)雜度。

圖3 基于遺傳退火的小波神經(jīng)網(wǎng)絡(luò)預(yù)測仿真系統(tǒng)主界面

圖4 遺傳退火算法優(yōu)化模型初始參數(shù)模塊界面圖

1) 數(shù)據(jù)導(dǎo)入與顯示模塊

依次點(diǎn)擊“導(dǎo)入源數(shù)據(jù)”按鈕、“數(shù)據(jù)預(yù)處理”按鈕、“樣本劃分”按鈕，完成數(shù)據(jù)的導(dǎo)入、導(dǎo)入數(shù)據(jù)歸一化處理、訓(xùn)練樣本及測試樣本劃分及樣本數(shù)據(jù)顯示。

2) 遺傳退火算法優(yōu)化模型初始參數(shù)模塊

首先，點(diǎn)擊主界面中“調(diào)用優(yōu)化模塊”按鈕來調(diào)用遺傳退火算法優(yōu)化模型初始參數(shù)模塊(輔助模塊)。通過該輔助模塊，合理設(shè)置種群大小、遺傳代數(shù)等控制參數(shù)，依次點(diǎn)擊“開始進(jìn)化”按鈕、“保存”按鈕，實(shí)現(xiàn)對小波神經(jīng)網(wǎng)絡(luò)模型的初始權(quán)值、閾值、伸縮、平移因子初始值優(yōu)化、優(yōu)化結(jié)果的顯示及保存；然后，點(diǎn)擊“退出優(yōu)化模塊”按鈕，退出該模塊；最后，點(diǎn)擊主界面上“顯示”按鈕，將優(yōu)化的模型參數(shù)顯示在主界面“初始參數(shù)顯示”表格中。

3) 仿真預(yù)測模塊

根據(jù)經(jīng)驗(yàn)確定網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)、合理選擇各層激活函數(shù)及網(wǎng)絡(luò)學(xué)習(xí)函數(shù)、設(shè)置訓(xùn)練次數(shù)及學(xué)習(xí)率等參數(shù)，即網(wǎng)絡(luò)參數(shù)設(shè)置，點(diǎn)擊主界面“預(yù)測模型”按鈕進(jìn)行仿真預(yù)測，同時(shí)實(shí)現(xiàn)網(wǎng)絡(luò)預(yù)測結(jié)果圖形顯示。

4) 結(jié)果保存模塊

依次點(diǎn)擊“保存網(wǎng)絡(luò)”按鈕、“退出”按鈕，完成網(wǎng)絡(luò)保存、顯示并退出系統(tǒng)。

2 算法應(yīng)用實(shí)例

2.1 齒輪磨損預(yù)測模型建立

采用文獻(xiàn)[11]中提供的實(shí)驗(yàn)輸入-輸出數(shù)據(jù)，以油溫T、速度v、載荷P、時(shí)間t及振動(dòng)信號(hào)(均值u、峰值P、峭度K及峰值指標(biāo)Pc)為輸入，齒輪磨損量Q為輸出，利用上文研究的基于遺傳退火小波神經(jīng)網(wǎng)絡(luò)建立預(yù)測模型。將試驗(yàn)監(jiān)測數(shù)據(jù)前9組用于網(wǎng)絡(luò)訓(xùn)練，后3組用于網(wǎng)絡(luò)預(yù)測。GA-WNN網(wǎng)絡(luò)參數(shù)設(shè)置見表1、表2。其中，小波神經(jīng)網(wǎng)絡(luò)模型參數(shù)設(shè)置如表1所示，遺傳退火算法優(yōu)化模型初始參數(shù)模塊參數(shù)設(shè)置如表2所示。

表1 小波神經(jīng)網(wǎng)絡(luò)模型參數(shù)設(shè)置

表2 遺傳退火算法優(yōu)化模型初始參數(shù)模塊參數(shù)設(shè)置

遺傳退火算法優(yōu)化小波神經(jīng)網(wǎng)絡(luò)初始參數(shù)過程如圖5所示，從圖中可以看出，種群的收斂速度快、計(jì)算的穩(wěn)定性好， 在種群進(jìn)化到第10代左右，已經(jīng)找到最優(yōu)解，第20代左右種群已趨于穩(wěn)定。種群進(jìn)化結(jié)束后將最優(yōu)結(jié)果保存，作為小波神經(jīng)網(wǎng)絡(luò)初值?；谀M退火的小波神經(jīng)網(wǎng)絡(luò)仿真預(yù)測得到結(jié)果如圖6所示，可以看出，預(yù)測曲線與原始曲線非常接近。

圖5 遺傳退火算法優(yōu)化小波神經(jīng)網(wǎng)絡(luò)初始參數(shù)

圖6 預(yù)測模型仿真圖

2.2 誤差分析

為了定量比較各預(yù)測模型預(yù)測效果，定義4個(gè)誤差評價(jià)指標(biāo)，見式(6)。

(6)

基于遺傳退火小波神經(jīng)網(wǎng)絡(luò)(GA-WNN)誤差評價(jià)指標(biāo)如表3所示。

表3 基于遺傳退火小波神經(jīng)網(wǎng)絡(luò)(GA-WNN)誤差評價(jià)表

文獻(xiàn)[11]中通過式(6)的指標(biāo)比較了AR模型、BP神經(jīng)網(wǎng)絡(luò)模型、Hermite神經(jīng)網(wǎng)絡(luò)及基于粒子群算法的RBF神經(jīng)網(wǎng)絡(luò),其誤差評價(jià)指標(biāo)如表4所示。

表4 不同網(wǎng)絡(luò)模型誤差評價(jià)表

通過比較表3、表4可以看出，本文提出的算法模型(GA-WNN)上述4個(gè)誤差評價(jià)指標(biāo)均優(yōu)于AR、BP、Hermite、RBF預(yù)測模型，故本文提出的GA-WNN算法預(yù)測模型具有更小偏差、更小波動(dòng)、更穩(wěn)定，適用于復(fù)雜的齒輪磨損量預(yù)測。

3 結(jié)語

本文建立的基于遺傳退火優(yōu)化小波神經(jīng)網(wǎng)絡(luò)預(yù)測模型(GA-WNN)結(jié)合了小波神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性預(yù)測能力和遺傳退火算法的全局優(yōu)化搜索功能，與傳統(tǒng)的AR模型、BP神經(jīng)網(wǎng)絡(luò)模型、Hermite神經(jīng)網(wǎng)絡(luò)及基于粒子群算法的RBF神經(jīng)網(wǎng)絡(luò)預(yù)測相比，具有較高的預(yù)測精度、波動(dòng)小、更穩(wěn)定，適用于復(fù)雜的預(yù)測問題。 此外，互動(dòng)式界面開發(fā)，完成實(shí)驗(yàn)輸入數(shù)據(jù)的自動(dòng)化讀取、參數(shù)的個(gè)性化設(shè)定以及輸出結(jié)果的快速可視化。用戶只需通過操作界面，即可訓(xùn)練出適應(yīng)不同要求的網(wǎng)絡(luò)模型，為用戶快速獲取適用于不同問題的預(yù)測模型提供了便利。