雷 達(dá)， 鐘詩(shī)勝

(哈爾濱工業(yè)大學(xué)機(jī)電工程學(xué)院 哈爾濱，150001)

?

用集成過(guò)程神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)民航發(fā)動(dòng)機(jī)振動(dòng)趨勢(shì)*

雷 達(dá)， 鐘詩(shī)勝

(哈爾濱工業(yè)大學(xué)機(jī)電工程學(xué)院 哈爾濱，150001)

提出了一種集成過(guò)程神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型用于民航發(fā)動(dòng)機(jī)振動(dòng)信號(hào)趨勢(shì)預(yù)測(cè)。首先，對(duì)AdaBoost.RT算法的誤差函數(shù)進(jìn)行了改進(jìn)，并采用自適應(yīng)調(diào)整策略在訓(xùn)練過(guò)程中自動(dòng)調(diào)節(jié)算法的分類閾值；然后，以改進(jìn)的AdaBoost.RT算法為集成學(xué)習(xí)框架構(gòu)建集成過(guò)程神經(jīng)網(wǎng)絡(luò)(process neural network,簡(jiǎn)稱PNN)預(yù)測(cè)模型。通過(guò)對(duì)兩組實(shí)際民航發(fā)動(dòng)機(jī)振動(dòng)信號(hào)序列的預(yù)測(cè)對(duì)集成模型的預(yù)測(cè)效果進(jìn)行了評(píng)估。結(jié)果表明，在具有更加簡(jiǎn)單網(wǎng)絡(luò)結(jié)構(gòu)的情況下，集成PNN模型的預(yù)測(cè)效果好于單一PNN模型。此外，提出的改進(jìn)AdaBoost.RT算法的效果優(yōu)于原始AdaBoost.RT以及僅改進(jìn)了閾值調(diào)整方法的AdaBoost.RT算法。對(duì)比結(jié)果表明，提出的集成PNN模型適用于民航發(fā)動(dòng)機(jī)振動(dòng)信號(hào)變化趨勢(shì)預(yù)測(cè)。

航空發(fā)動(dòng)機(jī)； 振動(dòng)信號(hào)； 趨勢(shì)預(yù)測(cè)； 集成學(xué)習(xí)； AdaBoost.RT； 過(guò)程神經(jīng)網(wǎng)絡(luò)

引言

對(duì)排氣溫度、轉(zhuǎn)子振動(dòng)等健康狀態(tài)參數(shù)進(jìn)行監(jiān)測(cè)和趨勢(shì)預(yù)測(cè)是民航發(fā)動(dòng)機(jī)健康狀態(tài)監(jiān)控的重要內(nèi)容。時(shí)間序列分析、人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,簡(jiǎn)稱ANN)[1]和過(guò)程神經(jīng)網(wǎng)絡(luò)[2]等方法都被用來(lái)對(duì)民航發(fā)動(dòng)機(jī)健康狀態(tài)參數(shù)變化趨勢(shì)進(jìn)行預(yù)測(cè)。PNN由于模擬了實(shí)際生物神經(jīng)元的時(shí)間聚合特性，能夠有效處理實(shí)際系統(tǒng)中存在的時(shí)間累積效應(yīng)，具有較好的預(yù)測(cè)效果[3-4]。

目前，一般通過(guò)建立全局模型的方法進(jìn)行發(fā)動(dòng)機(jī)健康狀態(tài)參數(shù)預(yù)測(cè)，即采用全部的訓(xùn)練樣本建立一個(gè)單一預(yù)測(cè)模型進(jìn)行預(yù)測(cè)。然而，全局模型可能難以完整描述發(fā)動(dòng)機(jī)健康狀態(tài)參數(shù)時(shí)間序列的某些局部特性，且模型結(jié)構(gòu)比較復(fù)雜。例如，ANN和PNN等神經(jīng)網(wǎng)絡(luò)模型在實(shí)際應(yīng)用中難以確定合適的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)訓(xùn)練有可能陷入局部最優(yōu)，導(dǎo)致難以獲得最佳的預(yù)測(cè)精度。集成學(xué)習(xí)通過(guò)組合一組“弱學(xué)習(xí)機(jī)”，即非最佳預(yù)測(cè)效果的學(xué)習(xí)機(jī)獲得更高的預(yù)測(cè)精度。AdaBoost就是一種有效的集成學(xué)習(xí)算法[5]。AdaBoost賦予上一次學(xué)習(xí)中錯(cuò)誤樣本更大的權(quán)重，按照權(quán)值從訓(xùn)練樣本中選擇一部分“硬”樣本訓(xùn)練新的學(xué)習(xí)機(jī)，使得各個(gè)學(xué)習(xí)機(jī)適應(yīng)于當(dāng)前選擇的局部樣本。通過(guò)不同學(xué)習(xí)機(jī)對(duì)不同局部樣本的學(xué)習(xí)，AdaBoost可以克服全局模型的不足，在不追求單個(gè)學(xué)習(xí)機(jī)最佳預(yù)測(cè)精度的同時(shí)獲得較好的總體預(yù)測(cè)效果?？梢?jiàn)，采用集成學(xué)習(xí)模型可以減少模型優(yōu)化的相關(guān)工作，容易獲得比單一模型更好的預(yù)測(cè)效果。

有鑒于此，筆者針對(duì)民航發(fā)動(dòng)機(jī)振動(dòng)信號(hào)趨勢(shì)預(yù)測(cè)問(wèn)題，對(duì)面向回歸問(wèn)題的AdaBoost.RT[6]算法進(jìn)行了改進(jìn)，以改進(jìn)的AdaBoost.RT算法作為集成學(xué)習(xí)框架，以PNN作為弱學(xué)習(xí)機(jī)構(gòu)建集成PNN預(yù)測(cè)模型對(duì)民航發(fā)動(dòng)機(jī)振動(dòng)信號(hào)進(jìn)行趨勢(shì)預(yù)測(cè)。

1 過(guò)程神經(jīng)網(wǎng)絡(luò)

前饋過(guò)程神經(jīng)網(wǎng)絡(luò)模型是最為常用的過(guò)程神經(jīng)網(wǎng)絡(luò)模型，圖1即為一種典型的三層前饋過(guò)程神經(jīng)網(wǎng)絡(luò)模型。該模型的隱層由過(guò)程神經(jīng)元[2]組成，而輸出層由普通神經(jīng)元組成。過(guò)程神經(jīng)元以時(shí)變函數(shù)作為輸入，以模擬生物神經(jīng)元的持續(xù)輸入刺激，其連接權(quán)也為時(shí)變函數(shù)，通過(guò)積分算子來(lái)實(shí)現(xiàn)時(shí)間聚合運(yùn)算。

圖1 過(guò)程神經(jīng)網(wǎng)絡(luò)模型Fig.1 PNN model

假設(shè)輸出層的激勵(lì)函數(shù)為線性函數(shù)g(z)=z，則圖1所示的過(guò)程神經(jīng)網(wǎng)絡(luò)模型的系統(tǒng)輸出為

(1)

同傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)一樣，過(guò)程神經(jīng)網(wǎng)絡(luò)可以采用梯度下降法、Levenberg Marquardt算法等進(jìn)行訓(xùn)練。同時(shí)，為了簡(jiǎn)化積分運(yùn)算，需要將過(guò)程神經(jīng)網(wǎng)絡(luò)的輸入函數(shù)和權(quán)函數(shù)進(jìn)行正交基展開(kāi)[7]。

2 集成過(guò)程神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

2.1 改進(jìn)的AdaBoost.RT算法

AdaBoost.RT是從AdaBoost發(fā)展而來(lái)的一種面向回歸問(wèn)題的集成學(xué)習(xí)算法。AdaBoost.RT計(jì)算訓(xùn)練樣本的相對(duì)誤差，引入一個(gè)分類閾值φ將回歸問(wèn)題轉(zhuǎn)化為分類問(wèn)題，從而依照AdaBoost框架進(jìn)行模型訓(xùn)練。由于其使用的直觀性和簡(jiǎn)便性，AdaBoost.RT得到了廣泛的應(yīng)用[8-9]。因此，筆者采用AdaBoost.RT作為集成過(guò)程神經(jīng)網(wǎng)絡(luò)模型的基本框架。

由于AdaBoost.RT使用的是相對(duì)誤差，因此在實(shí)際使用中具有較小值的訓(xùn)練樣本，在絕對(duì)誤差較小的情況下也可能產(chǎn)生較大的相對(duì)誤差，導(dǎo)致算法可能集中于具有較小值的樣本，從而失效。為克服上述不足，構(gòu)造誤差函數(shù)為

(2)

(3)

(4)

另外，分類閾值φ的大小直接影響AdaBoost.RT的使用效果，過(guò)大或者過(guò)小的φ都會(huì)對(duì)算法的預(yù)測(cè)效果造成影響，導(dǎo)致難以選擇合適的φ[10]。筆者提出一種根據(jù)誤差變化自適應(yīng)調(diào)整閾值的改進(jìn)方法。首先，賦予φ一個(gè)合適的初始值；然后，讓?duì)针S著實(shí)際訓(xùn)練誤差的變化而自適應(yīng)調(diào)整，具體為

(5)

如果訓(xùn)練誤差變大，則應(yīng)當(dāng)增加φ值，反之則減小φ值。另外，為了保證算法的有效性，應(yīng)當(dāng)對(duì)φ的取值范圍進(jìn)行限定。當(dāng)φ值大于訓(xùn)練誤差lt的最大值或者小于lt的最小值時(shí)，筆者取φ為lt的中值。

2.2 集成預(yù)測(cè)模型構(gòu)造

改進(jìn)的AdaBoost.RT算法步驟如下。

按照下式更新權(quán)值Dt

其中：Zt為標(biāo)準(zhǔn)化因子。

4) 輸出

3 應(yīng)用實(shí)例

3.1 數(shù)據(jù)預(yù)處理與模型建立

民航發(fā)動(dòng)機(jī)轉(zhuǎn)子振動(dòng)狀態(tài)體現(xiàn)了發(fā)動(dòng)機(jī)的健康狀態(tài)，一般通過(guò)與基線的偏差值(百分比)來(lái)描述。振動(dòng)偏差值越大，表明發(fā)動(dòng)機(jī)偏離基線越多，發(fā)動(dòng)機(jī)的性能可能發(fā)生了衰退。因此，有必要對(duì)發(fā)動(dòng)機(jī)振動(dòng)信號(hào)的變化趨勢(shì)進(jìn)行預(yù)測(cè)。

筆者采用平均絕對(duì)百分誤差(mean absolute percentage error,簡(jiǎn)稱MAPE)以及均方根誤差(root mean square error，簡(jiǎn)稱RMSE)描述預(yù)測(cè)誤差。MAPE和RMSE的計(jì)算公式分別為

(6)

(7)

3.2 測(cè)試結(jié)果

為了進(jìn)行對(duì)比，在采用本研究方法進(jìn)行預(yù)測(cè)的同時(shí)采用單一PNN、原始AdaBoost.RT以及文獻(xiàn)[8]的改進(jìn)AdaBoost.RT算法進(jìn)行預(yù)測(cè)。為方便起見(jiàn)，記文獻(xiàn)[8]的改進(jìn)AdaBoost.RT算法為Ref方法。在實(shí)驗(yàn)中，本研究方法和Ref方法的閾值初始值為φ=0.2，原始AdaBoost.RT的閾值φ通過(guò)試探確定。另外，3種集成預(yù)測(cè)模型的迭代次數(shù)(弱學(xué)習(xí)機(jī)個(gè)數(shù))及弱學(xué)習(xí)機(jī)隱層神經(jīng)元個(gè)數(shù)通過(guò)試探確定。單一PNN的隱層神經(jīng)元個(gè)數(shù)通過(guò)交叉驗(yàn)證確定。以上方法均采用選定的相同參數(shù)設(shè)置進(jìn)行5次重復(fù)試驗(yàn)，取平均值作為最終預(yù)測(cè)結(jié)果。

各模型對(duì)ΔVN2序列的預(yù)測(cè)結(jié)果如圖2～4所示。模型參數(shù)設(shè)置和誤差見(jiàn)表1。各模型對(duì)ΔVN1序列的預(yù)測(cè)結(jié)果如圖5～7所示。模型參數(shù)設(shè)置和誤差見(jiàn)表2。

圖2 采用本研究方法的ΔVN2預(yù)測(cè)結(jié)果Fig.2 Prediction results of ΔVN2 using the proposed method

圖3 采用Ref方法的ΔVN2預(yù)測(cè)結(jié)果Fig.3 Prediction results of ΔVN2 using the reference method

圖4 采用原始AdaBoost.RT方法的ΔVN2預(yù)測(cè)結(jié)果Fig.4 Prediction results of ΔVN2 using the original AdaBoost.RT

表1 模型參數(shù)設(shè)置和ΔVN2預(yù)測(cè)誤差

圖5 采用本研究方法的ΔVN1預(yù)測(cè)結(jié)果Fig.5 Prediction results of ΔVN1 using the proposed method

圖6 采用Ref方法的ΔVN1預(yù)測(cè)結(jié)果Fig.6 Prediction results of ΔVN1 using the reference method

圖7 采用原始AdaBoost.RT方法的ΔVN1預(yù)測(cè)結(jié)果Fig.7 Prediction results of ΔVN1 using the original AdaBoost.RT

表2 模型參數(shù)設(shè)置和ΔVN1預(yù)測(cè)誤差

可以看出，對(duì)于兩種不同類型的振動(dòng)信號(hào)時(shí)間序列，在不同訓(xùn)練樣本和測(cè)試樣本比例的條件下，集成PNN預(yù)測(cè)模型的預(yù)測(cè)效果都好于單一PNN的預(yù)測(cè)效果，且作為弱學(xué)習(xí)機(jī)的PNN的網(wǎng)絡(luò)結(jié)構(gòu)比單一PNN的網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，證明了通過(guò)集成次優(yōu)PNN模型獲得較好預(yù)測(cè)效果的方法是可行的，從而可以有效簡(jiǎn)化民航發(fā)動(dòng)機(jī)健康狀態(tài)預(yù)測(cè)建模中模型優(yōu)化工作。

雖然文獻(xiàn)[8]改進(jìn)算法的預(yù)測(cè)效果實(shí)際上比原始AdaBoost.RT的預(yù)測(cè)效果略差，但該算法只需給定初始閾值，大大減少了閾值優(yōu)化的相關(guān)工作，因此其改進(jìn)是有效的。筆者提出的集成預(yù)測(cè)模型對(duì)于兩種類型振動(dòng)信號(hào)的預(yù)測(cè)效果好于未改進(jìn)的AdaBoost.RT算法以及文獻(xiàn)[8]的改進(jìn)算法。這是因?yàn)楸狙芯繉?duì)AdaBoost.RT算法的改進(jìn)采用了更加合理的誤差函數(shù)和自適應(yīng)閾值調(diào)整方法，易取得較好的預(yù)測(cè)效果。該結(jié)果同時(shí)也表明了該模型對(duì)于實(shí)際發(fā)動(dòng)機(jī)振動(dòng)信號(hào)趨勢(shì)預(yù)測(cè)具有良好的適應(yīng)性。

4 結(jié) 論

1) 提出了一種改進(jìn)的AdaBoost.RT集成學(xué)習(xí)算法，該方法采用改進(jìn)的誤差函數(shù)以避免算法在訓(xùn)練中向具有較小值的樣本集中，保證了算法的有效性。另外，該方法在訓(xùn)練過(guò)程中可以自適應(yīng)調(diào)整分類閾值，使用更為方便。

2) 以過(guò)程神經(jīng)網(wǎng)絡(luò)作為弱學(xué)習(xí)機(jī)，采用改進(jìn)的AdaBoost.RT算法構(gòu)建集成模型對(duì)民航發(fā)動(dòng)機(jī)振動(dòng)信號(hào)變化趨勢(shì)進(jìn)行預(yù)測(cè)，并且與單一PNN模型、基于原始AdaBoost.RT以及只改進(jìn)了閾值調(diào)整方法的AdaBoost.RT算法的集成PNN模型進(jìn)行了對(duì)比。結(jié)果表明，本研究方法的預(yù)測(cè)效果好于對(duì)比方法，對(duì)民航發(fā)動(dòng)機(jī)振動(dòng)信號(hào)變化趨勢(shì)預(yù)測(cè)具有更好的適應(yīng)性。

[1] 陳果. 用結(jié)構(gòu)自適應(yīng)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)航空發(fā)動(dòng)機(jī)性能趨勢(shì)[J].航空學(xué)報(bào), 2007, 28(3): 535-539.

Chen Guo. Forecasting engine performance trend by using structure self-adaptive neural network[J]. Acta Aeronautica Et Astronautica Sinica, 2007, 28(3): 535-539. (in Chinese)

[2] 何新貴,梁久禎.過(guò)程神經(jīng)網(wǎng)絡(luò)的若干理論問(wèn)題[J].中國(guó)工程科學(xué), 2000, 2(12): 40-44.

He Xingui, Liang Jiuzhen. Some theoretical issues on procedure neural networks[J]. Engineering Science, 2000, 2(12): 40-44. (in Chinese)

[3] 金向陽(yáng), 林琳, 鐘詩(shī)勝, 等. 航空發(fā)動(dòng)機(jī)振動(dòng)趨勢(shì)預(yù)測(cè)的過(guò)程神經(jīng)網(wǎng)絡(luò)法[J]. 振動(dòng)、測(cè)試與診斷, 2011,31(3):331-334.

Jin Xiangyang, Lin Lin, Zhong Shisheng, et al. Prediction of aeroengine vibration trend using process neural network[J]. Journal of Vibration, Measurement & Diagnosis, 2011, 31(3):331-334. (in Chinese)

[4] Ding Gang, Zhong Shisheng. Approximation capability analysis of parallel process neural network with application to aircraft engine health condition monitoring [J]. Lecture Notes in Computer Science, 2007, 4493(3): 66-72.

[5] Freund Y, Schapire R. A desicion-theoretic generalization of on-line learning and an application to boosting computational learning theory[J]. Lecture Notes in Computer Science, 1995, 904:23-37.

[6] Solomatine D P, Shrestha D L. AdaBoost.RT: a boosting algorithm for regression problems[J]. Neural Networks, 2004, 2: 1163-1168.

[7] 何新貴,梁久禎,許少華. 過(guò)程神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及其應(yīng)用[J].中國(guó)工程科學(xué),2001,3(4):31-35.

He Xingui, Liang Jiuzhen, Xu Shaohua. Learning and applications of procedure neural networks[J]. Engineering Science, 2001, 3(4):31-35.(in Chinese)

[8] Tian Huixin, Mao Zhizhong. An ensemble elm based on modified AdaBoost.RT algorithm for predicting the temperature of molten steel in ladle furnace[J]. IEEE Transactions on Automation Science and Engineering, 2010, 7(1):73-80.

[9] Schclar A, Tsikinovsky A, Rokach L, et al. Ensemble methods for improving the performance of neighborhood-based collaborative filtering[C]∥Proceedings of the Third ACM Conference on Recommender Systems. New York: [s.n.], 2009.

[10]Shrestha D L, Solomatine D P. Experiments with AdaBoost.RT, an improved boosting scheme for regression[J]. Neural Computation, 2006, 18(7): 1678-1710.

[11]Schafer R W. What is a savitzky-golay filter[J]. Signal Processing Magazine, IEEE, 2011, 28(4): 111-117.

*國(guó)家高技術(shù)研究發(fā)展計(jì)劃(“八六三”計(jì)劃)資助項(xiàng)目(2012AA040911-1)；國(guó)家自然科學(xué)基金資助項(xiàng)目(60939003)

2013-01-21；

2013-05-02

10.16450/j.cnki.issn.1004-6801.2015.01.023

TH183； TH263.6

雷達(dá)，男，1984年11月生，博士研究生。主要研究方向?yàn)閺?fù)雜裝備健康狀態(tài)監(jiān)測(cè)與預(yù)測(cè)方法。曾發(fā)表《卷積和離散過(guò)程神經(jīng)網(wǎng)絡(luò)及其在航空發(fā)動(dòng)機(jī)排氣溫度預(yù)測(cè)中的應(yīng)用》(《航空學(xué)報(bào)》2012年第33卷第3期)等論文。 E-mail:leidame@163.com