趙建鵬，周 俊

(上海工程技術(shù)大學(xué) 機(jī)械工程學(xué)院，上海 201620）

基于長短時(shí)記憶網(wǎng)絡(luò)的旋轉(zhuǎn)機(jī)械狀態(tài)預(yù)測(cè)研究

趙建鵬，周 俊

(上海工程技術(shù)大學(xué) 機(jī)械工程學(xué)院，上海 201620）

作為深度學(xué)習(xí)算法的一種，長短時(shí)記憶網(wǎng)絡(luò)越來越成為時(shí)間序列預(yù)測(cè)的重要手段，簡(jiǎn)要闡述長短時(shí)記憶網(wǎng)絡(luò)的基本原理，并將其應(yīng)用于旋轉(zhuǎn)機(jī)械狀態(tài)監(jiān)控領(lǐng)域，以軸承數(shù)據(jù)為樣本進(jìn)行仿真，針對(duì)軸承數(shù)據(jù)的非平穩(wěn)性，運(yùn)用經(jīng)驗(yàn)?zāi)B(tài)分解方法將其分解為平穩(wěn)信號(hào)，并計(jì)算其本征模態(tài)分量能量熵作為狀態(tài)特征，通過計(jì)算長短時(shí)記憶網(wǎng)絡(luò)對(duì)旋轉(zhuǎn)機(jī)械狀態(tài)單步預(yù)測(cè)的結(jié)果，并與支持向量回歸機(jī)模型的預(yù)測(cè)結(jié)果進(jìn)行比較，證明長短時(shí)記憶網(wǎng)絡(luò)在旋轉(zhuǎn)機(jī)械狀態(tài)預(yù)測(cè)方面可以取得比支持向量回歸機(jī)更好的效果。

振動(dòng)與波；長短時(shí)記憶；故障預(yù)測(cè)；狀態(tài)監(jiān)控；經(jīng)驗(yàn)?zāi)B(tài)分解；能量熵

隨著現(xiàn)代大型機(jī)械裝備日益趨于復(fù)雜化、高速化、自動(dòng)化與精密化，部件之間相互耦合的關(guān)系越來越強(qiáng)，一旦其中一個(gè)關(guān)鍵部件發(fā)生故障，往往會(huì)引發(fā)機(jī)械故障的一系列“鏈?zhǔn)椒磻?yīng)”，從而造成工廠的財(cái)產(chǎn)損失甚至是人員傷亡。尤其對(duì)于旋轉(zhuǎn)機(jī)械來說，其所受載荷為動(dòng)態(tài)載荷，更易發(fā)生機(jī)械故障，故而對(duì)于旋轉(zhuǎn)機(jī)械的狀態(tài)監(jiān)控和預(yù)測(cè)一直是研究的熱點(diǎn)[1]。

對(duì)機(jī)械設(shè)備進(jìn)行故障診斷和預(yù)測(cè)的方法可以分為三種，分別是基于數(shù)據(jù)驅(qū)動(dòng)的方法、基于模型的方法和基于經(jīng)驗(yàn)方法。其中基于數(shù)據(jù)驅(qū)動(dòng)的方法主要應(yīng)用神經(jīng)網(wǎng)絡(luò)、馬爾可夫模型等機(jī)器學(xué)習(xí)方法，隨著機(jī)器學(xué)習(xí)在今天生產(chǎn)和生活各個(gè)領(lǐng)域的廣泛應(yīng)用而獲得巨大發(fā)展，成為最主要的故障診斷和預(yù)測(cè)方法。學(xué)界也提出了很多基于機(jī)器學(xué)習(xí)的機(jī)械故障預(yù)測(cè)方法[2–6]。

標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)在應(yīng)對(duì)分類任務(wù)時(shí)很有效，能夠?qū)Ψ蔷€性系統(tǒng)進(jìn)行良好的擬合，但是由于在神經(jīng)網(wǎng)絡(luò)的假設(shè)中所取得的數(shù)據(jù)被視為互相獨(dú)立的，無法模擬時(shí)間序列中的馬爾可夫過程，所以提出了遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)模型，下一時(shí)刻的輸出狀態(tài)y(t+1)不僅依賴于下一時(shí)刻的輸入x(t+1)，而且依賴于本時(shí)刻的輸出狀態(tài)y(t)。Yam等提出以遞歸神經(jīng)網(wǎng)絡(luò)作為視情維修手段，構(gòu)建了面向機(jī)械狀態(tài)的智能預(yù)測(cè)決定支持系統(tǒng)[7]。Wang等提出以動(dòng)態(tài)小波神經(jīng)網(wǎng)絡(luò)(Dynamic Wavelet Neural Network,DWNN)和虛擬傳感器作為“測(cè)量(measure)”故障增長和預(yù)測(cè)剩余使用壽命的手段[8]。這些文獻(xiàn)表明，遞歸神經(jīng)網(wǎng)絡(luò)在機(jī)械狀態(tài)預(yù)測(cè)方面的確具有其優(yōu)越性，能夠產(chǎn)生良好的效果，但是RNN也具有一些缺陷，比如難以訓(xùn)練并且無法學(xué)習(xí)長期依賴關(guān)系等，作為其改進(jìn)版本，長短時(shí)記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)自提出至今尚未被應(yīng)用于機(jī)械狀態(tài)預(yù)測(cè)領(lǐng)域。

文中提出以LSTM網(wǎng)絡(luò)作為機(jī)械狀態(tài)監(jiān)控和預(yù)測(cè)的方法，分為兩步，第一步進(jìn)行特征提取，對(duì)軸承振動(dòng)數(shù)據(jù)進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解，并以分解得到的IMF能量熵之和作為機(jī)械狀態(tài)特征，第二步設(shè)計(jì)LSTM網(wǎng)絡(luò)的結(jié)構(gòu)并進(jìn)行仿真驗(yàn)證，由于支持向量回歸機(jī)(Support Vector Regression Machine，SVRM)模型近年來在時(shí)間序列預(yù)測(cè)方面取得很多令人振奮的結(jié)論，所以將LSTM網(wǎng)絡(luò)的仿真結(jié)果與根據(jù)SVRM模型得到的結(jié)果進(jìn)行比較。表明相比于SVRM模型，LSTM網(wǎng)絡(luò)能夠更好地逼近真實(shí)值。而且SVRM模型存在參數(shù)優(yōu)化問題，懲罰因子和核函數(shù)參數(shù)的選取嚴(yán)重影響其預(yù)測(cè)性能,而LSTM網(wǎng)絡(luò)則有效避免了參數(shù)選取的難題。本研究推廣了長短時(shí)記憶網(wǎng)絡(luò)的應(yīng)用領(lǐng)域，提出了一種旋轉(zhuǎn)機(jī)械狀態(tài)監(jiān)控和預(yù)測(cè)的新方法。

1 LSTM網(wǎng)絡(luò)簡(jiǎn)介

1.1 RNN原理

RNN神經(jīng)元的結(jié)構(gòu)與標(biāo)準(zhǔn)神經(jīng)元的區(qū)別在于其具有遞歸結(jié)構(gòu)，可以將上一個(gè)狀態(tài)的信息傳遞到當(dāng)前狀態(tài)，如圖1所示，當(dāng)輸入為時(shí)間序列時(shí)，可以將其展開為一系列相互連接的標(biāo)準(zhǔn)神經(jīng)元。

圖1 遞歸神經(jīng)網(wǎng)絡(luò)神經(jīng)元結(jié)構(gòu)圖

設(shè)輸入序列為X=(x1,x2,…,xt)，隱單元序列H=(h1,h2,…,ht)與輸出序列Y=(y1,y2,…,yt)的算法為

σ為非線性激活函數(shù)，Wxh、Whh、Why分別為輸入到隱單元、隱單元到隱單元、隱單元到輸出的權(quán)值矩陣，bh、by分別為隱單元和輸出的偏置項(xiàng)。

1.2 LSTM網(wǎng)絡(luò)原理

LSTM網(wǎng)絡(luò)是一種應(yīng)用于深度學(xué)習(xí)領(lǐng)域的RNN，由Hochreiter和Schmidhuber（1997）提出以克服RNN難以訓(xùn)練和梯度消失問題[9]，能夠?qū)W習(xí)長期依賴關(guān)系，之后被學(xué)界不斷完善[10–11].

LSTM網(wǎng)絡(luò)與標(biāo)準(zhǔn)RNN的區(qū)別在于RNN的隱單元的結(jié)構(gòu)被長短時(shí)記憶網(wǎng)絡(luò)以記憶塊代替，記憶塊中最重要的結(jié)構(gòu)是其所具有的三個(gè)門結(jié)構(gòu)和一個(gè)元胞(cell)結(jié)構(gòu)。其具體構(gòu)造如圖2所示。

圖2 長短時(shí)記憶網(wǎng)絡(luò)記憶塊結(jié)構(gòu)

在LSTM網(wǎng)絡(luò)中三個(gè)門結(jié)構(gòu)采用的Logistic sigmoid函數(shù)所起的作用是通過控制門的開關(guān)程度控制信息的流動(dòng)，在方程式(5)計(jì)算狀態(tài)ct的過程中，輸入門控制輸入的比率，以當(dāng)前層的輸入xt和上一時(shí)刻隱單元的輸出ht-1作為輸入，輸出結(jié)果it作為將要更新的信息

遺忘門控制所通過的先前記憶的比率，輸出結(jié)果ft

遺忘門的輸出結(jié)果與舊的元胞狀態(tài)ct-1相乘，用以遺忘信息，輸入門的輸出it與tanh層相乘作為新的候選信息，二者之和生成新的元胞狀態(tài)ct

輸出門決定是否通過當(dāng)前的記憶，輸出結(jié)果ot，tanh層處理新的元胞狀態(tài)，二者相乘作為隱單元的輸出

最后獲得輸出信息

σ為 Logistic sigmoid 函數(shù)，it、ft、ot、ct分別為t時(shí)刻的輸入門、遺忘門、輸出門、元胞結(jié)構(gòu)的狀態(tài)，Wxi、Wxf、Wxo、Wxc分別為從輸入到輸入門、遺忘門、輸出門和元胞結(jié)構(gòu)的權(quán)值矩陣，Whi、Whf、Who、Whc分別為從隱單元到輸入門、遺忘門、輸出門和元胞結(jié)構(gòu)的權(quán)值矩陣，Φ為網(wǎng)絡(luò)輸出激活函數(shù)，選用Re LU(Rectified Linear Units)函數(shù)作為激活函數(shù)。

LSTM網(wǎng)絡(luò)的訓(xùn)練算法采用通過時(shí)間的反向傳播算法(Back Propagation Through Time,BPTT)算法進(jìn)行訓(xùn)練[12]。

1.3 基于LSTM的旋轉(zhuǎn)機(jī)械狀態(tài)預(yù)測(cè)建模

旋轉(zhuǎn)機(jī)械在運(yùn)行過程中的特征可以被視為時(shí)間序列，設(shè)旋轉(zhuǎn)機(jī)械有n個(gè)特征值，且當(dāng)前時(shí)刻t的狀態(tài)與此時(shí)刻之前k個(gè)狀態(tài)有關(guān)，即輸入向量為

其中下標(biāo)表示特征種類，上標(biāo)表示每種特征中與當(dāng)前狀態(tài)相關(guān)的特征，如表示在第n種特征中當(dāng)前時(shí)間t之前的第k個(gè)特征值。

圖3 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

其中輸入層節(jié)點(diǎn)數(shù)即需要輸入的特征的個(gè)數(shù)，其數(shù)量為input_num=n×k輸出層節(jié)點(diǎn)數(shù)，即當(dāng)前狀態(tài)的特征種類，其數(shù)量為output_num=n隱層節(jié)點(diǎn)數(shù)，由經(jīng)驗(yàn)確定。

2 實(shí)驗(yàn)驗(yàn)證

2.1 數(shù)據(jù)介紹

由于旋轉(zhuǎn)機(jī)械最重要的結(jié)構(gòu)是軸承轉(zhuǎn)子系統(tǒng)，為了驗(yàn)證LSTM網(wǎng)絡(luò)在旋轉(zhuǎn)機(jī)械狀態(tài)預(yù)測(cè)方面的效果，在盡可能降低實(shí)驗(yàn)成本并且能取得相同實(shí)驗(yàn)效果的條件下，可以只采用軸承轉(zhuǎn)子系統(tǒng)全壽命數(shù)據(jù)，文中的數(shù)據(jù)采用美國辛辛那提大學(xué)(University of Cincinnati)智能維護(hù)系統(tǒng)(Intelligent Maintenance Systems,IMS)中心軸承全壽命數(shù)據(jù)集，其實(shí)驗(yàn)所用的傳感器為PCB 353B33 High Sensitivity Quartz ICP加速度傳感器，所用軸承為Rexnord ZA-2115 double row bearings，軸承試驗(yàn)臺(tái)與傳感器的安裝情況分別如圖4、圖5所示。

圖4 軸承試驗(yàn)臺(tái)

圖5 傳感器布置圖

采樣頻率為20 kHz，每次采樣20 480點(diǎn)。選取其中第二個(gè)數(shù)據(jù)集(Set No.2)，每10 min采樣一次，在實(shí)驗(yàn)的最后階段，軸承1的外圈發(fā)生故障，實(shí)驗(yàn)終止[14]。

2.2 特征提取

由于振動(dòng)試驗(yàn)所獲得的信號(hào)為非平穩(wěn)、非線性信號(hào)，因此需要對(duì)每次采樣的數(shù)據(jù)進(jìn)行平穩(wěn)化處理，實(shí)驗(yàn)表明，經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical Mode Decomposition,EMD)方法作為一種重要的數(shù)據(jù)平穩(wěn)化方法，具有良好的效果[15]。

設(shè)給定的時(shí)間序列為x(t)，經(jīng)過經(jīng)驗(yàn)?zāi)B(tài)分解得到n個(gè)平穩(wěn)固有模態(tài)分量(Intrinsic Mode Function，IMF)ci(t)和一個(gè)殘余分量r(t)，即

以數(shù)據(jù)集的第一個(gè)數(shù)據(jù)為例，其EMD分解結(jié)果如圖6所示。

刨除最后的殘余分量r(t)，以分解后的13個(gè)IMF的能量熵(energy entropy)之和作為特征值[16]，提取能量熵作為軸承故障特征,能量熵值的大小反映信號(hào)概率分布的均勻程度,結(jié)合能量與熵，可以表征機(jī)械狀態(tài)的平穩(wěn)程度，其定義為

圖6 EMD分解效果圖

E表征信號(hào)的總能量，Ei表征第i個(gè)IMF分量的能量，Pi表征第i個(gè)IMF分量占總能量的百分比。經(jīng)過仿真計(jì)算，最終可以得到EMD能量熵的變化趨勢(shì)。

2.3 LSTM與SVR預(yù)測(cè)結(jié)果比較

接下來設(shè)計(jì)LSTM網(wǎng)絡(luò)的結(jié)構(gòu)，由于其輸出值y(t+1)是一維特征值，故其輸出節(jié)點(diǎn)都設(shè)計(jì)為1，其輸入值的維數(shù)即是時(shí)間窗口寬度(Time window width)，故輸入節(jié)點(diǎn)設(shè)計(jì)為時(shí)間窗口寬度。

以所選數(shù)據(jù)集中的前67%的數(shù)據(jù)為訓(xùn)練集(Train set)，以余下的數(shù)據(jù)作為測(cè)試集(Test set)，為了比較LSTM與SVRM兩個(gè)算法的優(yōu)劣，分別計(jì)算時(shí)間窗口寬度為3和10兩種情況下的機(jī)械狀態(tài)單步預(yù)測(cè)結(jié)果,時(shí)間窗口寬度為3時(shí)隱層節(jié)點(diǎn)數(shù)設(shè)計(jì)為5，時(shí)間窗口寬度為10時(shí)隱層節(jié)點(diǎn)數(shù)設(shè)計(jì)為13，為了與SVRM算法相比較，隱層只取一層。SVRM算法選用Matlab的Libsvm工具包中的函數(shù)[17]，最后以均方誤差(Mean squared error,MSE)為指標(biāo)來比較LSTM與SVRM對(duì)機(jī)械狀態(tài)的預(yù)測(cè)能力。

其中yi為所預(yù)測(cè)的機(jī)械狀態(tài)輸出值，y?i為機(jī)械狀態(tài)的實(shí)際值。

時(shí)間窗口寬度為3時(shí)，LSTM算法仿真所得的預(yù)測(cè)效果如圖7所示。

時(shí)間窗口寬度為3時(shí)，SVRM算法仿真所得的預(yù)測(cè)效果如圖8所示(當(dāng)懲罰因子c=1 670、核函數(shù)參數(shù)g=0.06時(shí)，MSE取得最小值)。

圖7 LSTM預(yù)測(cè)效果圖(窗口寬度為3)

圖8 SVRM預(yù)測(cè)效果圖(窗口寬度為3)

時(shí)間窗口寬度設(shè)定為10時(shí)，LSTM算法仿真所得的預(yù)測(cè)效果如圖9所示。

圖9 LSTM預(yù)測(cè)效果圖(窗口寬度為10)

時(shí)間窗口寬度為10時(shí)，SVRM算法仿真所得的預(yù)測(cè)效果如圖10所示(當(dāng)懲罰因子c=265、核函數(shù)參數(shù)g=0.06時(shí)，MSE取得最小值)：

圖10 SVRM預(yù)測(cè)效果圖(窗口寬度為10)

兩種算法的比較結(jié)果如表1所示。

表1 LSTM與SVRM預(yù)測(cè)誤差比較

通過兩種方法的預(yù)測(cè)誤差比較可以發(fā)現(xiàn)，同一窗口寬度下LSTM比SVRM能夠更好地逼近真實(shí)值。

3 結(jié)語

提出一種機(jī)械狀態(tài)監(jiān)控與預(yù)測(cè)的新算法—LSTM網(wǎng)絡(luò)算法，以經(jīng)過EMD分解獲得的IMF的能量熵之和作為狀態(tài)特征，通過設(shè)計(jì)不同的時(shí)間窗口寬度對(duì)LSTM網(wǎng)絡(luò)和SVRM兩種方法的機(jī)械狀態(tài)單步預(yù)測(cè)效果(訓(xùn)練MSE和測(cè)試MSE)進(jìn)行比較可以發(fā)現(xiàn)，當(dāng)窗口寬度相同時(shí)，LSTM網(wǎng)絡(luò)測(cè)試結(jié)果的MSE都比SVRM測(cè)試結(jié)果的MSE要小，表明提出的LSTM模型所固有的結(jié)構(gòu)優(yōu)勢(shì)使得其在機(jī)械狀態(tài)監(jiān)控與預(yù)測(cè)方面能夠取得比SVRM模型更好的結(jié)果，而且有效避免了SVRM模型的參數(shù)選擇難題，隨著當(dāng)今深度學(xué)習(xí)方法的不斷發(fā)展和改進(jìn)，LSTM網(wǎng)絡(luò)將會(huì)在軸承、齒輪、切削刀具等機(jī)械關(guān)鍵部件的狀態(tài)監(jiān)控與預(yù)測(cè)方面具有更加廣闊的應(yīng)用前景。

[1]ISERMANN R.Supervision,fault-detection and faultdiagnosis methods- An introduction[J].Control Engineering Practice,1997,5(5):639-652.

[2]王濤，李艾華，高運(yùn)廣，等.基于相空間重構(gòu)和遺傳優(yōu)化SVR的機(jī)械設(shè)備狀態(tài)趨勢(shì)預(yù)測(cè)[J].噪聲與振動(dòng)控制，2014，34(3)：176-181.

[3]ZHANG C,LIM P,QIN A K,et al.Multiobjective deep beliefnetworksensemble forremaining usefullife estimation in prognostics[J].IEEE Transactionson Neural Networks&Learning Systems,2016:1-13.

[4]TOBON MEJIA D A,MEDJAHER K,ZERHOUNI N,et al.A data-driven failure prognostics method based on mixture of gaussians hidden markov models[J].IEEE Transactions on Reliability,2012,61(2):491-503.

[5]宋梅村，蔡琦.基于支持向量回歸的設(shè)備故障趨勢(shì)預(yù)測(cè)[J].原子能科學(xué)技術(shù)，2011，45(8)：972-976.

[6]JIA F,LEI Y,LIN J,et al.Deep neural networks:A promising toolfor faultcharacteristic mining and intelligent diagnosis of rotating machinery with massive data[J].Mechanical Systems&Signal Processing,2015,72-73:303-315.

[7]YAM R C M,TSE P W,LI L,et al.Intelligent predictive decision support system for condition-based maintenance[J].TheInternationalJournalofAdvanced Manufacturing Technology,2001,17(5):383-391.

[8]WANG,PENG.Fault prognostics using dynamic wavelet neural networks[J].ArtificialIntelligencefor Engineering Design Analysis&Manufacturing,2001,15(15):349-365.

[9]HOCHREITER S,SCHMIDHUBER J.Long short-term memory[J].Neural Computation,1997,9(8):1735-1780.

[10]SUTSKEVER I,VINYALS O,LE Q V,et al.Sequence to sequence learning with neural networks[C].Advances in Neural Information Processing Systems,2014,4:3104-3112.

[11]GERS F A,SCHMIDHUBER J,CUMMINS F.Learning to forget:continual prediction with LSTM[J].Neural Computation,2000,12(10):2451-71.

[12]GRAVES A.Supervised sequence labelling with recurrent neural networks[M].Springer Berlin Heidelberg,2012.

[13]MARCHI E,VESPERINI F,WENINGER F,et al.Nonlinear prediction with LSTM recurrent neural networks for acoustic novelty detection[C].IJCNN,2015:13395-13408.

[14]QIU H,LEE J,LIN J,et al.Wavelet filter-based weak signature detection method and its application on rolling element bearing prognostics[J].Journal of Sound&Vibration,2006,289(4-5):1066-1090.

[15]PING J S,WOO W L,SULAIMAN H A,et al.Advances in machine learning and signal processing[M].Springer International Publishing,2016.

[16]YU Y,YU DEJIE,CHENG J.A roller bearing fault diagnosis method based on EMD energy entropy and ANN[J].Journal of Sound&Vibration,2006,294(1-2):269-277.

[17]FAN R E,CHEN P H,LIN C J.Working set selection using second order information for training support vectormachines[J].JournalofMachineLearning Research,2005,6(4):1889-1918.

State Prognosis of Rotary Machines Based on Long/Short Term Memory Recurrent Neural Network

ZHAO Jian-peng,ZHOU Jun
(School of Mechanical Engineering,Shanghai University of Engineering Science,Shanghai 201620,China)

As a method of deep learning algorithm,long/short term memory network(LSTM)has been playing an increasingly important role in the field of time series prediction.In this paper,a new method for state prediction of rotary machines based LSTM is proposed.And the principle of LSTM applied to rotary machine state monitoring and prognosis is introduced and applied to state monitoring of the rotary machinery.In order to avoid the instability of the bearing data,the empirical mode decomposition(EMD)is used to decompose the bearing data into several steady signals,and the intrinsic mode function(IMF)energy entropy is calculated as the feature of the machine state.Furthermore the analysis of simulation results based on LSTM is compared with those of support vector regression machine(SVRM).LSTM has achieved a stateof-the-art prediction performance in the single-step prediction of rotary machine states.It is shown that the proposed prognosis technology is superior in rotary machine state prediction and monitoring.

vibration and wave;LSTM;fault prognosis;state monitoring;EMD;energy entropy

TP206.3

：A

：10.3969/j.issn.1006-1355.2017.04.030

1006-1355(2017)04-0155-05

2017-01-16

教育部留學(xué)回國人員科研啟動(dòng)基金資助項(xiàng)目(教外司留[2012]940號(hào))

趙建鵬（1991－）男，山東省泰安市人，碩士生，主要研究方向?yàn)楣收显\斷與預(yù)測(cè)。

周俊，女，碩士生導(dǎo)師。

E-mail:shuu_shun@163.com