王太勇，王廷虎，王?鵬，喬卉卉，徐明達(dá)

基于注意力機(jī)制BiLSTM的設(shè)備智能故障診斷方法

王太勇1, 2，王廷虎1，王?鵬1，喬卉卉1，徐明達(dá)1

(1. 天津大學(xué)機(jī)械工程學(xué)院，天津 300350；2. 天津大學(xué)仁愛學(xué)院，天津 301636)

狀態(tài)監(jiān)測(cè)與故障診斷是保證機(jī)械設(shè)備安全穩(wěn)定運(yùn)行的必要手段．本文提出一種基于注意力機(jī)制雙向LSTM網(wǎng)絡(luò)(ABiLSTM)的深度學(xué)習(xí)框架用于機(jī)械設(shè)備智能故障診斷．首先，將傳感器采集的設(shè)備原始數(shù)據(jù)進(jìn)行預(yù)處理，并劃分為訓(xùn)練樣本集與測(cè)試樣本集；其次，訓(xùn)練多個(gè)不同尺度的雙向LSTM網(wǎng)絡(luò)對(duì)原始時(shí)域信號(hào)進(jìn)行特征提取，得到設(shè)備故障多尺度特征；再次，通過(guò)引入注意力機(jī)制，對(duì)不同雙向LSTM網(wǎng)絡(luò)提取特征的權(quán)重參數(shù)進(jìn)行優(yōu)化，篩選保留目標(biāo)特征，濾除冗雜特征，以實(shí)現(xiàn)精準(zhǔn)提取有效故障特征；最后，在輸出端利用Softmax分類器輸出故障分類結(jié)果．通過(guò)利用發(fā)動(dòng)機(jī)氣缸振動(dòng)實(shí)驗(yàn)數(shù)據(jù)和凱斯西儲(chǔ)大學(xué)滾動(dòng)軸承實(shí)驗(yàn)數(shù)據(jù)進(jìn)行故障診斷實(shí)驗(yàn)，故障識(shí)別準(zhǔn)確率均達(dá)到99%以上．實(shí)驗(yàn)結(jié)果表明，ABiLSTM模型可以實(shí)現(xiàn)對(duì)原始時(shí)域信號(hào)的多尺度特征提取和故障診斷，通過(guò)與深度卷積網(wǎng)絡(luò)(CNN)、深度去噪自編碼器(DAE)和支持向量機(jī)(SVM)等方法進(jìn)行對(duì)比，ABiLSTM模型的故障識(shí)別性能優(yōu)于各類常見模型．另外，通過(guò)利用凱斯西儲(chǔ)大學(xué)滾動(dòng)軸承在不同工況條件下的數(shù)據(jù)，對(duì)ABiLSTM模型進(jìn)行泛化性能實(shí)驗(yàn)，變工況樣本的故障識(shí)別準(zhǔn)確率仍然能夠達(dá)到95%以上．

故障診斷；深度學(xué)習(xí)；雙向長(zhǎng)短期記憶網(wǎng)絡(luò)；注意力機(jī)制

機(jī)械裝備的安全穩(wěn)定運(yùn)行至關(guān)重要，一旦發(fā)生故障可能會(huì)引發(fā)設(shè)備停機(jī)，影響生產(chǎn)工作，甚至危及相關(guān)人員生命安全和導(dǎo)致嚴(yán)重破壞生態(tài)環(huán)境的后果.因此，有必要對(duì)機(jī)械設(shè)備進(jìn)行狀態(tài)監(jiān)測(cè)與故障診斷．

傳統(tǒng)故障診斷方法大多依賴于專家知識(shí)，通過(guò)人工手段對(duì)原始信號(hào)進(jìn)行特征提取，效率低下，難以處理高速增長(zhǎng)的海量數(shù)據(jù)[1]．一方面，傳統(tǒng)領(lǐng)域中階次跟蹤、載荷譜[2]等方法的出現(xiàn)提高了故障診斷的精度與效率；另一方面，近年來(lái)深度學(xué)習(xí)在科學(xué)研究和工業(yè)生產(chǎn)領(lǐng)域應(yīng)用突飛猛進(jìn)，在特征自動(dòng)提取與狀態(tài)識(shí)別方面展現(xiàn)出極大的優(yōu)勢(shì)[3]，而深度神經(jīng)網(wǎng)絡(luò)相比于一般機(jī)器學(xué)習(xí)方法也更加適合處理大規(guī)模的原始數(shù)據(jù)信息[4]．因此，深度學(xué)習(xí)在大數(shù)據(jù)工業(yè)時(shí)代引發(fā)了一系列關(guān)注與應(yīng)用熱潮．侯永宏等[5]利用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)改進(jìn)無(wú)人機(jī)人機(jī)交互系統(tǒng)，能夠簡(jiǎn)化無(wú)人機(jī)控制復(fù)雜度；Jing等[6]提出一種基于多傳感器信息融合和DCNN的智能故障診斷方法對(duì)行星變速箱進(jìn)行故障診斷，在特征提取性能和故障識(shí)別準(zhǔn)確率上均有明顯提高；Aghazaden等[7]在卷積神經(jīng)網(wǎng)絡(luò)(CNN)的基礎(chǔ)上建立了刀具磨損評(píng)估模型，改善了刀具磨損監(jiān)測(cè)的精度和泛化性能；李夢(mèng)詩(shī)等[8]利用深度置信網(wǎng)絡(luò)(DBN)模型，對(duì)風(fēng)力發(fā)電機(jī)進(jìn)行故障識(shí)別，取得了較好的診斷效果．

長(zhǎng)短期記憶(LSTM)網(wǎng)絡(luò)屬于深度循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)，適用于處理時(shí)序性數(shù)據(jù)，可以解決傳統(tǒng)算法無(wú)法學(xué)習(xí)長(zhǎng)時(shí)間特征關(guān)系及梯度彌散等問(wèn)題．王惠中等[9]利用LSTM神經(jīng)網(wǎng)絡(luò)和Softmax分類器，對(duì)電機(jī)進(jìn)行故障診斷，取得了較好的診斷結(jié)果；Zhang等[10]提出利用彈性均方反向傳播方法自適應(yīng)優(yōu)化LSTM神經(jīng)網(wǎng)絡(luò)，并對(duì)鋰電池剩余壽命進(jìn)行預(yù)測(cè)；王鑫等[11]提出了一種基于多層網(wǎng)格搜索的LSTM預(yù)測(cè)模型，通過(guò)優(yōu)選參數(shù)算法，在飛機(jī)故障實(shí)驗(yàn)中經(jīng)過(guò)驗(yàn)證具有良好的適用性和準(zhǔn)確性；Lei等[12]建立了基于端到端LSTM模型的故障診斷框架，通過(guò)對(duì)多元時(shí)間序列數(shù)據(jù)提取特征進(jìn)行故障分類，并在風(fēng)力發(fā)電機(jī)上進(jìn)行了實(shí)驗(yàn)驗(yàn)證；Song等[13]提出一種雙向長(zhǎng)短期記憶(BiLSTM)神經(jīng)網(wǎng)絡(luò)優(yōu)勢(shì)的混合健康狀態(tài)預(yù)測(cè)模型，利用自編碼器對(duì)渦扇發(fā)動(dòng)機(jī)信號(hào)提取特征，然后利用BiLSTM方法捕捉特征雙向長(zhǎng)程依賴的特性，在LSTM的基礎(chǔ)上進(jìn)一步優(yōu)化渦扇發(fā)動(dòng)機(jī)的剩余使用壽命預(yù)測(cè)．

盡管BiLSTM神經(jīng)網(wǎng)絡(luò)在處理時(shí)序性數(shù)據(jù)時(shí)表現(xiàn)出良好效果，但其在特征提取的深度和復(fù)雜程度上還存在一定欠缺．本文提出了基于BiLSTM的自適應(yīng)故障診斷模型ABiLSTM，即以原始振動(dòng)信號(hào)作為模型輸入，利用多組BiLSTM網(wǎng)絡(luò)從原始振動(dòng)信號(hào)中自適應(yīng)提取多尺度特征，并引入注意力機(jī)制，優(yōu)化不同尺度下的特征權(quán)重參數(shù)，提高模型診斷精度，實(shí)現(xiàn)對(duì)故障狀態(tài)的有效診斷．

1?長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)

1.1?長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)原理

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是一類適用于處理時(shí)域序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型，每一層的輸出包括兩部分，一部分傳遞給下一層，另一部分為“隱狀態(tài)”，留在當(dāng)前層用以處理下一個(gè)樣本使用[14]．然而在深層網(wǎng)絡(luò)中，當(dāng)單一時(shí)序數(shù)據(jù)的長(zhǎng)度很大或時(shí)間很短時(shí)，RNN會(huì)存在梯度消失、梯度爆炸等問(wèn)題[15]，訓(xùn)練難度較大．因此，在RNN中引入記憶細(xì)胞概念，得到LSTM模型，具有如圖1所示的前向傳播鏈?zhǔn)浇Y(jié)構(gòu)[16]．

圖1?LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

LSTM隱層單元結(jié)構(gòu)如圖2所示，其結(jié)構(gòu)由遺忘門、輸入門和輸出門組成，LSTM就是通過(guò)這3種門控狀態(tài)來(lái)控制記憶細(xì)胞狀態(tài)的變化．

遺忘門通過(guò)接收上一單元的輸出，決定對(duì)前一時(shí)刻信息的保留或丟棄，其計(jì)算公式為

輸入門決定本單元有多少新的信息可以加入到記憶細(xì)胞中來(lái)，其計(jì)算公式為

式中i為輸入門權(quán)重矩陣．

這兩部分聯(lián)合起來(lái)，共同將-1更新為，其計(jì)算公式為

輸出門的作用是根據(jù)需要決定是否輸出當(dāng)前記憶細(xì)胞狀態(tài)，并經(jīng)過(guò)tanh激活層輸出目標(biāo)結(jié)果，計(jì)算公式分別為

式中：為sigmoid激活函數(shù)；Wo為輸出門權(quán)重矩陣.

得益于對(duì)信息流的控制，LSTM在獲取和儲(chǔ)存信息方面強(qiáng)于一般RNN網(wǎng)絡(luò)，能夠盡可能地保留目標(biāo)信息，丟棄冗雜信息，保證提取特征的時(shí)序性．

1.2?雙向LSTM

雙向LSTM(bi-direction LSTM，BiLSTM)是在LSTM的基礎(chǔ)上，借鑒人類理解文字的前后聯(lián)系思想，引入正負(fù)時(shí)間方向概念形成的變形結(jié)構(gòu)．

對(duì)于不依賴因果關(guān)系的時(shí)間序列，BiLSTM利用已知時(shí)間序列和反向位置序列，通過(guò)正反雙向運(yùn)算，加深對(duì)原序列特征提取層次，提高模型輸出結(jié)果的準(zhǔn)確性．因此BiLSTM在解決時(shí)序性問(wèn)題方面往往能夠取得比單向LSTM更好的效果．

相比于其他神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，LSTM更加真實(shí)地模擬了人類的行為邏輯和神經(jīng)認(rèn)知過(guò)程，盡管目前在一些復(fù)雜任務(wù)中，以CNN為代表的前饋網(wǎng)絡(luò)更具性能優(yōu)勢(shì)，但LSTM網(wǎng)絡(luò)處理深層次復(fù)雜任務(wù)的潛力更加值得期待．

圖3?BiLSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2?基于ABiLSTM的智能故障診斷框架

2.1?注意力機(jī)制

人類視覺神經(jīng)的注意力機(jī)制是一種獨(dú)特的大腦信號(hào)處理機(jī)制[18]，通過(guò)快速掃描全局圖像，獲得重點(diǎn)關(guān)注的目標(biāo)區(qū)域，即注意力焦點(diǎn)．這是一種充分利用有限注意力資源快速?gòu)拇罅啃畔⒅泻Y選出少數(shù)關(guān)鍵信息，忽略其余不重要信息的方法，目的在于從復(fù)雜信息中快速提取有效特征，通過(guò)調(diào)整注意力權(quán)重，篩選目標(biāo)信息，過(guò)濾或弱化冗雜信息．

對(duì)于設(shè)備故障診斷，通常的做法是通過(guò)一系列特征提取手段得到設(shè)備狀態(tài)的特征矩陣，再進(jìn)行故障診斷．但特征矩陣中不同特征不一定有助于故障診斷，所以引入注意力機(jī)制對(duì)提取的特征進(jìn)行篩選很有必要．

注意力機(jī)制特征優(yōu)化原理如圖4所示，將樣本標(biāo)簽表示為，將故障特征表示為，＝{K1，K2，…，K}，其中表示不同樣本，K(＝1，2，…，)為個(gè)不同特征，通過(guò)全連接神經(jīng)網(wǎng)絡(luò)計(jì)算由每個(gè)特征K所得到的特征權(quán)重參數(shù)W，用來(lái)表示由K所得目標(biāo)值Y與Y的相關(guān)性，并經(jīng)過(guò)Softmax歸一化處理，得到所有特征權(quán)重之和為1的概率分布，對(duì)原始特征K進(jìn)行加權(quán)，得到優(yōu)化后的特征矩陣．

2.2?ABiLSTM模型框架

本文通過(guò)引入注意力機(jī)制，建立如圖5所示的ABiLSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由輸入層、特征提取層、注意力模塊以及分類層組成．

輸入層將原始信號(hào)進(jìn)行分段處理，構(gòu)造滿足時(shí)間長(zhǎng)度要求的輸入樣本．特征提取層包括若干不同尺度，分別包含單層BiLSTM、雙層BiLSTM、3層BiLSTM等等，每層LSTM中記憶單元的數(shù)量不盡相同．記憶單元數(shù)量越多，每個(gè)記憶單元處理的數(shù)據(jù)在時(shí)間維度上長(zhǎng)度越短，提取信號(hào)中的高頻特征的能力越強(qiáng)．尺度越多，包含的BiLSTM層數(shù)也就相應(yīng)增多，通過(guò)調(diào)整不同尺度BiLSTM網(wǎng)絡(luò)的記憶單元數(shù)量，可對(duì)不同時(shí)間步長(zhǎng)的信號(hào)進(jìn)行處理，提取原始信號(hào)中由淺到深不同尺度的多重特征．

圖4?注意力機(jī)制特征優(yōu)化原理

圖5?ABiLSTM模型框架結(jié)構(gòu)

注意力模塊對(duì)不同尺度特征經(jīng)過(guò)拼接組成特征矩陣進(jìn)行權(quán)重參數(shù)優(yōu)化，并將其輸出至分類層．分類層包括兩個(gè)全連接層；第1層的作用主要是對(duì)注意力模塊輸出結(jié)果進(jìn)行展平操作，使之成為一維序列形式，并經(jīng)過(guò)線性整流單元(RELU)層，提高整個(gè)模型的非線性表達(dá)能力．第2層是Softmax分類器，實(shí)現(xiàn)預(yù)測(cè)目標(biāo)類別輸出．由于故障狀態(tài)通常并不單一，所以需要進(jìn)行多分類操作，Softmax是目前使用最為廣泛的多分類器模型，其標(biāo)簽是表征預(yù)測(cè)所在類別．

2.3?ABiLSTM模型的訓(xùn)練

ABiLSTM模型采用交叉熵?fù)p失函數(shù)，通過(guò)比較Softmax分類器輸出預(yù)測(cè)結(jié)果的概率分布與目標(biāo)類別概率分布的相似程度，得到故障類型識(shí)別的準(zhǔn)確率．交叉熵?fù)p失函數(shù)克服了傳統(tǒng)均方差損失函數(shù)權(quán)值更新慢的弊端，其原理為

式中：為期望輸出值；為神經(jīng)元實(shí)際輸出值．

為使損失函數(shù)最小，ABiLSTM模型選用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001，并使用學(xué)習(xí)率降低回調(diào)函數(shù)對(duì)模型進(jìn)行訓(xùn)練，當(dāng)驗(yàn)證集上損失值不再下降時(shí)，通過(guò)降低優(yōu)化器的學(xué)習(xí)率改善訓(xùn)練效果．

3?基于ABiLSTM的故障診斷實(shí)驗(yàn)

針對(duì)不同機(jī)械元件的工作特性不同，本文對(duì)發(fā)動(dòng)機(jī)氣缸和滾動(dòng)軸承分別進(jìn)行故障診斷實(shí)驗(yàn)，驗(yàn)證ABiLSTM模型的可行性．

3.1?實(shí)驗(yàn)數(shù)據(jù)描述

(1) 實(shí)驗(yàn)1：發(fā)動(dòng)機(jī)氣缸故障診斷實(shí)驗(yàn).

實(shí)驗(yàn)數(shù)據(jù)選用發(fā)動(dòng)機(jī)氣缸蓋振動(dòng)實(shí)驗(yàn)數(shù)據(jù). S6D120E型柴油發(fā)動(dòng)機(jī)氣缸蓋實(shí)驗(yàn)裝置如圖6所示，發(fā)動(dòng)機(jī)無(wú)負(fù)荷條件下最高轉(zhuǎn)速為(2200±60)r/min，最低轉(zhuǎn)速為(1000±25)r/min．本實(shí)驗(yàn)利用LC0104T壓電加速度傳感器對(duì)4種工作狀態(tài)下發(fā)動(dòng)機(jī)氣缸采集氣缸蓋振動(dòng)信號(hào)，4通道采樣頻率均為51.2kHz．發(fā)動(dòng)機(jī)氣缸故障狀態(tài)共包括正常、氣門漏氣、氣門間隙過(guò)大和氣門間隙過(guò)小4種狀態(tài)．

圖6?氣缸蓋振動(dòng)實(shí)驗(yàn)裝置

選取無(wú)負(fù)荷條件下發(fā)動(dòng)機(jī)氣缸蓋4種故障狀態(tài)振動(dòng)信號(hào)各2.5s時(shí)間長(zhǎng)度數(shù)據(jù)作為實(shí)驗(yàn)樣本，每類數(shù)據(jù)通過(guò)50%的樣本重疊率進(jìn)行擴(kuò)充，得到如表1所示實(shí)驗(yàn)樣本信息，其中每種故障狀態(tài)數(shù)據(jù)隨機(jī)選取80%的樣本用于模型訓(xùn)練，20%的樣本用于模型驗(yàn)證與測(cè)試．

表1?氣缸蓋實(shí)驗(yàn)樣本信息

Tab.1?Description of the cylinder cap datasets

(2) 實(shí)驗(yàn)2：滾動(dòng)軸承故障診斷實(shí)驗(yàn)．

實(shí)驗(yàn)數(shù)據(jù)選用凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)中心的滾動(dòng)軸承故障振動(dòng)數(shù)據(jù)[19]．滾動(dòng)軸承數(shù)據(jù)集包括電機(jī)驅(qū)動(dòng)端和風(fēng)扇端的4種不同負(fù)載類型和10種不同故障類別的SKF型號(hào)滾動(dòng)軸承振動(dòng)實(shí)驗(yàn)數(shù)據(jù)，電機(jī)主軸轉(zhuǎn)速為(1750±50)r/min，采樣頻率包括12kHz和48kHz兩種．

本文中實(shí)驗(yàn)樣本選取電機(jī)驅(qū)動(dòng)端滾動(dòng)軸承在4種負(fù)載條件下的各10種故障類型數(shù)據(jù)，根據(jù)故障位置和故障尺寸的不同，對(duì)10類故障數(shù)據(jù)添加標(biāo)簽0～9，如表2所示．每類數(shù)據(jù)通過(guò)40%的樣本重疊率進(jìn)行擴(kuò)充，樣本數(shù)量為600．

表2?滾動(dòng)軸承實(shí)驗(yàn)樣本信息

Tab.2?Description of the rolling bearing datasets

實(shí)驗(yàn)2分為兩部分：第1部分為對(duì)負(fù)載條件為0、0.75、1.50kW的樣本進(jìn)行單工況下故障診斷實(shí)驗(yàn)，其中每種工況條件下，每種故障狀態(tài)數(shù)據(jù)隨機(jī)選取50%的樣本用于模型訓(xùn)練，50%的樣本用于模型驗(yàn)證與測(cè)試；第2部分為變工況條件下模型泛化性實(shí)驗(yàn)，利用負(fù)載條件為0、0.75、1.50kW的樣本進(jìn)行模型訓(xùn)練，利用負(fù)載條件為2.25kW的樣本進(jìn)行模型驗(yàn)證與測(cè)試．

實(shí)驗(yàn)軟件平臺(tái)為以TensorFlow為后端的Keras深度學(xué)習(xí)庫(kù)．實(shí)驗(yàn)硬件平臺(tái)為Intel I38100處理器，主頻3.6GHz，8GB內(nèi)存，Intel(R)UHD Graphics 630圖形處理器．

3.2?發(fā)動(dòng)機(jī)氣缸蓋故障診斷實(shí)驗(yàn)

3.2.1?確定特征融合尺度

為驗(yàn)證不同尺度下模型性能，將發(fā)動(dòng)機(jī)氣缸蓋振動(dòng)數(shù)據(jù)劃分為訓(xùn)練集和測(cè)試集后，輸入包含不同尺度的ABiLSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練．其參數(shù)如下：?jiǎn)螌覤iLSTM的單元數(shù)為8，雙層BiLSTM的單元數(shù)為16、8，3層BiLSTM的單元數(shù)為64、16、8，4層BiLSTM的單元數(shù)為128、64、16、8，全連接層神經(jīng)元個(gè)數(shù)為10，選擇線性整流單元(ReLU)對(duì)全連接層進(jìn)行激活，并選用Adam優(yōu)化器進(jìn)行訓(xùn)練，共計(jì)訓(xùn)練30輪，每輪的批處理樣本數(shù)為20．得到不同診斷方法故障診斷結(jié)果如表3所示．

表3?不同診斷方法故障診斷結(jié)果

Tab.3?Diagnosis results of different diagnosis methods

由表3可以看出，包含不同尺度的ABiLSTM模型訓(xùn)練成本隨著尺度增多而不斷增加，綜合比較其訓(xùn)練效果和訓(xùn)練成本，三尺度ABiLSTM模型結(jié)構(gòu)在保證訓(xùn)練成本較小的情況下取得更高的測(cè)試性能，是綜合效果最優(yōu)的模型方案．三尺度ABiLSTM模型在訓(xùn)練過(guò)程中訓(xùn)練集和測(cè)試集上損失值與準(zhǔn)確率變化曲線如圖7所示．

圖7?損失值與準(zhǔn)確率變化曲線(氣缸蓋故障診斷)

3.2.2?故障診斷對(duì)比實(shí)驗(yàn)

為驗(yàn)證ABiLSTM模型診斷效果，進(jìn)行對(duì)比實(shí)驗(yàn)，分別將原始數(shù)據(jù)輸入到三尺度ABiLSTM模型、單尺度3層BiLSTM模型、一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)模型和支持向量機(jī)(SVM)模型進(jìn)行對(duì)比，以及對(duì)原始信號(hào)先進(jìn)行快速傅里葉變換(FFT)后輸入到SVM模型進(jìn)行故障分類．為控制單一變量，其訓(xùn)練超參數(shù)和全連接層神經(jīng)元個(gè)數(shù)與ABiLSTM模型保持一致，得到故障診斷結(jié)果如表4所示．

表4?不同診斷方法故障診斷結(jié)果

Tab.4?Fault diagnosis results of different methods

由表4可見，ABiLSTM模型在故障診斷準(zhǔn)確率方面相比于其他模型優(yōu)勢(shì)十分明顯，能夠在測(cè)試集上達(dá)到100%的故障識(shí)別率，1D-CNN、BiLSTM和SVM模型在故障識(shí)別精度上仍存在不同程度的欠缺；相比于先對(duì)信號(hào)進(jìn)行FFT變換再使用SVM進(jìn)行分類的方法，ABiLSTM模型可以直接輸入原始振動(dòng)信號(hào)，實(shí)現(xiàn)“端到端”故障診斷，在保證診斷精度的同時(shí)節(jié)省大量特征提取成本．

3.3?滾動(dòng)軸承故障診斷實(shí)驗(yàn)

3.3.1?單工況滾動(dòng)軸承故障診斷

將滾動(dòng)軸承樣本集劃分為訓(xùn)練集和測(cè)試集后，輸入至ABiLSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練．模型參數(shù)除全連接層神經(jīng)元個(gè)數(shù)調(diào)整為32外，其余參數(shù)與實(shí)驗(yàn)1中保持?一致．

選用Adam優(yōu)化器進(jìn)行訓(xùn)練，共計(jì)訓(xùn)練40輪，每輪的批處理樣本數(shù)為20．3組樣本在訓(xùn)練過(guò)程中訓(xùn)練集和測(cè)試集的準(zhǔn)確率變化曲線如圖8所示，3組測(cè)試集故障識(shí)別準(zhǔn)確率均與訓(xùn)練集準(zhǔn)確率相近，無(wú)過(guò)擬合現(xiàn)象發(fā)生，模型訓(xùn)練效果較為理想．

為驗(yàn)證ABiLSTM模型診斷效果，將三尺度ABiLSTM模型與單尺度3層BiLSTM模型、一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)模型和堆疊降噪自動(dòng)編碼器(SDAE)模型[20]進(jìn)行對(duì)比實(shí)驗(yàn)，為控制單一變量，其訓(xùn)練參數(shù)與ABiLSTM模型保持一致，得到故障診斷精度如表5所示．

由表5可以看出，4種深度學(xué)習(xí)算法均取得較高的診斷精度，但SDAE和1D-CNN模型在提取時(shí)序性特征能力有所欠缺，限制了故障識(shí)別率的進(jìn)一步提升；BiLSTM模型雖提取到時(shí)序性特征，但受到單一尺度的限制，與ABiLSTM模型相比仍有一定差距．

表5?不同診斷方法故障診斷精度

Tab.5?Fault diagnosis accuracies of different methods

3.3.2?變工況下泛化性能實(shí)驗(yàn)

為驗(yàn)證ABiLSTM模型在多工況條件下的泛化性能，利用滾動(dòng)軸承在負(fù)載為0、1、2hp條件下的樣本數(shù)據(jù)對(duì)ABiLSTM模型進(jìn)行訓(xùn)練，并用負(fù)載為3hp的樣本數(shù)據(jù)進(jìn)行驗(yàn)證與測(cè)試，共計(jì)訓(xùn)練30輪，每輪的批處理樣本數(shù)為80，得到訓(xùn)練過(guò)程中故障識(shí)別準(zhǔn)確率變化曲線如圖8(d)所示，泛化實(shí)驗(yàn)結(jié)果如圖9所示．

圖9?泛化實(shí)驗(yàn)結(jié)果

在圖9中可以看出，在變工況條件下，絕大部分樣本均能夠?qū)崿F(xiàn)正確識(shí)別，僅有少量標(biāo)簽為8(滾動(dòng)體0.021")故障樣本被誤識(shí)別為標(biāo)簽為5(滾動(dòng)體0.014")故障樣本，其余故障樣本識(shí)別準(zhǔn)確率均在95%以上．總體上看模型訓(xùn)練效果不如單工況下訓(xùn)練效果好，但總體故障識(shí)別準(zhǔn)確率仍能達(dá)到96.87%，通過(guò)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，發(fā)現(xiàn)誤分類主要發(fā)生在滾動(dòng)體故障(0.014")和滾動(dòng)體故障(0.021")之間，盡管有超過(guò)20%的樣本被誤分為同一故障位置不同故障尺寸的故障類型，但說(shuō)明ABiLSTM模型仍能學(xué)習(xí)到故障的位置形狀等非線性特征，具有一定的泛化性能，對(duì)于故障定位具有重要應(yīng)用價(jià)值．

4?結(jié)?論

本文提出的ABiLSTM模型是一種基于長(zhǎng)短期記憶網(wǎng)絡(luò)和注意力機(jī)制的自適應(yīng)性故障診斷算法，利用發(fā)動(dòng)機(jī)氣缸蓋故障數(shù)據(jù)和滾動(dòng)軸承故障數(shù)據(jù)對(duì)ABiLSTM模型進(jìn)行多方面驗(yàn)證與測(cè)試，實(shí)驗(yàn)結(jié)果?表明：

(1) ABiLSTM模型無(wú)需進(jìn)行人工特征提取操作，可直接利用原始振動(dòng)信號(hào)作為模型輸入，實(shí)現(xiàn)端到端故障診斷；

(2) 通過(guò)引入注意力機(jī)制，ABiLSTM模型在提取時(shí)序性特征的同時(shí)能夠引入特征權(quán)重系數(shù)，對(duì)不同尺度提取的特征加權(quán)融合，提高模型故障診斷精度；

(3) ABiLSTM模型具有良好的泛化性能，對(duì)于工況變化的數(shù)據(jù)能很好地提取非線性特征，對(duì)故障預(yù)防和定位具有重要意義．

通過(guò)實(shí)驗(yàn)也說(shuō)明ABiLSTM仍存在優(yōu)化和提升空間，未來(lái)的研究重點(diǎn)為進(jìn)一步優(yōu)化模型結(jié)構(gòu)以提高診斷精度、加快模型訓(xùn)練和提高模型泛化性能．

［1］ 雷亞國(guó)，賈?峰，孔德同，等. 大數(shù)據(jù)下機(jī)械智能故障診斷的機(jī)遇與挑戰(zhàn)[J]. 機(jī)械工程學(xué)報(bào)，2018，54(5)：94-104.

Lei Yaguo，Jia Feng，Kong Detong，et al. Opportunities and challenges of machinery intelligent fault diagnosis in big data era[J]. Journal of Mechanical Engineer-ing，2018，54(5)：94-104(in Chinese).

［2］ 陳代偉，吳?軍，張彬彬，等. 基于S試件的加工中心電主軸載荷譜編制[J]. 清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2018，58(12)：1107-1114.

Chen Daiwei，Wu Jun，Zhang Binbin，et al. Load spectrum compilation for machining center spindles based on S-shaped specimens[J]. Journal of Tsinghua University：Science and Technology，2018，58(12)：1107-1114(in Chinese).

［3］ 段艷杰，呂宜生，張?杰，等. 深度學(xué)習(xí)在控制領(lǐng)域的研究現(xiàn)狀與展望[J]. 自動(dòng)化學(xué)報(bào)，2016，42(5)：643-654.

Duan Yanjie，Lü Yisheng，Zhang Jie，et al. Deep learning for control：The state of the art and prospects[J]. Acta Automatic Sinica，2016，42(5)：643-654(in Chinese).

［4］ 任?浩，屈劍鋒，柴?毅，等. 深度學(xué)習(xí)在故障診斷領(lǐng)域中的研究現(xiàn)狀與挑戰(zhàn)[J]. 控制與決策，2017，32(8)：1345-1358.

Ren Hao，Qu Jianfeng，Chai Yi，et al. Deep learning for fault diagnosis：The state of the art and challenge[J]. Control and Decision，2017，32(8)：1345-1358(in Chinese).

［5］ 侯永宏，葉秀峰，張?亮，等. 基于深度學(xué)習(xí)的無(wú)人機(jī)人機(jī)交互系統(tǒng)[J]. 天津大學(xué)學(xué)報(bào)：自然科學(xué)與工程技術(shù)版，2017，50(9)：967-974.

Hou Yonghong，Ye Xiufeng，Zhang Liang，et al. A UAV human robot interaction method based on deep learning[J]. Journal of Tianjin University：Science and Technology，2017，50(9)：967-974(in Chinese).

［6］ Jing Luyang，Wang Taiyong，Zhao Ming，et al. An adaptive multi-sensor data fusion method based on deep convolutional neural networks for fault diagnosis of planetary gearbox[J]. Sensors，2017，17(2)：414.

［7］ Aghazadeh F，Tahan A，Thomas M. Tool condition monitoring using spectral subtraction and convolutional neural networks in milling process[J]. The International Journal of Advanced Manufacturing Technology，2018，98：3217-3227.

［8］ 李夢(mèng)詩(shī)，余?達(dá)，陳子明，等. 基于深度置信網(wǎng)絡(luò)的風(fēng)力發(fā)電機(jī)故障診斷方法[J]. 電機(jī)與控制學(xué)報(bào)，2019，23(2)：114-123.

Li Mengshi，Yu Da，Chen Ziming，et al. Fault diagnosis and isolation method for wind turbines based on deep belief network[J]. Electric Machines and Control，2019，23(2)：114-123(in Chinese).

［9］ 王惠中，賀珂珂，房理想. 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)在電機(jī)故障診斷中的應(yīng)用研究[J]. 自動(dòng)化儀表，2019，40(1)：6-10.

Wang Huizhong，He Keke，F(xiàn)ang Lixiang. Application research of long short-term memory neural network in motor fault diagnosis[J]. Process Automation Instrumentation，2019，40(1)：6-10(in Chinese).

［10］ Zhang Z Y，Xiong R，He H W，et al. Long short-term memory recurrent neural network for remaining useful life prediction of lithium-ion batteries[J]. IEEE Transactions on Vehicular Technology，2018，67(7)：5695-5705.

［11］ 王?鑫，吳?際，劉?超，等. 基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時(shí)間序列預(yù)測(cè)[J]. 北京航空航天大學(xué)學(xué)報(bào)，2018，44(4)：772-784.

Wang Xin，Wu Ji，Liu Chao，et al. Exploring LSTM based recurrent neural network for failure time series prediction[J]. Journal of Beijing University of Aeronautics and Astronautics，2018，44(4)：772-784(in Chinese).

［12］ Lei Jinhao，Liu Chao，Jiang Dongxiang. Fault diagnosis of wind turbine based on long short-term memory network[J]. Renewable Energy，2019，133：422-432.

［13］ Song Ya，Shi Guo，Chen Leyi，et al. Remaining useful life prediction of turbofan engine using hybrid model based on autoencoder and bidirectional long short-term memory[J]. Journal of Shanghai Jiaotong University：Science，2018，23(Suppl 1)：85-94.

［14］ Greff K，Srivastava R K，Koutnik J，et al. LSTM：A search space odyssey[J]. IEEE Transactions on Neural Networks & Learning Systems，2015，28(10)：2222-2232.

［15］ Ma Xiaolei，Tao Zhimin，Wang Yinhai，et al. Long short-term memory neural network for traffic speed prediction using remote microwave sensor data[J]. Transportation Research Part C：Emerging Technologies，2015，54：187-197.

［16］ Hochreiter S，Schmidhuber J. Long short-term memory[J]. Neural Computation，1997，9(8)：1735-1780.

［17］ Schuster M，Paliwal K K. Bidirectional recurrent neural networks[J]. IEEE Transactions on Signal Processing，1997，45(11)：2673-2681.

［18］ Bahdanau D，Cho K，Bengio Y. Neural machine translation by jointly learning to align and translate[EB/OL]. http://arxiv.org/abs/1409.0473，2014.

［19］ Lou Xinsheng，Loparo K A. Bearing fault diagnosis based on wavelet transform and fuzzy inference[J]. Mechanical Systems and Signal Processing，2004，18(5)：1077-1095.

［20］ 曲建嶺，余?路，袁?濤，等. 基于一維卷積神經(jīng)網(wǎng)絡(luò)的滾動(dòng)軸承自適應(yīng)故障診斷算法[J]. 儀器儀表學(xué)報(bào)，2018，39(7)：134-143.

Qu Jianling，Yu Lu，Yuan Tao，et al. Adaptive fault diagnosis algorithm for rolling bearings based on one-dimensional convolutional neural network[J]. Chinese Journal of Scientific Instrument，2018，39(7)：134-143(in Chinese).

An Intelligent Fault Diagnosis Method Based on Attention-Based Bidirectional LSTM Network

Wang Taiyong1, 2，Wang Tinghu1，Wang Peng1，Qiao Huihui1，Xu Mingda1

(1. School of Mechanical Engineering，Tianjin University，Tianjin 300350，China；2. Tianjin University Ren’ai College，Tianjin 301636，China)

Condition monitoring and fault diagnosis are necessary means to ensure the safe and stable operation of mechanical equipment. A deep learning framework based on the attention-based bi-directional long and short-term memory(ABiLSTM)network is proposed for intelligent fault diagnosis of mechanical equipment. First，the raw data collected by sensors were preprocessed and divided into the training and test sample sets. Second，bi-directional long and short-term memory(BiLSTM)networks of different scales were trained to extract multiscale data features from raw time-domain signals. Then，the attention mechanism was introduced to optimize the weight parameters of different BiLSTM networks to extract the effective fault features accurately. Finally，a Softmax classifier was used to obtain the fault classification results. According to the experimental data of engine cylinder vibration and rolling bearing of Case Western Reserve University，the accuracy of fault recognition is more than 99%. The experimental results show that the ABiLSTM model can extract multiscale features from the raw data and conduct fault diagnosis from raw time-domain signals. The fault recognition performance of the ABiLSTM model is superior to that of other common models，such as deep convolutional neural network，denoizing autoencoder，and support vector machine. In addition，according to the data of rolling bearing of Case Western Reserve University under different working conditions，the accuracy of fault recognition can still reach more than 95%. The results of the generalization experiment show that the ABiLSTM model exhibits good fault recognition performance. The proposed ABiLSTM model can provide guidance for subsequent research and production practice.

fault diagnosis；deep learning；bi-directional long and short-term memory(BiLSTM) network；attention mechanism

TP206.3

A

0493-2137(2020)06-0601-08

10.11784/tdxbz201905067

2019-05-20；

2019-08-23.

王太勇（1962—??），男，博士，教授，tywang@tju.edu.cn.

王?鵬，pengwang@tju.edu.cn.

國(guó)家自然科學(xué)基金資助項(xiàng)目(51975402)；中國(guó)兵器工業(yè)集團(tuán)公司基礎(chǔ)性創(chuàng)新團(tuán)隊(duì)項(xiàng)目(2017CX031).

Supported by the National Natural Science Foundation of China(No.51975402)，the Basic Innovation Team Program of China North Industries Group Corporation Limited(No.2017CX031).

(責(zé)任編輯：孫立華)