朱煜奇，黃雙喜，楊天祺，孫潔香

（1.清華大學(xué) 自動化系，北京 100084；2.北京機械工業(yè)自動化研究所，北京 100120）

基于棧式降噪自編碼的故障診斷

朱煜奇1，黃雙喜1，楊天祺1，孫潔香2

（1.清華大學(xué) 自動化系，北京 100084；2.北京機械工業(yè)自動化研究所，北京 100120）

提出一種基于棧式降噪自編碼網(wǎng)絡(luò)的故障診斷方法，把深度學(xué)習應(yīng)用于設(shè)備故障診斷。建立深層網(wǎng)絡(luò)模型，采取逐層貪婪編碼的方式進行預(yù)訓(xùn)練，實現(xiàn)高維深層故障特征的自適應(yīng)提取和挖掘，再使用反向傳播算法對模型進行監(jiān)督式微調(diào)。方法集成了特征提取和狀態(tài)分類兩大步驟，擺脫了傳統(tǒng)機器學(xué)習方法對人為提取樣本特征的依賴，并有效克服梯度消失、局部極值等問題。通過滾動軸承數(shù)據(jù)實驗，驗證該方法對故障的識別能力和泛化能力。

故障診斷；棧式降噪自編碼；深度學(xué)習；滾動軸承

0 引言

通過機器學(xué)習挖掘生產(chǎn)數(shù)據(jù)的內(nèi)在信息，可以實現(xiàn)基于狀態(tài)的設(shè)備維護。滾動軸承作為制造設(shè)備變速機構(gòu)的重要組成部分，具備豐富的數(shù)據(jù)積累，以滾動軸承為對象研究智能化的故障診斷方法具有一定的典型性和可推廣性。

傳統(tǒng)故障診斷可歸納為特征提取和狀態(tài)分類兩個步驟。傳統(tǒng)特征提取需經(jīng)過復(fù)雜的信號處理和多變量的主觀選擇，對診斷結(jié)果造成主觀影響。傳統(tǒng)機器學(xué)習分類算法面臨維數(shù)災(zāi)難、過擬合等問題，只能學(xué)習樣本的低維淺層特征，且缺少必要的泛化能力[1～3]。深度學(xué)習為克服上述問題提供了新思路。Hinton等提出無監(jiān)督預(yù)訓(xùn)練加后期微調(diào)的訓(xùn)練框架，使用自編碼網(wǎng)絡(luò)[4]和深度置信網(wǎng)絡(luò)[5]等模型，實現(xiàn)深度網(wǎng)絡(luò)結(jié)構(gòu)對高維抽象特征的提取，并以逐層貪婪的訓(xùn)練原則克服了多層網(wǎng)絡(luò)結(jié)構(gòu)的梯度消失和局部極值問題[5,6]。目前深度學(xué)習對工業(yè)生產(chǎn)數(shù)據(jù)的挖掘仍處于摸索階段，在設(shè)備維護和故障診斷領(lǐng)域有著廣闊的想象空間。

綜合上述背景，本文提出一種基于棧式降噪自編碼網(wǎng)絡(luò)的故障診斷方法，將深度學(xué)習應(yīng)用于設(shè)備故障診斷。該方法建立深層網(wǎng)絡(luò)模型，利用逐層貪婪編碼的方法實現(xiàn)高維深層故障特征的自適應(yīng)挖掘，顯著提升故障識別能力和泛化能力。相比傳統(tǒng)機器學(xué)習，該方法集成了特征提取和狀態(tài)分類兩大步驟，擺脫了人為提取樣本特征對經(jīng)驗的依賴和復(fù)雜運算，有效克服梯度消失、局部極值等問題，能夠適應(yīng)復(fù)雜的設(shè)備診斷需求。

1 基于棧式降噪自編碼的故障診斷

1.1 基本自編碼網(wǎng)絡(luò)

自編碼網(wǎng)絡(luò)（Autoencoder，AE）基本模型是一個三層前向網(wǎng)絡(luò)結(jié)構(gòu)，包括輸入層X，中間層（隱層）Y，輸出層Z，其中輸入層和輸出層維數(shù)相同，隱層維數(shù)較小，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。理解AE可以分編碼和解碼兩個階段，其核心思想是逼近一個恒等函數(shù)，在隱層實現(xiàn)降維的同時盡可能完整地保留特征信息[7]。

圖1 基本自編碼網(wǎng)絡(luò)

解碼階段，m維隱層向量y通過同樣的方式反向重構(gòu)為n維向量z，非線性解碼函數(shù)可以作如下表示：

經(jīng)過編碼和解碼兩個步驟，AE將x壓縮為y再重構(gòu)為z。由于維度m＜n，隱層表達向量y實現(xiàn)了對輸入特征的編碼和降維；由于保證重構(gòu)誤差最小化，可以認為編碼向量y很好地保留了輸入向量x所包含的特征信息；最后，以重構(gòu)輸入向量為目標的訓(xùn)練過程避免了人為添加樣本標簽，減少了對主觀經(jīng)驗的依賴，也更加適應(yīng)海量數(shù)據(jù)的應(yīng)用場景。綜上所述，AE模型可以非監(jiān)督、自適應(yīng)地實現(xiàn)樣本特征的提取和降維。

1.2 降噪自編碼網(wǎng)絡(luò)

在現(xiàn)實場景中，考慮到樣本的個體差異以及噪聲對樣本輸入的影響，同類樣本往往不會表現(xiàn)出嚴格相同的特征。這就需要分類器具備一定的魯棒性和泛化能力?；続E的訓(xùn)練直接以真實信號為輸入進行編碼重構(gòu)，因此在面對噪聲干擾時可能因為過擬合而影響分類效果。

降噪自編碼網(wǎng)絡(luò)（DenoisingAutoencoder，DAE）通過人為向輸入端引入噪聲解決上述問題[7]，實踐中可以采用masknoise作為修正，即隨機造成輸入缺失（置0）。記經(jīng)過修正的輸入向量為x′，則DAE的原理可作如下表示：

在DAE的訓(xùn)練過程中，輸入向量x′是含有人為噪聲的信號，而重構(gòu)誤差L(x,z)表達了編碼向量y對真實信號x的重構(gòu)能力，如圖2所示。由此可見，DAE追求的是存在擾動的情況下對真實信號的重構(gòu)能力，由此得到的特征表達具有更好的魯棒性和泛化能力。

圖2 降噪自編碼網(wǎng)絡(luò)

1.3 棧式堆疊和逐層貪婪訓(xùn)練

堆疊多個DAE可以得到深層神經(jīng)網(wǎng)絡(luò)，實現(xiàn)對高維深層特征的提取[4]。當訓(xùn)練完一個DAE單元后，編碼部分已經(jīng)可以實現(xiàn)輸入向量到隱層編碼的映射，因此只需保留編碼部分作為DAE訓(xùn)練結(jié)果。已知DAE各層輸入輸出都滿足歸一化要求，因此可以將一個DAE的隱層編碼向量作為另一個DAE的輸入，作進一步的編碼和降維。記原始輸入樣本為x0，第i層DAE的編碼結(jié)果為xi，則各層DAE編碼可以表示為：

如此層層堆疊得到的模型稱為棧式降噪自編碼網(wǎng)絡(luò)（Stacked Denoising Autoencoder，SDAE），整體訓(xùn)練這樣的深層網(wǎng)絡(luò)會引起梯度消失，因此需要采用逐層貪婪的原則，對每一層DAE進行單獨訓(xùn)練，并保證重構(gòu)誤差最小化。假設(shè)每一層DAE編碼都能實現(xiàn)比較好的重構(gòu)效果，則SDAE作為整體就能實現(xiàn)高維特征的深度提取和降維，如圖3所示。

1.4 分類器預(yù)訓(xùn)練和微調(diào)

在傳統(tǒng)機器學(xué)習的觀點中，從原始數(shù)據(jù)到實現(xiàn)分類需要經(jīng)過特征提取和狀態(tài)分類兩步，其中基于樣本的機器學(xué)習主要發(fā)生在狀態(tài)分類階段，特征提取被認為是訓(xùn)練模型之前的預(yù)處理。而在本文給出的方法中，逐層貪婪訓(xùn)練同樣能實現(xiàn)樣本特征的提取和降維，區(qū)別在于SDAE訓(xùn)練會使用到樣本數(shù)據(jù)，所以這是一種自適應(yīng)的非監(jiān)督的預(yù)訓(xùn)練[4]。

在SDAE的輸出特征之后接上分類模型即可實現(xiàn)樣本分類。例如以softmax分類作為輸出，可以得到以獨熱編碼（One-Hot code）表示分類結(jié)果的分類器，如圖3所示。一個N分類的獨熱編碼可作如下表示：

圖3 SDAE分類器

基于逐層貪婪訓(xùn)練得到的分類器已經(jīng)能實現(xiàn)較為準確的分類，但是逐層最優(yōu)并不能保證堆疊之后分類器整體最優(yōu)。此時如果有經(jīng)過分類標簽的樣本數(shù)據(jù)，就可以采用BP等算法對整個分類器進行監(jiān)督式訓(xùn)練，進一步實現(xiàn)微調(diào)[4]。因為有自編碼預(yù)訓(xùn)練作為基礎(chǔ)，此時的BP訓(xùn)練有較好的初值作為基礎(chǔ)，不容易陷入局部極值。

1.5 基于深度學(xué)習的軸承故障診斷

將SDAE深度分類模型應(yīng)用于設(shè)備狀態(tài)識別，可以實現(xiàn)設(shè)備故障診斷。分析軸承故障通常采用振動信號作為對象，既可以采取時域分析，也可轉(zhuǎn)換到頻域分析，經(jīng)試驗頻域信號所體現(xiàn)的特征更為顯著，更加適合用作分類器輸入。傳統(tǒng)機器學(xué)習能處理的特征維數(shù)有限，需要將原始頻域序列轉(zhuǎn)換為少數(shù)中間變量或人為選取某些特征頻率；本文提出的SDAE方法可以從高維特征出發(fā)進行工作狀態(tài)識別，因此可以直接采用頻譜序列作為分類器輸入，最大限度保留了樣本信息，提升診斷效果和泛化能力。綜上，構(gòu)建以軸承振動信號頻譜序列為輸入、以獨熱分類編碼為輸出的SDAE分類器，可以實現(xiàn)基于深度學(xué)習的軸承故障診斷。

2 應(yīng)用實例

2.1 實驗數(shù)據(jù)集

本文采用美國Case Western Reserve University軸承數(shù)據(jù)中心的故障數(shù)據(jù)[8]驗證SDAE模型的診斷效果，以SKF6205-2RS滾動軸承為對象，通過電火花加工在軸承的內(nèi)圈、滾動體、外圈制造人為損傷，在電機箱體采集振動加速度信號，研究不同的軸承故障模式下振動數(shù)據(jù)的表現(xiàn)。統(tǒng)一選取1馬力負載、每分鐘1772轉(zhuǎn)、采樣頻率12kHz的驅(qū)動端振動信號作為依據(jù)，每500個采樣點作為一條樣本序列，選取正常狀態(tài)加9種故障模式共10個工作狀態(tài)，對每種狀態(tài)隨機選取3/4的樣本用作訓(xùn)練集，剩余1/4樣本用作測試集。表1描述了樣本數(shù)據(jù)信息。

2.2 診斷模型設(shè)計

根據(jù)前文描述的方法，將上述樣本經(jīng)過FFT變換為頻譜序列并歸一化，SDAE分類器以500維的頻譜序列作為輸入，10位獨熱分類編碼作為輸出。經(jīng)試驗，本文設(shè)計5層SDAE模型，各層神經(jīng)元數(shù)量為：500-300-100-50-10，noising mask概率設(shè)為0.1。在預(yù)訓(xùn)練階段，逐層貪婪訓(xùn)練的迭代次數(shù)設(shè)置為3；在微調(diào)階段，采用BP算法進行整體優(yōu)化，迭代次數(shù)設(shè)置為30。為減少隨機影響，重復(fù)進行10次診斷試驗，并結(jié)合其他經(jīng)典方法比較診斷效果。

表1 樣本數(shù)據(jù)集描述

2.3 實驗結(jié)果

圖4展示了SDAE及其他分類模型對測試樣本的診斷結(jié)果。在設(shè)定的實例場景下，SDAE診斷模型可以準確識別不同位置、不同程度的軸承故障，10次試驗均能保證100%的正確率，體現(xiàn)出色的識別和泛化能力。

圖4 各模型診斷準確率

對照試驗中，經(jīng)典反向傳播網(wǎng)絡(luò)BP采用和SDAE相同的5層結(jié)構(gòu)但不采用逐層貪婪預(yù)訓(xùn)練，識別能力整體遜于SDAE模型，診斷正確率在25.23%～79.81%之間浮動，性能十分不穩(wěn)定。PCA+SVM方法選取10個特征分量作為SVM輸入，最終診斷正確率只能保持在46%左右，但是相比BP方法穩(wěn)定很多。文獻[9]給出的EMD+SVM方法在特征提取方面做出改進，能保證94.61%的平均正確率，具有較高的識別率，診斷結(jié)果也十分穩(wěn)定。相較而言，本文提出的SDAE方法能夠自適應(yīng)地挖掘故障特征，具有更強的診斷能力和泛化性能。

深入分析訓(xùn)練方法對診斷效果的影響。圖5具體展示第5次SDAE試驗、第5次BP試驗和第8次BP試驗的訓(xùn)練迭代誤差曲線。SDAE以逐層貪婪訓(xùn)練避免了梯度消失，又通過非監(jiān)督預(yù)訓(xùn)練得到更為合理的迭代初值，表現(xiàn)出更為穩(wěn)定的診斷效果。BP方法面對深層網(wǎng)絡(luò)會出現(xiàn)梯度消失陷入局部極值，迭代結(jié)果受隨機初值影響，故診斷效果不穩(wěn)定。

圖5 各模型診斷準確率

深入分析特征提取對診斷效果的影響。對樣本進行聚類并投影到以特征向量為坐標的空間中，可以觀察所選特征對樣本的區(qū)分能力。圖6描述原始信號經(jīng)三層DAE挖掘得到的特征，可見同一故障模式下的樣本較好地聚集在一起，能比較明顯地區(qū)分不同狀態(tài)下的樣本。圖7描述PCA對樣本特征的提取，結(jié)果表明同類樣本能實現(xiàn)一定程度的聚集，但不同故障模式下的樣本有比較嚴重的重疊。這是因為高維特征向低維空間投影的過程中損失了大量的特征信息，導(dǎo)致某些相似狀態(tài)不能得到很好地區(qū)分，最終影響診斷效果。

3 結(jié)論

本文提出一種基于棧式降噪自編碼網(wǎng)絡(luò)的故障診斷方法，將深度學(xué)習應(yīng)用于設(shè)備故障診斷，通過實驗證明了方法的有效性，結(jié)果表明：

1）所提出的方法能實現(xiàn)故障特征的自適應(yīng)提取和降維，擺脫了對專家診斷經(jīng)驗和復(fù)雜信號處理的依賴，成功實現(xiàn)特征提取和狀態(tài)分類兩大步驟的集成；

圖6 SDAE特征可視化

圖7 PCA特征可視化

2）所提出的的方法成功利用深層神經(jīng)網(wǎng)絡(luò)挖掘高維樣本特征，遵循逐層貪婪訓(xùn)練和預(yù)訓(xùn)練加微調(diào)的方式，有效克服傳統(tǒng)機器學(xué)習面臨的梯度消失和局部極值問題，顯著提升故障識別效果和泛化能力；

3）以滾動軸承故障診斷為例驗證所提出的的方法，對照傳統(tǒng)機器學(xué)習診斷方法進行，證明了該方法的有效性。

[1] Bengio Y, Goodfellow I J,Courville A. Deep learning[J]. Nature, 2015,521:436-444.

[2] LeCun Y,Bengio Y, Hinton G. Deep learning[J].Nature, 2015, 521(7553):436-444.

[3] Bengio Y. Learning deep architectures for AI[J].Foundations and trends? in Machine Learning,2009,2(1):1-127.

[4] Hinton G E, Salakhutdinov R R.Reducing the Dimensionality of Data with Neural Networks[J].Science, 2006,313(5786):504.

[5] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets.[J].Neural Computation,1989,18(7):1527-1554.

[6] Bengio Y, Lamblin P, Popovici D,et al.Greedy layer-wise trainingof deep networks[C].Advances in Neural Information Processing Systems 19, Proceedings of the Twentieth Conference on Neural Information Processing Systems,Vancouver,British Columbia, Canada, December. DBLP,2007:153-160.

[7] Vincent P,Larochelle H,Bengio Y, et al.Extracting and composing robust features with denoisingautoencoders[C].International Conference.2008:1096-1103.

[8] Bearing data center.Case Western Reserve University[EB/ OL].[2016-12-31].Available: http://csegroups.case.edu/ bearingdatacenter/pages/download-data-file.

[9] 胡榮華,樓佩煌,唐敦兵,劉明燈.基于EMD和免疫參數(shù)自適應(yīng)SVM的滾動軸承故障診斷[J].計算機集成制造系統(tǒng),2013,(02):438-447.

Fault diagnosis based on stacked denoising autoencoder

ZHU Yu-qi1, HUANG Shuang-xi1, YANG Tian-qi1, SUN Jie-xiang2

TP206+.3

A

1009-0134(2017)03-0152-04

2016-11-20

國家高技術(shù)研究發(fā)展計劃項目（2015AA043702）

朱煜奇（1992 -），男，上海人，碩士研究生，主要從事企業(yè)信息化與集成研究。