周建民，劉露露，楊曉彤，王云慶

（1.華東交通大學載運工具與裝備教育部重點實驗室，江西 南昌 330013；2.華東交通大學軌道交通基礎設施性能監(jiān)測與保障國家重點實驗室，江西 南昌 330013）

滾動軸承在各類旋轉機械中被廣泛應用，而且在決定設備運行狀態(tài)方面起著重要作用。因此，對滾動軸承進行故障診斷和在線狀態(tài)監(jiān)測具有重要的現(xiàn)實意義[1]。在實現(xiàn)滾動軸承的故障診斷和在線狀態(tài)監(jiān)測的方法中，淺層機器學習的應用較多，但淺層機器學習的結構缺乏強大的表示能力，難以處理復雜非線性關系問題[2]。在這個情況下，深度學習作為研究領域中新的突破點，快速在各個領域中被廣泛地研究與應用[3-4]。深度學習能自主學習隱藏在原始數(shù)據(jù)中的主要信息，并在數(shù)據(jù)和設備運行狀態(tài)之間建立精確的映射關系[5]，故而在各種診斷模型中，基于深度學習的應用與研究也日漸增多。

將深度學習方法應用在滾動軸承故障診斷領域的研究中，一般都會針對不同的問題來實行不同的學習方式，如有監(jiān)督學習、無監(jiān)督學習等。在有監(jiān)督學習模式下，算法需要大量的有標簽的訓練數(shù)據(jù)，這就導致算法在一定程度上受到數(shù)據(jù)的約束，在這種情況下，無監(jiān)督深度學習在滾動軸承故障診斷上的發(fā)展及應用逐漸被重視起來，自編碼器（auto-encoder, AE）就是一種典型的無監(jiān)督深度學習的網(wǎng)絡模型。

自編碼器的運行過程就是一個編碼解碼的過程，但是需要通過誤差反向傳播機制調(diào)整整體網(wǎng)絡[6-7]，近年來，基于AE 的研究與應用也越來越多[8-11]。Bengio等[8]提出在AE 的隱含層中引入稀疏性限制項的稀疏自編碼器（sparse auto-encoder，SAE）這一改進網(wǎng)絡，其目的旨在獲得高維且稀疏的特征。Vincent 等[9]在AE 中引入添加噪聲，提出了降噪自編碼器（denoising auto-encoder，DAE）這一改進網(wǎng)絡，從而減弱噪聲影響，此外堆棧降噪自編碼（stacked denoising auto-encoder，SDAE）網(wǎng)絡是深度自編碼網(wǎng)絡的另一種形式，它只是用DAE 代替AE。因此，目前基于自編碼器的滾動軸承故障診斷方面的應用主要有數(shù)據(jù)降維和數(shù)據(jù)降噪兩個方面[12]，可以通過Matlab、TensorFlow、Pytorch、Keras 等不同框架或平臺實現(xiàn)。

本文將介紹AE、SAE、DAE、SDAE 等算法的網(wǎng)絡結構及其理論理解，梳理自編碼器改進算法的創(chuàng)新點與實現(xiàn)方式。同時，結合相關文獻來總結上述幾類自編碼器在針對滾動軸承故障診斷的研究進展。最后，分析當前自編碼器及其改進算法仍存在的問題，探討解決這些問題的思路。

1 自編碼器及其改進

在深度學習中，自編碼器是一種典型的無監(jiān)督網(wǎng)絡模型，它在學習輸入數(shù)據(jù)隱含特征的同時，還可以利用學習到的特征來重構原始輸入數(shù)據(jù)，從而形成一種無監(jiān)督模型的特征提取方法。

1.1 自編碼器

AE 是一種典型的單隱層神經(jīng)網(wǎng)絡，它以無監(jiān)督的方式學習參數(shù)并提取特征，使輸入和輸出保持一致性，從輸入到隱含層和從隱含層到輸出層的過程分別稱為編碼和解碼，AE 的網(wǎng)絡結構如圖1 所示。

圖1 AE 網(wǎng)絡結構圖Fig.1 AE network

如圖1 所示，自編碼器通過全連接的方式將輸入信號進行加權求和，經(jīng)過偏置矩陣與激活函數(shù)計算后輸入到隱含層，而隱含層也以同樣的相同方式輸入到輸出層中，最后通過設置目標函數(shù)來得到最優(yōu)的權值和偏置。自編碼器的計算公式如下

常規(guī)自編碼器一般采用反向傳播算法來優(yōu)化調(diào)整網(wǎng)絡的權值和偏置，從而使更新后的網(wǎng)絡輸出樣本更加接近輸入樣本，同時還能提取出更具樣本表征的抽象特征。

與一些無監(jiān)督學習算法相比，AE 不僅能降低提取的特征維度，還保存了更多的信息表示度，它可以綜合地利用各種特征信息來進行數(shù)據(jù)降維和特征提取，因此可以更有效地實現(xiàn)滾動軸承的故障分類任務。

目前，自編碼器已成為故障診斷領域的一個熱點[13-14]。Mao 等[15]結合自編碼器和極限學習機的方法提出一種新的算法，實現(xiàn)了自適應挖掘識別滾動軸承故障特征并且提高了診斷速度。張西寧等[16]將標準化的自編碼網(wǎng)絡運用到滾動軸承故障診斷，通過實驗證明該網(wǎng)絡不僅可以提高網(wǎng)絡在噪聲環(huán)境下的識別能力, 而且能夠有效地減少網(wǎng)絡的訓練時間。Pei 等[17]針對數(shù)據(jù)不平衡問題提出了一種增強少鏡頭瓦瑟斯坦自編碼器的數(shù)據(jù)增強方法，結果表明該模型在不平衡程度的恢復能力方面非常優(yōu)異，且具有較好的精度。

1.2 降噪自編碼器

DAE 在自編碼器的基礎上進行了改進，在編碼過程中以隨機置零神經(jīng)元的方式來添加噪聲，然后再進行后續(xù)的解碼過程。DAE 通過這樣的方式來增強網(wǎng)絡泛化能力，并降低噪聲影響，其網(wǎng)絡結構如圖2 所示。

圖2 DAE 網(wǎng)絡結構圖Fig.2 DAE network

降噪自編碼器的計算公式為

式中：hW，b（·）為輸入數(shù)據(jù)的重構函數(shù)。

對于含有多個樣本的樣本集，為了使輸出逼近原始數(shù)據(jù)，DAE 的目標函數(shù)一般表示為

此外，為避免網(wǎng)絡訓練過擬合，提高網(wǎng)絡的泛化性，還可對DAE 的學習參數(shù)設置正則化約束項[18]，如使用L2正則化約束，則目標函數(shù)可改寫為

式中：θ=｛W，b｝；W 為兩連接層間的權重；b 為各層的偏置；λ 則用于度量數(shù)據(jù)重構程度和正則化約束之間的權重。

通過上述改進后，DAE 在AE 的基礎上，不僅可以對數(shù)據(jù)進行有效的降維，還能在一定程度上解決原始數(shù)據(jù)存在噪聲的問題，從而對數(shù)據(jù)進行降噪和降維的雙重處理。

針對降噪自編器在滾動軸承故障診斷上的改進與應用中，Meng 等[19]將權重衰減中的L2范數(shù)懲罰改為彈性懲罰，以改善參數(shù)的稀疏性，通過進行滾動軸承的故障診斷試驗發(fā)現(xiàn)，該方法相較傳統(tǒng)的自編碼器更具優(yōu)越性。Tong 等[20]采用多尺度分析方法從滾動軸承的原始振動信號中提取多尺度特征，再使用稀疏懲罰項和壓縮懲罰項對自編碼器的損失函數(shù)進行正則化，在具體實驗中可以有效地區(qū)分不同工況下滾動軸承的故障類型和嚴重程度，提高了DAE 在復雜工況下的性能。Liu 等[21]提出了一種基于非線性預測降噪自編碼器進行滾動軸承故障診斷，實驗證明該方法魯棒性強，準確度高，但由于存在監(jiān)督學習過程，該方法不能很好地識別新的故障類型，也不能很好地識別具有更嚴重裂紋的同一故障類型。宋威等[22]首先對一維振動信號進行圖像灰度化處理，對降噪自編碼器的特征提取網(wǎng)絡進行改進，即自編碼器網(wǎng)絡由4 層卷積神經(jīng)網(wǎng)絡和兩層全連接神經(jīng)網(wǎng)絡構成，在每個卷積層后均添置歸一化層，提升神經(jīng)網(wǎng)絡的訓練速度。

1.3 稀疏自編碼器

SAE 在自編碼器的基礎上，通過在隱含層中加入稀疏限制項進行了改進，這種限制會使得隱含層中的節(jié)點被抑制激活，而被抑制的節(jié)點數(shù)量則會因所選取的激活函數(shù)發(fā)生改變，從而達到增強所提取特征的稀疏性效果，SAE 網(wǎng)絡結構圖如圖3 所示。

圖3 SAE 網(wǎng)絡結構圖Fig.3 SAE network

在SAE 的各類應用中，常用的稀疏性限制采用L1范數(shù)或KL 散度等正則化項。以這兩種稀疏性限制為例，當采用L1范數(shù)作為正則化項時，SAE 的損失函數(shù)可表示為

式中：aj（xi）表示隱含層節(jié)點j 對輸入xi的激活值；λ表示控制懲罰程度的L1正則化系數(shù)。

當采用KL 散度正則化項時，SAE 的損失函數(shù)可表示為

相較于基礎的自編碼器，SAE 能夠更有效地學習主要特征，通過降低對次要特征的需求來使提取的特征更具稀疏性。然而，SAE 需要通過參數(shù)影響實驗來判斷該節(jié)點是否被抑制，無法直接對某個特定節(jié)點進行抑制行為。所以，合理利用SAE 中的稀疏準則、DAE 的降噪機理以及AE 的信號重構能力，將各類自編碼器的功能進行點對點的設計有助于挖掘輸入的基本信息，提高故障模式分類的魯棒性。

Dai 等[23]為了挖掘滾動軸承的代表性故障特征，提出了一種結合SAE 和DAE 的疊層稀疏降噪自編碼器診斷模型，實驗證明該方法診斷準確率、重構誤差和迭代時間方面都具有優(yōu)勢，不過該方法非常依賴于數(shù)據(jù)的驅動。Sun 等[24]建立了一種基于堆疊稀疏自編碼器的深層神經(jīng)網(wǎng)絡來挖掘數(shù)據(jù)間的連接關系，結果顯示該方法能夠自適應地學習到滾動軸承振動信號的復雜關系，所重構的數(shù)據(jù)適用于各種故障類別。Jia 等[25]提出了一種基于歸一化稀疏自編碼器的本地連接網(wǎng)絡，來實現(xiàn)自編碼器的自動化特征提取功能，結果表明該方法所提取的特征在齒輪箱和滾動軸承的故障診斷上都具有優(yōu)越性。湯芳等[26]提出了一種基于稀疏自編碼的深度神經(jīng)網(wǎng)絡來實現(xiàn)無監(jiān)督學習自動提取特征的功能，結果表明使用該網(wǎng)絡所提取的特征進行故障診斷后能更準確地識別滾動軸承故障類型。袁憲鋒等[27]利用堆棧稀疏自編碼器實現(xiàn)了滾軸軸承故障信號頻域深層特征的自適應學習，通過將降維后的特征可視化可以觀察到不同故障類型特征向量之間的重疊程度被降低，分類模型對不同滾動軸承故障類型的判斷更準確。

1.4 堆棧降噪自編碼器

SDAE 網(wǎng)絡是由多個DAE 堆棧組成的深度神經(jīng)網(wǎng)絡，因此其結構也與DAE 有很多相似，其主要目的也是將數(shù)據(jù)進行壓縮重構，然后將重構特征輸入到后續(xù)的分類模型或回歸模型中，SDAE 也存在一定的降噪特性，從而提高預測模型的準確度和魯棒性[28-29]。SDAE 的網(wǎng)絡結構如圖4 所示。

圖4 SDAE 網(wǎng)絡結構圖Fig.4 SDAE network

如圖4 所示，SDAE 網(wǎng)絡需進行逐層訓練和微調(diào)才能被訓練成更加符合目標函數(shù)的網(wǎng)絡，即遵循“逐層訓練”的原則才能訓練得到一個完整的符合目標期待值的SDAE 網(wǎng)絡。需要注意的是，在訓練某一層超參數(shù)時，其他各層超參數(shù)需為固定值，并且逐層訓練后的網(wǎng)絡也需利用樣本數(shù)據(jù)和標簽對整個網(wǎng)絡進行有監(jiān)督的微調(diào)，該過程可表示為

式中：α 為學習速率，Wij為連接層間權重；bi為第i 層的偏置；l 表示層數(shù)；L（W，b；x）為上節(jié)所述目標函數(shù)。當目標函數(shù)達到一定閾值時則表示整體網(wǎng)絡已訓練完成，訓練后的SDAE 網(wǎng)絡模型不僅學習了數(shù)據(jù)之間分布關系，還保留了數(shù)據(jù)之間的時間相關性特征，從而可以提高數(shù)據(jù)的優(yōu)越性，增加分類模型的準確識別率。

Yang 等[30]融合了多變量多尺度樣本熵和SDAE，通過引入具有不同分布中心的高斯噪聲，實驗證明該模型具備良好的去噪能力，此外，對于軸承的故障診斷還具備較高的識別率和較強的魯棒性。余萍等[31]利用新設計的人工變性天牛算法對SDAE 網(wǎng)絡的超參數(shù)進行自適應選取從而訓練出最優(yōu)的網(wǎng)絡模型，提取滾動軸承更深層次的故障特征，與傳統(tǒng)方法相比，該方法具有更好的網(wǎng)絡泛化能力、更高的診斷精度和更好的分類性能。杜先君等[32]利用學生心理優(yōu)化算法對SDAE 網(wǎng)絡的超參數(shù)進行優(yōu)化，結果表明優(yōu)化后的網(wǎng)絡模型有效的提升了對滾動軸承進行故障診斷的診斷正確率與診斷速度，但無法有效解決數(shù)據(jù)缺失、數(shù)據(jù)類別不均衡、數(shù)據(jù)分布不均勻等問題。

1.5 其他改進的編碼器

除上述幾種常用于滾動軸承故障診斷中的自編碼器類型外，還有許多關于其他基于自編碼器的改進模型在實際故障診斷中的應用。

Shi 等[33]提出了一種基于滑動窗口疊加降噪自編碼器的模型來描述具有時間相關特征的數(shù)據(jù)分布，通過對滾動軸承進行故障診斷實驗，驗證了所提模型在診斷初始故障類型中具有顯著的優(yōu)越性。Shao 等[34]提出了一種基于集成深度自編碼器的網(wǎng)絡來解決對于自動特征提取的有效性低的問題，實驗證明該網(wǎng)絡用于滾動軸承故障診斷方面可以有效地提高準確率，然而，這些新函數(shù)的輸出有時會不穩(wěn)定。Li 等[35]將SAE、DAE 和線性解碼器分別構造多個深度自編碼器來進行滾動軸承故障特征的自適應提取，該方法比單個深度模型和其他集成學習方法更有效，但訓練過程耗時久，對實驗訓練環(huán)境要求高。石懷濤等[36]提出了一種基于滑動窗堆棧降噪自編碼器和長短時記憶網(wǎng)絡的貝葉斯優(yōu)化的早期故障預測模型來優(yōu)化針對于滾動軸承的特征提取，從而實現(xiàn)對滾動軸承的早期故障診斷。Yan 等[37]將變分自編碼器（variational auto-encoder，VAE）和DAE 相結合來提取具有魯棒性和判別性的潛在故障特征，實驗表明所提模型能對不同的滾動軸承健康狀態(tài)實現(xiàn)較高的識別精度。張西寧等[38]提出了一種深度卷積自編碼網(wǎng)絡，通過將卷積網(wǎng)絡與自編碼器相結合來實現(xiàn)滾動軸承故障復雜特征提取，實驗證明該方法能取得更好的故障識別效果，還解決了卷積神經(jīng)網(wǎng)絡權值只能隨機初始化的問題。陳志剛等[39]提出了一種改進的深層自編碼器集成方法，實現(xiàn)了滾動軸承振動信號的特征自動提取和故障類型自動識別的功能。Shen 等[40]提出了一種基于收縮自編碼器的滾動軸承故障診斷方法來獲得信號的隱藏的魯棒特征，從而使診斷模型可以得到更高的準確率。Zhang 等[41]在噪聲環(huán)境下使用集成深度收縮自編碼器進行機械故障診斷，利用集成深度收縮自編碼器能自動從輸入信號中提取更具代表性和鑒別能力的高層特征的特點來獲得更好的故障診斷結果。此外，關于自編碼器改進算法及其應用近年來還有很多研究[42-51]，表1 歸納了一些自編碼器改進算法的優(yōu)點及改進方式。表1 中相關縮寫如下：regularized auto-encoder（RAE），deep convolutional auto-encoder（DCAE），adaptive sparse contractive auto-encoder（ASCAE），hybrid ensemble auto-encoder（HEAE），wasserstein autoencoder（WAE），convolutional auto-encoder（CAE），full convolutional denoising auto-encoder（FCDAE），multi-scale convolutional auto-encoder（MSCAE）。

表1 自編碼器各改進算法的分析與比較Tab.1 Analysis and comparison of improved self encoder algorithms

2 存在的問題及解決思路

隨著現(xiàn)代技術信息化和自動化的發(fā)展，對故障診斷算法的需求和要求也愈加高，而基于自編碼器的故障診斷技術具有很強的表示學習能力，所以在大數(shù)據(jù)環(huán)境下變得更加自動化和高效。但是，數(shù)據(jù)樣本存在的特征維數(shù)高有效信息卻有限、傳感器的觀測值有缺失、數(shù)據(jù)類別不均衡、數(shù)據(jù)分布不均勻等問題，造成了特征提取和故障診斷的不確定特性，也限制了自編碼器的表示學習能力。因此，基于自編碼器的改進及應用仍有很大的研究空間，其理論依據(jù)有待完善[52]。

1）故障特征提取的限制。目前，利用自編碼器對滾動軸承進行故障診斷應用在已知故障類型下判斷故障種類。因此，在半監(jiān)督或有監(jiān)督條件下如何使自編碼器更具適應性的進行特征提取仍是一個問題，例如稀疏自編碼由于在隱藏層中增加了稀疏性限制，其對于隨機數(shù)據(jù)的壓縮學習較為困難，而一些堆棧式自編碼器雖然具有強大的非線性擬合能力，但處理數(shù)據(jù)的時間卻很長。因此，可考慮重構輸入樣本及其標簽，使自編碼器在訓練過程中考慮標簽損失，或在損失函數(shù)中添加帶有隱藏標簽的正則化項，從而提升特征提取能力。

2）難以適應小樣本條件以及數(shù)據(jù)不充分、不平衡問題。自編碼器及其深度結構由于模型結構復雜，在樣本數(shù)據(jù)不充分不平衡和小樣本情況下，會產(chǎn)生過擬合現(xiàn)象，例如稀疏降噪自編碼器在對數(shù)據(jù)進行降噪處理時就沒有考慮輸入與輸出間的局部相似性，而卷積稀疏自編碼雖然可在短時間內(nèi)獲得最有效特征，但卻需要大量的樣本進行訓練與測試，如何克服樣本問題仍是自編碼器的一個研究熱點。在小樣本條件下，可考慮以數(shù)據(jù)增強為一個解決方法，利用流信息、遷移學習、生成式對抗網(wǎng)絡等方法解決該條件下模型的整體設計問題。在數(shù)據(jù)不充分、不平衡條件下，可考慮以對數(shù)據(jù)進行預處理為思路，采用欠采樣和過采樣的方法，或利用代價敏感學習、不平衡學習等模型來解決數(shù)據(jù)問題。此外，隨著寬度學習的發(fā)展與應用，還可以考慮將自編碼器與寬度學習相結合，使自編碼器的結構由深度發(fā)展改為寬度發(fā)展，達到速度與準確度的雙重提高。

3）缺乏有效超參數(shù)設置方法。由于基于自編碼器的學習模型具有隱含層層數(shù)、節(jié)點數(shù)、權值、偏置等超參數(shù)，因此模型的特征提取能力、訓練速度、診斷精確度等具有不穩(wěn)定性[53]。如邊緣降噪自編碼的噪聲強度參數(shù)就嚴重影響其降噪能力與實驗成本，特別是一些堆棧形式的改進自編碼器和其他深度學習模型相結合的自編碼器，由于具有更多的層數(shù)與超參數(shù)，其模型效果更容易受到影響。超參數(shù)數(shù)量較少且范圍小時，可通過調(diào)試實驗人工選出最優(yōu)的超參數(shù)設置，但在其他復雜情況時，就應當使用一些優(yōu)化算法來優(yōu)化模型中的超參數(shù)（如遺傳算法、模擬退火算法、學生心理優(yōu)化算法、灰狼算法等），從而尋找出能夠滿足最優(yōu)目標函數(shù)的自編碼器模型。如何尋找出一個準確率高、適應性強的優(yōu)化后的自編碼器模型仍是一個值得研究的問題。

4）噪聲對于網(wǎng)絡初始化的影響。信號的有效特性往往淹沒在工業(yè)背景噪聲中，這會導致自編碼器對信號的重構能力、降噪能力等性能下降。在自編碼器的網(wǎng)絡初始化中，噪聲的產(chǎn)生是一個不可忽略的問題，絕大多數(shù)自編碼器及其改進算法對網(wǎng)絡參數(shù)均采用隨機初始化，而診斷模型的訓練速度、診斷精確度等也受其影響[54]。L21范數(shù)自編碼器通過在損失函數(shù)中增添正則化項來降低這個影響，又存在處理時間較長這一問題。因此，可考慮在損失函數(shù)上引入正則化項來降低網(wǎng)絡初始化產(chǎn)生的噪聲影響，還可以從網(wǎng)絡初始化的角度出發(fā)來優(yōu)化網(wǎng)絡降低噪聲影響，提高自編碼器訓練的穩(wěn)定性，從而提升診斷模型的準確性。

3 結束語

深度學習作為機器學習領域的突破，受到了各個領域的廣泛關注，且在滾動軸承故障診斷中的應用也日益增多，自編碼器作為一種無監(jiān)督的深度學習的網(wǎng)絡模型，在數(shù)據(jù)降噪和數(shù)據(jù)可視化降維方面具有明顯的優(yōu)勢。本文介紹了AE 及其一些改進算法的網(wǎng)絡結構及其理論理解，梳理了相關算法的創(chuàng)新點與實現(xiàn)方式，最后，通過分析當前仍存在的問題，提供了一些解決問題的思路。