余 萍，曹 潔

1.蘭州理工大學(xué) 電氣工程與信息工程學(xué)院，蘭州730050

2.蘭州理工大學(xué) 甘肅省工業(yè)過(guò)程先進(jìn)控制重點(diǎn)實(shí)驗(yàn)室，蘭州730050

3.蘭州理工大學(xué) 電氣與控制工程國(guó)家實(shí)驗(yàn)教學(xué)示范中心，蘭州730050

1 引言

深度學(xué)習(xí)（Deep Learning，DL）是一種源于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法，其本質(zhì)是通過(guò)在層次結(jié)構(gòu)中堆疊多層非線性信息處理模塊來(lái)模擬數(shù)據(jù)背后的高級(jí)表示，并對(duì)模式進(jìn)行分類和預(yù)測(cè)。結(jié)合特定的領(lǐng)域任務(wù)，深度學(xué)習(xí)可以自動(dòng)完成對(duì)數(shù)據(jù)的學(xué)習(xí)，提取出不同水平和維度的有效特征表示，有更高的數(shù)據(jù)解釋能力。早在20世紀(jì)80年代，多層神經(jīng)網(wǎng)絡(luò)的理論就已經(jīng)被提出[1]，典型算法是采用了隨機(jī)設(shè)定初始值及梯度下降優(yōu)化策略的BP（Back-Propagation）神經(jīng)網(wǎng)絡(luò)[2-3]。然而過(guò)擬合、梯度消失及計(jì)算能力受限等問(wèn)題制約了神經(jīng)網(wǎng)絡(luò)的發(fā)展。直到2006年，Hinton團(tuán)隊(duì)提出一種無(wú)監(jiān)督深層神經(jīng)網(wǎng)絡(luò)的有效訓(xùn)練算法，即深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBN）[4-5]，它成功地訓(xùn)練了具有多層網(wǎng)絡(luò)結(jié)構(gòu)的受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM），在沒(méi)有任何監(jiān)督的情況下呈現(xiàn)了數(shù)據(jù)的統(tǒng)計(jì)特性。這一技術(shù)的出現(xiàn)打破了神經(jīng)網(wǎng)絡(luò)發(fā)展的瓶頸，同時(shí)，伴隨著處理器計(jì)算能力的提升，引發(fā)了深度學(xué)習(xí)的熱潮。近年來(lái)，涌現(xiàn)出許多新的模型訓(xùn)練方法，并被用來(lái)有效解決越來(lái)越多極具挑戰(zhàn)性的問(wèn)題，在圖像處理[6-7]、醫(yī)學(xué)圖像分析[8-9]、語(yǔ)音識(shí)別[10]、目標(biāo)檢測(cè)[11-12]、文本檢測(cè)和識(shí)別[13-14]以及自然語(yǔ)言處理[15-16]等諸多領(lǐng)域均獲得了突破性進(jìn)展。

表1列舉了近五年來(lái)一些重要的深度學(xué)習(xí)研究綜述和專著，這些文獻(xiàn)詳細(xì)地反映了深度學(xué)習(xí)取得的階段性進(jìn)展或在某一領(lǐng)域的應(yīng)用概況。表2列舉了目前主流的幾款深度學(xué)習(xí)開(kāi)源仿真工具平臺(tái)，旨在為研究者提供參考。值得注意的是深度學(xué)習(xí)在故障診斷與預(yù)測(cè)中的應(yīng)用仍屬于新興領(lǐng)域，因此，本文特別強(qiáng)調(diào)以下兩個(gè)方面：（1）圍繞故障診斷與預(yù)測(cè)這一研究主題，梳理了五種典型深度學(xué)習(xí)模型的結(jié)構(gòu)、原理及區(qū)別；（2）整理了深度學(xué)習(xí)在故障診斷與預(yù)測(cè)領(lǐng)域的最新研究進(jìn)展，對(duì)存在的問(wèn)題、面臨的挑戰(zhàn)進(jìn)行了分析，并就解決的辦法以及今后的發(fā)展趨勢(shì)和研究方向進(jìn)行了展望。

表1 近五年發(fā)表的深度學(xué)習(xí)相關(guān)應(yīng)用研究綜述和專著

表2 深度學(xué)習(xí)主流開(kāi)源仿真工具

2 深度學(xué)習(xí)模型

2.1 AE及其變體

自動(dòng)編碼器（AE）是一種典型的前饋無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)[71]，其結(jié)構(gòu)如圖1所示：包括編碼器和解碼器兩個(gè)部分。

圖1 單隱含層自動(dòng)編碼器結(jié)構(gòu)

編碼器接受輸入x并將其映射到隱層h，其非線性映射關(guān)系如下：

式中，φf(shuō)為非線性編碼激活函數(shù)，b為編碼器偏差向量，ω為輸入層與隱層間的連接權(quán)值矩陣。隱層H可以看作是數(shù)據(jù)樣本X的一種更抽象、更有意義的表示。然后，解碼器再以相似的方式將隱層表示映射回原始表示：

式中，φg為解碼激活函數(shù)，ω′為解碼器偏差向量，b′為隱層與輸出層間的連接權(quán)值矩陣。

定義θ為模型參數(shù)集合：

為了使得輸出y與輸入x的重構(gòu)誤差最小，要對(duì)參數(shù)θ進(jìn)行優(yōu)化，相應(yīng)的優(yōu)化問(wèn)題表示如下：

式（4）表示樣本的平均重構(gòu)誤差優(yōu)化指標(biāo)，N為樣本數(shù)。

為了使隱含層的輸出更具魯棒性，三種典型的改進(jìn)包括：稀疏自動(dòng)編碼器（Sparse Auto-Encoder，SAE）、去噪自動(dòng)編碼器（Denoising Auto-Encoder，DAE）和堆疊去噪自動(dòng)編碼器（Stacked Denoising Auto-Encoder，SDAE）。

2.1.1 SAE

為防止樣本性質(zhì)的波動(dòng)，在隱層單元上增加稀疏性約束[72]，使得學(xué)習(xí)到的隱層表示成為稀疏表示，相應(yīng)的優(yōu)化功能更新為：

式中，m是隱含層的層數(shù)，第二項(xiàng)是隱層單元上的Kullback-Leibler（KL）散度總和。其中：

式中，p是預(yù)先定義的平均激活目標(biāo)，pj是整個(gè)數(shù)據(jù)集中第j個(gè)隱藏神經(jīng)元的平均激活度。

2.1.2 DAE

DAE的思想是將含有噪聲的數(shù)據(jù)樣本作為輸入送入編碼器進(jìn)行編碼，再通過(guò)解碼器從含噪的樣本中去重建去噪后的輸入。最常用的噪聲是dropout噪聲，它隨機(jī)地將輸入特征的一部分設(shè)置為零[73]。增加了去噪功能的DAE增強(qiáng)了噪聲干擾情況下的網(wǎng)絡(luò)魯棒性。

2.1.3 SDAE

SDAE的思想是通過(guò)將第j層的輸出作為第j+1層的輸入，這樣可以將多個(gè)DAE堆疊在一起，逐層完成貪婪訓(xùn)練，從而形成更深層的網(wǎng)絡(luò)來(lái)學(xué)習(xí)高級(jí)表示[74]。SDAE依然采用梯度下降算法來(lái)訓(xùn)練網(wǎng)絡(luò)參數(shù)。經(jīng)過(guò)SDAE的分層預(yù)訓(xùn)練后，可以將自動(dòng)編碼器的參數(shù)設(shè)置為DNN所有隱藏層的初始值，然后執(zhí)行受監(jiān)督的微調(diào)以最小化預(yù)測(cè)錯(cuò)誤。在網(wǎng)絡(luò)輸出端通常添加一個(gè)SoftMax回歸層，以將最后一層輸出映射到目標(biāo)。研究表明，基于SDAE的預(yù)訓(xùn)練DNN模型，相比隨機(jī)初始化條件下的DNN具有更強(qiáng)的收斂能力[75]。

2.2 DBN

深度置信網(wǎng)絡(luò)（DBN）是由疊加多個(gè)受限玻爾茲曼機(jī)（RBM）來(lái)構(gòu)建的。RBM是具有一個(gè)顯層和一個(gè)隱層的雙層神經(jīng)網(wǎng)絡(luò)，如圖2（a）所示，顯層(v)與隱層(h)之間存在對(duì)稱連接約束，但層內(nèi)節(jié)點(diǎn)之間無(wú)任何連接。RBM可以從訓(xùn)練數(shù)據(jù)分布中得到潛在的特征表示，因此它是一個(gè)生成模型[76]。

圖2 受限玻爾茲曼機(jī)（RBM）與深度置信網(wǎng)絡(luò)（DBN）

給定模型參數(shù)θ=[ω,a,b]時(shí)，能量函數(shù)可定義為：

式（7）中，ωij表示顯層和隱層間的連接權(quán)值；ai表示可視層偏置值；bj表示隱層偏置值。根據(jù)能量函數(shù)E計(jì)算所有單元的聯(lián)合分布：

RBM采用了無(wú)監(jiān)督的對(duì)比散度算法（Contrastive Divergence，CD）進(jìn)行網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練目標(biāo)是使聯(lián)合概率最大化。

疊加多個(gè)RBM就構(gòu)成了DBN，它具有學(xué)習(xí)訓(xùn)練數(shù)據(jù)深層表示的能力，其中第i層（隱層）的輸出作為第i+1層（顯層）的輸入，結(jié)構(gòu)如圖2（b）所示。與SDAE類似，DBN也是通過(guò)無(wú)監(jiān)督的逐層貪婪學(xué)習(xí)算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)過(guò)程包含預(yù)訓(xùn)練和微調(diào)兩個(gè)步驟。

2.3 CNN

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種典型的監(jiān)督型前饋神經(jīng)網(wǎng)絡(luò)，它的訓(xùn)練目標(biāo)是通過(guò)交替和疊加卷積核以及池化操作來(lái)實(shí)現(xiàn)對(duì)抽象特征的學(xué)習(xí)。結(jié)構(gòu)上主要包含三部分：卷積層（Convolution layer）、池化層（Pooling layer）和全連接層（Fully Connected layer，F(xiàn)C layer），如圖3所示。

卷積層采用多個(gè)卷積核來(lái)實(shí)現(xiàn)對(duì)多特征的提取，每一層的輸出都是對(duì)多輸入特征進(jìn)行卷積，數(shù)學(xué)模型如下：

池化層的作用是通過(guò)池化操作將特征空間的尺寸減半，從而在保證特征不變性的情況下，降低特征維度。常見(jiàn)的池化操作有最大值池化（Max-pooling）和均值池化（Mean-pooling）。

最后，輸入數(shù)據(jù)在經(jīng)過(guò)多次卷積和池化后，傳遞到一個(gè)或多個(gè)完全連接（FC）層，其結(jié)果將作為頂層分類器（例如，SoftMax）的輸入。

CNN的訓(xùn)練方式包括前向傳播和反向傳播。首先，輸入信號(hào)經(jīng)過(guò)多次卷積、池化、全連接運(yùn)算得到實(shí)際輸出信號(hào)，并計(jì)算實(shí)際輸出和理想輸出的差；然后利用BP算法反向逐層傳遞誤差；最后利用梯度下降法更新各層參數(shù)[77]。

近年來(lái)CNN的主要改進(jìn)技術(shù)體現(xiàn)在兩方面：（1）采用ReLU、GeLU等改進(jìn)的非線性激活函數(shù)[78]，加速了網(wǎng)絡(luò)的收斂速度，更適應(yīng)深層網(wǎng)絡(luò)的訓(xùn)練；（2）采用了深層網(wǎng)絡(luò)的正則化方法[79]，很大程度地防止了訓(xùn)練過(guò)程中的過(guò)擬合現(xiàn)象。

2.4 RNN

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一個(gè)處理順序數(shù)據(jù)的框架，通過(guò)每層之間節(jié)點(diǎn)的連接結(jié)構(gòu)來(lái)記憶之前的信息，并利用這些信息來(lái)影響后面節(jié)點(diǎn)的輸出。RNN可充分挖掘序列數(shù)據(jù)中的時(shí)序信息以及語(yǔ)義信息，這種方式在處理時(shí)序數(shù)據(jù)時(shí)比全連接神經(jīng)網(wǎng)絡(luò)和CNN更具有深度表達(dá)能力。如圖4所示，多層感知器只能從輸入數(shù)據(jù)映射到目標(biāo)向量，而RNN能夠從以前輸入的整個(gè)歷史映射到目標(biāo)向量，從而利用過(guò)去的信息克服簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)的局限性。RNN以后向傳播的方式通過(guò)時(shí)間對(duì)受監(jiān)控的任務(wù)進(jìn)行訓(xùn)練。

RNN可以使用其內(nèi)部存儲(chǔ)器來(lái)處理順序數(shù)據(jù)，t時(shí)刻的隱層神經(jīng)元狀態(tài)ht由該時(shí)刻的輸入xt和前一時(shí)刻的隱層神經(jīng)元狀態(tài)ht-1確定。在典型的vanilla RNN中：

圖3 基于CNN的故障診斷流程

圖4 多層感知器與典型RNN

式中，φ為非線性可微轉(zhuǎn)移函數(shù)，采用不同的轉(zhuǎn)移函數(shù)可以形成不同的RNN模型；ω為隱層與輸入層的連接權(quán)值，u為隱層神經(jīng)元之間的連接權(quán)值，b為偏置值。

對(duì)于分類任務(wù)，通常加全連接層和softmax分類層，將序列映射到特定類別標(biāo)簽[80]。

2.5 GAN

Goodfellow等人2014年提出了生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）[81]。盡管出現(xiàn)的時(shí)間較短，但以其獨(dú)特的特點(diǎn)迅速成為了機(jī)器學(xué)習(xí)領(lǐng)域最令人興奮的突破之一。GAN結(jié)構(gòu)如圖5所示，生成器(FG)和鑒別器(FD)巧妙地展開(kāi)相互競(jìng)爭(zhēng)，生成器試圖混淆鑒別器，而鑒別器則試圖區(qū)分輸入數(shù)據(jù)集中的生成器生成的樣本和原始的實(shí)際樣本，由此建立了一個(gè)零和博弈的框架。在這個(gè)框架中，生成器和鑒別器不斷競(jìng)爭(zhēng)，各自獲得更強(qiáng)的模擬原始數(shù)據(jù)樣本和迭代識(shí)別的能力[82]。

圖5 GAN結(jié)構(gòu)示意圖

3 深度學(xué)習(xí)在故障診斷與預(yù)測(cè)中的應(yīng)用

3.1 研究背景

系統(tǒng)的異常檢測(cè)和故障診斷一直是學(xué)術(shù)界關(guān)注的重點(diǎn)問(wèn)題，而隨著工業(yè)設(shè)備日趨復(fù)雜化、大型化和智能化，高效獲取準(zhǔn)確、完備的診斷信息越來(lái)越困難。傳統(tǒng)的診斷技術(shù)已很難滿足現(xiàn)代工業(yè)的故障診斷需求，迫切需要能夠?qū)⒐收蠙C(jī)理、模型建立、特征提取與分類方法等相關(guān)問(wèn)題相融合的混合智能故障診斷技術(shù)，而深度學(xué)習(xí)的出現(xiàn)為這一技術(shù)的實(shí)現(xiàn)提供了新的思路和途徑。下面從三個(gè)方面分析未來(lái)工業(yè)的故障診斷與預(yù)測(cè)為什么需要深度學(xué)習(xí)。

（1）故障復(fù)雜性

復(fù)雜工業(yè)系統(tǒng)從結(jié)構(gòu)上來(lái)說(shuō)具有多層次、互相關(guān)和復(fù)雜性等特點(diǎn)，這就導(dǎo)致了系統(tǒng)的故障具有了傳播性、耦合性、繼發(fā)性和不確定性的特點(diǎn)。舉例說(shuō)明，一個(gè)微小故障的存在可能引發(fā)大型故障的出現(xiàn)，或隨著系統(tǒng)結(jié)構(gòu)層次進(jìn)行故障傳播從而引發(fā)一系列故障，繼發(fā)多故障的耦合，最終對(duì)設(shè)備構(gòu)成致命性毀壞。在這一過(guò)程中僅故障種類就包含了早期微小故障、復(fù)合故障、系統(tǒng)故障等。微小故障具有潛在性和動(dòng)態(tài)響應(yīng)微弱的特點(diǎn)；復(fù)合故障和系統(tǒng)故障由于多因素耦合和傳遞路徑復(fù)雜，導(dǎo)致難以有效溯源故障成因。這些都為故障診斷帶來(lái)了難度，傳統(tǒng)基于數(shù)據(jù)的故障診斷技術(shù)中人工設(shè)計(jì)并提取故障特征的方法已遠(yuǎn)遠(yuǎn)不能滿足實(shí)際需要，而能夠進(jìn)行數(shù)據(jù)深層挖掘、自動(dòng)提取故障特征、具有端對(duì)端操作特點(diǎn)的深度學(xué)習(xí)技術(shù)必將成為整個(gè)故障診斷體系中的關(guān)鍵性技術(shù)。

（2）環(huán)境復(fù)雜性

系統(tǒng)未知的干擾和噪聲會(huì)對(duì)故障信號(hào)產(chǎn)生很大的影響，例如微小故障信號(hào)的幅值較低，很容易被未知擾動(dòng)和噪聲信號(hào)所掩蓋，尤其是當(dāng)噪聲和微小故障信號(hào)發(fā)生混疊時(shí)，就很難對(duì)其進(jìn)行區(qū)別。而深度學(xué)習(xí)方法中已有很多優(yōu)秀的改進(jìn)模型用來(lái)幫助解決此類問(wèn)題，如堆疊去噪自動(dòng)編碼器（SDAE）、自帶去噪功能的CNN等。此外，由于數(shù)據(jù)采集、傳輸、存儲(chǔ)過(guò)程中受環(huán)境影響所導(dǎo)致的異常以及傳感器自身漂移等因素，都將使得系統(tǒng)的故障和征兆具有隨機(jī)性、模糊性和信息不確定性等特點(diǎn)，這些都需要進(jìn)行深度的數(shù)據(jù)挖掘來(lái)實(shí)現(xiàn)故障的有效識(shí)別。

（3）數(shù)據(jù)復(fù)雜性

隨著信息化技術(shù)的發(fā)展，未來(lái)復(fù)雜工業(yè)系統(tǒng)將不僅能獲得到時(shí)間與空間兩個(gè)維度上不同尺度的海量數(shù)據(jù)，還能獲取到不同來(lái)源、不同工況、不同部門、不同類型的海量數(shù)據(jù)，這就為數(shù)據(jù)的處理帶來(lái)了巨大難度。如何實(shí)現(xiàn)對(duì)海量故障數(shù)據(jù)的快速分析和深度挖掘是大數(shù)據(jù)時(shí)代的挑戰(zhàn)性難點(diǎn)，而深度學(xué)習(xí)方法必將是攻克這一難題的有力武器。

3.2 發(fā)展趨勢(shì)

如圖6所示，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，在故障診斷領(lǐng)域中，數(shù)據(jù)處理的方法已由單一算法逐漸演變到混合模型算法，例如深層/淺層網(wǎng)絡(luò)的相互合作等；應(yīng)用范圍也越來(lái)越廣，從最初的機(jī)械設(shè)備到風(fēng)力發(fā)電設(shè)備，再到航空航天設(shè)備等，普遍性和實(shí)用性獲得了極大的提升；技術(shù)側(cè)重點(diǎn)也從故障診斷到退化狀態(tài)研究，再到故障預(yù)測(cè)。由此可見(jiàn)，深度學(xué)習(xí)在這一領(lǐng)域的發(fā)展是值得期待的。

圖6 基于深度學(xué)習(xí)的故障診斷與預(yù)測(cè)研究概覽

3.3 深度學(xué)習(xí)用于故障診斷的一般流程

基于深度學(xué)習(xí)的故障診斷基本框架如圖7所示，包括定義狀態(tài)階段、數(shù)據(jù)預(yù)處理階段、訓(xùn)練階段、測(cè)試階段及診斷結(jié)果評(píng)估階段等五個(gè)步驟。

圖7 基于深度學(xué)習(xí)的故障診斷基本框架

易見(jiàn)，基于深度學(xué)習(xí)的故障診斷方法的特點(diǎn)在于：（1）與“淺”層網(wǎng)絡(luò)不同，深度學(xué)習(xí)沒(méi)有人工設(shè)計(jì)故障特征環(huán)節(jié)，將故障特征選擇提取和分類模型訓(xùn)練合為一體；（2）深度學(xué)習(xí)是多隱層網(wǎng)絡(luò)，能夠避免維度災(zāi)難和“淺”層網(wǎng)絡(luò)診斷能力不足的局限性。

3.4 數(shù)據(jù)來(lái)源

數(shù)據(jù)是所有機(jī)器學(xué)習(xí)和人工智能方法的基礎(chǔ)。為了進(jìn)行有效的故障檢測(cè)，使得研究方法的驗(yàn)證結(jié)果更有說(shuō)服力，必須對(duì)數(shù)據(jù)集的可靠性、實(shí)用性和通用性做很好的評(píng)估。但實(shí)際采集數(shù)據(jù)耗時(shí)嚴(yán)重，例如軸承劣化過(guò)程可能需要很多年的時(shí)間，因此大多數(shù)研究人員都采用人工注入故障的方法來(lái)收集數(shù)據(jù)。因此，除了規(guī)范的實(shí)際實(shí)驗(yàn)數(shù)據(jù)以外，目前幾種典型的可用于測(cè)試、評(píng)估和比較不同的算法的通用故障數(shù)據(jù)集如表3所示。從現(xiàn)有文獻(xiàn)來(lái)看，CWRU數(shù)據(jù)集[83]用于軸承故障識(shí)別的應(yīng)用研究最多，有利于研究結(jié)果的對(duì)比。而更多的數(shù)據(jù)集的出現(xiàn)，也為深度學(xué)習(xí)故障診斷與預(yù)測(cè)提供了更豐富的選擇。

3.5 深度學(xué)習(xí)方法在故障診斷與預(yù)測(cè)中的應(yīng)用

3.5.1 基于AE的故障診斷方法

在故障診斷中使用自動(dòng)編碼器的研究報(bào)道較多。文獻(xiàn)[93]使用了深度為5的AE網(wǎng)絡(luò)實(shí)現(xiàn)了自適應(yīng)提取故障特征及有效分類的軸承故障診斷，分類精度達(dá)到99.6%，明顯高于70%的反向傳播神經(jīng)網(wǎng)絡(luò)。為減少噪聲對(duì)故障特征的干擾，文獻(xiàn)[94]以多級(jí)齒輪傳動(dòng)系統(tǒng)為研究對(duì)象，在多工況條件下基于去噪自編碼器（DAE）對(duì)多種故障進(jìn)行了診斷，實(shí)驗(yàn)結(jié)果表明，其診斷準(zhǔn)確率明顯高于單隱含層BPNN、多隱含層BPNN及基于常用特征的SVM分類。在文獻(xiàn)[95]中，實(shí)現(xiàn)了一種由三個(gè)堆疊的自編碼器組成的堆疊去噪自動(dòng)編碼器（SDAE），實(shí)驗(yàn)中原始的CWRU軸承數(shù)據(jù)受到15 db隨機(jī)噪聲的干擾，用以實(shí)現(xiàn)噪聲條件的模擬，并以多工況數(shù)據(jù)集作為測(cè)試集，檢驗(yàn)其在轉(zhuǎn)速和負(fù)載變化下的故障識(shí)別能力。實(shí)驗(yàn)表明，該方法達(dá)到了最低91.79%的診斷準(zhǔn)確率，比傳統(tǒng)的SAE高3%～10%。在文獻(xiàn)[96]中使用了另一種形式的SDAE，CWRU數(shù)據(jù)集的信號(hào)與時(shí)間域中不同級(jí)別的人工隨機(jī)噪聲相結(jié)合，然后轉(zhuǎn)換為頻率信號(hào)。該方法比DBN網(wǎng)絡(luò)具有更高的診斷精度，特別是在附加噪聲的情況下，故障診斷精度提高了7%。文獻(xiàn)[97]有效集成了DAE和Elastic Net（EN）來(lái)解決故障診斷中的噪聲干擾問(wèn)題，實(shí)驗(yàn)結(jié)果表明，該方法能有效地檢測(cè)工業(yè)過(guò)程中的異常樣本，并能準(zhǔn)確地將故障變量與正常變量隔離開(kāi)來(lái)。為應(yīng)對(duì)處理較大數(shù)據(jù)集的需要，文獻(xiàn)[98]提出一種引入了dropout技術(shù)和ReLU激活功能的堆疊式自動(dòng)編碼器（SAEs）來(lái)解決齒輪箱故障診斷問(wèn)題，在自動(dòng)提取顯著故障特征的同時(shí)，減少了訓(xùn)練過(guò)程中的過(guò)擬合問(wèn)題，提高小訓(xùn)練集的訓(xùn)練性能。實(shí)驗(yàn)結(jié)果表明，該方法優(yōu)于原編碼器及其他一些傳統(tǒng)方法。文獻(xiàn)[99]構(gòu)建了一種4層的堆疊稀疏自動(dòng)編碼器（SSAE），該方法對(duì)振動(dòng)數(shù)據(jù)進(jìn)行非線性投影壓縮，壓縮比為70%，并在變換域內(nèi)進(jìn)行自適應(yīng)特征提取，分類精度高達(dá)97.47%，比SVM高8%，比傳統(tǒng)單隱層人工神經(jīng)網(wǎng)絡(luò)高60%，比多隱層人工神經(jīng)網(wǎng)絡(luò)高46%。

表3 若干典型的故障診斷測(cè)試數(shù)據(jù)集

此外，研究者也開(kāi)展了著重于混合式設(shè)計(jì)以改進(jìn)診斷性能研究和早期微小故障的研究。如文獻(xiàn)[100]設(shè)計(jì)了一種由一系列不同激活功能的自動(dòng)編碼器（AE）集成的深度自動(dòng)編碼器（Ensemble Deep Auto-Encoders，EDAE），然后按照一種組合策略來(lái)確保診斷結(jié)果的準(zhǔn)確性和穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明該方法的分類精度為99.15%，與BPNN（88.22%）、SVM（90.81%）和RF（92.07%）相比，性能顯著提升。文獻(xiàn)[101]采用了一種基于自動(dòng)編碼器的極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM），綜合了自動(dòng)編碼器的自動(dòng)特征提取能力和ELM的高訓(xùn)練速度優(yōu)點(diǎn)。與小波包分解支持向量機(jī)（WPD-SVM）（94.17%）、經(jīng)驗(yàn)?zāi)B(tài)分解支持向量機(jī)（EMD-SVM）（82.83%）、WPD-ELM（86.75%）和EMDELM（81.55%）相比，平均準(zhǔn)確率為99.83%。更重要的是，由于采用了ELM，使用相同的訓(xùn)練和測(cè)試數(shù)據(jù)，所需的培訓(xùn)時(shí)間減少了60%到70%。文獻(xiàn)[102]構(gòu)造了一種深耦合自動(dòng)編碼器（DCAE）模型，將捕獲到的不同多模數(shù)據(jù)之間的關(guān)鍵信息無(wú)縫集成到數(shù)據(jù)中加以融合，即從多模數(shù)據(jù)中獲取聯(lián)合信息進(jìn)行故障診斷，實(shí)驗(yàn)結(jié)果表明，該模型能夠進(jìn)行準(zhǔn)確的故障診斷，具有更好的性能。文獻(xiàn)[103]提出一種新的軸承智能診斷方法，通過(guò)創(chuàng)建新子集的方法從不同的故障模式中學(xué)習(xí)并識(shí)別特征，在此基礎(chǔ)上提出了一種具有自適應(yīng)微調(diào)功能的基于子集的深度自動(dòng)編碼器（Subset Based Deep Auto-Encoder，SBDA）模型來(lái)實(shí)現(xiàn)特征的自動(dòng)提取。該方法以三個(gè)公共軸承數(shù)據(jù)集為對(duì)象進(jìn)行了實(shí)驗(yàn)驗(yàn)證，平均測(cè)試精度分別為99.65%、99.66%和99.60%。與13種智能診斷方法的比較表明，SBDA能獲得更高的診斷精度。文獻(xiàn)[104]提出了一種由自動(dòng)編碼器和SoftMax分類器構(gòu)成深度學(xué)習(xí)網(wǎng)絡(luò)（Deep Learning Network，DLN），用于識(shí)別不同程度的軸承故障。首先，通過(guò)集成經(jīng)驗(yàn)?zāi)B(tài)分解（Ensemble Empirical Mode Decomposition，EEMD）方法形成高維特征向量作為DLN的輸入；然后，在DLN中完成學(xué)習(xí)和參數(shù)微調(diào)用以減小分類誤差。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)軸承故障診斷具有較好的效果，也為更復(fù)雜的數(shù)據(jù)分類提供了有力的理論與實(shí)驗(yàn)研究基礎(chǔ)。文獻(xiàn)[105]提出了一種基于深度自動(dòng)編碼器的無(wú)監(jiān)督電機(jī)故障診斷方法。該方法利用加速度計(jì)獲取振動(dòng)信號(hào)，僅通過(guò)正常數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練。實(shí)驗(yàn)以接收機(jī)工作特性曲線的曲線下面積（Area Under Curve，AUC）對(duì)診斷性能進(jìn)行了評(píng)價(jià)，結(jié)果表明多層感知器（MLP）自動(dòng)編碼器、卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)編碼器和由長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）單元組成的循環(huán)式自動(dòng)編碼器都優(yōu)于OCSVM（One-Class Support Vector Machine）算法。這其中，MLP自動(dòng)編碼器是性能最高的體系結(jié)構(gòu)，實(shí)現(xiàn)了99.11%的AUC。文獻(xiàn)[106]基于疊層稀疏自動(dòng)編碼器，實(shí)現(xiàn)了一種能夠提高分類和預(yù)測(cè)精度的實(shí)時(shí)在線處理方案，對(duì)傳統(tǒng)統(tǒng)計(jì)技術(shù)檢測(cè)不到的早期故障具有較高的檢測(cè)效率。

3.5.2 基于DBN的故障診斷方法

作為最早出現(xiàn)的深度學(xué)習(xí)模型，早在2013年就有報(bào)道基于DBN的故障診斷研究結(jié)果。文獻(xiàn)[107]提出基于DBN的多傳感器健康診斷可分為三個(gè)階段：第一階段，定義用于DBN訓(xùn)練和測(cè)試的數(shù)據(jù)集；第二階段，開(kāi)發(fā)基于預(yù)定義好的健康狀態(tài)的DBN分類診斷模型；第三階段，驗(yàn)證DBN分類模型。并與現(xiàn)有的SVM等四種診斷技術(shù)進(jìn)行了比較，證明了該方法的有效性。

近年來(lái)，DBN更多的是與其他技術(shù)相結(jié)合來(lái)解決故障診斷問(wèn)題。文獻(xiàn)[108]實(shí)現(xiàn)了一種多傳感器振動(dòng)數(shù)據(jù)融合技術(shù)，融合了通過(guò)多個(gè)二層SAE提取的時(shí)域和頻域特征；然后利用基于三層RBM的DBN進(jìn)行分類。結(jié)果表明，即使在運(yùn)行工況發(fā)生變化后，也能有效地識(shí)別軸承故障，該方法的診斷精度達(dá)97.82%。文獻(xiàn)[109]提出了一種基于DBN的變壓器故障診斷方法，通過(guò)分析變壓器油中溶解氣體與故障類型的關(guān)系，確定氣體的非編碼比作為DBN模型的特征參數(shù)，并采用多層和多維映射的方法提取斷層類型的更詳細(xì)差異，在此基礎(chǔ)上構(gòu)建并測(cè)試了DBN診斷模型。通過(guò)不同的特征參數(shù)、不同的訓(xùn)練數(shù)據(jù)集和樣本數(shù)據(jù)集，分析了DBN診斷模型的性能，實(shí)驗(yàn)結(jié)果表明，該方法大大提高了電力變壓器故障診斷的準(zhǔn)確性。文獻(xiàn)[110]針對(duì)軸承故障分類問(wèn)題，提出了一種自適應(yīng)DBN和雙樹(shù)復(fù)小波包（Dual-Tree Complex Wavelet Packet，DTCWPT）相結(jié)合的診斷方法。首先利用DTCWPT對(duì)振動(dòng)信號(hào)進(jìn)行預(yù)處理，在振動(dòng)信號(hào)中生成具有9×8特征參數(shù)的原始特征集，然后利用5層自適應(yīng)DBN（“72-400-250-100-16”結(jié)構(gòu)）進(jìn)行故障分類。實(shí)驗(yàn)表明該方法的平均準(zhǔn)確率為94.38%，遠(yuǎn)高于ANN（63.13%）、GRNN（69.38%）和SVM（66.88%）的診斷精度。文獻(xiàn)[111]提出了一種改進(jìn)的壓縮傳感卷積DBN網(wǎng)絡(luò)（Convolutional Deep Belief Network，CDBN），用于滾動(dòng)軸承的故障特征學(xué)習(xí)和故障診斷。在采用CS（Compressed Sensing）降低振動(dòng)數(shù)據(jù)量的基礎(chǔ)上，構(gòu)造了一個(gè)新的CDBN模型并采用指數(shù)移動(dòng)平均（Exponential Moving Average，EMA）技術(shù)，提高了網(wǎng)絡(luò)的泛化性能。實(shí)驗(yàn)結(jié)果表明，相對(duì)于傳統(tǒng)方法，該方法更有效。類似的，在文獻(xiàn)[112]中，采用卷積RBMs構(gòu)造卷積DBN，首先，將自動(dòng)編碼器壓縮降維后的數(shù)據(jù)送入基于高斯可見(jiàn)單元的卷積DBN學(xué)習(xí)故障特征，然后利用SoftMax層進(jìn)行分類，得到了97.44%的準(zhǔn)確率，與同條件下的AE（90.76%）、DBN（88.10%）和CNN（91.24%）相比，具有更好的分類精度。在文獻(xiàn)[113]中，由多個(gè)DBN進(jìn)行特征提取，然后根據(jù)提取的特征確定故障條件，在負(fù)載變化情況下進(jìn)行診斷，并最終通過(guò)DS（Dempster-Shafer）證據(jù)理論融合診斷結(jié)果，診斷準(zhǔn)確率達(dá)98.8%。為進(jìn)一步克服缺陷、提高網(wǎng)絡(luò)性能，文獻(xiàn)[114]針對(duì)不平衡數(shù)據(jù)的分類問(wèn)題，提出了一種進(jìn)化的成本敏感DBN網(wǎng)絡(luò)（Evolutionary Cost-Sensitive Deep Belief Network，ECS-DBN）。ECS-DBN采用自適應(yīng)差分進(jìn)化算法，將錯(cuò)誤分類成本進(jìn)行優(yōu)化后，應(yīng)用于DBN網(wǎng)絡(luò)中。實(shí)驗(yàn)結(jié)果表明，該方法在故障診斷基準(zhǔn)數(shù)據(jù)集和現(xiàn)實(shí)數(shù)據(jù)集上均有很好的診斷能力。文獻(xiàn)[115]提出了一種結(jié)合奈斯特羅夫動(dòng)量的自適應(yīng)學(xué)習(xí)速率DBN網(wǎng)絡(luò)，分別在齒輪箱和機(jī)車軸承試驗(yàn)臺(tái)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果表明，該方法的故障識(shí)別率得到顯著提升，證明了該方法的準(zhǔn)確性和魯棒性。文獻(xiàn)[116]提出了一種基于DBN和傳遞學(xué)習(xí)策略的高壓斷路器機(jī)械故障診斷方法。首先，利用DBN實(shí)現(xiàn)了對(duì)樣本數(shù)據(jù)故障特征的深度挖掘和自適應(yīng)提取，并結(jié)合傳遞學(xué)習(xí)方法，通過(guò)調(diào)整訓(xùn)練樣本的權(quán)重來(lái)實(shí)現(xiàn)數(shù)據(jù)學(xué)習(xí)的目標(biāo)。結(jié)果表明，該方法可獲得更強(qiáng)的泛化能力。

3.5.3 基于CNN的故障診斷方法

自2016年CNN被用于識(shí)別軸承故障以來(lái)，出現(xiàn)了很多基于這一主題的文獻(xiàn)報(bào)道，從數(shù)據(jù)源處理、抗噪、提速、結(jié)構(gòu)改進(jìn)、靈敏性等多方面、多角度不斷提升CNN的故障診斷性能和適用范圍。文獻(xiàn)[117]采用了一種傳感器融合方法，將從驅(qū)動(dòng)端和風(fēng)扇端兩個(gè)加速度傳感器采集的CWRU原始數(shù)據(jù)進(jìn)行時(shí)空信息疊加，從而將一維時(shí)間序列數(shù)據(jù)轉(zhuǎn)換為二維輸入矩陣。樣本的70%用于訓(xùn)練、15%用于驗(yàn)證、15%用于測(cè)試；實(shí)驗(yàn)結(jié)果表明，基于兩個(gè)傳感器數(shù)據(jù)的平均診斷精度為99.41%，高于只有一個(gè)傳感器時(shí)98.35%的平均診斷精度。文獻(xiàn)[118]中使用的自適應(yīng)交疊CNN（Adaptive Overlapping Convolutional Neural Network，AOCNN），能夠直接處理一維原始振動(dòng)信號(hào)，并消除嵌入在時(shí)域信號(hào)中的移位變量問(wèn)題。該方法在自適應(yīng)卷積層將樣本分割成若干段后，采用稀疏濾波（Sparse Filtering，SF）的方法獲取局部特征。分類結(jié)果表明，采用SF的AOCNN能診斷出軸承的10種健康狀況，檢測(cè)準(zhǔn)確率達(dá)99.19%。針對(duì)實(shí)際軸承損傷數(shù)據(jù)很難甚至不可能收集到，轉(zhuǎn)而使用人工軸承損傷數(shù)據(jù)從而產(chǎn)生的應(yīng)用差異問(wèn)題，文獻(xiàn)[119]使用了德國(guó)Paderborn大學(xué)軸承數(shù)據(jù)集，此數(shù)據(jù)集包括人為誘發(fā)故障和機(jī)器老化導(dǎo)致的實(shí)際自然故障。該文獻(xiàn)提出了一種新的基于空洞卷積的深度初始網(wǎng)絡(luò)模型（Deep Inception Net with Atrous Convolution，ACDIN），當(dāng)僅使用人工軸承損壞產(chǎn)生的數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，ACDIN將實(shí)際軸承故障的診斷精確度從75%（傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)方法的最佳結(jié)果）提高到95%。此外，文中還利用特征可視化方法分析了該模型高性能背后的機(jī)理。文獻(xiàn)[120]提出了一種基于故障位置和損傷程度不同而對(duì)原始振動(dòng)信號(hào)進(jìn)行智能分類的故障診斷方法。通過(guò)將數(shù)據(jù)集轉(zhuǎn)換成光譜圖的方式，最大程度地保留時(shí)域信號(hào)的原始信息，然后利用深度全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，此方法收斂速度快，精度高達(dá)100%，具有更好的泛化能力。針對(duì)含噪信號(hào)所導(dǎo)致的診斷精度不高的問(wèn)題，文獻(xiàn)[121]實(shí)現(xiàn)了具有2個(gè)卷積層和2個(gè)匯集層的4層CNN結(jié)構(gòu)，其精度優(yōu)于傳統(tǒng)的SVM和淺層SoftMax回歸分類器，特別是當(dāng)振動(dòng)信號(hào)與環(huán)境噪聲混合時(shí)，這種改進(jìn)可以提升25%的診斷準(zhǔn)確率，體現(xiàn)了CNN算法出色的去噪能力。文獻(xiàn)[122]提出了一種基于CNN的滾動(dòng)軸承故障診斷新方法，通過(guò)將一維振動(dòng)信號(hào)轉(zhuǎn)換成二維圖像，并利用CNN對(duì)圖像分類的有效性，可使CWRU軸承數(shù)據(jù)集達(dá)到100%的診斷精度。此外，當(dāng)負(fù)載條件發(fā)生變化時(shí)，在不重新訓(xùn)練分類器的情況下，該方法仍能以較高的精度獲得滿意的性能，具有較強(qiáng)的魯棒性和抗噪聲能力。為了節(jié)省CNN算法訓(xùn)練時(shí)間，在文獻(xiàn)[123]中采用了多尺度深度CNN（Multi-Scale Deep Convolutional Neural Network，MS-DCNN），使用不同尺度的卷積核并行提取不同尺度的特征。實(shí)驗(yàn)對(duì)比9層一維CNN、二維CNN和提出的MS-DCNN的平均精度分別為98.57%、98.25%和99.27%。此外，MS-DCNN需要確定的網(wǎng)絡(luò)參數(shù)數(shù)量?jī)H為52 172個(gè)，遠(yuǎn)遠(yuǎn)低于一維CNN（171 606個(gè)）和二維CNN（213 206個(gè)）。文獻(xiàn)[124]構(gòu)建了一個(gè)新的深度學(xué)習(xí)框架，并利用遷移學(xué)習(xí)來(lái)實(shí)現(xiàn)高精度的機(jī)器故障診斷，實(shí)驗(yàn)結(jié)果表明該算法訓(xùn)練速度快、精度高。文獻(xiàn)[125]在傳統(tǒng)CNN結(jié)構(gòu)的基礎(chǔ)上，加入一個(gè)錯(cuò)位層，可以更好地提取不同信號(hào)之間的關(guān)系，最終實(shí)驗(yàn)中獲得了96.32%的診斷準(zhǔn)確率，相比傳統(tǒng)CNN83.39%的診斷準(zhǔn)確率，性能得到了很大的提升。文獻(xiàn)[126]提出了一種新的基于LeNet-5的CNN故障診斷方法。將信號(hào)轉(zhuǎn)換成二維圖像作為網(wǎng)絡(luò)的輸入，并利用電機(jī)軸承、自吸離心泵、軸向柱塞液壓泵這三個(gè)基準(zhǔn)數(shù)據(jù)集進(jìn)行了測(cè)試，預(yù)測(cè)精度分別為99.79%、99.481%和100%。實(shí)驗(yàn)結(jié)果優(yōu)于自適應(yīng)深度CNN、稀疏濾波、深度置信網(wǎng)絡(luò)和支持向量機(jī)等。文獻(xiàn)[127]提出了一種包含一維殘差塊的更深層的一維卷積神經(jīng)網(wǎng)絡(luò)（Deeper One-Dimensional CNN，Der-1DCNN），在框架內(nèi)還包含了殘差學(xué)習(xí)的思想并首次采用了寬卷積核和dropout技術(shù)，有效地緩解了網(wǎng)絡(luò)訓(xùn)練難度和性能退化的問(wèn)題，提高了網(wǎng)絡(luò)的泛化性能。實(shí)驗(yàn)表明，該方法與目前常規(guī)的軸承故障診斷深度學(xué)習(xí)方法相比，具有更好的診斷性能。文獻(xiàn)[128]實(shí)現(xiàn)了一種基于CNN的新體系結(jié)構(gòu)（即LiftingNet），該結(jié)構(gòu)包括分割層、預(yù)測(cè)層、更新層、匯集層和完全連接層，主要學(xué)習(xí)過(guò)程有分割、預(yù)測(cè)、更新和循環(huán)。利用CWRU數(shù)據(jù)集對(duì)方法進(jìn)行了分類性能驗(yàn)證，轉(zhuǎn)速相同情況下分類精度為99.63%，四種不同的轉(zhuǎn)速下平均精度仍達(dá)到93.19%，比常規(guī)方法高14.38%。針對(duì)普遍存在的故障診斷中由于標(biāo)記樣本的體積較小所造成的DL模型的深度較淺，限制了最終預(yù)測(cè)精度的問(wèn)題，文獻(xiàn)[129]基于ResNet-50提出一種遷移學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)（Transfer Convolutional Neural Network，TCNN）用于故障診斷。首先，將時(shí)域故障信號(hào)轉(zhuǎn)換為RGB圖像格式作為ResNet-50輸入；然后對(duì)所提出的TCNN在軸承損壞數(shù)據(jù)集、CWRU電機(jī)軸承數(shù)據(jù)集和自吸離心泵數(shù)據(jù)集三個(gè)數(shù)據(jù)集上進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明TCNN（ResNet-50）的預(yù)測(cè)精度高達(dá)98.95%±0.007 4、99.99%±0和99.20%±0，明顯優(yōu)于其他DL模型和傳統(tǒng)診斷方法。此外，從提高診斷靈敏性角度出發(fā)，以早期微小故障為對(duì)象的診斷方法研究是極具現(xiàn)實(shí)意義的研究方向，值得深入研究。文獻(xiàn)[130]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的變速軸承早期故障診斷新方法。結(jié)合譜能量圖（SEM）和DS-DLM算法，實(shí)現(xiàn)了可變操作速度下的軸承早期故障診斷，效果顯著。

3.5.4 基于RNN的故障診斷方法

早在2005年就出現(xiàn)了將RNN用于故障診斷的文獻(xiàn)[131]，2008—2010年出現(xiàn)了大量此類文獻(xiàn)，但由于梯度消失/爆炸及難以訓(xùn)練等問(wèn)題該方法經(jīng)歷了一段時(shí)間的沉寂，直到2015年才逐漸復(fù)蘇。文獻(xiàn)[132]中將RNN用于軸承故障診斷，首先，利用離散小波變換提取故障特征，并進(jìn)行特征選擇，然后，輸入RNN進(jìn)行故障分類。實(shí)驗(yàn)表明，該方法在非平穩(wěn)工況下也能準(zhǔn)確地檢測(cè)和分類軸承故障。文獻(xiàn)[133]中提出了一種將一維CNN和LSTM結(jié)合起來(lái)進(jìn)行軸承故障分類的方法，整體結(jié)構(gòu)包括一維CNN層、Maxpooling層、LSTM層和SoftMax層。實(shí)驗(yàn)測(cè)試精度為99.6%。文獻(xiàn)[134]中提出一種具有堆疊隱藏層的LSTM單元，以均方誤差（MSE）作為損失函數(shù)，并采用自適應(yīng)學(xué)習(xí)率來(lái)提高訓(xùn)練效果?；贑WRU數(shù)據(jù)集的診斷實(shí)驗(yàn)顯示，該方法在轉(zhuǎn)速為1 750轉(zhuǎn)/min和1 797轉(zhuǎn)/min時(shí)的平均測(cè)試精度分別為94.75%和96.53%。文獻(xiàn)[135]提出了一種新的基于RNN的軸承故障診斷方法。該方法利用了具有很強(qiáng)的泛化能力的基于GRU的非線性預(yù)測(cè)去噪自動(dòng)編碼器（GRU-NP-DAEs），從上一周期預(yù)測(cè)下一周期的多次振動(dòng)值，然后利用下一周期數(shù)據(jù)與GRU-NP-DAE生成的輸出數(shù)據(jù)之間的重構(gòu)誤差，對(duì)異常情況進(jìn)行檢測(cè)，并進(jìn)行故障分類。實(shí)驗(yàn)結(jié)果表明，該方法具有較強(qiáng)的魯棒性和較高的分類精度，性能優(yōu)秀。

3.5.5 基于GAN的故障診斷方法

2014年提出的生成對(duì)抗網(wǎng)絡(luò)（GAN）在故障診斷領(lǐng)域最早的應(yīng)用報(bào)道出現(xiàn)在2017年[136]，該文獻(xiàn)針對(duì)故障數(shù)據(jù)量遠(yuǎn)小于正常數(shù)據(jù)量而導(dǎo)致的數(shù)據(jù)不平衡問(wèn)題，設(shè)計(jì)了一個(gè)用于故障檢測(cè)和診斷的深度神經(jīng)網(wǎng)絡(luò)，并將生成對(duì)抗網(wǎng)絡(luò)的過(guò)采樣與標(biāo)準(zhǔn)的過(guò)采樣技術(shù)進(jìn)行了比較。仿真結(jié)果表明，在給定條件下，生成對(duì)抗網(wǎng)絡(luò)的過(guò)采樣性能良好，所設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)能夠?qū)Ξ惒诫妱?dòng)機(jī)的故障進(jìn)行高精度的分類。文獻(xiàn)[137]提出了一種用于滾動(dòng)軸承無(wú)監(jiān)督故障診斷的分類對(duì)抗式自動(dòng)編碼器（Categorical Generative Adversarial Auto-Encoders，CatAAE）。該模型用對(duì)抗性方法訓(xùn)練了一個(gè)在編碼空間上施加先驗(yàn)分布的自動(dòng)編碼器，然后，分類器通過(guò)預(yù)測(cè)分類和樣本間的信息平衡對(duì)輸入樣本進(jìn)行聚類。實(shí)驗(yàn)結(jié)果表明，當(dāng)環(huán)境噪聲和電機(jī)負(fù)載發(fā)生變化時(shí)，該方法具有良好的性能和較高的聚類指標(biāo)，且具有較強(qiáng)的魯棒性。文獻(xiàn)[138]提出了一種結(jié)合GAN和SDAE的故障診斷方法。首先，利用GAN生成器產(chǎn)生與振動(dòng)信號(hào)原始樣本分布相似的新樣本。然后，將生成的樣本和等量原始樣本一起輸入SDAE進(jìn)行分類，并對(duì)新模型進(jìn)行了并行優(yōu)化。實(shí)驗(yàn)結(jié)果表明，該方法可在小樣本情況下實(shí)現(xiàn)精確故障分類，且具有良好的抗噪聲能力。文獻(xiàn)[139]提出了一種將Wasserstein GAN與傳統(tǒng)分類器相結(jié)合的混合生成對(duì)抗網(wǎng)絡(luò)，同樣可以解決小樣本情況下的能耗元件的自動(dòng)故障診斷問(wèn)題，在訓(xùn)練過(guò)程中以有限的故障訓(xùn)練樣本模擬現(xiàn)實(shí)場(chǎng)景進(jìn)行故障診斷，實(shí)驗(yàn)結(jié)果證明了該方法的有效性。文獻(xiàn)[140]提出了一種新的基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的工業(yè)時(shí)間序列不平衡故障診斷方法。在GAN中采用了編碼器-解碼器-編碼器三個(gè)子網(wǎng)絡(luò)，該子網(wǎng)絡(luò)基于深度卷積生成對(duì)抗網(wǎng)絡(luò)（Deep convolutional GAN）。為了驗(yàn)證該方法的有效性和可行性，利用CWRU滾動(dòng)軸承數(shù)據(jù)進(jìn)行了驗(yàn)證，性能良好。

3.5.6 基于深度學(xué)習(xí)的故障預(yù)測(cè)方法

故障預(yù)測(cè)是依靠歷史數(shù)據(jù)來(lái)估計(jì)預(yù)測(cè)對(duì)象未來(lái)時(shí)刻工作狀態(tài)的方法。深度學(xué)習(xí)具有深度特征學(xué)習(xí)和復(fù)雜非線性函數(shù)逼近的能力，表明了其在故障預(yù)測(cè)中的有效性。然而，就目前的研究成果看，此類文獻(xiàn)還比較少，有待研究者做進(jìn)一步研究。文獻(xiàn)[141]中，將多目標(biāo)進(jìn)化算法與傳統(tǒng)的DBN訓(xùn)練技術(shù)相結(jié)合，將多個(gè)DBN同時(shí)進(jìn)化為兩個(gè)相互沖突的目標(biāo)，再用進(jìn)化后的DBN構(gòu)建一個(gè)用于剩余壽命（Remaining Useful Life，RUL）估計(jì)的集成模型，通過(guò)差分進(jìn)化算法優(yōu)化模型組合權(quán)重，并在幾種預(yù)測(cè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行算法評(píng)估，驗(yàn)證了方法的優(yōu)越性。文獻(xiàn)[142]應(yīng)用帶FNN的DBN進(jìn)行自動(dòng)特征學(xué)習(xí)，在軸承座上垂直于軸的方向安裝了兩個(gè)加速度計(jì)，每5分鐘采集一次數(shù)據(jù)，采樣頻率為102.4 kHz，持續(xù)時(shí)間為2 s，實(shí)驗(yàn)結(jié)果表明，所提出的基于DBN的方法能夠準(zhǔn)確預(yù)測(cè)未來(lái)5 min和50 min的真實(shí)RUL。文獻(xiàn)[143]研究了常規(guī)RNN、AdaBoost-LSTM和GRU（Gated Recurrent Unit）-LSTM三種RNN模型在航空發(fā)動(dòng)機(jī)故障預(yù)測(cè)中的應(yīng)用。文獻(xiàn)[144]提出了一個(gè)非常有效的RUL預(yù)測(cè)結(jié)構(gòu)，設(shè)計(jì)了一種基于LSTM的編碼器-解碼器結(jié)構(gòu)。首先，通過(guò)編碼器將多變量輸入序列轉(zhuǎn)換成固定長(zhǎng)度的矢量，再利用該矢量生成目標(biāo)序列，然后，在無(wú)監(jiān)督情況下進(jìn)行網(wǎng)絡(luò)訓(xùn)練，最后，利用重建誤差計(jì)算健康指數(shù)，并將其用于RUL估計(jì)。從實(shí)驗(yàn)結(jié)果可以看出，較大的重建誤差對(duì)應(yīng)于更不健康的機(jī)器狀況，實(shí)現(xiàn)了基于重建誤差的機(jī)器健康狀況表征。文獻(xiàn)[145]提出了一種基于深度學(xué)習(xí)的故障預(yù)測(cè)方法，通過(guò)故障模型訓(xùn)練、故障特征識(shí)別、故障演化等方法，在設(shè)備狀態(tài)監(jiān)測(cè)和測(cè)試驗(yàn)證的海量數(shù)據(jù)基礎(chǔ)上，實(shí)現(xiàn)了在線動(dòng)態(tài)故障預(yù)測(cè)。文獻(xiàn)[146]提出了一種基于稀疏自動(dòng)編碼器的深度轉(zhuǎn)移學(xué)習(xí)（DTL）網(wǎng)絡(luò)。采用三種轉(zhuǎn)移策略，將由歷史故障數(shù)據(jù)訓(xùn)練的SAE轉(zhuǎn)移到新的目標(biāo)上。并以刀具剩余使用壽命（RUL）預(yù)測(cè)為例，驗(yàn)證了DTL方法的有效性。文獻(xiàn)[147]提出了一種基于長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)和支持向量機(jī)（SVM）的電力系統(tǒng)故障預(yù)測(cè)方法。根據(jù)南方電網(wǎng)萬(wàn)江變電站的實(shí)際電力系統(tǒng)數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)，結(jié)果表明與現(xiàn)有的數(shù)據(jù)挖掘方法相比，該方法有明顯的改進(jìn)。文獻(xiàn)[148]分別用長(zhǎng)短時(shí)記憶（LSTM）網(wǎng)絡(luò)、棧式自編碼器（SAE）和門循環(huán)單元（GRU）神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了電力負(fù)荷的預(yù)測(cè)，驗(yàn)證了深度學(xué)習(xí)模型在預(yù)測(cè)應(yīng)用中的可行性，并從中選擇了最佳預(yù)測(cè)模型。文獻(xiàn)[149]提出了一種新的在線數(shù)據(jù)驅(qū)動(dòng)框架，利用深卷積神經(jīng)網(wǎng)絡(luò)（CNN）預(yù)測(cè)軸承的RUL。首先利用Hilbert-Huang變換（HHT）對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行處理，并構(gòu)造一種新的非線性退化指標(biāo)，然后利用CNN識(shí)別出退化指標(biāo)與振動(dòng)數(shù)據(jù)之間的隱藏模式，最終實(shí)現(xiàn)了對(duì)軸承退化的自動(dòng)估計(jì)。實(shí)驗(yàn)結(jié)果表明，與目前最先進(jìn)的RUL估計(jì)方法相比，該框架具有更好的性能和通用性。

3.5.7 五種模型應(yīng)用于故障診斷與預(yù)測(cè)的優(yōu)缺點(diǎn)

結(jié)合文獻(xiàn)，表4整理了故障診斷與預(yù)測(cè)領(lǐng)域中常用的五種深度學(xué)習(xí)方法的優(yōu)缺點(diǎn)。

表4 五種模型應(yīng)用于故障診斷與預(yù)測(cè)的優(yōu)缺點(diǎn)

4 總結(jié)與展望

4.1 存在的問(wèn)題及解決方法探索

作為一個(gè)新興的、重要的研究領(lǐng)域，深度學(xué)習(xí)在很多應(yīng)用中都顯示出巨大的威力和潛力。但是，在故障診斷方面仍然存在一些需要進(jìn)一步發(fā)展和完善的空間。

4.1.1 從數(shù)據(jù)角度

（1）缺乏大量的有效數(shù)據(jù)

基于深度學(xué)習(xí)的故障診斷方法性能的好壞很大程度上取決于數(shù)據(jù)集的規(guī)模和質(zhì)量，即依賴于大量?jī)?yōu)秀的數(shù)據(jù)。然而，現(xiàn)實(shí)中這通常是做不到的。首先，設(shè)備無(wú)法承受在故障條件下運(yùn)行的嚴(yán)重后果，其次，設(shè)備存在發(fā)生預(yù)期故障前的潛在耗時(shí)退化過(guò)程，也就是說(shuō)從非目標(biāo)機(jī)器上采集的公共可用數(shù)據(jù)集或自收集數(shù)據(jù)集和實(shí)際的目標(biāo)機(jī)器的運(yùn)行軌跡不可能完全吻合，勢(shì)必由于目標(biāo)設(shè)備的自然老化而存在差異性，即使在同一臺(tái)機(jī)器在不同的負(fù)載設(shè)置下，也不可避免地存在訓(xùn)練集和測(cè)試集的分布差異，性能仍然會(huì)受到影響。相較于圖像識(shí)別領(lǐng)域中由包含1 000多萬(wàn)個(gè)注釋圖像的大型數(shù)據(jù)集ImageNet作為支撐，基準(zhǔn)CNN模型就能達(dá)到152層的巨大優(yōu)勢(shì)，大量有效數(shù)據(jù)的缺乏是基于深度學(xué)習(xí)的故障診斷技術(shù)的發(fā)展瓶頸之一。

遷移學(xué)習(xí)的出現(xiàn)為解決這一問(wèn)題提供了新的思路和方法，多種遷移學(xué)習(xí)的框架被提出[150]。目前比較流行的方法是域自適應(yīng)[151]，通過(guò)研究域不變特征自適應(yīng)建立從源域到目標(biāo)域的知識(shí)遷移。對(duì)于源域的標(biāo)記數(shù)據(jù)和目標(biāo)域的未標(biāo)記數(shù)據(jù)，域自適應(yīng)算法可以減小兩域之間的分布差異。從這個(gè)角度出發(fā)，設(shè)計(jì)新的域自適應(yīng)模塊與深度學(xué)習(xí)體系結(jié)構(gòu)相結(jié)合，用來(lái)克服有效數(shù)據(jù)的不足問(wèn)題，是一個(gè)值得研究的方向。此外，GAN網(wǎng)絡(luò)的出現(xiàn)也為這一問(wèn)題的解決提供了新思路，可以模擬任何數(shù)據(jù)分布的強(qiáng)大功能勢(shì)必使得GAN在解決有效數(shù)據(jù)量缺乏這一問(wèn)題上提供非凡助力。

（2）使用數(shù)據(jù)源單一，且不平衡

從前述文獻(xiàn)分析中可以看到，現(xiàn)有文獻(xiàn)大多數(shù)使用了CWRU數(shù)據(jù)集。很多精度超過(guò)99%的DL方法都是在固定的運(yùn)行條件下獲得的，這勢(shì)必影響測(cè)試精度的準(zhǔn)確性，一旦受到噪聲或電機(jī)轉(zhuǎn)速/負(fù)載變化的影響，精度可能下降到90%以下，而這種影響在實(shí)際應(yīng)用中是不可避免的。此外，樣本的選擇并沒(méi)有保證均衡抽樣，這意味著健康狀態(tài)和故障情況不接近1∶1，存在嚴(yán)重的不平衡，這時(shí)僅采用精度作為評(píng)估算法的唯一指標(biāo)顯然會(huì)影響算法在實(shí)際應(yīng)用中的有效性。

針對(duì)此問(wèn)題，認(rèn)為如果考慮選用通用數(shù)據(jù)集，則首先需要對(duì)原始數(shù)據(jù)集進(jìn)行各種干擾以此來(lái)打破數(shù)據(jù)集的飽和度，即用隨機(jī)噪聲污染信號(hào)來(lái)測(cè)試算法的去噪能力，其次，可以選擇更為復(fù)雜的數(shù)據(jù)源，比如前文提到的德國(guó)Paderborn大學(xué)提供的故障數(shù)據(jù)庫(kù)，或多個(gè)數(shù)據(jù)源綜合驗(yàn)證的方法進(jìn)行性能比較可能結(jié)果更為準(zhǔn)確和有效。同時(shí)，可搭建實(shí)驗(yàn)仿真分析平臺(tái)，注入不同類型的故障，得到不同故障對(duì)應(yīng)的仿真信號(hào)，通過(guò)分析故障機(jī)理的方式對(duì)深度學(xué)習(xí)方法進(jìn)行有益的補(bǔ)充，或許是一個(gè)可行的研究思路。

（3）數(shù)據(jù)處理的復(fù)雜性

如前所述，數(shù)據(jù)的復(fù)雜性不言而喻，如何對(duì)樣本多源、且存在標(biāo)注不規(guī)范、不統(tǒng)一、不全面的數(shù)據(jù)進(jìn)行有效處理是提高深度學(xué)習(xí)性能不可回避的重要問(wèn)題。筆者認(rèn)為，增設(shè)完善的數(shù)據(jù)預(yù)處理平臺(tái)，多角度出發(fā)搭建各自獨(dú)立又逐層遞進(jìn)的子網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)不同類型的數(shù)據(jù)處理，待數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的數(shù)據(jù)規(guī)范類型后再輸入深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行故障特征提取和分類不失為一種可行的思路。

4.1.2 從結(jié)構(gòu)角度

（1）缺乏理論證據(jù)

目前，很多深度學(xué)習(xí)模型正被用于解決特定的故障診斷問(wèn)題并取得了很好的效果。但是研究者沒(méi)有解釋深層網(wǎng)絡(luò)內(nèi)部的計(jì)算機(jī)制，也就是說(shuō)缺乏足夠豐富的理論證據(jù)說(shuō)明為什么在故障診斷和預(yù)測(cè)中使用深度學(xué)習(xí)可以獲得特定的結(jié)果以及如何去選擇、設(shè)計(jì)或?qū)崿F(xiàn)深度學(xué)習(xí)體系結(jié)構(gòu)。

針對(duì)這一問(wèn)題，認(rèn)為模型和數(shù)據(jù)可視化是可以嘗試的途徑之一。學(xué)習(xí)的表示和應(yīng)用模型的可視化可以為這些深度學(xué)習(xí)模型的選擇、設(shè)計(jì)提供參考。例如，用于高維數(shù)據(jù)可視化的t-SNE算法模型[152]以及2016年提出的可視化操作平臺(tái)Deep Motif Dashboard[153]等。

（2）深度網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化

從前述文獻(xiàn)中不難看出，基于深度學(xué)習(xí)的故障診斷方法具有訓(xùn)練數(shù)據(jù)多、計(jì)算量大的特點(diǎn)，這成為深度學(xué)習(xí)方法在故障診斷領(lǐng)域?qū)崿F(xiàn)在線診斷以及故障預(yù)測(cè)的瓶頸之一。這就要求研究者施加結(jié)構(gòu)限制以控制各種深度學(xué)習(xí)架構(gòu)的計(jì)算量，同時(shí)，又不能以降低診斷精度為代價(jià)。尋找一些精度與速度之間的平衡，或者在保證精度的前提下，引入其他方法來(lái)提高速度的方法更加值得研究，例如，實(shí)現(xiàn)并行操作，包括GPU加速、數(shù)據(jù)并行和模型并行等。

（3）模型的參數(shù)優(yōu)化

在模型構(gòu)建過(guò)程中參數(shù)的動(dòng)態(tài)優(yōu)化調(diào)整是其發(fā)展的一大挑戰(zhàn)。從現(xiàn)有文獻(xiàn)看，針對(duì)優(yōu)化學(xué)習(xí)模型參數(shù)的可見(jiàn)報(bào)道稀缺，基本集中在非線性激活函數(shù)的改進(jìn)[154]和參數(shù)初始化[155]等方面，這無(wú)疑是制約深度學(xué)習(xí)技術(shù)發(fā)展的一大阻礙。今后的研究應(yīng)該花更大的力氣多角度、多方法的實(shí)現(xiàn)模型參數(shù)優(yōu)化，從而從根本上提高深度學(xué)習(xí)網(wǎng)路性能。

4.1.3 從方法角度

（1）發(fā)展混合算法

根據(jù)前述，深度學(xué)習(xí)模型因理論支撐不足而被人們稱為“黑匣子”，其在故障診斷領(lǐng)域的應(yīng)用也給人“因人而異”的印象，這些問(wèn)題的存在，使得其泛化能力備受質(zhì)疑。由此，很多研究者進(jìn)行了混合算法的初探，比如文獻(xiàn)[156-158]將深度學(xué)習(xí)和頻譜、小波、PCA等進(jìn)行了混合，他們?cè)噲D通過(guò)加入人工提取特征環(huán)節(jié)來(lái)減少訓(xùn)練時(shí)間。然而這種做法可能會(huì)在算法的早期訓(xùn)練中就產(chǎn)生偏差從而導(dǎo)致結(jié)果不可靠，同時(shí)也違背了深度學(xué)習(xí)端到端學(xué)習(xí)的重要思想。近年來(lái)又涌現(xiàn)出了一些新的方法[104，159]試圖解決上述問(wèn)題，這是一種好的現(xiàn)象，但目前還遠(yuǎn)沒(méi)有達(dá)到各種方法“有機(jī)結(jié)合”的程度。因此，在今后的研究中還應(yīng)繼續(xù)探索新的可能性，比如，將深層、淺層網(wǎng)絡(luò)進(jìn)行組合構(gòu)建新的具有優(yōu)異性能的混合深度學(xué)習(xí)模型；將監(jiān)測(cè)數(shù)據(jù)組合成為二維圖譜，以充分展示深度學(xué)習(xí)模型的圖形處理優(yōu)勢(shì)等，最終通過(guò)各種方法取長(zhǎng)補(bǔ)短、優(yōu)勢(shì)互補(bǔ)的有機(jī)結(jié)合實(shí)現(xiàn)高效、高準(zhǔn)確率的復(fù)雜工業(yè)系統(tǒng)的故障診斷與預(yù)測(cè)。

（2）缺乏對(duì)結(jié)果評(píng)價(jià)的基準(zhǔn)

從前述文獻(xiàn)可以看出，很多研究者已成功應(yīng)用各種深度學(xué)習(xí)方法實(shí)現(xiàn)了故障診斷和預(yù)測(cè)，并就診斷精度與SVM、單隱層神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行比較，效果明顯。但這可能會(huì)產(chǎn)生誤導(dǎo)，因?yàn)槭褂枚鄬有畔⑻幚砟K能夠得到更好的診斷結(jié)果這幾乎是可以預(yù)見(jiàn)的。然而，在實(shí)際應(yīng)用中，得到一個(gè)好的診斷結(jié)果絕不是衡量一個(gè)故障診斷與預(yù)測(cè)方法好壞的唯一標(biāo)準(zhǔn)，可靠性、靈敏性、穩(wěn)定性、效率、成本、泛化能力等都是不可忽視的問(wèn)題。比如，實(shí)現(xiàn)架構(gòu)是否為受控系統(tǒng)、實(shí)現(xiàn)方法是否很好地解決了故障診斷的可靠性問(wèn)題、是否存在信息的丟失而影響了系統(tǒng)的穩(wěn)定性、方法的靈敏性如何、時(shí)間是否有延遲等問(wèn)題都有可能導(dǎo)致診斷失去意義。因此，制定結(jié)果評(píng)價(jià)基準(zhǔn)是實(shí)現(xiàn)方法性能準(zhǔn)確鑒定的必要前提條件。如何建立合理、全面、可操作的結(jié)果評(píng)價(jià)基準(zhǔn)是今后研究中需要思考的問(wèn)題。

4.1.4 從應(yīng)用角度

故障診斷與預(yù)測(cè)技術(shù)絕不能僅僅停留在實(shí)驗(yàn)研究層面，它一定是能夠進(jìn)行實(shí)際應(yīng)用的技術(shù)手段。因此，研究者應(yīng)該從工業(yè)實(shí)際和學(xué)術(shù)雙角度出發(fā)，全面考慮環(huán)境、成本、可靠性、靈敏性、實(shí)用性、效率等眾多因素，且不能將工作集中在提高低設(shè)計(jì)級(jí)別的故障診斷上，故障的預(yù)測(cè)、停機(jī)時(shí)間的控制、故障的隔離、故障決策效率、微小故障的跟蹤、設(shè)備老化進(jìn)程跟蹤、跨領(lǐng)域策略等等問(wèn)題都應(yīng)是今后的研究方向。

4.2 展望

對(duì)于工程界而言，深度學(xué)習(xí)已經(jīng)為未來(lái)的研究開(kāi)辟了一片廣闊的天地。正如本文所看到的，深度學(xué)習(xí)展示了很多的優(yōu)點(diǎn)并取得了一定的成績(jī)，這使得它更具吸引力。然而，如上所述，其在故障診斷與預(yù)測(cè)領(lǐng)域中仍然存在很多的挑戰(zhàn)和難點(diǎn)，這也為今后發(fā)展的方向提供了指導(dǎo)。對(duì)應(yīng)用深度學(xué)習(xí)進(jìn)行故障診斷和預(yù)測(cè)的發(fā)展趨勢(shì)作如下展望：

（1）研究進(jìn)程從故障診斷到退化狀態(tài)識(shí)別再到故障預(yù)測(cè)已成為必然趨勢(shì)。

（2）研究數(shù)據(jù)的來(lái)源、構(gòu)建大數(shù)據(jù)庫(kù)、進(jìn)行復(fù)雜數(shù)據(jù)的處理已成為基于深度學(xué)習(xí)的故障診斷與預(yù)測(cè)技術(shù)發(fā)展瓶頸的重要突破口。

（3）突破深度學(xué)習(xí)理論研究瓶頸，探索其內(nèi)部算法打開(kāi)“黑匣子”是其技術(shù)發(fā)展不可回避的問(wèn)題。

（4）將深度學(xué)習(xí)與傳統(tǒng)淺層模型相結(jié)合，構(gòu)建具有優(yōu)異性能的混合深度學(xué)習(xí)模型勢(shì)在必行。

（5）從應(yīng)用視角出發(fā)，嘗試用人工故障訓(xùn)練的算法對(duì)自然故障進(jìn)行預(yù)測(cè)，這實(shí)際上是對(duì)基于深度學(xué)習(xí)的故障診斷與預(yù)測(cè)算法在現(xiàn)實(shí)中應(yīng)用的合理期望。

5 結(jié)束語(yǔ)

故障診斷與預(yù)測(cè)的最終目的是準(zhǔn)確判斷部件的狀態(tài)從而預(yù)防事故的發(fā)生。與傳統(tǒng)淺層機(jī)器學(xué)習(xí)方法相比，深度學(xué)習(xí)在故障診斷和預(yù)測(cè)中能夠提供更好的表示和分類，因此利用深度學(xué)習(xí)方法進(jìn)行故障診斷與預(yù)測(cè)是必要、可行的。本文首先對(duì)近年來(lái)深度學(xué)習(xí)及其在各領(lǐng)域發(fā)展的優(yōu)秀綜述文獻(xiàn)以及主流的開(kāi)源仿真工具平臺(tái)進(jìn)行了整理，同時(shí)介紹了目前典型的五種深度學(xué)習(xí)模型，包括AE及其變體、DBN、CNN、RNN和GAN；其次就深度學(xué)習(xí)在故障診斷與預(yù)測(cè)中的應(yīng)用研究進(jìn)行了歸納總結(jié)，從研究背景、實(shí)現(xiàn)流程及研究動(dòng)態(tài)等三個(gè)方面進(jìn)行了闡述，并在研究動(dòng)態(tài)中就發(fā)展趨勢(shì)、數(shù)據(jù)來(lái)源進(jìn)行了介紹，系統(tǒng)梳理了近年來(lái)這一領(lǐng)域發(fā)表的相關(guān)論文；最后從研究實(shí)際出發(fā)就深度學(xué)習(xí)在故障診斷與預(yù)測(cè)領(lǐng)域應(yīng)用中存在的問(wèn)題、挑戰(zhàn)及解決方法進(jìn)行了探討，并對(duì)未來(lái)的發(fā)展進(jìn)行了展望。