劉 飛， 陳仁文， 邢凱玲， 丁汕汕， 張邁一

(1.南京航空航天大學(xué) 機(jī)械結(jié)構(gòu)力學(xué)及控制國(guó)家重點(diǎn)實(shí)驗(yàn)室，南京 210016；2.南京航空航天大學(xué) 自動(dòng)化學(xué)院，南京 210016)

根據(jù)統(tǒng)計(jì)[1]，機(jī)電傳動(dòng)系統(tǒng)與電機(jī)系統(tǒng)由于滾動(dòng)軸承故障引起的故障占40%～70%，因此開(kāi)發(fā)出一種能用于工業(yè)實(shí)際的滾動(dòng)軸承故障診斷算法具有重要的意義。

傳統(tǒng)的故障診斷算法主要由三部分組成：傳感器信號(hào)采集、特征提取方法和故障分類算法。傳統(tǒng)的故障特征提取方法主要是通過(guò)時(shí)頻分析方法：小波變換(wavelet transform，WT)，短時(shí)傅里葉變換(short time Fourier transform，STFT)、希爾伯特黃變換(Hilbert-Huang transform，HHT)及它們的改進(jìn)算法[2-3]等，將原始時(shí)域振動(dòng)信號(hào)轉(zhuǎn)換到時(shí)頻域上，并提取出信號(hào)的統(tǒng)計(jì)特征[4]，然后將這些構(gòu)造出的特征[5]作為故障分類算法的輸入。傳統(tǒng)的故障分類算法，主要為支持向量機(jī)(support vector machine, SVM)、極限學(xué)習(xí)機(jī)(extreme learning machine, ELM)、k近鄰法 (k-nearest neighbor, kNN)及它們的改進(jìn)算法[6-8]等，屬于淺層機(jī)器學(xué)習(xí)的方法，要與特征提取方法結(jié)合。傳統(tǒng)的智能故障診斷算法主要有以下2個(gè)缺點(diǎn)：①當(dāng)采用的人工特征提取方法不適合具體的任務(wù)情況時(shí)，會(huì)導(dǎo)致故障診斷性能急劇的下降;②人工特征都是根據(jù)具體的任務(wù)情況進(jìn)行設(shè)計(jì)的，盡管其可以達(dá)到很高的準(zhǔn)確率，但是設(shè)計(jì)出一種能應(yīng)用于所有情況的特征是很困難的。

而深度學(xué)習(xí)模型通常采用堆疊有參隱含層(主要為卷積層與全連接層)的深度架構(gòu)設(shè)計(jì)，能直接從原始數(shù)據(jù)中學(xué)習(xí)出有代表性的特征，并且能將特征提取與故障診斷結(jié)合在一個(gè)模型中(端到端)，避免了傳統(tǒng)故障診斷算法的缺點(diǎn)[9]。Sun等[10]將深度自編碼器應(yīng)用在電機(jī)故障診斷中并且取得了準(zhǔn)確的預(yù)測(cè)。Ding等[11]使用小波包能量作為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)的輸入設(shè)計(jì)了一個(gè)軸承故障診斷系統(tǒng)。而增強(qiáng)門控循環(huán)神經(jīng)網(wǎng)絡(luò)也被Zhao等[12]用于齒輪和滾動(dòng)軸承的剩余壽命預(yù)測(cè)與故障診斷中。

盡管深度學(xué)習(xí)模型已經(jīng)在機(jī)械故障診斷領(lǐng)域中取得了很多成功的應(yīng)用，但其仍然存在一些問(wèn)題:

(1) 隨著有參隱含層數(shù)的增加，需要訓(xùn)練的參數(shù)數(shù)量會(huì)迅速增加，并且從頭訓(xùn)練一個(gè)大型深度學(xué)習(xí)網(wǎng)絡(luò)所需要的有標(biāo)簽樣本數(shù)量、算力和時(shí)間開(kāi)銷巨大。而在實(shí)際的工業(yè)生產(chǎn)環(huán)境中，機(jī)械設(shè)備往往都是運(yùn)行在正常狀態(tài)下，故障狀態(tài)很少出現(xiàn)，所以大量的有標(biāo)簽故障數(shù)據(jù)無(wú)法獲得[13]。

(2) 深度學(xué)習(xí)模型若在一個(gè)小樣本數(shù)據(jù)集上從頭開(kāi)始訓(xùn)練，會(huì)出現(xiàn)過(guò)擬合的問(wèn)題，導(dǎo)致模型的泛化能力下降，使得其應(yīng)用在真實(shí)工業(yè)環(huán)境中的診斷準(zhǔn)確率很低，因此在大多數(shù)的文獻(xiàn)中很少使用超過(guò)10層有參隱含層的深層深度學(xué)習(xí)模型，基本都是不超過(guò)5層有參隱含層的模型[14]。

(3) 深度學(xué)習(xí)模型的超參數(shù)(具體架構(gòu)，學(xué)習(xí)率和丟棄率等)的選擇和優(yōu)化會(huì)明顯影響模型的性能，并且很耗費(fèi)訓(xùn)練時(shí)間。

針對(duì)上述問(wèn)題，在機(jī)械故障診斷領(lǐng)域中引入了遷移學(xué)習(xí)的方法。Wen等[15]提出了基于稀疏自編碼器與遷移學(xué)習(xí)的多工況故障診斷方法。Shen等[16]提出了基于遷移學(xué)習(xí)的軸承故障診斷方法，其中通過(guò)遷移輔助數(shù)據(jù)來(lái)改善不同工況下的診斷性能。Siyu等提出了一個(gè)基于深度遷移學(xué)習(xí)的故障診斷架構(gòu)，并且在3個(gè)不同的數(shù)據(jù)集上都取得優(yōu)秀的性能。雷亞國(guó)等基于領(lǐng)域共享深度殘差網(wǎng)絡(luò)實(shí)現(xiàn)了從實(shí)驗(yàn)室軸承故障模型遷移應(yīng)用到實(shí)際機(jī)車軸承的故障診斷方法。

但現(xiàn)有的遷移學(xué)習(xí)方法，仍然需要在某一故障數(shù)據(jù)集上從頭訓(xùn)練深度學(xué)習(xí)模型，因此仍然需要耗費(fèi)大量的時(shí)間來(lái)訓(xùn)練和優(yōu)化深度學(xué)習(xí)模型。而機(jī)械故障數(shù)據(jù)集的大小限制了更深層深度學(xué)習(xí)模型的應(yīng)用。

因此，本文提出了一種基于遷移學(xué)習(xí)與深度殘差網(wǎng)絡(luò)的滾動(dòng)軸承快速故障診斷算法(transfer learning deep residual network，TL-ResNet)，本算法的創(chuàng)新點(diǎn)在于：

(1) 開(kāi)發(fā)了一種結(jié)合STFT與偽彩色處理的方法能將時(shí)域振動(dòng)信號(hào)快速地轉(zhuǎn)換為三通道圖像數(shù)據(jù)，使得計(jì)算機(jī)視覺(jué)(computer version,CV)領(lǐng)域中的深度學(xué)習(xí)模型能直接遷移應(yīng)用到故障診斷領(lǐng)域當(dāng)中。

(2) 通過(guò)遷移學(xué)習(xí)方法，使得在軸承故障診斷領(lǐng)域中能應(yīng)用超過(guò)10層卷積層的深層深度學(xué)習(xí)模型，解決了因缺少大量軸承故障標(biāo)注數(shù)據(jù)導(dǎo)致無(wú)法訓(xùn)練深層深度學(xué)習(xí)模型的問(wèn)題，同時(shí)模型僅需很短的訓(xùn)練時(shí)間。具體使用在ImageNet數(shù)據(jù)集上的訓(xùn)練的ResNet18模型作為預(yù)訓(xùn)練模型，采用低層網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)凍結(jié)，高層網(wǎng)絡(luò)參數(shù)使用滾動(dòng)軸承故障圖像數(shù)據(jù)進(jìn)行訓(xùn)練的遷移學(xué)習(xí)方法。試驗(yàn)結(jié)果表明TL-ResNet具有很強(qiáng)的特征自提取能力，與其他深層深度學(xué)習(xí)模型相比具有更好的故障診斷表現(xiàn)與更短的訓(xùn)練時(shí)間。

(3) 針對(duì)實(shí)際工業(yè)環(huán)境中經(jīng)常出現(xiàn)的滾動(dòng)軸承在不同工況下的故障診斷問(wèn)題，提出采用小樣本遷移的方法來(lái)解決，并與直接應(yīng)用TL-ResNet的方法開(kāi)展對(duì)比試驗(yàn)。試驗(yàn)結(jié)果表明，本方法具有訓(xùn)練時(shí)間短，故障診斷準(zhǔn)確率高的優(yōu)點(diǎn)，能作為一種快速故障診斷方法用于工業(yè)實(shí)際中。

1 理論基礎(chǔ)

1.1 時(shí)頻圖像生成方法

在一般的滾動(dòng)軸承故障診斷系統(tǒng)中，數(shù)據(jù)采集系統(tǒng)采集到的原始振動(dòng)信號(hào)都是一維時(shí)變非穩(wěn)態(tài)信號(hào)，而在CV領(lǐng)域里，一般輸入都是三通道圖像數(shù)據(jù)。因此，要使用CV領(lǐng)域里的深度學(xué)習(xí)模型作為預(yù)訓(xùn)練模型，必須要將一維振動(dòng)信號(hào)轉(zhuǎn)換成二維圖像數(shù)據(jù)。

將一維振動(dòng)信號(hào)變換為二維圖像數(shù)據(jù)的方法主要分為兩類：

(1) 基于數(shù)據(jù)重構(gòu)的方法，即直接將一維振動(dòng)信號(hào)等間隔進(jìn)行截取拼接，生成二維灰度圖像。該方法的優(yōu)點(diǎn)是實(shí)現(xiàn)起來(lái)簡(jiǎn)單快速，但其缺少信號(hào)的頻域信息。

(2) 基于時(shí)頻域變換的方法，該方法包括STFT、WT和HHT等。通過(guò)對(duì)一維振動(dòng)信號(hào)進(jìn)行時(shí)頻分析，生成具有物理意義的二維灰度時(shí)頻圖像，其能充分挖掘出信號(hào)的頻域特征，具有魯棒性高、抗噪聲等優(yōu)點(diǎn)。但是其在實(shí)現(xiàn)速度上較基于數(shù)據(jù)重構(gòu)的方法慢，尤其是使用WT方法時(shí)。

為了兼顧快速性與信息含量，本算法采用STFT來(lái)生成二維時(shí)頻圖像。STFT的基本思想是將一維時(shí)域信號(hào)傅里葉變換的積分區(qū)間局部化。信號(hào)x(t)與有限時(shí)窗信號(hào)w(t)乘積后再進(jìn)行傅里葉變換，實(shí)現(xiàn)同時(shí)分析信號(hào)的時(shí)域特性和頻域特性。STFT的定義如下

(1)

實(shí)際使用STFT的離散形式來(lái)進(jìn)行計(jì)算，公式如下

m=0,1,…,N-1

(2)

式中:時(shí)窗信號(hào)w(t)的寬度為N;序列x[k]為連續(xù)信號(hào)x(t)的采樣信號(hào)，采樣頻域滿足香農(nóng)采樣定理。

因?yàn)?，通過(guò)STFT生成的二維時(shí)頻圖是單通道的灰度圖像[17]，不能直接作為CV領(lǐng)域深度學(xué)習(xí)模型的輸入。文獻(xiàn)[18]中采用將模型第一層的通道數(shù)改為1，保持后面的模型參數(shù)不變，在進(jìn)行遷移學(xué)習(xí)時(shí)，同時(shí)對(duì)第一層進(jìn)行學(xué)習(xí)調(diào)整的方法。而Siyu等的研究中使用對(duì)單通道數(shù)據(jù)進(jìn)行復(fù)制，通過(guò)矩陣拼接操作生成三通道圖像數(shù)據(jù)的方法。

本文則創(chuàng)新的使用openCV開(kāi)源框架的偽彩色處理方法，將單通道的灰度值映射成彩色值來(lái)生成三通道圖像，作為深度學(xué)習(xí)模型的輸入，無(wú)需對(duì)模型第一層再進(jìn)行學(xué)習(xí)調(diào)整。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

經(jīng)典的CNN由卷積層、池化層、全連接層和Softmax分類器組成[19]。卷積層和池化層用于提取和篩選圖像特征，全連接層用于進(jìn)一步提取池化層的輸出特征，Softmax層把全連接層的輸出做歸一化處理，使其符合概率分布。

經(jīng)典的CNN結(jié)構(gòu)如圖1所示。

圖1 典型的CNN結(jié)構(gòu)圖

卷積層是CNN的核心，其通過(guò)計(jì)算二維卷積核與對(duì)應(yīng)輸入圖像重疊區(qū)域的內(nèi)積，并歷遍整個(gè)圖像上的每一個(gè)像素，通過(guò)一個(gè)非線性激活函數(shù)，求得輸出。具體的數(shù)學(xué)表達(dá)式如下

Xl=f(Kl*Xl-1+Bl)

(3)

式中:*為卷積運(yùn)算；Xl-1為第l卷積層的輸入圖像；Xl為第l卷積層的輸出；Bl為第l卷積層的偏置；f(·)為激活函數(shù)，CNN中常用ReLU作為激活函數(shù)，其數(shù)學(xué)表達(dá)式如下

ReLU(x)=max(0,x),x∈(-∞,+∞)

(4)

對(duì)于多通道圖像輸入，卷積層會(huì)在每個(gè)通道上使用不同卷積核，計(jì)算公式如下

(5)

池化層通常位于卷積層后，對(duì)卷積后的輸出特征圖進(jìn)行降維減參操作。常用的池化層可分為最大池化和平均池化。池化操作定義如下

(6)

CNN的最后一層為一個(gè)全連接層，用于執(zhí)行分類或回歸任務(wù)，其數(shù)學(xué)定義如下

(7)

對(duì)于分類任務(wù)通常使用Softmax激活函數(shù)，其定義如下

(8)

在CNN的訓(xùn)練中，通常使用交叉熵函數(shù)，來(lái)評(píng)估真實(shí)標(biāo)簽與預(yù)測(cè)概率之間誤差，定義如下

(9)

式中:1{·}為指示函數(shù)，當(dāng)大括號(hào)內(nèi)的判斷為真時(shí)，取值為1，否則為0；假設(shè)訓(xùn)練集的樣本總數(shù)為N，則交叉熵?fù)p失函數(shù)定義如下

(10)

1.3 深度殘差網(wǎng)絡(luò)

深度殘差網(wǎng)絡(luò)(deep residual network,ResNet)通過(guò)構(gòu)建殘差塊，使用殘差連接，即讓神經(jīng)網(wǎng)絡(luò)的輸入X通過(guò)一個(gè)恒等映射I:X→X直接連接到有參層的輸出Y，使得有參層學(xué)習(xí)到一個(gè)殘差映射f:X→Y-X。在ResNet18模型中的殘差塊結(jié)構(gòu)形式如下圖2所示。

圖2 ResNet18中的殘差塊結(jié)構(gòu)

圖2中左圖為標(biāo)準(zhǔn)殘差塊(indentity residual block,IRB)，右圖為帶降采樣層的殘差塊(sampling residual block,SRB)，降采樣層用來(lái)保持特征圖的尺寸和通道數(shù)一致。

文獻(xiàn)[20]的研究表明，相比于傳統(tǒng)的CNN讓有參隱含層直接學(xué)習(xí)輸入輸出之間的映射f:X→Y，讓有參層學(xué)習(xí)殘差映射f:X→Y-X能有效降低映射的學(xué)習(xí)難度，加快模型的收斂速度，因此，能夠搭建出有效的超深層(超過(guò)100層)神經(jīng)網(wǎng)絡(luò)模型。

而滾動(dòng)軸承故障數(shù)據(jù)集的大小，與訓(xùn)練原始ResNet的ImageNet數(shù)據(jù)集相比小的多。因此，綜合考慮滾動(dòng)軸承故障診斷任務(wù)的復(fù)雜度與模型的前向推理速度，本文提出采用在ImageNet數(shù)據(jù)集下訓(xùn)練的ResNet18模型，作為滾動(dòng)軸承故障診斷的預(yù)訓(xùn)練模型。ResNet18模型的詳細(xì)架構(gòu)和參數(shù)信息如表1所示。

表1 ResNet18模型詳細(xì)架構(gòu)

1.4 遷移學(xué)習(xí)方法

遷移學(xué)習(xí)的定義[21]如下：給定源域Ds={Xs,P(Xs)}和學(xué)習(xí)任務(wù)Ts={Ys,fs(·)}、目標(biāo)域Dt={Xt,Q(Xt)}和學(xué)習(xí)任務(wù)Tt={Yt,ft(·)}，遷移學(xué)習(xí)的目的是獲取源域Ds和學(xué)習(xí)任務(wù)Ts中的知識(shí)以幫助提升目標(biāo)域中的預(yù)測(cè)函數(shù)ft(·)的學(xué)習(xí)，其中Ds≠Dt或者Ts≠Tt。

對(duì)于CNN模型，Yosinski等[22]通過(guò)大量試驗(yàn)評(píng)估了不同位置卷積層的遷移能力，試驗(yàn)發(fā)現(xiàn)：低層特征具有很強(qiáng)的遷移能力，而高層卷積層的特征都是和具體任務(wù)相關(guān)的抽象特征，不適合進(jìn)行遷移，需要在新數(shù)據(jù)集上再學(xué)習(xí)訓(xùn)練。此外，源域和目標(biāo)域間的相似程度是遷移學(xué)習(xí)成功的關(guān)鍵，對(duì)于相似的數(shù)據(jù)集僅需對(duì)最后的全連接層進(jìn)行訓(xùn)練就能取得很好的性能表現(xiàn)，而對(duì)于差別比較大的數(shù)據(jù)集需要對(duì)較多的高層卷積層參數(shù)進(jìn)行訓(xùn)練更新。

基于此結(jié)論，本文采用低層網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)凍結(jié)，高層網(wǎng)絡(luò)參數(shù)使用軸承故障圖像數(shù)據(jù)訓(xùn)練的遷移學(xué)習(xí)方法。

2 算法詳細(xì)

本文提出的基于遷移學(xué)習(xí)與深度殘差網(wǎng)絡(luò)的滾動(dòng)軸承快速故障診斷算法(TL-ResNet)，能夠從時(shí)頻圖中自動(dòng)提取出軸承的故障特征，具有高診斷準(zhǔn)確率，模型訓(xùn)練時(shí)間短的優(yōu)點(diǎn)。本算法的框架如圖3所示。

具體由時(shí)頻圖像生成，預(yù)訓(xùn)練模型遷移，和模型應(yīng)用3個(gè)步驟組成。

圖3 TL-ResNet框架示意圖

(1) 時(shí)頻圖像生成：本文提出STFT加偽彩色處理的方法將時(shí)域振動(dòng)信號(hào)轉(zhuǎn)換為三通道圖像數(shù)據(jù)，STFT方法中使用漢明窗函數(shù)，窗函數(shù)寬度為64個(gè)振動(dòng)信號(hào)數(shù)據(jù)點(diǎn)。偽彩色處理方法使用openCV開(kāi)源框架的applyColorMap函數(shù)及COLORMAP_JET彩色映射表來(lái)實(shí)現(xiàn)。

(2) 預(yù)訓(xùn)練模型遷移：本文的預(yù)訓(xùn)練模型使用在ImageNet圖像數(shù)據(jù)集上訓(xùn)練ResNet18模型。保留原始ResNet18模型的大部分架構(gòu)，但移除最后1 000輸出全連接層，并凍結(jié)Conv1和前3個(gè)殘差層的參數(shù)，作為淺層故障特征提取器，然后，將第4殘差層的參數(shù)做隨機(jī)初始化，用于學(xué)習(xí)滾動(dòng)軸承故障的深層特征，最后，增加一個(gè)10輸出全連接層，并采用Softmax激活函數(shù)得到故障診斷的結(jié)果。

通過(guò)一定輪數(shù)的訓(xùn)練集迭代歷遍就能得到TL-ResNet模型，將TL-ResNet的參數(shù)持久化用于模型的具體應(yīng)用。

(3) 模型應(yīng)用：滾動(dòng)軸承數(shù)據(jù)集中分割出的測(cè)試集被用于測(cè)試持久化后的TL-ResNet模型的真實(shí)故障診斷表現(xiàn)，即將測(cè)試集上對(duì)故障樣本的分類預(yù)測(cè)的準(zhǔn)確率作為故障診斷準(zhǔn)確率。

而對(duì)于滾動(dòng)軸承在不同工況下的故障診斷問(wèn)題，采用小樣本遷移的方法對(duì)TL-ResNet模型進(jìn)行調(diào)整。即將某一工況下生成的TL-ResNet的結(jié)構(gòu)與參數(shù)凍結(jié)，僅使用另一工況的少量訓(xùn)練樣本(小樣本)，對(duì)TL-ResNet模型的全連接層進(jìn)行一輪訓(xùn)練微調(diào)，然后在另一工況的測(cè)試集上進(jìn)行檢驗(yàn)。

3 試驗(yàn)驗(yàn)證

為驗(yàn)證本文提出的快速故障診斷算法的有效性，在i7-8750h，16 g內(nèi)存，GTX 1060max-q，windows10操作系統(tǒng)下，參考文獻(xiàn)[23]中的開(kāi)源代碼，通過(guò)pytorch框架實(shí)現(xiàn)了本文所提出的算法，并進(jìn)行相關(guān)的試驗(yàn)驗(yàn)證。

試驗(yàn)中深度學(xué)習(xí)模型每次訓(xùn)練的批大小設(shè)置為32個(gè)樣本，采用Adam優(yōu)化方法，反向傳播更新深度學(xué)習(xí)模型的參數(shù)，學(xué)習(xí)率設(shè)置為0.001，權(quán)重衰減設(shè)置為0.000 01，使用經(jīng)典的交叉熵?fù)p失函數(shù)。

3.1 滾動(dòng)軸承數(shù)據(jù)集簡(jiǎn)介

本文使用凱斯西儲(chǔ)大學(xué)(Case Western Reserve University,CWRU)的滾動(dòng)軸承數(shù)據(jù)集和帕德博恩大學(xué)(Paderborn University,PU)的滾動(dòng)軸承數(shù)據(jù)集[24]來(lái)進(jìn)行試驗(yàn)驗(yàn)證，試驗(yàn)平臺(tái)如圖4和圖5所示。

圖4 CWRU滾動(dòng)軸承試驗(yàn)平臺(tái)

圖5 PU滾動(dòng)軸承試驗(yàn)平臺(tái)

CWRU數(shù)據(jù)集中使用的是由SKF公司生產(chǎn)，型號(hào)為6205-2RS的滾動(dòng)軸承來(lái)開(kāi)展故障診斷試驗(yàn)。其在12 kHz的采樣頻率下，采集了4種不同工況時(shí)的滾動(dòng)軸承振動(dòng)信號(hào)。在每種工況下，對(duì)滾珠、內(nèi)滾道和外滾道分別引入直徑為0.178 mm、0.356 mm、0.532 mm的單點(diǎn)故障的滾動(dòng)軸承進(jìn)行了試驗(yàn)，加上正常滾動(dòng)軸承的試驗(yàn)數(shù)據(jù)，每個(gè)工況都有10種不同的故障類型，如下表2所示。

表2 CWRU軸承故障分類及標(biāo)簽值

對(duì)CWRU數(shù)據(jù)集中的原始振動(dòng)信號(hào)，采用無(wú)重疊分割，每1 024個(gè)數(shù)據(jù)點(diǎn)組成一個(gè)樣本，得到試驗(yàn)樣本數(shù)量如表3所示。

表3 CWRU樣本數(shù)量表

而PU數(shù)據(jù)集中使用的是由FAG、MTK和IBU公司生產(chǎn)的型號(hào)為6203的滾動(dòng)軸承來(lái)進(jìn)行故障診斷試驗(yàn)。其在64 kHz的采樣率下，采集了32組不同故障類型的振動(dòng)信號(hào)數(shù)據(jù)。本文使用其中由加速疲勞試驗(yàn)產(chǎn)生真實(shí)故障的試驗(yàn)數(shù)據(jù)，總共18組，具體使用的數(shù)據(jù)編號(hào)如表4所示。

表4 PU滾動(dòng)軸承數(shù)據(jù)集真實(shí)故障數(shù)據(jù)分類及標(biāo)簽值

3.2 不同輸入和不同預(yù)訓(xùn)練模型遷移試驗(yàn)結(jié)果與分析

為驗(yàn)證本算法的有效性，設(shè)計(jì)了使用STFT生成的單通道灰度圖像數(shù)據(jù)作為模型的輸入，并采用CV領(lǐng)域中其他5種常用的深度學(xué)習(xí)模型(LeNe、AlexNet、CNN、VGG16和inception-V3)作為預(yù)訓(xùn)練模型的對(duì)比試驗(yàn)。

其中，LeNet模型是最經(jīng)典的2層卷積層模型，模型結(jié)構(gòu)簡(jiǎn)單，沒(méi)有預(yù)訓(xùn)練模型可以加載，通過(guò)CWRU數(shù)據(jù)集中從頭訓(xùn)練得到。

而CNN模型來(lái)自Zhao等研究中設(shè)計(jì)的由7層卷積神經(jīng)網(wǎng)絡(luò)組成的通用機(jī)械故障診斷模型，在CWRU數(shù)據(jù)集中從頭訓(xùn)練得到。

AlexNet模型是一個(gè)具有5層卷積層的模型，模型參數(shù)數(shù)量較少，而VGG16和inception-V3模型都是卷積層超過(guò)10層的深層卷積神經(jīng)網(wǎng)絡(luò)，模型復(fù)雜，參數(shù)數(shù)量眾多，并且AlexNet、VGG16和inception-V3模型都有在ImageNet上訓(xùn)練好的預(yù)訓(xùn)練模型。因此，采用與TL-ResNet相同的遷移學(xué)習(xí)方法，構(gòu)成TL-AlexNet、TL-VGG16和TL-inceptionV3模型，在同樣的訓(xùn)練條件下，進(jìn)行訓(xùn)練。

將預(yù)訓(xùn)練模型遷移到某一工況時(shí)，將該工況下的滾動(dòng)軸承數(shù)據(jù)集樣本按照64%，16%，20%的比例隨機(jī)分配到訓(xùn)練集、驗(yàn)證集與測(cè)試集中。

得到的試驗(yàn)結(jié)果如下：工況0時(shí)，使用單通道圖像數(shù)據(jù)，迭代歷遍10輪訓(xùn)練集來(lái)訓(xùn)練模型，重復(fù)10次試驗(yàn)，各個(gè)模型的平均準(zhǔn)確率對(duì)比如表5所示。

表5 工況0、單通道及10輪迭代歷遍的對(duì)比試驗(yàn)結(jié)果

工況0時(shí)，使用三通道圖像數(shù)據(jù)，迭代歷遍2輪訓(xùn)練集來(lái)訓(xùn)練模型，重復(fù)10次試驗(yàn)，各個(gè)模型的平均準(zhǔn)確率對(duì)比如表6所示。

表6 工況0、三通道及2輪迭代歷遍的對(duì)比試驗(yàn)結(jié)果

工況0時(shí)，使用三通道圖像數(shù)據(jù)，迭代歷遍10輪訓(xùn)練集來(lái)訓(xùn)練模型，重復(fù)10次試驗(yàn)，各個(gè)模型的平均準(zhǔn)確率對(duì)比如表7所示。

表7 工況0、三通道及10輪迭代歷遍的對(duì)比試驗(yàn)結(jié)果

上述試驗(yàn)的故障診斷準(zhǔn)確率對(duì)比如圖6所示。

圖6 工況0時(shí)，不同通道圖像輸入的診斷準(zhǔn)確率對(duì)比

從工況0時(shí)，迭代歷遍10輪訓(xùn)練集的三通道圖像數(shù)據(jù)與單通道圖像數(shù)據(jù)的對(duì)比試驗(yàn)中可以看出，使用STFT加偽彩色處理方法，能取得比單通道圖像數(shù)據(jù)更高的診斷準(zhǔn)確率。

在上述試驗(yàn)中，無(wú)論是在單通道數(shù)據(jù)集還是三通道數(shù)據(jù)集上，TL-ResNet的故障診斷準(zhǔn)確率都是最高的，且與其他深層深度學(xué)習(xí)模型的訓(xùn)練時(shí)間相比(即與CNN、TL-VGG16和TL-inceptionV3相比)，TL-ResNet所需的訓(xùn)練時(shí)間最短。

特別的TL-ResNet在僅2輪迭代歷遍訓(xùn)練集的情況下，就能取得99.8%的診斷準(zhǔn)確率，而此時(shí)所需的訓(xùn)練時(shí)間僅要1.5 s，比使用單通道10迭代歷遍的診斷準(zhǔn)確率還高，而所花費(fèi)的訓(xùn)練時(shí)間僅為其的2%。

這表明，本算法可以作為實(shí)際工業(yè)情況下的滾動(dòng)軸承快速故障診斷方法來(lái)使用。

為了進(jìn)一步驗(yàn)證本文所使用的遷移學(xué)習(xí)方法的有效性，從頭訓(xùn)練了TL-AlexNet、TL-VGG16、TL-inceptioV3和TL-ResNet這4個(gè)模型，具體的對(duì)比試驗(yàn)結(jié)果如下：在工況0、單通道與10輪迭代歷遍訓(xùn)練集的情況下，從頭訓(xùn)練上述4種深度學(xué)習(xí)模型，重復(fù)10次試驗(yàn)，各個(gè)模型的平均準(zhǔn)確率對(duì)比如表8所示。

表8 工況0、單通道、從頭訓(xùn)練及10輪迭代歷遍的對(duì)比試驗(yàn)結(jié)果

在工況0、三通道與10輪迭代歷遍訓(xùn)練集的情況下，從頭訓(xùn)練上述4種深度學(xué)習(xí)模型，重復(fù)10次試驗(yàn)，各個(gè)模型的平均準(zhǔn)確率對(duì)比如表9所示。

表9 工況0、三通道、從頭訓(xùn)練及10輪迭代歷遍的對(duì)比試驗(yàn)結(jié)果

將上述從頭訓(xùn)練得到的試驗(yàn)結(jié)果與采用遷移學(xué)習(xí)方法的試驗(yàn)結(jié)果對(duì)比如下圖7所示。

圖7 工況0時(shí)， 從頭訓(xùn)練與遷移學(xué)習(xí)的診斷準(zhǔn)確率對(duì)比

從上述對(duì)比試驗(yàn)中可以得到結(jié)論：

(1) 無(wú)論是單通道圖像輸入還是三通道圖像輸入，使用遷移學(xué)習(xí)方法均能得到更好的故障診斷表現(xiàn)。

(2) 對(duì)于從頭訓(xùn)練深度學(xué)習(xí)模型的情況，使用三通道數(shù)據(jù)仍能得到的更高的故障診斷準(zhǔn)確率。因此，三通道圖像數(shù)據(jù)比單通道圖像數(shù)據(jù)更適合用于基于深度學(xué)習(xí)模型的故障診斷。

(3) 本文提出的TL-ResNet不管是在單通道數(shù)據(jù)集上還是三通道數(shù)據(jù)集上都有最好的診斷準(zhǔn)確率，并且從頭進(jìn)行訓(xùn)練所需的時(shí)間在深層深度學(xué)習(xí)模型中也是最少的。

3.3 不同工況間的小樣本遷移試驗(yàn)

對(duì)于滾動(dòng)軸承在不同工況下的故障診斷問(wèn)題，利用CWRU數(shù)據(jù)集提供的4種不同工況下的試驗(yàn)數(shù)據(jù)，提出采用小樣本遷移的方法對(duì)TL-ResNet模型進(jìn)行調(diào)整，研究TL-ResNet在不同工況間的遷移效果。

本文中的遷移任務(wù)0→1表示將工況0下生成的TL-ResNet模型(即工況0為源域)，遷移應(yīng)用到工況1下的滾動(dòng)軸承故障診斷問(wèn)題中(即目標(biāo)域?yàn)楣r1)。

TL-ResNet在不同工況間遷移應(yīng)用時(shí)，把目標(biāo)域工況數(shù)據(jù)集中20%的樣本作為小樣本訓(xùn)練集，剩下的80%作為測(cè)試集，用于確定模型在不同工況下的真實(shí)診斷表現(xiàn)。

使用僅2輪迭代歷遍某一工況三通道圖像訓(xùn)練集遷移生成的TL-ResNet模型，采用小樣本遷移與直接應(yīng)用的方法對(duì)可能存在的12種工況遷移情況開(kāi)展對(duì)比試驗(yàn)，重復(fù)10次試驗(yàn)得到的結(jié)果如圖8所示。

圖8 TL-ResNet在不同工況遷移任務(wù)時(shí)的故障診斷準(zhǔn)確率對(duì)比

從圖8可知，采用小樣本遷移方法比直接應(yīng)用方法的故障診斷準(zhǔn)確率更高，即具有更好的診斷效果。

通過(guò)t-分布領(lǐng)域嵌入算法可以將TL-ResNet全連接層提取出的故障特征，降維至二維平面，并以散點(diǎn)圖的形式呈現(xiàn)，如圖9～圖12所示。

(a) 源域?yàn)楣r0

(a) 源域?yàn)楣r1

(a) 源域?yàn)楣r3

在3→0遷移任務(wù)的故障特征散點(diǎn)圖中，0.014英寸滾子故障特征與0.532 mm的滾子故障特征存在重疊現(xiàn)象，因此圖8中3→0遷移任務(wù)故障診斷準(zhǔn)確率較低。同理，在0→3遷移任務(wù)的故障特征散點(diǎn)圖中，0.356 mm滾子故障特征與0.356 mm內(nèi)圈故障特征存在重疊現(xiàn)象，因此圖8中0→3遷移任務(wù)故障診斷準(zhǔn)確率也較低。而其他遷移任務(wù)的故障診斷準(zhǔn)確率均在95%以上，故障特征散點(diǎn)圖中各個(gè)故障類別也具有明顯的界限。

因此，本文所提出的TL-ResNet算法在CWRU數(shù)據(jù)集的各種工況遷移任務(wù)中都能有效地提取出軸承故障特征，具有故障診斷準(zhǔn)確率高，訓(xùn)練速度快的優(yōu)點(diǎn)。

3.4 小樣本大小對(duì)工況遷移任務(wù)的影響

3.3節(jié)中從目標(biāo)域數(shù)據(jù)集中隨機(jī)分割出20%的樣本(工況0為261個(gè)樣本，工況1、2為307個(gè)樣本，工況3為308個(gè)樣本)作為小樣本訓(xùn)練集，得到了優(yōu)越的試驗(yàn)結(jié)果。

而在基于深度學(xué)習(xí)的方法中，訓(xùn)練樣本的大小對(duì)試驗(yàn)結(jié)果具有顯著的影響。為此，本節(jié)通過(guò)調(diào)整目標(biāo)域數(shù)據(jù)集的分割比例，分別為1%、5%、10%、15%、30%，生成不同大小的小樣本訓(xùn)練集，隨機(jī)選取任一工況，某次訓(xùn)練好的TL-ResNet模型，在12種可能的工況遷移任務(wù)上開(kāi)展對(duì)比試驗(yàn)，每種任務(wù)重復(fù)10次試驗(yàn)取平均值，試驗(yàn)結(jié)果如圖13所示。

圖13 小樣本大小對(duì)工況遷移任務(wù)的影響

從試驗(yàn)結(jié)果中可以看出，小樣本占目標(biāo)數(shù)據(jù)集的比例(即小樣本大小)為20%時(shí)，除了0→3任務(wù)外都能達(dá)到90%以上的故障診斷準(zhǔn)確率，再除開(kāi)3→0任務(wù)外其他任務(wù)都能達(dá)到95%以上的準(zhǔn)確率，與3.3節(jié)的試驗(yàn)結(jié)果與分析相符。而當(dāng)小樣本大小為30%時(shí)，僅在模型不遷移時(shí)診斷準(zhǔn)確率較低的任務(wù)(0→3，3→0，0→1)上會(huì)有顯著地提升，其他任務(wù)較20%的提升不顯著。

當(dāng)小樣本大小選取為1%時(shí)(工況0為13個(gè)樣本，工況1、2、3為15個(gè)樣本)試驗(yàn)結(jié)果相對(duì)于不遷移訓(xùn)練的提升有限，且在1→3和2→1任務(wù)中略有下降。因?yàn)?→3和2→1任務(wù)在不遷移時(shí)的故障診斷準(zhǔn)確率已經(jīng)分別達(dá)到98%和97%以上，而小樣本大小為1%時(shí)，用于訓(xùn)練的樣本數(shù)量極少，平均每種故障的樣本就1個(gè)或2個(gè)，而采用隨機(jī)生成的方法，在這種情況下會(huì)導(dǎo)致各類故障樣本的數(shù)量分布極不平衡(部分故障樣本可能就沒(méi)有出現(xiàn)過(guò)，而部分樣本又可能出現(xiàn)了3次以上)，這會(huì)導(dǎo)致模型遷移后的診斷準(zhǔn)確率降低。而當(dāng)小樣本大小選取為5%時(shí)，相對(duì)于1%的提升有限，且在0→1任務(wù)上，同樣也存在小樣本數(shù)據(jù)分布不平衡引起的準(zhǔn)確率下降。當(dāng)小樣本大小為10%時(shí)，各個(gè)遷移任務(wù)的診斷準(zhǔn)確率都較不遷移有較為顯著的提升，而為15%時(shí)較10%的提升有限。

綜上，可以認(rèn)為小樣本的大小為目標(biāo)域數(shù)據(jù)集的10%及以上時(shí)，應(yīng)用小樣本遷移才能取得明顯的和穩(wěn)定的準(zhǔn)確率提升?？傮w上不斷增加小樣本的大小，工況遷移任務(wù)的故障診斷準(zhǔn)確率會(huì)得到不斷地提升，而20%的比例能較好地平衡性能提升與小樣本的大小。

3.5 TL-ResNet與經(jīng)典滾動(dòng)軸承故障診斷算法的對(duì)比

本節(jié)使用帕德博恩大學(xué)的滾動(dòng)軸承數(shù)據(jù)集進(jìn)行試驗(yàn)驗(yàn)證，根據(jù)Lessmeier等研究中的試驗(yàn)基準(zhǔn)，使用相同的5折交叉驗(yàn)證方法，訓(xùn)練與測(cè)試TL-ResNet模型，其中測(cè)試集樣本比例為33%。因?yàn)镻U數(shù)據(jù)集的數(shù)據(jù)具有高采樣率，和故障模式復(fù)雜的特點(diǎn)，在試驗(yàn)中采用無(wú)重疊分割將數(shù)據(jù)集中連續(xù)的4 096個(gè)數(shù)據(jù)點(diǎn)作為一個(gè)樣本，通過(guò)10輪迭代歷遍訓(xùn)練集進(jìn)行ImageNet預(yù)訓(xùn)練模型的遷移，得到用于PU數(shù)據(jù)集的TL-ResNet，其余試驗(yàn)參數(shù)的設(shè)置同CWRU數(shù)據(jù)集試驗(yàn)。

試驗(yàn)結(jié)果與經(jīng)典滾動(dòng)軸承故障診斷算法基準(zhǔn)結(jié)果的對(duì)比如表10所示。其中，經(jīng)典滾動(dòng)軸承故障診斷算法采用振動(dòng)包絡(luò)譜分析作為故障特征提取器，故障分類器算法分別為：分類與回歸樹(shù)(CART)、隨機(jī)森林(RF)、Boosted樹(shù)(BT)、神經(jīng)網(wǎng)絡(luò)(NN)、融合粒子群參數(shù)優(yōu)化的支持向量機(jī)(SVM-PSO)、極限學(xué)習(xí)機(jī)、k最近鄰(kNN)和集成算法(Ensemble)。

表10 TL-ResNet與經(jīng)典故障診斷算法的試驗(yàn)結(jié)果對(duì)比

根據(jù)對(duì)比試驗(yàn)結(jié)果，本文所提出的TL-ResNet在測(cè)試集上的平均分類準(zhǔn)確率為95.2%，超過(guò)了所有經(jīng)典滾動(dòng)軸承故障診斷算法，顯示出本算法面對(duì)復(fù)雜故障診斷問(wèn)題時(shí)仍具有強(qiáng)大的故障診斷能力。

而平均診斷準(zhǔn)確率低于CWRU數(shù)據(jù)集上的試驗(yàn)，是因?yàn)樵赑U試驗(yàn)中使用的是滾動(dòng)軸承的真實(shí)故障數(shù)據(jù)，且每個(gè)標(biāo)簽都包含有不同故障模式生成的數(shù)據(jù)，故障模式比CWRU數(shù)據(jù)更為復(fù)雜(包含了復(fù)合、分布式故障等)，類內(nèi)差別大，取得精確度故障診斷結(jié)果難度高。

4 結(jié) 論

本文提出了一種基于遷移學(xué)習(xí)與深度殘差網(wǎng)絡(luò)的滾動(dòng)軸承快速故障診斷算法(TL-ResNet)，成功將ImageNet圖像數(shù)據(jù)集上的預(yù)訓(xùn)練模型遷移應(yīng)用到滾動(dòng)軸承故障診斷領(lǐng)域中，且通過(guò)小樣本遷移將TL-ResNet應(yīng)用到不同工況下的滾動(dòng)軸承故障診斷問(wèn)題中。

(1) 在CWRU軸承故障數(shù)據(jù)集上，對(duì)TL-ResNet進(jìn)行了試驗(yàn)驗(yàn)證，在2輪迭代歷遍訓(xùn)練集的條件下，訓(xùn)練時(shí)間僅要1.5 s，故障診斷準(zhǔn)確率達(dá)到99.8%。而對(duì)于不同工況下的軸承故障診斷問(wèn)題，本算法也能達(dá)到95%以上的平均故障診斷準(zhǔn)確率。因此，本算法具有訓(xùn)練速度快、泛化能力強(qiáng)和故障診斷準(zhǔn)確率高的優(yōu)點(diǎn)。

(2) 在PU數(shù)據(jù)集上本方法超過(guò)了所有經(jīng)典算法的診斷準(zhǔn)確率，這驗(yàn)證了本方法面對(duì)真實(shí)復(fù)雜軸承故障時(shí)強(qiáng)大的診斷能力。其能作為一種快速故障診斷方法用于工業(yè)實(shí)際中。

(3) CWRU與PU數(shù)據(jù)集中包含了不同類型滾動(dòng)軸承的故障數(shù)據(jù)，而TL-ResNet在試驗(yàn)中都能取得很高的故障診斷準(zhǔn)確率，因此，可以認(rèn)為本算法適用于大多數(shù)不同類型滾動(dòng)軸承的故障診斷。

本算法使用ImageNet數(shù)據(jù)集上訓(xùn)練的ResNet18模型作為預(yù)訓(xùn)練模型，將其前3層殘差層充當(dāng)經(jīng)典算法中的特征提取器，不涉及滾動(dòng)軸承故障診斷領(lǐng)域中的先驗(yàn)知識(shí)。因此，只要能將機(jī)械設(shè)備的故障診斷問(wèn)題轉(zhuǎn)化為圖像形式的分類問(wèn)題，TL-ResNet就能使用。根據(jù)Siyu等和Zhao等研究中的經(jīng)驗(yàn)，本算法理論上也能用于齒輪、電機(jī)和水泵等旋轉(zhuǎn)機(jī)械的故障診斷問(wèn)題，但還需要進(jìn)一步的試驗(yàn)來(lái)驗(yàn)證。

未來(lái)將對(duì)本算法進(jìn)行進(jìn)一步改進(jìn)，將其推廣到旋轉(zhuǎn)機(jī)械的故障診斷領(lǐng)域中，并開(kāi)展相關(guān)的試驗(yàn)驗(yàn)證，同時(shí)，可將本算法移植到邊緣計(jì)算端，開(kāi)發(fā)出一套具有實(shí)時(shí)故障診斷能力的嵌入式平臺(tái)，并在實(shí)際工業(yè)環(huán)境中進(jìn)行試驗(yàn)。