朱 琰,黃 敏,王小靜,鄭成東
(1.上海大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院,上海 200444;2.上海船舶設(shè)備研究所,上海 200031)
結(jié)構(gòu)越來(lái)越精密、系統(tǒng)越來(lái)越復(fù)雜的現(xiàn)代旋轉(zhuǎn)機(jī)械設(shè)備在使得生產(chǎn)力飛速提升的同時(shí)也使得設(shè)備發(fā)生故障的概率增加,對(duì)其維修性的需求也進(jìn)一步增加。雖然不可能做到完全杜絕機(jī)械故障的發(fā)生,但是可以對(duì)旋轉(zhuǎn)機(jī)械設(shè)備的運(yùn)行狀態(tài)進(jìn)行監(jiān)測(cè)和利用先進(jìn)的智能故障診斷技術(shù)對(duì)機(jī)械系統(tǒng)進(jìn)行故障預(yù)警與故障診斷[1]。傳統(tǒng)的智能故障診斷方法依賴于人工進(jìn)行特征提取,難以保證被提取的特征具有識(shí)別機(jī)械故障的最佳信息。在過(guò)去的十年中,深度學(xué)習(xí)技術(shù)已經(jīng)成為一個(gè)快速增長(zhǎng)的研究方向,其最先進(jìn)的性能在許多應(yīng)用中得到了體現(xiàn)。許多神經(jīng)網(wǎng)絡(luò),如SAE(堆疊自動(dòng)編碼器)[2]、DBN(深度信念網(wǎng)絡(luò))[3]、CNN(卷積神經(jīng)網(wǎng)絡(luò))[4]和RNN(遞歸神經(jīng)網(wǎng)絡(luò))[5]已經(jīng)被開發(fā)出來(lái)處理高非線性和強(qiáng)相關(guān)性的工業(yè)數(shù)據(jù)。因此,基于深度學(xué)習(xí)的故障診斷由于其自動(dòng)提取故障特征的優(yōu)勢(shì)也得到了廣泛的應(yīng)用。盡管深度學(xué)習(xí)相對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)在故障診斷方面有著巨大的優(yōu)勢(shì),但訓(xùn)練集和測(cè)試集之間總是存在分布分歧,這將導(dǎo)致深度網(wǎng)絡(luò)的診斷性能顯著下降。為了應(yīng)對(duì)這個(gè)問(wèn)題,有必要通過(guò)減少兩個(gè)數(shù)據(jù)集的分布差異來(lái)實(shí)現(xiàn)知識(shí)轉(zhuǎn)移。近年來(lái),基于深度遷移學(xué)習(xí)的算法體現(xiàn)出良好的性能,它可以利用來(lái)自預(yù)先存在的任務(wù)(源域)的知識(shí)來(lái)促進(jìn)模型訓(xùn)練和在不可見的機(jī)器診斷問(wèn)題(目標(biāo)域)中進(jìn)行診斷。如Lu等[6]提出了一種基于DNN(Deep Neural Network)和無(wú)監(jiān)督遷移學(xué)習(xí)的軸承故障診斷方法,無(wú)監(jiān)督遷移學(xué)習(xí)即假設(shè)源域數(shù)據(jù)標(biāo)簽可以獲得但目標(biāo)域數(shù)據(jù)的標(biāo)簽不可獲得或者目標(biāo)域故障數(shù)據(jù)標(biāo)簽不可獲得。利用DNN提取數(shù)據(jù)特征,源域數(shù)據(jù)特征與目標(biāo)域數(shù)據(jù)特征間的分布差異通過(guò)最大均值差異(Maximum Mean Discrepancy,MMD)度量,最后利用SVM(Support Vector Machine)進(jìn)行分類。Li 等[7]提出一個(gè)兩階段的基于CNN與生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)的診斷方法,即第一階段利用源域數(shù)據(jù)訓(xùn)練生成器用以生成盡可能逼真的特征,第二階段利用目標(biāo)域正常數(shù)據(jù)以及源域數(shù)據(jù)訓(xùn)練判別器用以分辨數(shù)據(jù)來(lái)自于哪一個(gè)領(lǐng)域,并利用美國(guó)凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集進(jìn)行了工況之間的遷移試驗(yàn)驗(yàn)證。Han等[8]提出一個(gè)基于一維CNN的無(wú)監(jiān)督診斷框架,主要用于目標(biāo)域數(shù)據(jù)標(biāo)簽不可獲得的應(yīng)用場(chǎng)景。該診斷框架不僅利用MMD適配了源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)間的邊緣概率分布,還適配了每個(gè)類別的條件概率分布。該文在公開的滾動(dòng)軸承數(shù)據(jù)集上進(jìn)行了不同工況之間的遷移試驗(yàn)驗(yàn)證。
然而,他們只考慮了兩個(gè)領(lǐng)域的邊緣概率分布,沒有對(duì)兩個(gè)領(lǐng)域的條件概率分布進(jìn)行綜合考慮;并且存在單純的一維時(shí)序信號(hào)空間特征不明顯、提取一維信號(hào)特征困難等問(wèn)題。文中提出了一個(gè)新的深度卷積遷移學(xué)習(xí)框架(Deep Convolution Transfer Learning Network,DCTLN)來(lái)解決上述問(wèn)題。首先提出改進(jìn)型聯(lián)合分布適配方法,綜合考慮了兩個(gè)領(lǐng)域的特征空間概率分布與標(biāo)簽空間概率分布,適配了源域與目標(biāo)域的聯(lián)合概率分布,使之適應(yīng)更加普遍的情況。其次將從原始信號(hào)中以等分截取的方式獲得的振動(dòng)數(shù)據(jù)轉(zhuǎn)換為灰度二維振動(dòng)圖像作為該框架的輸入,利用多隱藏層的卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為提取可遷移特征的主干。其中在提出的改進(jìn)型聯(lián)合分布差異方法中利用標(biāo)記源樣本和未標(biāo)記目標(biāo)樣本訓(xùn)練分類器,能夠很好地泛化目標(biāo)領(lǐng)域的測(cè)試數(shù)據(jù)。最終通過(guò)滑動(dòng)軸承-轉(zhuǎn)子的兩個(gè)診斷案例驗(yàn)證了所提方法的有效性。特別是在所模擬的這些遷移任務(wù)中,既有不同工況間的遷移,也有不同機(jī)器間的遷移。對(duì)比研究表明,該方法可以在不需要標(biāo)記目標(biāo)數(shù)據(jù)的情況下具有較高的診斷能力。
CNN作為深度學(xué)習(xí)的重要分支之一,以其出色的特征捕獲能力[9]而在模式識(shí)別領(lǐng)域具有突出的優(yōu)勢(shì)。一個(gè)基本的CNN包括輸入層、卷積層、池化層、全連接層和輸出層。它的本質(zhì)是構(gòu)造多個(gè)過(guò)濾器來(lái)對(duì)輸入進(jìn)行一層一層的卷積和池化,并提取他們的特性。其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地減少訓(xùn)練參數(shù)的數(shù)量,從而降低網(wǎng)絡(luò)的復(fù)雜性。卷積層由多個(gè)卷積核濾波器組成。運(yùn)用內(nèi)核過(guò)濾器與輸入層的子節(jié)點(diǎn)進(jìn)行卷積,然后輸出結(jié)果。池化層也由卷積核濾波器組成,通常設(shè)置在卷積層之后。池化層核濾波器的計(jì)算不是神經(jīng)元節(jié)點(diǎn)的加權(quán)和,而是最大或平均運(yùn)算,池化層的功能是執(zhí)行二次特征提取。全連接層是模型的一個(gè)分類模塊。它可以將通過(guò)卷積層和池化層提取的分布式特征映射到目標(biāo)空間,即從高維空間轉(zhuǎn)換到低維空間。全連接層基于Softmax激活映射功能實(shí)現(xiàn)數(shù)據(jù)的多分類。
遷移學(xué)習(xí)是指將從一個(gè)或多個(gè)領(lǐng)域(源域)學(xué)到的知識(shí)遷移到其他相似但不相同的領(lǐng)域(目標(biāo)域)[10]。領(lǐng)域由數(shù)據(jù)以及對(duì)應(yīng)的數(shù)據(jù)概率分布構(gòu)成。目標(biāo)域由要解決問(wèn)題時(shí)所直接依賴的數(shù)據(jù)及其概率分布構(gòu)成,而源域可以是任何擁有大量標(biāo)注數(shù)據(jù)且與目標(biāo)域相似的領(lǐng)域。在故障診斷領(lǐng)域,同類零部件的數(shù)據(jù),比如機(jī)器A上的兩個(gè)不同的滾動(dòng)軸承、機(jī)器A與機(jī)器B上的滾動(dòng)軸承等,都可看作是相似的領(lǐng)域,彼此之間可以進(jìn)行知識(shí)遷移。在目標(biāo)域中,當(dāng)難以獲取大量的故障數(shù)據(jù)去訓(xùn)練網(wǎng)絡(luò)時(shí),遷移學(xué)習(xí)可以使得我們能夠借助于其他工況或者類似的機(jī)器上的數(shù)據(jù)(可以看作源域),結(jié)合目標(biāo)域中訓(xùn)練集有限的數(shù)據(jù)樣本,來(lái)幫助訓(xùn)練網(wǎng)絡(luò)模型,從而在目標(biāo)域的測(cè)試集上獲得令人滿意的效果。具體而言,遷移學(xué)習(xí)可以使得深層網(wǎng)絡(luò)提取不隨領(lǐng)域變化的特征,并且將從源域數(shù)據(jù)中提取的特征用來(lái)訓(xùn)練特征分類器,實(shí)現(xiàn)對(duì)目標(biāo)域數(shù)據(jù)的準(zhǔn)確分類。
在遷移學(xué)習(xí)中,領(lǐng)域自適應(yīng)(Domain Adaption)是最常用、最熱門的遷移方法之一,其思想大致為:給定一個(gè)有著ns個(gè)標(biāo)記樣本的源域和一個(gè)有nt個(gè)無(wú)標(biāo)記樣本的目標(biāo)域代表特征空間,Y={yi}ni=1是對(duì)應(yīng)的標(biāo)簽空間,在遷移學(xué)習(xí)中,假定兩個(gè)領(lǐng)域的邊緣概率分布P(X)和條件概率分布Q(Y|X)彼此不相同,即P(Xs)≠P(Xt)、P(Ys|Xs)≠P(Yt|Xt),而領(lǐng)域自適應(yīng)的目的就是把源域和目標(biāo)域的概率分布對(duì)齊,從而實(shí)現(xiàn)利用源域標(biāo)記數(shù)據(jù)訓(xùn)練出來(lái)的分類器可以準(zhǔn)確預(yù)測(cè)出目標(biāo)域數(shù)據(jù)樣本的標(biāo)簽。
而在領(lǐng)域自適應(yīng)中,常用最大均值差異(Maximum Mean Discrepancy,MMD)[11]度量?jī)蓚€(gè)領(lǐng)域間相似度的距離。MMD 具有效果好、無(wú)額外參數(shù)的特點(diǎn),用來(lái)度量?jī)蓚€(gè)數(shù)據(jù)分布在一個(gè)叫作再生核希爾伯特空間的高維空間中的距離:
其中:kφ(·)代表核函數(shù)。
上述MMD 是基于單一核變換的,性能通常達(dá)不到最佳。而多核的MMD(Multiple-kernel MMD,MK-MMD)[11]由多個(gè)核線性組合得到,通??梢匀〉帽葐魏薓MD更好的效果。
本文提出了1種基于深度遷移學(xué)習(xí)的新型網(wǎng)絡(luò)診斷框架—標(biāo)準(zhǔn)化的卷積遷移學(xué)習(xí)網(wǎng)絡(luò)(Deep Convolution Transfer Learning Network,DCTLN),其結(jié)構(gòu)示意如圖1所示。整個(gè)框架由輸入部分、數(shù)據(jù)預(yù)處理部分、特征提取器(CNN)、分類器、遷移學(xué)習(xí)模塊(IM-JDD)等構(gòu)成,能夠更加方便地實(shí)現(xiàn)端到端診斷且適合在線診斷,具有無(wú)監(jiān)督遷移學(xué)習(xí)功能。
圖1 DCTLN結(jié)構(gòu)示意圖
首先,由于CNN 本身擅長(zhǎng)圖像數(shù)據(jù)處理,網(wǎng)絡(luò)的輸入為將原始振動(dòng)時(shí)域信號(hào)經(jīng)過(guò)預(yù)處理后所得的二維振動(dòng)圖像,大大提升了特征提取的效率,同時(shí)大大降低了在信號(hào)處理方面要求。診斷框架中特征提取器(Feature Extractor)的主體結(jié)構(gòu)為CNN,主要用于高維輸入數(shù)據(jù)自動(dòng)提取特征,得到較低維度的主要特征,然后送入分類器進(jìn)行分類,同時(shí)也送入IMJDD用來(lái)衡量源域與目標(biāo)域的數(shù)據(jù)分布差異。特征提取器部分如表1所示,主要由3 層卷積層、池化層和2 層全連接網(wǎng)絡(luò)組成,且每一層網(wǎng)絡(luò)的輸出都會(huì)經(jīng)過(guò)批量標(biāo)準(zhǔn)化層(Batch Normalization,BN)進(jìn)行處理,然后再輸入到下一層網(wǎng)絡(luò),這在一定程度上解決了內(nèi)部協(xié)變量偏移問(wèn)題,降低了梯度發(fā)散的幾率。
表1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)
由特征提取器所提取的目標(biāo)域、源域數(shù)據(jù)樣本的特征,一方面被送入分類器進(jìn)行分類,得到特征的標(biāo)簽概率分布,并通過(guò)計(jì)算預(yù)測(cè)標(biāo)簽與真實(shí)標(biāo)簽的差異來(lái)求得數(shù)據(jù)樣本的分類損失;另一方面,被送入IM-JDD中去度量源域與目標(biāo)域的分布差異。最后,用以反向傳播更新網(wǎng)絡(luò)參數(shù)的總的損失項(xiàng)由分類損失與遷移損失(目標(biāo)域與源域的分布差異)兩部分組成。
與傳統(tǒng)的一維振動(dòng)信號(hào)時(shí)域分析和頻域分析相比,二維振動(dòng)圖像可以很好地揭示故障信息和非平穩(wěn)信號(hào)的時(shí)變特性。因此,由每一個(gè)短信號(hào)轉(zhuǎn)換成的灰度像素圖像包含了更為豐富的軸承健康狀態(tài)信息[12]。通過(guò)MATLAB轉(zhuǎn)換振動(dòng)圖像,如圖2所示:首先對(duì)軸承幾種狀態(tài)的原始振動(dòng)信號(hào)進(jìn)行等分截取,如為了得到n×n像素大小的圖像,就要在原始信號(hào)中從第一個(gè)信號(hào)開始截取n2的信號(hào)長(zhǎng)度,后面的信號(hào)每段都截取相同長(zhǎng)度,將信號(hào)序列最后剩余的數(shù)據(jù)去除。然后將截取的每個(gè)n2的信號(hào)長(zhǎng)度轉(zhuǎn)換得到二維振動(dòng)圖像,轉(zhuǎn)換的公式表示為:
圖2 振動(dòng)數(shù)據(jù)轉(zhuǎn)換成振動(dòng)圖像的過(guò)程圖
在式(2)中:j=1,2,3…,N;k=1,2,3,…,N,L(i)中的i=1,2,3,…,N2,函數(shù)round( )是舍入函數(shù),將整個(gè)像素值從0歸一化成255,即灰度像素的像素強(qiáng)度。
一般而言,常用的MMD 方法只考慮了兩個(gè)領(lǐng)域的邊緣概率分布,也就是特征的概率分布,沒有對(duì)兩個(gè)領(lǐng)域的條件概率分布,即標(biāo)簽空間的概率分布進(jìn)行綜合考慮。Long 等[10]提出的聯(lián)合分布差異(Joint Distribution Discrepancy,JDD)方法綜合考慮了兩個(gè)領(lǐng)域的特征空間概率分布與標(biāo)簽空間概率分布,適配了源域與目標(biāo)域的聯(lián)合概率分布。這時(shí)兩個(gè)領(lǐng)域的分布差異可以被估計(jì)為:
其中:Ds、Dt分別代表源域與目標(biāo)域,ns、nt分別為源域、目標(biāo)域中樣本數(shù)量,kφ、kφ表示不同的核函數(shù),xs、xt表示網(wǎng)絡(luò)自動(dòng)提取的樣本特征,、為網(wǎng)絡(luò)所預(yù)測(cè)的樣本標(biāo)簽概率分布,經(jīng)過(guò)Softmax層處理。
由于遷移學(xué)習(xí)方法JDD主要應(yīng)用在圖像識(shí)別方面,且應(yīng)用場(chǎng)景為無(wú)監(jiān)督遷移學(xué)習(xí),即假定目標(biāo)域中樣本標(biāo)簽不可獲取或者樣本沒有被標(biāo)記,缺乏真實(shí)的標(biāo)簽,所以式(2)中的源域與目標(biāo)域的標(biāo)簽y均以網(wǎng)絡(luò)分類器所預(yù)測(cè)的偽標(biāo)簽y^ 來(lái)代替,且將偽標(biāo)簽均輸入到Softmax輸出層處理,為原始的標(biāo)簽概率分布。為了能讓這種遷移方法在故障診斷領(lǐng)域有著更好的效果,對(duì)JDD 方法進(jìn)行改進(jìn),得到改進(jìn)型JDD(Improved JDD,IM-JDD)方法,即將式(2)中的源域預(yù)測(cè)標(biāo)簽改為真實(shí)標(biāo)簽,而目標(biāo)域標(biāo)簽仍為網(wǎng)絡(luò)預(yù)測(cè)的偽標(biāo)簽的概率分布:
其中:ys為源域數(shù)據(jù)樣本的真實(shí)標(biāo)簽,而為網(wǎng)絡(luò)所預(yù)測(cè)目標(biāo)域中數(shù)據(jù)樣本的標(biāo)簽概率空間。
當(dāng)將DCTLN用于無(wú)監(jiān)督遷移時(shí),特征提取器被用以提取數(shù)據(jù)樣本的特征,所提取的特征一方面送入源域分類器中計(jì)算分類損失,另一方面要用來(lái)計(jì)算兩個(gè)領(lǐng)域之間的數(shù)據(jù)分布差異。由于目標(biāo)域中的數(shù)據(jù)樣本沒有標(biāo)簽,所以圖1中的用于目標(biāo)域數(shù)據(jù)分類的分類器是不工作的,只有源域數(shù)據(jù)的特征才會(huì)送入源域分類器,并計(jì)算源域數(shù)據(jù)的分類損失,加入到總的訓(xùn)練損失里面。IM-JDD 中計(jì)算的是聯(lián)合分布差異,所以不僅需要兩個(gè)領(lǐng)域中數(shù)據(jù)樣本的特征,還需要對(duì)應(yīng)數(shù)據(jù)樣本的標(biāo)簽。送入IM-JDD 中的標(biāo)簽分為兩部分:一部分為源域數(shù)據(jù)的真實(shí)標(biāo)簽概率分布,另一部分為目標(biāo)域數(shù)據(jù)的預(yù)測(cè)標(biāo)簽概率分布。無(wú)監(jiān)督遷移時(shí),整個(gè)框架的目標(biāo)函數(shù)為:
其中:μ、λ分布為分類損失與概率分布差異的懲罰系數(shù),為超參數(shù)。D(Ds,Dt)為源域與目標(biāo)域中樣本概率分布差異,即遷移損失。Θ是網(wǎng)絡(luò)可訓(xùn)練參數(shù)的集合,包括各網(wǎng)絡(luò)層的權(quán)重矩陣W、偏置b。Lc為交叉熵分類損失:
其中:ns為源域樣本,y為源域數(shù)據(jù)樣本的真實(shí)標(biāo)簽,為對(duì)應(yīng)樣本的分類器預(yù)測(cè)的標(biāo)簽。預(yù)測(cè)標(biāo)簽y^ 由如下過(guò)程得到:
其中:C為總的類別數(shù),其數(shù)值等于分類器中神經(jīng)元數(shù)目。W為權(quán)重,f2表示第二層全連接網(wǎng)絡(luò)層的輸出,即特征提取器的輸出,b為偏置項(xiàng)。式(7)的主要作用為將分類器的全連接網(wǎng)絡(luò)層的輸出轉(zhuǎn)換成樣本屬于每一類的概率。
(1)診斷實(shí)驗(yàn)1:雙軸滑動(dòng)軸承-轉(zhuǎn)子振動(dòng)實(shí)驗(yàn)
該實(shí)驗(yàn)平臺(tái)主要由直流電機(jī)、聯(lián)軸節(jié)、轉(zhuǎn)軸、配重圓盤、軸承座、底座、壓板等結(jié)構(gòu)組成,如圖3所示。實(shí)驗(yàn)時(shí)通過(guò)改變轉(zhuǎn)速、引入故障的程度來(lái)模擬不同工況的故障數(shù)據(jù)。模擬不同工況時(shí),通過(guò)改變調(diào)速器輸出電壓來(lái)改變轉(zhuǎn)速,采集轉(zhuǎn)速分別為1 500 r/min、1 800 r/min、2 500 r/min、2 800 r/min、3 500 r/min、3 800 r/min 時(shí)的振動(dòng)信號(hào)。試驗(yàn)中模擬的故障類型有不平衡、不對(duì)中以及復(fù)合故障,通過(guò)在圓盤上添加配重螺釘模擬不平衡故障[13],用在軸承座下添加墊片方式模擬不對(duì)中故障[14],2種故障同時(shí)存在時(shí)模擬復(fù)合故障。為了清晰起見,使用軸在承轉(zhuǎn)速為1 800 r/min、2 500 r/min和3 800 r/min時(shí)的數(shù)據(jù)來(lái)構(gòu)建遷移學(xué)習(xí)任務(wù),分別用A、B和C表示,如表2所示。與大多數(shù)現(xiàn)有的公共數(shù)據(jù)集相比,本次實(shí)驗(yàn)的轉(zhuǎn)速差更大。據(jù)此,設(shè)計(jì)了6 個(gè)不同工況間轉(zhuǎn)移任務(wù)。不同轉(zhuǎn)速下的不平衡振動(dòng)信號(hào)時(shí)域圖如圖5所示。
圖3 雙軸滑動(dòng)軸承-轉(zhuǎn)子振動(dòng)實(shí)驗(yàn)臺(tái)
圖5 不同轉(zhuǎn)速下的不平衡振動(dòng)信號(hào)時(shí)域圖
(2)診斷實(shí)驗(yàn)2:?jiǎn)屋S滑動(dòng)軸承-轉(zhuǎn)子振動(dòng)實(shí)驗(yàn)
相對(duì)比的單軸實(shí)驗(yàn)臺(tái)如圖4所示。該實(shí)驗(yàn)平臺(tái)相較實(shí)驗(yàn)臺(tái)1是單軸結(jié)構(gòu),多了水箱、控制箱。試驗(yàn)設(shè)置同實(shí)驗(yàn)1,不同的是不對(duì)中故障通過(guò)改變電機(jī)底座螺紋擰的深度模擬。本實(shí)驗(yàn)中使用軸承轉(zhuǎn)速為2 000 r/min和3 000 r/min時(shí)的數(shù)據(jù)構(gòu)建遷移學(xué)習(xí)任務(wù),分別用D 和E 表示,如表2所示。4 種軸承健康狀態(tài)的二維振動(dòng)信號(hào)圖像如圖6所示。
圖4 單軸滑動(dòng)軸承-轉(zhuǎn)子振動(dòng)實(shí)驗(yàn)臺(tái)
表2 遷移任務(wù)中所用數(shù)據(jù)集的主要信息
圖6 4種軸承健康狀態(tài)的二維振動(dòng)信號(hào)圖像
為了驗(yàn)證框架中遷移方法IM-JDD 的效果,在不同的數(shù)據(jù)集上執(zhí)行不同類型的遷移任務(wù),即實(shí)現(xiàn)工況之間的遷移和機(jī)器間的遷移。不同方法所用網(wǎng)絡(luò)模型與圖1所示一致,即均為CNN 網(wǎng)絡(luò)。除了所提出的IM-JDD方法以外,作為對(duì)比,還引入了其他兩種方法:(1)CNN(沒有實(shí)施遷移學(xué)習(xí));(2)CNN+MK-MMD(在CNN網(wǎng)絡(luò)中實(shí)施了多核MMD遷移學(xué)習(xí)方法)。對(duì)于每次遷移任務(wù),對(duì)網(wǎng)絡(luò)模型迭代訓(xùn)練300次。使用Adam優(yōu)化器來(lái)加速網(wǎng)絡(luò)的收斂過(guò)程,學(xué)習(xí)率設(shè)為0.001。式(5)所示目標(biāo)函數(shù)中分類損失的懲罰因子μ取為1,領(lǐng)域分布差異的懲罰因子λ在訓(xùn)練過(guò)程中的取值由如下過(guò)程確定:
其中:p為當(dāng)前訓(xùn)練的進(jìn)度,其值在0~1之間變化。比如,總共訓(xùn)練網(wǎng)絡(luò)300 次,當(dāng)前已經(jīng)迭代訓(xùn)練了150次,那么p取為0.5。λ的取值從0到1逐漸增加,這樣使得領(lǐng)域分布差異在總的損失中所占的比重在逐漸增加,網(wǎng)絡(luò)訓(xùn)練會(huì)比較平穩(wěn),波動(dòng)會(huì)減少。
基于不同診斷方法的在不同遷移任務(wù)中的推斷結(jié)果如表3所示。對(duì)于每一項(xiàng)遷移任務(wù),箭頭前的字母表示源域,箭頭指向的字母代表目標(biāo)域。診斷結(jié)果為訓(xùn)練后的模型在目標(biāo)域測(cè)試集上的推理準(zhǔn)確率。
表3 不同診斷方法在各項(xiàng)遷移任務(wù)中的推理準(zhǔn)確率/(%)
在無(wú)監(jiān)督遷移學(xué)習(xí)中,對(duì)于遷移任務(wù)A→B,A代表源域,包含大量有標(biāo)簽數(shù)據(jù)樣本,B 為目標(biāo)域,訓(xùn)練集中的數(shù)據(jù)樣本都是沒有標(biāo)簽的,但通常假設(shè)測(cè)試集標(biāo)簽可以獲得,以方便對(duì)模型性能進(jìn)行評(píng)估。對(duì)于第一種診斷方法CNN,由于沒有使用遷移學(xué)習(xí),網(wǎng)絡(luò)模型只能利用源域中訓(xùn)練集的有標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練,然后在目標(biāo)域測(cè)試集上進(jìn)行測(cè)試。對(duì)于第1、第2種診斷方法,由于分布使用了MK-MMD與IM-JDD 遷移學(xué)習(xí)方法,使得在訓(xùn)練CNN 網(wǎng)絡(luò)時(shí)還可以利用目標(biāo)域訓(xùn)練集中的無(wú)標(biāo)簽數(shù)據(jù)。
根據(jù)表3中的數(shù)據(jù),可以發(fā)現(xiàn):
(1)第1種診斷方法(使用深度學(xué)習(xí)但不使用遷移學(xué)習(xí))在各項(xiàng)遷移任務(wù)中的推理準(zhǔn)確率均遠(yuǎn)遠(yuǎn)低于另外兩種基于遷移學(xué)習(xí)的診斷方法,這說(shuō)明在訓(xùn)練集與測(cè)試集的數(shù)據(jù)分布差異比較大時(shí),非常有必要利用遷移學(xué)習(xí)來(lái)提升深度學(xué)習(xí)網(wǎng)絡(luò)模型的診斷準(zhǔn)確率;
(2)基于IM-JDD 的深度遷移學(xué)習(xí)診斷方法在各項(xiàng)遷移任務(wù)中的表現(xiàn)均優(yōu)于基于MK-MMD的深度遷移學(xué)習(xí)診斷方法,最多時(shí)可以提升準(zhǔn)確率接近5個(gè)百分點(diǎn),平均診斷準(zhǔn)確率超過(guò)了91%;此外展示了遷移任務(wù)D→E 的推理準(zhǔn)確率隨著模型訓(xùn)練次數(shù)增加的變化情況,如圖7所示??梢钥吹剑琁M-JDD曲線在此遷移任務(wù)中比MK-MMD 曲線更加穩(wěn)定、波動(dòng)幅度更小,同時(shí)收斂更快。
圖7 遷移任務(wù)D→E的推理準(zhǔn)確率
(3)對(duì)于兩個(gè)領(lǐng)域,遷移的方向不同,最終的遷移效果也不同,比如任務(wù)A→B 與任務(wù)B→A,以及任務(wù)A→C 與任務(wù)C→A,尤其跨機(jī)器遷移的任務(wù)B→E 與任務(wù)E→B,這兩個(gè)任務(wù)所涉及的領(lǐng)域相同,但遷移的方向相反,最終的推理準(zhǔn)確率相差了接近10%甚至18%,這說(shuō)明遷移的方向也是影響遷移效果的重要因素;
(4)由較復(fù)雜的數(shù)據(jù)領(lǐng)域遷移至較為簡(jiǎn)單的數(shù)據(jù)領(lǐng)域的難度要小于由較簡(jiǎn)單的數(shù)據(jù)領(lǐng)域遷移至較為復(fù)雜的數(shù)據(jù)領(lǐng)域。A中的數(shù)據(jù)相較于B和C中的數(shù)據(jù),D中的數(shù)據(jù)相較于E中的數(shù)據(jù)來(lái)說(shuō),其低轉(zhuǎn)速工況下的信號(hào)成分因?yàn)楣收铣潭容^低,相對(duì)于高轉(zhuǎn)速工況簡(jiǎn)單,所以由低速工況做源域的遷移難度較大。
圖8給出了在遷移任務(wù)B→E中,基于只用CNN以及用遷移學(xué)習(xí)MK-MMD 與IM-JDD 的網(wǎng)絡(luò)模型中的特征提取器所提取特征的t-SNE可視化圖。圖中圓點(diǎn)代表源域數(shù)據(jù),加號(hào)代表目標(biāo)域數(shù)據(jù),不同的顏色代表不同的類別。圖例中的大寫字母代表類別,小寫字母代表源域或者目標(biāo)域。例如,imbalance-s表示源域中的不平衡故障,imbalance-t代表目標(biāo)域中的不平衡故障。
從圖8中可以看出兩種遷移方法在類與類之間基本都能正確地區(qū)分。但是對(duì)于幾種故障類型,基于IM-JDD 方法能夠增加類與類之間的距離,讓各個(gè)類別的輪廓更加清晰,如圖8(c)中每個(gè)類所集中區(qū)域相隔較遠(yuǎn);同時(shí)所提取的源域與目標(biāo)域特征要更集中一些,即類內(nèi)距更小,如圖中normal 和compound類的樣本更加緊湊,這樣有利于分類器進(jìn)行正確分類。
圖8 遷移任務(wù)B→E可視化結(jié)果
本文提出了一個(gè)新的深度卷積遷移學(xué)習(xí)框架DCTLN。采用二維振動(dòng)圖像作為輸入,提出的遷移方法IM-JDD 明顯縮小了目標(biāo)域數(shù)據(jù)與源域數(shù)據(jù)的分布差異。該框架實(shí)現(xiàn)了無(wú)標(biāo)記滑動(dòng)軸承-轉(zhuǎn)子系統(tǒng)的狀態(tài)的準(zhǔn)確識(shí)別。經(jīng)實(shí)驗(yàn)驗(yàn)證得到以下結(jié)論:
(1)在遷移學(xué)習(xí)方法JDD 的基礎(chǔ)上進(jìn)行改進(jìn)得到IM-JDD 以適應(yīng)輸入數(shù)據(jù)類型的變化,實(shí)現(xiàn)了故障診斷領(lǐng)域中源域與目標(biāo)域的聯(lián)合概率適配。在滑動(dòng)軸承-轉(zhuǎn)子系統(tǒng)上進(jìn)行了無(wú)監(jiān)督場(chǎng)景下的故障診斷試驗(yàn),結(jié)果表明在所有診斷任務(wù)上IM-JDD 均優(yōu)于其他遷移學(xué)習(xí)方法。
(2)將振動(dòng)時(shí)域信號(hào)轉(zhuǎn)化為二維灰度圖像用于直接診斷,避免了預(yù)處理導(dǎo)致的信息丟失問(wèn)題,減少信息處理的繁瑣步驟和時(shí)間,大大提升效率。
(3)基于IM-JDD 的DCTLN 框架對(duì)于滑動(dòng)軸承-轉(zhuǎn)子系統(tǒng)不同工況和不同機(jī)器間的無(wú)標(biāo)記樣本具有有效的分布對(duì)準(zhǔn)能力和判別能力,能更好地應(yīng)對(duì)實(shí)際應(yīng)用場(chǎng)景。