閆繪宇,張 超*

(1.內(nèi)蒙古科技大學(xué) 機(jī)械工程學(xué)院,內(nèi)蒙古 包頭 014017;2.內(nèi)蒙古自治區(qū)機(jī)電系統(tǒng)智能診斷與控制重點(diǎn)實(shí)驗(yàn)室,內(nèi)蒙古 包頭 014010)

0 引 言

齒輪是機(jī)械設(shè)備系統(tǒng)的重要組成部分。它們?cè)跈C(jī)械設(shè)備動(dòng)力傳輸、運(yùn)行速度控制、運(yùn)行軌跡調(diào)節(jié)[1]方面發(fā)揮巨大作用。齒輪的傳動(dòng)效率高、承載能力好,已被廣泛應(yīng)用于各種不同的領(lǐng)域,如冶煉鋼鐵、風(fēng)力發(fā)電、莊家收割、各種制造業(yè)、航天航空等[2]。如果對(duì)齒輪在運(yùn)行過(guò)程中發(fā)生的故障沒(méi)有及時(shí)發(fā)現(xiàn)并采取有效的診斷措施,可能會(huì)導(dǎo)致機(jī)器卡死、工廠停工,以及更嚴(yán)重的人身傷亡事故[3]。因此,必須采取有效的故障診斷措施,盡早發(fā)現(xiàn)問(wèn)題的根源,從而降低系統(tǒng)故障的風(fēng)險(xiǎn),提高工作效率,最大限度地減少事故的發(fā)生。

隨著技術(shù)的發(fā)展,傳統(tǒng)的故障診斷方法已經(jīng)無(wú)法滿(mǎn)足當(dāng)今對(duì)復(fù)雜系統(tǒng)的需求,其只能從數(shù)據(jù)表象中抽取出外觀、功能、行為等表象,而無(wú)法捕捉更深層次的信息[4]。深度學(xué)習(xí)技術(shù)在近些年發(fā)展迅猛,其憑借獨(dú)特的優(yōu)勢(shì),已經(jīng)被廣泛應(yīng)用于各種不同的領(lǐng)域[5]。

萬(wàn)安平等人[6]針對(duì)傳統(tǒng)方法提取特征過(guò)于繁瑣的問(wèn)題,采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN),自動(dòng)對(duì)信號(hào)特征進(jìn)行了提取。ZHANG Kai等人[7]提出了一種新的殘差網(wǎng)絡(luò)方法,其對(duì)原始信號(hào)進(jìn)行了小波變換,以改善殘差網(wǎng)絡(luò),并重點(diǎn)關(guān)注小波系數(shù)的突出特征。HU Hao等人[8]提出了一種基于深度信念網(wǎng)絡(luò)的齒輪故障診斷方法,借此提取了齒輪的時(shí)域信號(hào)和頻域信號(hào),并確定了模型的最優(yōu)參數(shù),再將振動(dòng)數(shù)據(jù)分為訓(xùn)練集和測(cè)試集,并輸入到模型中,自動(dòng)提取了振動(dòng)信號(hào)的特征和識(shí)別故障。

然而,齒輪的運(yùn)行環(huán)境復(fù)雜多變,有時(shí)要獲取高質(zhì)量的故障樣本極為困難,導(dǎo)致實(shí)際的訓(xùn)練數(shù)據(jù)相對(duì)匱乏,這就使得深度學(xué)習(xí)在小樣本條件下的應(yīng)用存在一定的局限性。

元學(xué)習(xí)也可以使用在小樣本識(shí)別中,其可以輔助數(shù)據(jù)學(xué)習(xí)元知識(shí),并將其遷移到目標(biāo)任務(wù)中。但其如何學(xué)習(xí)知識(shí)、積累知識(shí),還處在起步階段,尚有很大的研究空間。

目前,遷移學(xué)習(xí)(transfer learning,TL)技術(shù)的發(fā)展比較成熟。它可以將遷移在源域中的知識(shí)用在目標(biāo)域的學(xué)習(xí)上[9]。其采用遷移學(xué)習(xí)方法,模型在源域利用充足的樣本進(jìn)行訓(xùn)練,在目標(biāo)域用部分樣本微調(diào)參數(shù),從而開(kāi)始新的任務(wù)。

張根保等人[10]使用了稀疏自動(dòng)編碼器,并采用柔性最大值函數(shù)回歸,以提高模型的自適應(yīng)能力,還采用遷移學(xué)習(xí)方法進(jìn)行了故障診斷。王琦等人[11]利用最大均值差異衡量源域和目標(biāo)域的特征分布,在小樣本下,采用CNN和遷移學(xué)習(xí)方法進(jìn)行了診斷故障。石靜雯等人[12]將CNN、門(mén)控循環(huán)單元、注意力機(jī)制組合在一起,避免了人工經(jīng)驗(yàn)的依賴(lài),在小樣本下,采用遷移學(xué)習(xí)方法進(jìn)行了診斷故障。

由于上述方法網(wǎng)絡(luò)模型結(jié)構(gòu)簡(jiǎn)單、特征提取能力有限,導(dǎo)致其故障診斷精度不高。

針對(duì)上述問(wèn)題,筆者提出一種小樣本下的齒輪故障診斷方法。

首先,構(gòu)建Transformer-CNN模型,將原始信號(hào)經(jīng)高斯濾波平滑處理后再進(jìn)行補(bǔ)丁序列化處理,作為模型的輸入,模型自動(dòng)提取信號(hào)的時(shí)間特性和空間特性等特征信息;最后,采用基于模型參數(shù)的遷移學(xué)習(xí)方法,在小樣本下對(duì)齒輪的故障進(jìn)行診斷。

1 理論基礎(chǔ)

1.1 信號(hào)平滑處理

傳感器采集的振動(dòng)信號(hào)往往伴隨著大量的噪聲。為了減少噪聲信號(hào)的干擾,需要對(duì)原始振動(dòng)信號(hào)進(jìn)行預(yù)處理,使振動(dòng)曲線(xiàn)變得更加精確、穩(wěn)定[13]。

高斯濾波對(duì)信號(hào)的平滑處理效果較好,而且可以極大程度地保留信號(hào)的主要特征,并能夠抑制噪聲信號(hào)的干擾,因此筆者使用高斯濾波技術(shù)對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理[14]。常見(jiàn)的高斯濾波方法是離散化窗口滑窗卷積。

振動(dòng)信號(hào)的原始數(shù)據(jù)如圖1所示。

圖1 原始振動(dòng)信號(hào)

經(jīng)高斯濾波處理后的振動(dòng)信號(hào)如圖2所示。

圖2 平滑處理后的振動(dòng)信號(hào)

由圖2可以明顯看出:高斯濾波處理后的振動(dòng)信號(hào)更加平滑。因?yàn)楦咚篂V波去除了部分干擾數(shù)據(jù),使得數(shù)據(jù)利用率更高,提高了齒輪故障診斷的精度。

1.2 Transformer基礎(chǔ)知識(shí)

Transformer由注意力機(jī)制構(gòu)成,并根據(jù)編碼器和解碼器控制數(shù)據(jù)的輸入和輸出。Transformer已經(jīng)在自然語(yǔ)言處理和圖像處理等領(lǐng)域得到了應(yīng)用。Transformer模型因有特殊的網(wǎng)絡(luò)結(jié)構(gòu),可以對(duì)樣本進(jìn)行并行化計(jì)算,提高了模型的計(jì)算效率。

Transformer編碼器層的基礎(chǔ)結(jié)構(gòu)如圖3所示。

圖3 Transformer編碼器層的基礎(chǔ)結(jié)構(gòu)

Transformer編碼器從輸入序列中提取數(shù)據(jù)的特征信息。Transformer編碼器層可以分為兩個(gè)部分:

1)多頭自注意力機(jī)制(multi-head self-attention,MSA),其將同一個(gè)輸入序列經(jīng)過(guò)線(xiàn)性映射得到key、value和query,Transformer編碼器層的輸出作為下一個(gè)Transformer編碼器層的輸入,因此模型中的每一個(gè)位置的特征輸出向量都能夠關(guān)注到前一個(gè)編碼器層輸出序列的位置信息;

2)全連接前饋網(wǎng)絡(luò)(fully-connected feed-forward network,FFN),其公式表示如下:

FFN(x)=max(0,xW1+b1)W2+b2

(1)

式中:W1,W2和b1,b2為FFN中訓(xùn)練的權(quán)重和偏置參數(shù)。

在FFN前后加入層歸一化(layer normalization,LN)[15]。LN的作用是對(duì)中間層全部的神經(jīng)元進(jìn)行歸一化操作,具體計(jì)算表達(dá)如下:

(2)

(3)

(4)

同時(shí),LN能夠減少訓(xùn)練時(shí)間,提高模型的運(yùn)算速度。為了便于進(jìn)行殘差連接,Transformer編碼器中所有子層的輸出維度都是維度dmodel。

1.3 補(bǔ)丁序列化和嵌入操作

齒輪的振動(dòng)數(shù)據(jù)大多由加速度傳感器采集得到,其采集的數(shù)據(jù)大多是一維的,而Transformer編碼器識(shí)別序列數(shù)據(jù)效果更好。因此,需要將一維數(shù)據(jù)處理成特殊的補(bǔ)丁序列[16]。一維的振動(dòng)信號(hào)x=[x1,x2,…,xM]∈RM,可以被處理成大小始終不變的補(bǔ)丁序列,x可以是長(zhǎng)度為M的時(shí)域信號(hào)或者頻譜數(shù)據(jù)。

筆者采用可學(xué)習(xí)的線(xiàn)性映射生成補(bǔ)丁線(xiàn)性嵌入z∈RN×dmodel,其向量維度為dmodel,計(jì)算表達(dá)式如下[17-18]:

z=xpE

(5)

式中:E為線(xiàn)性投影,E∈RL×dmodel。

為了使補(bǔ)丁序列保持其嚴(yán)格的順序,需要在補(bǔ)丁嵌入序列中插入位置信息。Transformer模型的位置編碼公式如下:

PE(pos,2i)=sin(pos/10 0002i/dmodel)

(6)

PE(pos,2i+1)=cos(pos/10 0002i/dmodel)

(7)

式中:pos為位置信息;i為維度。

補(bǔ)丁嵌入序列z得到位置信息后,就可以作為T(mén)ransformer的輸入。位置嵌入能融合序列中的所有位置信息和嵌入信息,并將嵌入信息傳遞給后面的序列。

2 Transformer-CNN診斷流程

Transformer-CNN模型中的Transformer編碼器,是兩個(gè)結(jié)構(gòu)相同的Transformer編碼器層堆棧而成,其中,第i個(gè)Transformer編碼器層的計(jì)算過(guò)程可表示下:

(8)

(9)

式中:zi為第i個(gè)編碼器層輸出,zi∈RN×dmodel;zi為通道數(shù)為N的多通道數(shù)據(jù)。

CNN擁有良好的特征提取能力,同時(shí)也能直接處理序列數(shù)據(jù),所以用CNN處理富含故障特征信息的Transformer編碼器輸出序列。為了防止網(wǎng)絡(luò)退化,在卷積之前加入一個(gè)殘差塊,殘差塊結(jié)構(gòu)如圖4所示。

圖4 殘差塊

殘差學(xué)習(xí)定義為:

y=F(x,{Wi})+x

(10)

式中:x為輸入;y為輸出;F為將要學(xué)習(xí)的殘差映射;Wi為參數(shù)。

CNN的層數(shù)很重要,如果網(wǎng)絡(luò)層數(shù)過(guò)多,易發(fā)生過(guò)擬合現(xiàn)象,由于計(jì)算量增大,延長(zhǎng)了計(jì)算時(shí)間;如果網(wǎng)絡(luò)層數(shù)較少,則易發(fā)生欠擬合現(xiàn)象。因此需選擇不同數(shù)量的卷積層和池化層對(duì)模型進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)數(shù)據(jù)為東南大學(xué)齒輪箱數(shù)據(jù)集,測(cè)試集樣本數(shù)為每種故障各100個(gè)樣本。

實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同數(shù)量的卷積層和池化層的實(shí)驗(yàn)結(jié)果

很明顯,3個(gè)卷積層和3個(gè)池化層準(zhǔn)確率最高,達(dá)到了99.4%。因此,CNN選擇3個(gè)卷積層和3個(gè)池化層。其中,第3個(gè)池化層選擇自適應(yīng)最大池化,它可以統(tǒng)一輸出數(shù)據(jù)的維度。

筆者在全連接層對(duì)數(shù)據(jù)進(jìn)行碾平處理,并采用SoftMax對(duì)故障模式進(jìn)行分類(lèi)。

Transformer-CNN網(wǎng)絡(luò)模型的具體細(xì)節(jié)信息如表2所示。

表2 Transformer-CNN模型參數(shù)

模型的整體架構(gòu)如圖5所示。

圖5 Transformer-CNN模型的遷移學(xué)習(xí)過(guò)程

筆者提出的基于Transformer-CNN和遷移學(xué)習(xí)故障診斷方法的具體步驟如下:

1)將一維的振動(dòng)信號(hào)采用高斯濾波進(jìn)行預(yù)處理,并根據(jù)實(shí)驗(yàn)要求劃分源域和目標(biāo)域數(shù)據(jù)集;

2)將目標(biāo)域數(shù)據(jù)集劃分出測(cè)試樣本和用來(lái)微調(diào)模型參數(shù)的訓(xùn)練樣本;

3)根據(jù)Transformer和CNN搭建Transformer-CNN模型;

4)采用基于模型參數(shù)的遷移學(xué)習(xí)方法,先在源域?qū)ransformer-CNN模型進(jìn)行充分的預(yù)訓(xùn)練,凍結(jié)參數(shù),

并遷移到目標(biāo)域中,并對(duì)模型參數(shù)進(jìn)行微調(diào),最后用目標(biāo)域數(shù)據(jù)驗(yàn)證模型性能。

3 實(shí)驗(yàn)驗(yàn)證

筆者根據(jù)基于模型參數(shù)的遷移學(xué)習(xí)方法,提出4種遷移實(shí)驗(yàn)方案,以驗(yàn)證Transformer-CNN模型在小樣本下齒輪故障診斷的效果。

3.1 數(shù)據(jù)集描述

3.1.1 東南大學(xué)齒輪箱數(shù)據(jù)集

為了驗(yàn)證Transformer-CNN模型的有效性,筆者使用東南大學(xué)(Southeast University,SEU)的齒輪箱數(shù)據(jù)集和實(shí)驗(yàn)室采集的齒輪數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證。

東南大學(xué)齒輪箱數(shù)據(jù)集是用傳動(dòng)系統(tǒng)動(dòng)力學(xué)模擬器(drivetrain dynamic simulator,DDS)采集到的齒輪振動(dòng)信號(hào)。該傳動(dòng)系統(tǒng)動(dòng)力學(xué)模擬器主要包括電機(jī)、電機(jī)控制器、行星齒輪箱、平行齒輪箱、制動(dòng)器和制動(dòng)控制器。該試驗(yàn)平臺(tái)模擬了工業(yè)齒輪箱的運(yùn)行狀態(tài),齒輪箱中的軸承和齒輪兩大關(guān)鍵部件的多種類(lèi)型故障由加速度傳感器采集。齒輪的故障狀態(tài)包括幾類(lèi),即正常、缺損、斷齒、齒根裂紋和齒面磨損。

東南大學(xué)傳動(dòng)系統(tǒng)模擬設(shè)備實(shí)物圖如圖6所示。

圖6 東南大學(xué)傳動(dòng)系統(tǒng)模擬設(shè)備實(shí)物圖

東南大學(xué)齒輪箱數(shù)據(jù)集時(shí)域圖如圖7所示。

圖7 SEU齒輪箱數(shù)據(jù)集時(shí)域圖

3.1.2 實(shí)驗(yàn)室采集的齒輪數(shù)據(jù)集

實(shí)驗(yàn)分兩種工況,轉(zhuǎn)速-負(fù)載配置分別為20 Hz-0 V和30 Hz-2 V。

實(shí)驗(yàn)室使用DDS實(shí)驗(yàn)平臺(tái)采集齒輪的振動(dòng)數(shù)據(jù),主要包括電機(jī)中的電機(jī)控制器、齒輪箱、制動(dòng)器和制動(dòng)控制器。加速度傳感器安裝在二級(jí)行星齒輪箱上用于測(cè)量振動(dòng)信號(hào)。

實(shí)驗(yàn)分兩種工況,轉(zhuǎn)速-負(fù)載配置分別為15 Hz-2.4 V和10 Hz-1.2 V。齒輪的故障狀態(tài)包括正常、缺損、斷齒、齒根裂紋和齒面磨損。

實(shí)驗(yàn)室設(shè)備實(shí)物圖如圖8所示。

圖8 實(shí)驗(yàn)室設(shè)備實(shí)物圖

實(shí)驗(yàn)室采集的齒輪數(shù)據(jù)集振動(dòng)信號(hào)時(shí)域圖如圖9所示。

圖9 實(shí)驗(yàn)室采集的齒輪數(shù)據(jù)集振動(dòng)信號(hào)時(shí)域圖

3.2 實(shí)驗(yàn)設(shè)置

為了控制Transformer-CNN模型的輸入大小相同,訓(xùn)練集和測(cè)試集振動(dòng)信號(hào)都取2 048個(gè)數(shù)據(jù)點(diǎn)。每段信號(hào)均由不完全重疊的滑動(dòng)窗口獲得。模型的補(bǔ)丁尺寸L設(shè)為20,維度設(shè)為200。

用源域預(yù)訓(xùn)練模型時(shí),選用Adam優(yōu)化器,學(xué)習(xí)速率設(shè)置為0.000 1,訓(xùn)練epoch數(shù)為200,批量大小為600。目標(biāo)域測(cè)試模型時(shí),依然采用學(xué)習(xí)速率為0.000 1的Adam優(yōu)化器,訓(xùn)練epoch數(shù)減少到50,批量大小減少到100。

筆者設(shè)計(jì)4組遷移實(shí)驗(yàn)(每組實(shí)驗(yàn)運(yùn)行10次以避免偶然性),具體如下:

模型在源域進(jìn)行充分的預(yù)訓(xùn)練,源域中含有健康、斷齒、缺齒、齒根裂紋、齒面磨損各2 000個(gè)樣本。

目標(biāo)域?yàn)?種狀態(tài)的齒輪,對(duì)其隨機(jī)選取200個(gè)樣本,其中100個(gè)樣本劃分到訓(xùn)練集微調(diào)模型參數(shù),100個(gè)樣本劃分到測(cè)試集,以檢驗(yàn)?zāi)Ｐ偷男阅堋?/p>

3.3 診斷結(jié)果及分析

4組遷移實(shí)驗(yàn)的各10次結(jié)果如圖10所示。

圖10 4組實(shí)驗(yàn)結(jié)果

從圖10中可以看到:第1組實(shí)驗(yàn)的最低準(zhǔn)確率為99%,第2組和第3組實(shí)驗(yàn)的最低準(zhǔn)確率為99.2%,第4組實(shí)驗(yàn)的最低準(zhǔn)確率為99.4%,4組實(shí)驗(yàn)的最高準(zhǔn)確率都達(dá)到過(guò)100%。

為了進(jìn)一步分析所提出的基于Transformer-CNN的遷移學(xué)習(xí)齒輪故障診斷方法在不同類(lèi)型上的故障識(shí)別情況,筆者采用混淆矩陣對(duì)4組遷移學(xué)習(xí)中測(cè)試準(zhǔn)確率最低的一次實(shí)驗(yàn)結(jié)果進(jìn)行了展示,如圖11所示。

圖11 混淆矩陣結(jié)果

4組遷移學(xué)習(xí)的10次實(shí)驗(yàn)的平均準(zhǔn)確率如圖12所示。

圖12 4組實(shí)驗(yàn)的平均準(zhǔn)確率

由圖12可知:最低的平均準(zhǔn)確率為99.56%,可見(jiàn)4組遷移實(shí)驗(yàn)的準(zhǔn)確率都相對(duì)較高。

由此可見(jiàn),筆者提出的基于Transformer-CNN的遷移學(xué)習(xí)齒輪故障診斷方法,可以在不同工況下準(zhǔn)確地診斷齒輪的故障。

3.4 模型對(duì)比

為了進(jìn)一步驗(yàn)證該方法的可靠性,筆者將該文的網(wǎng)絡(luò)模型與不帶Transformer模型的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks with transfer learning,TCNN)、多尺度卷積神經(jīng)網(wǎng)絡(luò)(multi-scale convolutional neural networks,MSCNN)和二維卷積神經(jīng)網(wǎng)絡(luò)(two dimensional convolutional neural network,2D-CNN)方法以為源域、為目標(biāo)域分別進(jìn)行10次實(shí)驗(yàn),并進(jìn)行對(duì)比,結(jié)果如表3所示。

表3 實(shí)驗(yàn)結(jié)果對(duì)比

不帶Transformer的模型結(jié)構(gòu)較為簡(jiǎn)單,用CNN只能提取信號(hào)的部分特征信息,提取故障特征的能力相對(duì)較弱;Transformer模型具有更加復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu),提取故障特征的能力相對(duì)較強(qiáng),所以Transformer-CNN模型的準(zhǔn)確率更高。

從實(shí)驗(yàn)數(shù)據(jù)上來(lái)看,該方法相較于其他結(jié)構(gòu)的遷移學(xué)習(xí)模型準(zhǔn)確率更高,故障診斷效果更出色。

4 結(jié)束語(yǔ)

針對(duì)采集的齒輪樣本數(shù)據(jù)不夠的問(wèn)題,筆者提出了一種基于Transformer-CNN的遷移學(xué)習(xí)齒輪故障診斷方法。

首先,筆者采用高斯濾波對(duì)原始振動(dòng)信號(hào)進(jìn)行了預(yù)處理,以降低噪聲信號(hào)的干擾;再將振動(dòng)信號(hào)處理成帶有位置信息的補(bǔ)丁序列,作為T(mén)ransformer的輸入信號(hào),然后將含有故障特征信息的Transformer輸出序列,輸入到CNN中,繼續(xù)提取特征信息;接著將實(shí)驗(yàn)室采集的齒輪數(shù)據(jù)集和東南大學(xué)齒輪箱數(shù)據(jù)集劃分為源域和目標(biāo)域,采用源域數(shù)據(jù)預(yù)訓(xùn)練模型,選擇每種類(lèi)型的齒輪各100個(gè)樣本為目標(biāo)域,以測(cè)試模型的準(zhǔn)確率;最后進(jìn)行了4組10次重復(fù)實(shí)驗(yàn)。

研究結(jié)果表明:

1)以SEU齒輪箱數(shù)據(jù)集為源域的故障診斷準(zhǔn)確率均在90%以上,最高可達(dá)100%;以實(shí)驗(yàn)室采集的齒輪數(shù)據(jù)集為源域的故障診斷準(zhǔn)確率均在92%以上,最高可達(dá)100%,說(shuō)明基于Transformer-CNN的遷移學(xué)習(xí)方法能在小樣本下高精度地診斷齒輪的故障;

2)模型的平均準(zhǔn)確率在99%以上,而只含有CNN的其他模型的準(zhǔn)確率未達(dá)到99%,說(shuō)明基于Transformer-CNN方法的準(zhǔn)確率更高,具有一定的優(yōu)越性。

筆者選取了每種齒輪狀態(tài)的100個(gè)樣本,實(shí)際采取的樣本數(shù)量不一定都是均衡的,也不一定會(huì)采集到那么多的數(shù)據(jù)。后續(xù)筆者將對(duì)不均衡樣本的齒輪故障診斷進(jìn)行研究,同時(shí)繼續(xù)降低樣本數(shù)量進(jìn)行齒輪故障診斷研究。