張西寧,余迪,劉書語(yǔ)

(西安交通大學(xué)機(jī)械制造系統(tǒng)工程國(guó)家重點(diǎn)實(shí)驗(yàn)室,710049,西安)

滾動(dòng)軸承作為廣泛應(yīng)用的基礎(chǔ)零部件,其工作狀態(tài)直接影響著整臺(tái)設(shè)備的正常運(yùn)行,在旋轉(zhuǎn)機(jī)械中有舉足輕重的作用[1]。隨著“大數(shù)據(jù)”時(shí)代的到來(lái),以低密度、大數(shù)量、多形式為特征的大數(shù)據(jù)給軸承監(jiān)測(cè)診斷帶來(lái)了新的挑戰(zhàn)[2]。傳統(tǒng)基于人工信號(hào)處理的方法已不能滿足大數(shù)據(jù)的需求[3],以“數(shù)據(jù)驅(qū)動(dòng)”的深度學(xué)習(xí)方法在診斷識(shí)別領(lǐng)域嶄露頭角,并取得了大量成果[4-7]。由于滾動(dòng)軸承型號(hào)繁多,運(yùn)行工況也相差各異,基于深度學(xué)習(xí)的軸承診斷方法在實(shí)踐中遇到了訓(xùn)練數(shù)據(jù)不足或樣本標(biāo)簽缺失等小樣本問(wèn)題;且不同工況和型號(hào)下軸承狀態(tài)數(shù)據(jù)分布不同,無(wú)法使用同一網(wǎng)絡(luò)進(jìn)行分類,需要開展遷移學(xué)習(xí)研究[8]。

為解決小樣本問(wèn)題,目前診斷中常采用擴(kuò)充數(shù)據(jù)以及改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)的方法。黃南天等提出了一種改進(jìn)輔助分類生成對(duì)抗網(wǎng)絡(luò),生成與少量數(shù)據(jù)概率分布相同的大量樣本[9]。Hu等使用階次跟蹤和重采樣處理不同轉(zhuǎn)速的軸承數(shù)據(jù),使用適應(yīng)批標(biāo)準(zhǔn)化網(wǎng)絡(luò)進(jìn)行跨工況故障分類[10]。Zhang等設(shè)計(jì)了一種多尺度緊湊卷積神經(jīng)網(wǎng)絡(luò),使用較少網(wǎng)絡(luò)層提取多尺度信號(hào)特征[11]。劉書語(yǔ)等對(duì)卷積核和池化方式進(jìn)行改進(jìn),在變轉(zhuǎn)速多軸承數(shù)據(jù)集上達(dá)到了98.4%的準(zhǔn)確率[12]。Li等使用參數(shù)遷移網(wǎng)絡(luò),實(shí)現(xiàn)了不同型號(hào)軸承數(shù)據(jù)的故障分類[13]。

本文對(duì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行改進(jìn),與參數(shù)遷移學(xué)習(xí)結(jié)合,提出了一種用于小樣本的遷移學(xué)習(xí)軸承診斷方法。

1 理論基礎(chǔ)

1.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)是采用已有知識(shí)對(duì)不同但相關(guān)領(lǐng)域問(wèn)題進(jìn)行求解的機(jī)器學(xué)習(xí)方法[14],在目標(biāo)域樣本稀少而相關(guān)領(lǐng)域樣本數(shù)充足的情況下具有很大優(yōu)勢(shì)。源域與目標(biāo)域不需要有相同數(shù)據(jù)分布,訓(xùn)練過(guò)程只需較少數(shù)據(jù),克服了傳統(tǒng)機(jī)器學(xué)習(xí)的缺點(diǎn)。遷移學(xué)習(xí)在軸承故障診斷研究中取得了一定的成果[15-18],具有重要意義。

因此,遷移學(xué)習(xí)的任務(wù)如圖1所示,對(duì)于給定的目標(biāo)域,借助已有源域和源任務(wù)的知識(shí),建立從目標(biāo)域數(shù)據(jù)到標(biāo)簽的映射函數(shù),完成目標(biāo)任務(wù)。

圖1 遷移學(xué)習(xí)原理示意圖Fig.1 Schematic diagram of transfer learning principle

1.2 全局均值池化

卷積神經(jīng)網(wǎng)絡(luò)是最有代表性的深度學(xué)習(xí)網(wǎng)絡(luò)之一,結(jié)構(gòu)上由輸入層、特征提取層和分類層組成[20]。卷積層的局部感知、權(quán)值共享以及池化層的下采樣等結(jié)構(gòu)特點(diǎn)減少了特征提取網(wǎng)絡(luò)的參數(shù),降低了運(yùn)算量,提高了其泛化能力。分類層的全連接網(wǎng)絡(luò)有大量的參數(shù),為了避免過(guò)擬合現(xiàn)象,網(wǎng)絡(luò)訓(xùn)練仍然需要大量的數(shù)據(jù)。

以計(jì)算機(jī)視覺(jué)中具有代表性的3個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型LeNet-5、AlexNet、VGG16為例,分析其參數(shù)分布情況[21],卷積層和全連接層的參數(shù)占比如圖2所示。全連接層參數(shù)量占了網(wǎng)絡(luò)參數(shù)量的絕大部分,因而增大了訓(xùn)練的計(jì)算量,降低了模型的泛化能力。如果能減少全連接層的參數(shù)量,同時(shí)保證網(wǎng)絡(luò)的特征提取和分類能力,可以進(jìn)一步降低網(wǎng)絡(luò)復(fù)雜度。

圖2 3種典型卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)分布情況Fig.2 Parameter distributions of three typical convolutional neural networks

全局均值池化層是可以取代全連接層的一種網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)提取特征后,將全局均值池化層處理的特征向量經(jīng)SoftMax函數(shù)計(jì)算得到輸出。SoftMax函數(shù)是對(duì)有限項(xiàng)離散概率做對(duì)數(shù)運(yùn)算的歸一化

(1)

(a)全連接層 (b)全局均值池化層圖3 全連接層與全局均值池化層結(jié)構(gòu)對(duì)比示意圖Fig.3 Comparison of structure of fully connected layer and global average pooling layer

采用固定較淺層網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)、微調(diào)較深層的方式進(jìn)行參數(shù)遷移學(xué)習(xí)。因此,當(dāng)目標(biāo)域有標(biāo)簽數(shù)據(jù)較少時(shí),在小樣本下訓(xùn)練包含大量參數(shù)的全連接層,會(huì)產(chǎn)生過(guò)擬合現(xiàn)象,網(wǎng)絡(luò)會(huì)學(xué)習(xí)到大量與故障信息無(wú)關(guān)的特征,從而降低在測(cè)試集上的分類效果。采用基于全局均值池化層的改進(jìn)網(wǎng)絡(luò),能有效避免這一問(wèn)題。

2 改進(jìn)遷移學(xué)習(xí)網(wǎng)絡(luò)模型

本文建立的基于全局均值池化層的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型如圖4所示,信號(hào)經(jīng)多層網(wǎng)絡(luò)進(jìn)行特征提取,對(duì)特征做全局均值池化處理后,經(jīng)SoftMax函數(shù)計(jì)算各分類標(biāo)簽的預(yù)測(cè)結(jié)果得到輸出層。每一卷積層都采用4個(gè)尺寸為15、步長(zhǎng)為1的卷積核進(jìn)行等長(zhǎng)卷積;池化層采用尺寸為2、步長(zhǎng)為2的最大值池化方式;激活函數(shù)采用指數(shù)線性單元函數(shù)[22],其數(shù)學(xué)表達(dá)式如下

(2)

圖4 基于全局均值池化層的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Schematic diagram of improved convolutional neural network structure based on global mean pooling layer

該激活函數(shù)在正值區(qū)間輸出梯度始終為1,避免梯度彌散現(xiàn)象;在負(fù)值區(qū)間具有軟飽和特性,增強(qiáng)了網(wǎng)絡(luò)對(duì)噪聲的魯棒性。

本文所使用參數(shù)遷移學(xué)習(xí)方法如圖5所示。首先在源域上預(yù)訓(xùn)練改進(jìn)卷積神經(jīng)網(wǎng)絡(luò);將網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)遷移至目標(biāo)域;固定較淺的前3層網(wǎng)絡(luò)不再進(jìn)行訓(xùn)練;在目標(biāo)域上使用少量的訓(xùn)練數(shù)據(jù)微調(diào)深層網(wǎng)絡(luò);最后在目標(biāo)域的測(cè)試數(shù)據(jù)上進(jìn)行預(yù)測(cè)分類。方法的數(shù)學(xué)描述如下

(3)

(4)

圖5 所提遷移學(xué)習(xí)方法示意圖Fig.5 Schematic diagram of the proposed transfer learning method

在圖3a中,假設(shè)全連接層兩層尺寸分別為300和50,改進(jìn)前后網(wǎng)絡(luò)模型的參數(shù)量比較見表1。保持卷積層結(jié)構(gòu)不變,能夠保證其原有的特征提取能力;而全局均值池化層使網(wǎng)絡(luò)總參數(shù)和待微調(diào)參數(shù)分別減少至6.36%和3.09%,可以有效地減輕過(guò)擬合現(xiàn)象。

本文將隨機(jī)遺忘法[23]和學(xué)習(xí)率衰減法應(yīng)用于優(yōu)化網(wǎng)絡(luò)的訓(xùn)練過(guò)程。在每一批次訓(xùn)練中,以給定概率,隨機(jī)使部分隱層神經(jīng)元輸出為0,反向傳播過(guò)程中不對(duì)其進(jìn)行更新,保留其梯度,待下個(gè)批次再恢復(fù)這部分神經(jīng)元。重復(fù)這一過(guò)程直至訓(xùn)練完成。隨機(jī)遺忘法減弱了不同神經(jīng)元間的聯(lián)合適應(yīng)性,增強(qiáng)了網(wǎng)絡(luò)的魯棒性。學(xué)習(xí)率衰減法在訓(xùn)練開始采用較大的學(xué)習(xí)率,隨著訓(xùn)練輪次的增加,以給定方式減小學(xué)習(xí)率。較大的初始學(xué)習(xí)率可以克服噪聲信息對(duì)網(wǎng)絡(luò)的干擾,而減小學(xué)習(xí)率可以提高網(wǎng)絡(luò)對(duì)復(fù)雜模式的提取能力。

表1 改進(jìn)前后的網(wǎng)絡(luò)參數(shù)量對(duì)比Table 1 Comparison of network parameters before and after improvement

3 軸承故障診斷實(shí)驗(yàn)驗(yàn)證及分析

3.1 跨工況遷移故障診斷實(shí)驗(yàn)

凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集是目前應(yīng)用最多的標(biāo)準(zhǔn)軸承故障診斷數(shù)據(jù)集之一[24]。本文實(shí)驗(yàn)平臺(tái)包括電機(jī)、軸承、轉(zhuǎn)矩傳感器、編碼器、功率器和其他電子控制設(shè)備等,被測(cè)試軸承為驅(qū)動(dòng)端軸承,型號(hào)為SKF6205軸承,實(shí)驗(yàn)采樣頻率為12 kHz。使用電火花燒傷的加工方式在軸承上布置了單點(diǎn)故障,類型分別是滾動(dòng)體損傷、外圈損傷與內(nèi)圈損傷,共有4種健康狀態(tài)。軸承工作狀態(tài)以及故障信息見表2。

表2 凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集故障信息Table 2 Case Western Reserve University Bearing Data Set Failure Information

選擇不同的轉(zhuǎn)速及負(fù)載,構(gòu)建4組不同工況的軸承故障數(shù)據(jù)集,每個(gè)數(shù)據(jù)集里各健康狀態(tài)各有25個(gè)樣本數(shù)據(jù),共計(jì)400個(gè)。從時(shí)域信號(hào)的第1個(gè)點(diǎn)開始,取連續(xù)的2 400個(gè)點(diǎn)作為一個(gè)樣本,相鄰樣本之間重疊1 200個(gè)點(diǎn)。使用本文所提出的改進(jìn)遷移學(xué)習(xí)網(wǎng)絡(luò)模型,進(jìn)行小樣本下跨工況軸承故障診斷實(shí)驗(yàn)。

實(shí)驗(yàn)1:比較使用全連接層的卷積神經(jīng)網(wǎng)絡(luò)(CNN-FC)和使用全局均值池化層的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)(CNN-GAP)。隨機(jī)選取1%的數(shù)據(jù)作為訓(xùn)練集,其余的數(shù)據(jù)作為測(cè)試集,在各個(gè)工況下進(jìn)行訓(xùn)練和分類預(yù)測(cè),取多次實(shí)驗(yàn)的平均值作為結(jié)果,預(yù)測(cè)分類結(jié)果見表3。

表3 小樣本下兩種卷積網(wǎng)絡(luò)的故障分類結(jié)果Table 3 Fault classification results of two convolutional networks taking small samples

實(shí)驗(yàn)2:比較兩種網(wǎng)絡(luò)跨工況遷移學(xué)習(xí)(TL-FC、TL-GAP)的預(yù)測(cè)分類結(jié)果。在源域上以100%的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,在目標(biāo)域上隨機(jī)選取1%的數(shù)據(jù)進(jìn)行微調(diào),在其余數(shù)據(jù)上進(jìn)行測(cè)試,結(jié)果見表4。

表4 小樣本下跨工況遷移學(xué)習(xí)方法故障分類結(jié)果Table 4 Fault classification results of cross-condition transfer learning method taking small samples

3.2 跨型號(hào)、跨工況遷移故障診斷實(shí)驗(yàn)

實(shí)驗(yàn)臺(tái)及采集系統(tǒng)如圖6所示。滾動(dòng)軸承固定在安裝座內(nèi),通過(guò)預(yù)緊裝置對(duì)其進(jìn)行軸向預(yù)緊,安裝座上的繩索通過(guò)滑輪與不同質(zhì)量的重物相連,模擬軸承的徑向載荷。測(cè)試軸承型號(hào)為6308軸承,采樣頻率為10 kHz。預(yù)制有4種健康狀態(tài),分別為正常、外圈剝落、內(nèi)圈剝落和滾動(dòng)體剝落。其中內(nèi)圈和外圈采用激光加工的方法,設(shè)置損傷直徑分別約為0.5、1、2、3 mm,代表輕微、中等、嚴(yán)重、最嚴(yán)重4種故障程度,控制激光加工時(shí)間使損傷深度約為0.2 mm。滾動(dòng)體采用砂輪機(jī)磨削的方法,損傷面積分別約為10、20、40、60 mm2。軸承工作轉(zhuǎn)速為1 200 r/min。

(a)結(jié)構(gòu)示意圖

(b)實(shí)驗(yàn)臺(tái)圖6 實(shí)驗(yàn)室軸承實(shí)驗(yàn)臺(tái)及結(jié)構(gòu)示意圖Fig.6 Laboratory bearing test bench

如表5所示,分別將凱斯西儲(chǔ)大學(xué)數(shù)據(jù)集記為數(shù)據(jù)集A,實(shí)驗(yàn)室軸承數(shù)據(jù)集記為數(shù)據(jù)集B,進(jìn)行跨型號(hào)、跨工況的故障診斷。

表5 軸承數(shù)據(jù)集故障信息Table 5 Bearing data set failure information

實(shí)驗(yàn)3:隨機(jī)選取1%的數(shù)據(jù)作為訓(xùn)練集,其余數(shù)據(jù)作為驗(yàn)證集,比較使用全連接層的卷積神經(jīng)網(wǎng)絡(luò)(CNN-FC)和使用全局均值池化層的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)(CNN-GAP),在兩個(gè)數(shù)據(jù)集上的預(yù)測(cè)分類結(jié)果見表6。

表6 小樣本下兩種卷積網(wǎng)絡(luò)的故障分類結(jié)果Table 6 Fault classification results of two convolutional networks with small samples

實(shí)驗(yàn)4:比較兩種網(wǎng)絡(luò)跨工況跨型號(hào)遷移學(xué)習(xí)(TL-FC、TL-GAP)的預(yù)測(cè)分類結(jié)果。在源域上以100%的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,在目標(biāo)域上隨機(jī)選取1%的數(shù)據(jù)進(jìn)行微調(diào),在其余數(shù)據(jù)上進(jìn)行測(cè)試,預(yù)測(cè)分類結(jié)果見表7。

3.3 結(jié)果分析

由表3和表6中兩種卷積網(wǎng)絡(luò)的分類準(zhǔn)確率可見。當(dāng)訓(xùn)練集僅占全部數(shù)據(jù)的1%時(shí),使用全局均值池化層的效果明顯好于使用全連接層。在兩個(gè)數(shù)據(jù)集上的平均結(jié)果由54.61%提升到了86.68%,說(shuō)明改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)使用全局均值池化層有效地避免了過(guò)擬合問(wèn)題,同時(shí)保留了卷積層的特征提取能力。

表7 小樣本下跨工況、跨型號(hào)遷移學(xué)習(xí)故障分類結(jié)果Table 7 Cross-condition and cross-type transfer learning fault classification results with small samples

由表3和表4中使用全連接層卷積神經(jīng)網(wǎng)絡(luò)的分類結(jié)果可知,跨工況下遷移學(xué)習(xí)方法使分類準(zhǔn)確率有一定提高,平均結(jié)果由44.25%提升至54.07%。由表6和表7可知,跨型號(hào)下遷移學(xué)習(xí)的分類準(zhǔn)確率輕微地降低,說(shuō)明此時(shí)數(shù)據(jù)集之間的差異太大,遷移學(xué)習(xí)方法起到的作用不是很大。

在全局均值池化的卷積神經(jīng)網(wǎng)絡(luò)中,遷移學(xué)習(xí)方法使分類準(zhǔn)確率得到了進(jìn)一步提升。在跨工況下,遷移學(xué)習(xí)使分類準(zhǔn)確率由90.70%提升到了91.87%;在跨工況跨型號(hào)下,準(zhǔn)確率由86.68%提升至了92.25%。

在一次以數(shù)據(jù)集A為源域、數(shù)據(jù)集B為目標(biāo)域的遷移學(xué)習(xí)訓(xùn)練中,實(shí)驗(yàn)室實(shí)測(cè)軸承數(shù)據(jù)集上的混淆矩陣見圖7。全體分類準(zhǔn)確率為94.40%,其中外圈故障和正常軸承分類準(zhǔn)確率達(dá)到100.00%。對(duì)輸入數(shù)據(jù)經(jīng)卷積層提取到的300維特征進(jìn)行t-SNE降維,結(jié)果見圖8,可以看出,大部分?jǐn)?shù)據(jù)被正確地進(jìn)行了分類,而內(nèi)圈故障和滾動(dòng)體故障的分類效果較差。從故障機(jī)理上分析,滾動(dòng)體與滾道之間可能會(huì)存在滑動(dòng)現(xiàn)象,因此其故障特征復(fù)雜。從傳遞路徑上分析,滾動(dòng)體故障與內(nèi)圈故障時(shí)引起的沖擊振動(dòng)傳播至傳感器時(shí),需要經(jīng)歷更多調(diào)制和轉(zhuǎn)換階段,傳遞路徑復(fù)雜[25]。因此,網(wǎng)絡(luò)在內(nèi)圈故障和滾動(dòng)體故障上提取到的數(shù)據(jù)特征出現(xiàn)混合,導(dǎo)致分類準(zhǔn)確率比較低。在后續(xù)研究中可以增加微調(diào)樣本數(shù)來(lái)進(jìn)一步提升網(wǎng)絡(luò)分類效果。

圖7 實(shí)驗(yàn)室數(shù)據(jù)集故障分類混淆矩陣Fig.7 Classification confusion matrix of laboratory data set

圖8 實(shí)驗(yàn)室軸承數(shù)據(jù)特征t-SNE分布圖Fig.8 t-SNE distribution map of laboratory bearing data characteristics

4 結(jié) 論

針對(duì)機(jī)器學(xué)習(xí)在小樣本訓(xùn)練中的過(guò)擬合現(xiàn)象,本文從網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)量的角度,提出了以全局均值池化層取代全連接層的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)。應(yīng)用預(yù)訓(xùn)練微調(diào)的遷移學(xué)習(xí)方法,在凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集和實(shí)驗(yàn)室軸承數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,得到如下結(jié)論。

(1)在訓(xùn)練數(shù)據(jù)很少時(shí),網(wǎng)絡(luò)待訓(xùn)練參數(shù)量過(guò)大,傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)會(huì)出現(xiàn)過(guò)擬合現(xiàn)象。由于大部網(wǎng)絡(luò)參數(shù)集中在全連接層,采用預(yù)訓(xùn)練微調(diào)的遷移學(xué)習(xí)方法同樣會(huì)出現(xiàn)過(guò)擬合問(wèn)題。

(2)在卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)中,使用全局均值池化層代替全連接層,減少了90%以上的網(wǎng)絡(luò)參數(shù),減輕了過(guò)擬合現(xiàn)象,同時(shí)保證了卷積層的特征提取能力。

(3)在改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)上使用預(yù)訓(xùn)練微調(diào)的遷移學(xué)習(xí)方法,可以進(jìn)一步提升網(wǎng)絡(luò)的分類效果。在跨工況、跨型號(hào)的遷移學(xué)習(xí)故障診斷中,網(wǎng)絡(luò)在目標(biāo)域上的分類準(zhǔn)確率平均達(dá)到了92.25%。該方法完成了遷移學(xué)習(xí)任務(wù),基本滿足了軸承故障診斷的需求。