辛 闊,王建國*,張文興

(1.內(nèi)蒙古科技大學(xué) 機械工程學(xué)院,內(nèi)蒙古 包頭 014010;2.內(nèi)蒙古自治區(qū)機電系統(tǒng)智能診斷與控制重點實驗室,內(nèi)蒙古 包頭 014010)

0 引 言

隨著現(xiàn)代領(lǐng)域生產(chǎn)的發(fā)展和科學(xué)技術(shù)的進步,機械設(shè)備的復(fù)雜度也大大提高。因此，高效的基于狀態(tài)的維護(condition-based maintenance,CBM)方法已成為現(xiàn)代機械設(shè)備維護的發(fā)展趨勢[1]。

在工業(yè)領(lǐng)域，CBM思想的應(yīng)用有效地減少了因機械故障所造成的經(jīng)濟損失。機械裝備的重要組成部分是軸承和齒輪等部件,而軸承和齒輪對機械設(shè)備的工況有比較大的影響,因此，軸承、齒輪的維護成為提高裝備使用壽命的關(guān)鍵之一。

近年來,隨著人工智能的興起,有關(guān)于機械設(shè)備智能診斷方面的研究越來越熱。由于能夠處理大量數(shù)據(jù)并且進行辨別,在機械的故障診斷領(lǐng)域,傳統(tǒng)機器學(xué)習(xí)和深度學(xué)習(xí)有著普遍的應(yīng)用。這些方法大多包括兩個部分:(1)提取故障的特征;(2)對故障狀態(tài)進行分類。

鄢仁武等人[2]通過對斷路器的小波時頻圖分析,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)進行了對斷路器的故障識別。柳青秀等人[3]提出了一種基于長短時記憶—自編碼(LSTM-AE)神經(jīng)網(wǎng)絡(luò)的風(fēng)電機組性能評估及異常檢測方法,有效地提高了對風(fēng)機異常檢測的準確性。曹惠玲[4]通過AdaBoost算法及其改進算法的結(jié)合,建立了一種多分類的AdaBoost算法,以支持向量機(SVM)為基礎(chǔ)分類器,對航空發(fā)動機進行了良好的故障診斷。李恒等人[5]利用短時傅里葉變換對振動數(shù)據(jù)進行了處理,得到了時頻譜樣本,將其輸入卷積神經(jīng)網(wǎng)絡(luò)中進行了學(xué)習(xí),獲得了比較好的識別精度和優(yōu)良的魯棒性。吳春志等人[6]利用原始復(fù)合故障數(shù)據(jù)訓(xùn)練了一維卷積神經(jīng)網(wǎng)絡(luò)(CNN),使網(wǎng)絡(luò)有了良好的故障識別效果;并探索了不同卷積核及CNN層數(shù),對網(wǎng)絡(luò)精度和訓(xùn)練速度的影響。陳仁祥等人[7]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和離散小波變換的滾動軸承故障診斷方法。

2015年Google DeepMind團隊[8]成功將深度學(xué)習(xí)(DL)和強化學(xué)習(xí)(RL)結(jié)合,并很好地將其應(yīng)用于游戲控制中,掀起了新一輪強化學(xué)習(xí)的研究高潮。QIAO Jun-fei等人[9]通過應(yīng)用深度自編碼器提取了圖片特征,并使用Q學(xué)習(xí)策略實現(xiàn)了分類的對手寫數(shù)字的識別方法,有效增強了準確性,并減少了識別運行時間。MEHRTASH T[10]通過使用強化學(xué)習(xí)來尋找人臉圖像上的特征,從而完成了對人臉的識別。

上述方法雖然都在識別精度上有著良好的表現(xiàn),但仍存在下列問題:(1)輸入信號多為人工經(jīng)信號處理后的特征向量或圖片,這不僅需要比較強的先驗知識,而且可能造成對原始信號的破壞;(2)當(dāng)前所見到的大多數(shù)模型未考慮到參雜噪聲信號情況下的故障診斷,而在實際生產(chǎn)的復(fù)雜環(huán)境下難免會有噪聲信號,這會大大降低模型的診斷精度和魯棒性;(3)傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)多存在局部最小值和過擬合等問題,使得模型訓(xùn)練后出現(xiàn)準確率不高且穩(wěn)定性較差的現(xiàn)象。

為解決上述問題,筆者采用一種端到端的故障診斷方法。該方法使用隨機置零策略處理過的振動數(shù)據(jù),用于提高模型對不同噪聲的魯棒性;通過訓(xùn)練具有感知能力和決策能力的深度強化學(xué)習(xí)網(wǎng)絡(luò),提高模型對不同噪聲環(huán)境下的故障識別精度,進而使模型具有良好的抗噪性能。

1 深度強化學(xué)習(xí)

深度強化學(xué)習(xí)是將深度學(xué)習(xí)和強化學(xué)習(xí)結(jié)合的一種通過智能體與環(huán)境不斷交互的試錯算法。深度強化學(xué)習(xí)使網(wǎng)絡(luò)既有感知能力又有決策能力,形成了一種更接近人類思維的智能算法。

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種模仿生物自然視覺認知機制,一種采用圖像卷積計算的深度學(xué)習(xí)網(wǎng)絡(luò)框架。典型的CNN主要由:卷積層、池化層和全連接層構(gòu)成。

卷積層采用矩形卷積核與輸入信號的局部感受域進行卷積計算,使用相同數(shù)值權(quán)重的卷積核對輸入數(shù)據(jù),并進行掃描,使其參數(shù)得到共享。

卷積操作的數(shù)學(xué)模型為:

g(i)=Wi?xi+bi,i=1,2,…,I

(1)

式中:xi—當(dāng)前的輸入特征向量;xi+1—卷積計算后的特征向量;?—卷積運算符號;Wi—卷積核的權(quán)重;bi—偏置;i—第i個卷積核。

完成卷積操作后,通過激活函數(shù)實現(xiàn)非線性變換,以提高模型的表達能力。其表達式為:

yi=f(g(i))，i=1,2,…,I

(2)

式中:yi—激活層輸出后的特征;f(·)—激活函數(shù)。

卷積運算后特征向量的數(shù)量會有較大的增加,雖然可以提高特征提取能力,但同時也會出現(xiàn)維數(shù)過大的問題,增加輸出的維度。而池化層可以有效地減少參數(shù)的數(shù)量,池化操作可以有效地保留特征信息,同時降低特征向量的尺寸維度。

CNN中應(yīng)用最多的是最大池化,其表達式為:

(3)

1.2 馬爾可夫決策過程

馬爾可夫決策過程一般用來描述強化學(xué)習(xí)任務(wù)。馬爾可夫決策過程包含四元組,其中:S—狀態(tài)空間集,s—狀態(tài)空間集中的一個狀態(tài),s∈S;A—動作空間集,a—動作空間集中的一個動作,a∈A;p—動作a被智能體執(zhí)行后當(dāng)前時刻狀態(tài)s轉(zhuǎn)化到下一時刻狀態(tài)s′的概率;r—動作A被智能體執(zhí)行后當(dāng)前時刻狀態(tài)s轉(zhuǎn)化到下一時刻狀態(tài)s′所獲得的獎勵。

馬爾可夫決策過程具有馬爾可夫?qū)傩?即當(dāng)前時刻下,環(huán)境的反饋只取決于上一時刻的狀態(tài)和動作,與之前更早的時刻沒有關(guān)聯(lián)性。

在本文的故障識別任務(wù)中,狀態(tài)s為一維故障信號;動作a為機械故障的類別:0,1,2,…,Y-1,其中:Y—故障類別數(shù)量;模型識別結(jié)果與故障樣本類型是否一致是給予獎勵r的重要標(biāo)準,樣本類型與識別結(jié)果一致時r取+1,否則r取-1;對于狀態(tài)轉(zhuǎn)移概率p而言,盡管各個狀態(tài)之間沒有關(guān)聯(lián),在網(wǎng)絡(luò)運行時,為避免出現(xiàn)過擬合現(xiàn)象,會任意打亂訓(xùn)練數(shù)據(jù)樣本,且使各個訓(xùn)練數(shù)據(jù)樣本數(shù)目均勻分布,狀態(tài)轉(zhuǎn)移概率也就成為了p=1/Y;且s′只有在動作a被執(zhí)行后,狀態(tài)s以概率p轉(zhuǎn)移得到,和前一時刻的狀態(tài)沒有關(guān)聯(lián),就符合馬爾可夫?qū)傩浴?/p>

1.3 策略

強化學(xué)習(xí)就是為了求解馬爾可夫決策過程的最優(yōu)策略。最優(yōu)策略可以通過求解最優(yōu)值函數(shù)得到[11],簡而言之,強化學(xué)習(xí)的求解最后演化成了優(yōu)化貝爾曼方程,其數(shù)學(xué)模型為:

Rt=rt+rr+1+…+rn
V(st)=E[Rt+γ(Rt+1+γ(Rt+2…))]
V(st)=E[Rt+γV(st+1)]

(4)

式中:γ—折扣系數(shù),是介于[0,1]的常數(shù),γ的存在可以保證模型更容易獲取長期累計獎勵;Rt—未來累計獎勵;r—執(zhí)行動作后獲得的獎勵。在訓(xùn)練時,初始化V(s)=0。

上式展示了當(dāng)前狀態(tài)值函數(shù)V(s)與未來狀態(tài)值函數(shù)V(st+1)的遞歸關(guān)系。顯然上式較關(guān)注的是狀態(tài),但要知道在狀態(tài)s下,利用某個策略π采用動作a獲取的期望回報,就有了Q函數(shù),即:

(5)

當(dāng)前狀態(tài)值函數(shù)V(s)的表達式為:

V(s)=∑a∈Aπ(a|s)Q(s,a)

(6)

所以,在最優(yōu)策略下的最優(yōu)Q函數(shù)為:

(7)

(8)

上式經(jīng)過處理后使用了關(guān)于a的指數(shù)加權(quán)平均[12],即為貝爾曼最優(yōu)化方程。

在故障診斷任務(wù)中,狀態(tài)空間集S的數(shù)量非常大,而有限的空間并不能有效地存儲使用狀態(tài)動作對的Q值。較強的函數(shù)泛化能力是深度學(xué)習(xí)網(wǎng)絡(luò)的一大特點,可以用于對Q函數(shù)進行擬合,記作Q(s,a;θ),其中:θ—神經(jīng)網(wǎng)絡(luò)的未知參數(shù)。

此處筆者使用了一個權(quán)重參數(shù)為θ的卷積神經(jīng)網(wǎng)絡(luò),來作為動作值函數(shù)的網(wǎng)絡(luò)模型,并通過該網(wǎng)絡(luò)模型Q(s,a;θ)模擬動作值函數(shù)Q*(s,a),即:

Q(s,a,θ)≈Q*(s,a)

(9)

在執(zhí)行動作a后,當(dāng)前狀態(tài)s以概率P轉(zhuǎn)移到s′,此時的Q函數(shù)為:

(10)

式中:r—狀態(tài)s執(zhí)行動作a后得到的獎勵。

根據(jù)ε-貪心策略,筆者根據(jù)概率ε選取當(dāng)前Q值最大的動作,根據(jù)概率1-ε隨機選擇動作后得到Q(s,a),故損失函數(shù)為:

L(θ)=(y-Q(s,a;θ))2

(11)

上式可以使Q函數(shù)依據(jù)ε-貪心策略在最小均方誤差下收斂,得到最優(yōu)Q值函數(shù)。

筆者根據(jù)式(10)來計算神經(jīng)網(wǎng)絡(luò)參數(shù)θ的梯度:

(12)

對于損失函數(shù),筆者采用Adam算法進行訓(xùn)練。其中,動量β1為0.9,平方梯度動量β2為0.999,誤差e為10-8。

1.4 ε-貪心策略

在強化學(xué)習(xí)任務(wù)中,對外界環(huán)境的探索是智能體獲取知識的主要方式,所以在探索和利用之間平衡也就成了強化學(xué)習(xí)需要解決的問題。探索過多會使模型的收斂速度有所影響,太多的利用又會使強化學(xué)習(xí)模型進入局部最優(yōu)。常用的ε-貪心策略多為固定值。本文使用一種隨訓(xùn)練步數(shù)而變化的方法,使模型在前期多探索,后期多利用。

ε的設(shè)定方法為:

(13)

式中:i—當(dāng)前的步數(shù);T—總步數(shù)。

2 隨機置零

為使模型有不錯的抗噪性能,筆者使用隨機置零的方法,即在信號輸入后利用Dropout進行處理。在實際工況下,測試信號往往都會摻雜隨機噪聲,可認為是對測試純凈信號的隨機干擾;在輸入信號后引入隨機置零,可以使原始信號更好地模擬真實環(huán)境中的隨機噪聲環(huán)境。

隨機置零的具體實現(xiàn)方式如下:

p～Uniform(0.1,0.8)
R～Bernoulli(p)
Z=Y*R

(14)

式中:Y—原始振動信號;Z—隨機置零后的振動信號;p—隨機置零率,服從均勻分布U(0.1,0.8);R—服從概率為p的伯努利分布。

隨機置零的使用可以看作是為原始信號添加隨機干擾。當(dāng)模型學(xué)習(xí)到這種經(jīng)過被隨機干擾過的樣本后,模型的抗干擾性就會有所增強。

當(dāng)然,隨機置零方法也可以豐富訓(xùn)練樣本的數(shù)量,即使是同一個樣本信號,在經(jīng)過隨機置零后,輸入模型的信號也很難保持一致。使用隨機置零方法破壞了原始信號的局部特征,但可以迫使模型學(xué)習(xí)其他更為有效的細節(jié)特征或樣本的整體特征[13]33-34。

隨機置零與無監(jiān)督學(xué)習(xí)方法中的去噪自編碼器有相似之處,都向原始輸入信號中加入隨機干擾;其與去噪自編碼器類似,都可以學(xué)習(xí)魯棒性更強的特征。

3 深度Q網(wǎng)絡(luò)故障診斷模型

此處筆者提出一種基于深度Q網(wǎng)絡(luò)的智能故障診斷模型,并在抗噪性和提高準確率上進行了探索。

為了使模型得到不錯的抗噪性能,筆者加入了隨機置零的方法。

文獻[13]31中指出,在原始數(shù)據(jù)輸入后為其按一定比例隨機置零,當(dāng)數(shù)據(jù)被置零后,可以看作為數(shù)據(jù)引入了噪聲;由于傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)多存在局部最小值和過擬合等問題,使得模型訓(xùn)練后存在準確率不高,且穩(wěn)定性較差的問題。

筆者在深度神經(jīng)網(wǎng)絡(luò)中加入了Q學(xué)習(xí)策略,用來提高模型的識別準確率和穩(wěn)定性。深度Q網(wǎng)絡(luò)的故障診斷流程如圖1所示。

圖1 深度Q網(wǎng)絡(luò)故障診斷流程圖

模型通過環(huán)境與智能體的交互來實現(xiàn)對故障的智能診斷。首先環(huán)境給智能體輸入初始數(shù)據(jù)s,經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)擬合狀態(tài)動作值函數(shù)Q(s,a)輸出動作a,與環(huán)境中數(shù)據(jù)s的故障類型做對比,通過給予智能體獎勵來更新卷積網(wǎng)絡(luò)的參數(shù),使模型達到預(yù)期效果。

模型的學(xué)習(xí)過程如下:

(1)初始化擬合Q值函數(shù)的權(quán)重參數(shù)θ;

(2)重復(fù)經(jīng)驗軌跡,從1到M:初始化狀態(tài)(故障樣本數(shù)據(jù))s;

(3)重復(fù)對于當(dāng)前輸入狀態(tài)(故)s,利用ε-貪心算法選擇下一個動作a(某個故障類型);

(4)觀察輸出動作與環(huán)境中該故障數(shù)據(jù)對應(yīng)的樣本標(biāo)簽是否一致,一致則獎勵r=+1,否則r=-1;

(6)對(y-Q(s,a;θ))2使用梯度下降類算法更新網(wǎng)絡(luò)參數(shù)。

4 實驗與結(jié)果驗證

為了驗證該模型的有效性,筆者使用SpectraQuest公司設(shè)計的實驗臺進行故障模擬實驗。故障診斷試驗臺如圖2所示。

圖2 動力傳動故障診斷試驗臺

實驗所用齒輪箱為定軸齒輪箱,深溝球軸承的型號為ER-10K,節(jié)徑D=33.5 mm,軸承的滾動體直徑為7.9 mm,接觸角α=0^°(該軸承有8個滾動體)。

定軸齒輪箱的結(jié)構(gòu)圖如圖3所示。

圖3 定軸齒輪箱構(gòu)造圖

加速度傳感器分別采集水平、垂直、軸向方向上的信號,通過數(shù)據(jù)采集儀(型號為DT9837)存儲在計算機上。數(shù)據(jù)采集過程中,電機轉(zhuǎn)速為1 200 r/min;軸承數(shù)據(jù)使用垂直徑向采集的故障數(shù)據(jù),信號的采樣頻率Fs為2 560 Hz;齒輪信號的采樣頻率Fs為5 120 Hz,采樣時間均為10 s;

使用的信號故障類型為:外圈故障、內(nèi)圈故障、正常軸承、滾動體故障、正常齒、磨損齒、缺齒、斷齒、齒根裂紋[14]。

4.1 數(shù)據(jù)處理

模型的輸入為一維時域信號。由于深度學(xué)習(xí)網(wǎng)絡(luò)需要大批的數(shù)據(jù)作為訓(xùn)練樣本,本文使用樣本擴充的方式,其示意圖如圖4所示。

圖4 樣本擴充示意圖

與沒有樣本重疊分割的方式相比,采用有重疊的樣本分割策略,不但可以保留樣本相鄰數(shù)據(jù)之間的關(guān)聯(lián)性,也可以滿足深度學(xué)習(xí)方法對樣本數(shù)量的要求[15]。

為保證在測試樣本中有沒有被訓(xùn)練的數(shù)據(jù),此處取樣本長度為1 200,重疊部分長度為300。

4.2 深度Q學(xué)習(xí)模型可行性驗證

為了驗證深度Q網(wǎng)絡(luò)模型在故障識別方面的性能,本文使用上述試驗臺中采集的軸承數(shù)據(jù)進行驗證實驗。所使用的軸承數(shù)據(jù)包含:內(nèi)圈故障、外圈故障、滾動體故障和正常軸承4類故障(均未添加負載)。

4種故障類型的時域圖如圖5所示。

圖5 故障時域圖

此處,對應(yīng)4種軸承狀態(tài),每種狀態(tài)取1 000個樣本,共4 000個樣本,每個樣本包含1 200個數(shù)據(jù)點。其中,90%是訓(xùn)練樣本,10%是測試樣本。

實驗軟件環(huán)境為:Python+Tensorflow2.0;硬件環(huán)境為:Intel i5-8250U。

模型使用的卷積神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù)結(jié)構(gòu)如圖6所示。

圖6 卷積神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù)

本文使用卷積神經(jīng)網(wǎng)絡(luò)來擬合Q值函數(shù)[16]。第一層卷積層的卷積核大小為,步長為6,共32個特征圖(較大的卷積核可以用于有效地提取大尺度下時域信號特征)。

本文將第二、三層卷積層用于提取信號的深層特征,卷積核大小均為5×1,步長為3,網(wǎng)絡(luò)在該位置的輸出由具有局部不變性的卷積層處理;通過對卷積的輸出特征使用最大池化,使網(wǎng)絡(luò)在保持信號本質(zhì)的同時減少數(shù)據(jù)量(池化核的寬度均為3×1,步長為2)。

激活層使用的激活函數(shù)為Relu。全連接層可以把這些特征都連接起來,并且可以使網(wǎng)絡(luò)增強學(xué)習(xí)特征的能力,其中分別包含128個和4個神經(jīng)元。

在原始數(shù)據(jù)輸入后加入隨機置零,即加入一層Dorpout層,置零比例在0.1～0.8之間均勻分布。

模型的訓(xùn)練參數(shù)如下:

在每輪訓(xùn)練中,該模型每輪設(shè)置的步數(shù)為512步。由于模型開始時沒有學(xué)習(xí)任何內(nèi)容,一開始有1/4的概率可以被猜中,也就是首輪的得分應(yīng)該在-512～-456分之間,模型共訓(xùn)練2 000輪。本文對2 000輪訓(xùn)練的每10輪計算獎勵和損失值的平均值。

模型訓(xùn)練后的Q函數(shù)累計值隨迭代次數(shù)的關(guān)系,即Q函數(shù)累計值變化圖,如圖7所示。

圖7 Q函數(shù)累計值變化圖

由圖7可知:模型幾乎是線性遞增的,最后最高得分達到了488分;模型的識別準確率可以達到98.87%。

損失值變化圖如圖8所示。

圖8 損失值變化圖

從圖8可以看到:每輪訓(xùn)練后模型的損失值都可以保持在比較低的狀態(tài),表明模型每輪訓(xùn)練都學(xué)習(xí)到了東西;在迭代到150次時,損失值會有明顯降幅,模型開始收斂,在訓(xùn)練過程中由于模型不定時“探索”會出現(xiàn)損失值的跳動。

上述實驗結(jié)果驗證了該方法在故障診斷中的可行性。

4.3 探索與利用的平衡

在強化學(xué)習(xí)任務(wù)中,探索與利用的平衡通常由ε-貪心策略來實現(xiàn)。過大或是過小的ε都會極大地影響探索和利用的平衡。研究人員在訓(xùn)練前期可以進行探索,后期可以利用已學(xué)到的內(nèi)容,所以本文在此處使用動態(tài)值。

為驗證動態(tài)值的優(yōu)勢,筆者使用固定ε值進行了比較,其實驗結(jié)果如表1所示。

表1 ε值對Q函數(shù)累計值的影響

由表1可知:當(dāng)ε=0.75時,模型探索過多,不能被有效利用,Q函數(shù)累計值較低;當(dāng)ε=0.3時,模型不能很好地進行探索,但在充分迭代后,Q函數(shù)累計值也可以達到458;使用動態(tài)ε值時,可隨迭代步數(shù)變化,使前期探索后期利用,可以看到Q函數(shù)累計值達到了488。

4.4 抗噪能力驗證

為研究模型在不同噪聲環(huán)境下對旋轉(zhuǎn)機械故障的識別能力,筆者在上述模型分中別輸入不同信噪比(σSNR)的測試樣本。信噪比公式為:

(15)

式中:Psignal,Pnoise—信號的有效功率和噪聲的功率。

在采集到的不同故障的測試集中,筆者分別添加了不同信噪比的高斯白噪聲。

正常齒輪信號中再加入0 dB噪聲后的時域圖,如圖9所示。

圖9 正常齒輪信號加入0 dB噪聲

此處仍然利用SpectraQuest公司的試驗臺數(shù)據(jù)作為實驗數(shù)據(jù)。樣本的具體劃分如表2所示。

表2 數(shù)據(jù)集劃分

樣本共41 250個,其中,訓(xùn)練樣本37 125個,測試樣本4 125個。測試樣本中都包含著數(shù)量相同的加噪信號。

本文通過向原始信號隨機置零加入Dropout層,以增加模型對噪聲的泛化性。

有隨機置零策略、沒有隨機置零策略以及置零比例在0.1,0.3,0.5,0.6時,抗噪性能的對比結(jié)果如圖10所示。

圖10 有無隨機置零輸入信號的診斷性能

從圖10中可以看出:模型在沒有隨機置零輸入信號的情況下,故障診斷的識別精度會隨信噪比的降低而迅速下降;而在有隨機置零輸入信號的情況下,模型則表現(xiàn)出了良好的抗噪性。

4.5 美國凱斯西儲大學(xué)數(shù)據(jù)驗證

由于上述軸承和齒輪的故障數(shù)據(jù)都是在固定負載下獲取的,此處本文使用美國的凱斯西儲大學(xué)的軸承數(shù)據(jù)集來驗證變載條件下的準確性[17]。

此處利用的數(shù)據(jù)是驅(qū)動端數(shù)據(jù),數(shù)據(jù)中包含軸承正常、滾子故障、內(nèi)圈故障、外圈故障4種故障狀態(tài),每種故障類型各包含(1 hp、2 hp、3 hp、4 hp)4種負載的數(shù)據(jù),它們所對應(yīng)的轉(zhuǎn)速分別是1 797 r/min、1 772 r/min、1 750 r/min和1 730 r/min,大致可以認為是定速;振動數(shù)據(jù)的采樣頻率為12 kHz。

對于上述的4種故障類型,每種故障類型都有8 100個樣本數(shù)據(jù)。西儲的數(shù)據(jù)集劃分如表3所示。

表3 西儲數(shù)據(jù)集劃分

筆者使用經(jīng)過隨機置零處理的數(shù)據(jù)和沒有隨機置零的數(shù)據(jù)訓(xùn)練模型進行測試和對比,其結(jié)果如表4所示。

表4 有無隨機置零輸入時模型的準確率

由表4可知:在測試集上的故障識別準確率方面,經(jīng)隨機置零處理的數(shù)據(jù)訓(xùn)練的模型均遠高于干凈信號輸入訓(xùn)練的模型,并且模型在信噪比為-2 dB時仍有著90.85%的診斷精度,而采用干凈信號輸入的模型僅有43.52%的識別準確率;模型在信噪比>2 dB時識別準確率可以達到98%,信噪比>5 dB時模型的識別準確率更是有99%。

由此可見,在變載的條件下,該模型有著較好的識別準確率。

4.6 模型對比實驗

本文對一維卷積神經(jīng)網(wǎng)絡(luò)(1DCNN)、支持向量機(SVM)、BP神經(jīng)網(wǎng)絡(luò)(BP-NN)和本文模型進行對比實驗。其中,三層卷積池化層、兩層全連接層和Softmax分類層構(gòu)成了1DCNN,支持向量機采用高斯核函數(shù),BP-NN采用三層網(wǎng)絡(luò)結(jié)構(gòu)。

模型的訓(xùn)練結(jié)果如圖11所示。

圖11 不同噪聲環(huán)境下方法診斷性能對比

由圖11可知:與1DCNN相比,本文模型在高信噪比時都有著不錯的故障識別精度,而當(dāng)信噪比<2 B時,1DCNN的診斷精度略低于本文的方法,在信噪比為-4 dB時該模型的識別準確率也有78%;

在穩(wěn)定性方面,1DCNN在噪聲比較嚴重的情況下有2.15%的識別誤差,而本文方法則表現(xiàn)相對穩(wěn)定,誤差在0.86%。

與相對典型的SVM、BP-NN相比,本文模型在識別準確率、穩(wěn)定性上均有不錯的優(yōu)勢;而SVM、BP-NN即使在噪聲較小的數(shù)據(jù)集上診斷效果也不佳,其原因主要在于淺層模型無法有效學(xué)習(xí)特征,同時學(xué)習(xí)到的特征也沒有具備較好的分類特征。

5 結(jié)束語

由于傳統(tǒng)的旋轉(zhuǎn)機械故障診斷方法需要人工提取故障特征,且受環(huán)境噪聲的影響較大,筆者提出了一種基于深度Q網(wǎng)絡(luò)強化學(xué)習(xí)的故障診斷模型,探索了一種端到端的,基于深度強化學(xué)習(xí)的旋轉(zhuǎn)機械故障診斷的方法,并使其能夠準確且穩(wěn)定地在噪聲環(huán)境下和變載條件下對旋轉(zhuǎn)機械進行故障診斷。

該研究過程和結(jié)果如下:

(1)該方法使用原始信號作為輸入,可有效省去現(xiàn)有方法需要通過人工進行信號處理和特征提取的繁瑣過程;

(2)采用隨機置零的方法,使模型對不同程度噪聲均產(chǎn)生抗噪性,經(jīng)過訓(xùn)練的模型可以大大地提升其抗噪水平;

(3)通過不同模型的對比實驗表明,與1DCNN、BP-NN和SVM相比,在準確度和穩(wěn)定性方面,本文提出的模型都有著不錯的表現(xiàn)。在信噪比>-2 dB時,模型識別準確率可達90%左右;在信噪比>-4 dB時,準確率也可達78%。

在后續(xù)的研究中,筆者將探索不同獎勵函數(shù)對網(wǎng)絡(luò)的影響,并將其結(jié)果與遷移學(xué)習(xí)相結(jié)合,以拓寬該模型在不同設(shè)備間的適用性。