烏文揚，陳景龍，劉莘，周子桐

(西安交通大學機械工程學院，陜西西安，710049)

近年來，我國軌道交通領域發(fā)展迅速，列車運行的安全性成為軌道交通研究的重要方向。滾動軸承是列車的關鍵零部件之一，但由于其工況復雜(變載荷、高速沖擊等)，更容易在滾動體、內(nèi)圈、外圈和保持架等部位產(chǎn)生故障[1-2]，從而對列車安全運行、乘客生命安全等造成危害。滾動軸承的故障數(shù)據(jù)樣本很難獲取，難以建立一個理想的數(shù)據(jù)集用于診斷故障識別。這是因為實際軌道交通設備運行中，通常都保持在正常健康狀態(tài)，故障很少發(fā)生；實驗室模擬故障實驗而收集故障數(shù)據(jù)的成本很高；計算機模擬復雜工作環(huán)境的難度高，得到的仿真故障數(shù)據(jù)與實際情況存在一定的偏差。而在深度學習智能診斷中，若訓練數(shù)據(jù)過少，則模型難以達到較高的準確率。同時，數(shù)據(jù)的不均衡會讓模型被多數(shù)類過度訓練，少數(shù)類的判定邊界區(qū)域縮小。因此，在小樣本條件下，軌道交通列車的軸承故障診斷研究十分必要。

傳統(tǒng)的滾動軸承故障診斷方法是通過時頻分析處理振動信號來進行的。例如，ZHANG 等[3]提出一種基于連續(xù)小波變換和多Q因子Gabor小波的時頻分析方法來對軸承進行故障診斷。然而，傳統(tǒng)方法的手動故障特征提取僅限于特定的故障診斷問題，并且需要相關的先驗知識和專家經(jīng)驗[4-6]。

近年來，智能故障診斷算法越來越受到重視，它能夠自適應地提取振動信號的特征，通過多個非線性變換層來實現(xiàn)故障分類，不再需要大量的先驗知識和專家經(jīng)驗。SHAO等[7]提出了一種集成深度自編碼器的方法，有效地識別滾動軸承故障。CHANG 等[8]設計了一種多尺度核的并行卷積神經(jīng)網(wǎng)絡，以實現(xiàn)風力發(fā)電機組的智能故障診斷。然而，上述深度學習方法成功實現(xiàn)故障診斷的前提是需要大量的標簽故障數(shù)據(jù)作為輸入，而工程上往往難以獲取大量有效的故障數(shù)據(jù)。

深度強化學習(DRL)是深度學習和強化學習的結合，為解決上述問題帶來了新的可能。DRL 使智能體(agent)充分感知環(huán)境，并學習解決問題的最優(yōu)決策來獲得最佳的長期收益[9]。目前，DRL算法已經(jīng)在機器人和機器視覺等領域得到廣泛應用。例如，LI 等[10]利用DRL 來實現(xiàn)端到端的機器人控制，使其可以自主學習。WOO等[11]提出了一種基于DRL 的視覺識別防撞方法，以解決無人水面車輛的相遇問題。然而，目前DRL 要獲得良好的性能仍需要大量的訓練時間和經(jīng)驗，其樣本利用效率并不高，因此，DRL 在故障診斷領域仍然處于起步階段。

表示學習(RL)通過無監(jiān)督地學習數(shù)據(jù)的隱式特征，使模型獲得更高效的特征表達方式，再將學到的特征應用于下游分類、回歸等任務。對比學習是一種通過比較來學習同類樣本的共同特征的表示學習。近年來，對比學習的預訓練模型在自然語言處理(NLP)和計算機視覺(CV)領域獲得了一些應用[12-13]。然而，表示對比學習需要很大的數(shù)據(jù)批量才能獲得較好的特征表示，同時單靠良好的特征表示并不能實現(xiàn)故障的準確識別診斷。

為克服上述方法的缺陷，實現(xiàn)在小樣本條件下軌道交通軸承的準確故障診斷，本文作者提出一種基于無監(jiān)督特征表示深度Q 學習的小樣本下的故障診斷方法。首先，利用數(shù)據(jù)增廣算法擴充訓練集，無參數(shù)化地構建拓展數(shù)據(jù)集；其次，通過無監(jiān)督特征表示的對比學習對深度Q 學習網(wǎng)絡進行預訓練，以優(yōu)化網(wǎng)絡對同類數(shù)據(jù)的特征提取能力；最后，采用基于殘差網(wǎng)絡的深度Q 學習算法實現(xiàn)故障分類，其中經(jīng)驗回放功能可以改善訓練樣本嚴重不足的問題。通過2個不同的軸承故障識別任務以驗證所算法的有效性。

1 無監(jiān)督特征表示和深度Q 學習原理

1.1 無監(jiān)督特征表示原理

無監(jiān)督學習無需人工標注的類別標簽，直接將輸入數(shù)據(jù)本身作為訓練標簽，通過學習樣本數(shù)據(jù)的特征表示，應用于下游任務。表示學習希望能學習到從原始輸入數(shù)據(jù)到特征向量或張量的有效參數(shù)映射，提煉對原始輸入數(shù)據(jù)的更好表示，深度學習的發(fā)展使得有越來越多的算法模型可以更高效地學習特征表示[14]。

現(xiàn)有無監(jiān)督學習方法可分為生成式方法和對比式方法，對比式方法是通過對比正負樣本來學習特征表示，而生成式方法更注重網(wǎng)絡的空間映射來學習表示。設定樣本x，x+為正樣本對，x，x-是負樣本對，sim(·)為樣本間相似度，對比式方法的目的是學習網(wǎng)絡映射f使得sim(f(x),f(x+)) ?sim(f(x),f(x-))。特征表示對比學習通過比較特征表示來更新學習，通過網(wǎng)絡無監(jiān)督地得到樣本的特征表示，對比樣本之間的特征表示，將同類相似的樣本映射得更緊密，將不同類的樣本映射得更遠[15]。因此，對比學習使用相似性的度量標準來衡量樣本的映射距離。對比學習在代理任務中無監(jiān)督地進行訓練從而優(yōu)化模型的特征提取能力，這一過程稱為特征表示預訓練，特征表示預訓練能夠提高網(wǎng)絡特征提取能力從而優(yōu)化后續(xù)算法的性能效果。SimCLR是一種特征表示對比學習算法，通過在隱空間中計算對比損失，不斷減小相似樣本數(shù)據(jù)間的度量距離來學習特征表示[16]，算法流程如圖1所示。

圖1 SimCLR算法流程圖Fig.1 Flowchart of SimCLR algorithm

1.2 深度Q學習網(wǎng)絡(DQN)原理

強化學習訓練以神經(jīng)網(wǎng)絡為基本結構的智能體學習如何獲得最大長期回報獎勵的行動策略[17]。Q 學習(Q-Learning)是一種與模型無關的強化學習算法[18]，它以馬爾科夫決策過程(MDP)為理論基礎。馬爾科夫決策過程可以用一個五元組(s，a，P，R，γ)來表示，其中，s為狀態(tài)、a為動作、P為狀態(tài)轉移概率函數(shù)、R為回報、γ為折扣因子，用于確定當前回報和長期回報的比例。Q學習中通過Q函數(shù)計算Q值作為每一步動作的價值，從而評估并學習最優(yōu)動作策略。Q學習的另一個理論基礎為貝爾曼方程(Bellman equation)。

根據(jù)每一次獲得的回報R和折扣因子γ，可以得到累積的回報公式[19]：

式中：Rt+n+1為當前t步后第n+1 步的預期回報值。由此，狀態(tài)值函數(shù)的定義即期望的回報，價值隨著期望回報的上升而增加，從而對應的動作a也更值得執(zhí)行。狀態(tài)值函數(shù)V()s定義如下：

式中：E[]為條件期望。

式(2)為貝爾曼方程基本形態(tài)，它說明當前狀態(tài)s的價值與下一狀態(tài)st+1的價值以及當前的回報R的關系。馬爾科夫決策的目標是學習一個策略π，在每一個狀態(tài)s采取對應的動作a以獲得最優(yōu)的長期累積回報。Q學習引入了Q函數(shù)來描述狀態(tài)s時采取動作a后獲得累積回報的折算值，Q函數(shù)公式如下：

式中：π(a|s)為選擇每個動作a的概率。因此，V(s)即為Q(s，a)的加權求和。根據(jù)貝爾曼最優(yōu)方程，采取最優(yōu)策略π得到V*和Q*值如下：

深度Q 學習(deep Q-Learning)利用深度神經(jīng)網(wǎng)絡DQN 來映射動作與狀態(tài)之間的關系，從而解決Q 學習中面臨大量數(shù)據(jù)時所產(chǎn)生的維度問題。同時，神經(jīng)網(wǎng)絡也不再依賴于傳統(tǒng)強化學習的手動設計特征計，而是直接從原始數(shù)據(jù)中提取特征。此外，為消除樣本之間存在的關聯(lián)性，DQN 引入了經(jīng)驗回放機制，隨機地采樣之前存儲的樣本來重新訓練[20]。

DQN 模型使用深度神經(jīng)網(wǎng)絡逼近Q*值，權重θ作為網(wǎng)絡參數(shù)。通過減小均方誤差來迭代更新網(wǎng)絡參數(shù)θ，從而達到訓練網(wǎng)絡的目的。損失函數(shù)L(θi)公式如下：

通過損失函數(shù)L(θi)對參數(shù)θ求導優(yōu)化網(wǎng)絡使得損失函數(shù)最小化，得到最優(yōu)策略π以收獲最大長期回報。

2 基于無監(jiān)督特征表示深度Q 學習的故障診斷方法

為了能在小樣本條件下，端到端地實現(xiàn)滾動軸承高精度故障識別，本文作者提出了一種基于無監(jiān)督特征表示深度Q 學習的故障診斷方法，方法的整體結構框架如圖2所示。

圖2 所提故障診斷方法的整體結構框圖Fig.2 Overall structure diagram of proposed fault diagnosis method

首先，基于數(shù)據(jù)增強算法實現(xiàn)訓練集擴充，通過無參數(shù)化剪切翻轉的方式，以極低的計算成本構造了拓展數(shù)據(jù)集。其次，通過SimCLR算法無監(jiān)督地對比特征表示，對深度Q 學習殘差網(wǎng)絡進行預訓練，從而優(yōu)化網(wǎng)絡提取特征的能力，對同類樣本的特征表示相似性更高。最后，利用預訓練完成的殘差網(wǎng)絡作為深度Q 學習網(wǎng)絡，對振動信號數(shù)據(jù)集進行分類識別。利用強化學習經(jīng)驗回放機制，消除樣本間的關聯(lián)并彌補樣本不足的缺陷。最終實現(xiàn)了小樣本下的高準確率的軸承故障診斷。

2.1 數(shù)據(jù)增強算法對振動信號訓練集的擴充

將原始的振動信號整理劃分為訓練集和測試集后，根據(jù)數(shù)據(jù)增強算法SDA[21]對振動信號的剪切翻轉方法來對訓練集進行擴充。剪切翻轉共5種方法，分別為水平翻轉、垂直翻轉、中心翻轉、數(shù)據(jù)鏡像和數(shù)據(jù)重復，將其應用于同一標簽下的數(shù)據(jù)，無需選擇參數(shù)。每條數(shù)據(jù)的樣本點數(shù)設定為N，振動信號Y=[y1,y2,y3,…,yN]，并將其平均拆分成2段，表示為YL=[y1,y2,…,yN/2]和YR=[yN/2+1,yN/2+2,…,yN]。

1)水平翻轉。將振動信號按豎直中心線左右翻轉，表示為

2)垂直翻轉。將振動信號按水平中心線上下翻轉，表示為

3)中心翻轉。將振動信號按中心點對稱翻轉，即同時水平與對稱翻轉，表示為

4)數(shù)據(jù)鏡像。以中心點為對稱，將YL或YR鏡像地復制到另一側，表示為

5)數(shù)據(jù)重復。以中心點為分界，將YL或YR平移復制到另一側，表示為

2.2 無監(jiān)督對比特征表示預訓練深度Q網(wǎng)絡

深度Q學習下采用特征表示SimCLR算法對殘差網(wǎng)絡進行預訓練，通過預訓練學習樣本的高維特征表示?；跓o監(jiān)督對比學習SminCLR 學習和構建樣本的特征表示空間，將樣本映射到特征表示空間，從而為下游任務，即基于深度Q 學習的故障模式識別提供良好的特征表示，加快了深度Q學習訓練速度，簡化了計算成本，提高計算效率。

預訓練過程由4個部分組成：

1)輸出正對樣本。深度Q 學習的環(huán)境根據(jù)擴充訓練集，隨機采樣并輸出2 個同類正對樣本批次。

2)提取表示向量。利用神經(jīng)網(wǎng)絡f(·)對批次樣本進行特征提取，得到表示向量hi和hj，采用深度Q學習的殘差網(wǎng)絡作為特征提取網(wǎng)絡。

3)映射表示向量。將表示向量映射到計算對比損失的空間。

4)計算對比損失。通過定義的對比損失函數(shù)代入zi和zj，反向傳播更新殘差網(wǎng)絡參數(shù)，優(yōu)化網(wǎng)絡的特征表示能力，以提高同類樣本特征表示之間的相似度。

在深度Q學習環(huán)境中隨機采樣得到2個N批次共2N條樣本，同類樣本相似度用zi和zj的點積表示：即余弦相似度。因此，正對樣本(i，j)的對比損失函數(shù)定義為

式中：Qk≠i∈{0,1}為指標函數(shù)，當k≠i時，取值為1；δ為溫度參數(shù)。最后采用2N條樣本計算所有的正對樣本(i，j)和(j，i)的對比損失，求和即為總損失值[22]。

2.3 深度Q學習算法對振動信號的分類識別

深度Q 學習網(wǎng)絡采用殘差網(wǎng)絡結構。殘差網(wǎng)絡由多個殘差塊組合搭建而成，相比于傳統(tǒng)CNN模型，能有效地增加網(wǎng)絡深度并且避免過擬合、梯度消失或爆炸等問題[22]。通過無監(jiān)督特征對比SimCLR算法完成對深度Q學習殘差網(wǎng)絡的預訓練后，在網(wǎng)絡的特征提取器下構建新的全連接層，成為深度Q 學習算法的分類網(wǎng)絡。以全連接層輸出每個動作對應的Q值為依據(jù)來選擇最大Q值的動作為輸出類別，公式定義如下：

式中：Zi為最終得到的Q值；σ為ReLU激活函數(shù)；Flatten(·)為將數(shù)據(jù)平鋪到一維的操作；wf為全連接層的權重；b為偏置參數(shù)。

同時，基于增強后的數(shù)據(jù)集搭建強化學習環(huán)境，該環(huán)境可以隨機采樣輸出狀態(tài)s，即振動樣本數(shù)據(jù)，分類網(wǎng)絡根據(jù)狀態(tài)s輸出類別，視為動作a，環(huán)境根據(jù)得到的動作反饋判斷回報，輸出下一次動作s′和回報值r。選擇動作時，應用貪婪算法來幫助網(wǎng)絡進行試錯，按概率ε隨機地選擇動作來提高網(wǎng)絡的前期訓練效率，概率ε定義如下：

式中：ε1為初始概率；nt為當前訓練輪次；Nt為總訓練輪次。將(s，a，r，s′)作為一條經(jīng)驗儲存到經(jīng)驗回放池，后續(xù)在回放池隨機采批次樣本重新訓練，提高模型的學習效率。

綜上可知，小樣本下的基于無監(jiān)督特征表示深度Q 學習的智能診斷方法整體流程圖如圖3所示。

圖3 故障診斷算法流程圖Fig.3 Flowchart of fault diagnosis algorithm

3 實驗驗證

3.1 對比算法介紹

為驗證本文所提出算法的有效性，將本文算法與3種典型的智能故障診斷算法進行對比。第一種是基于卷積神經(jīng)網(wǎng)絡(CNN)的故障診斷算法，卷積神經(jīng)網(wǎng)絡在智能故障診斷方向應用廣泛，特征提取能力強；第二種是基于傳統(tǒng)的深度Q 網(wǎng)絡(DQN)的故障診斷算法，該方法是以CNN 為基本結構的強化學習算法；第三種是基于殘差神經(jīng)網(wǎng)絡(ResNet)故障診斷算法。本實驗的殘差網(wǎng)絡的結構與本文算法包含的殘差網(wǎng)絡的結構一致，區(qū)別在于本文算法通過無特征表示對比預訓練殘差網(wǎng)絡，并通過強化學習思維訓練基于殘差網(wǎng)絡的智能體。ResNet 和CNN 模型的結構與參數(shù)如圖4 所示。本實驗將采用滾動軸承故障的SQ數(shù)據(jù)集和綜合故障模擬數(shù)據(jù)集分別設計2 個任務進行實驗驗證。

圖4 ResNet和CNN模型結構與參數(shù)Fig.4 Structure and parameters of ResNet and CNN

3.2 實驗1：SQ數(shù)據(jù)集

實驗1利用Spectral Quest公司的故障模擬試驗臺進行電機軸承的故障模擬，該試驗臺結構主要由電機、轉子以及負載組成，如圖5所示，信號數(shù)據(jù)的采集通過安裝在驅動端的加速度傳感器和數(shù)字采集儀進行。采樣頻率為25.6 kHz，電機轉頻為39.05 Hz。

圖5 SQ故障模擬試驗臺Fig.5 Test bench of SQ fault simulator

本實驗為模擬滾動軸承不同故障程度以及類型，分別設置輕度內(nèi)圈故障(IF_1)、中度內(nèi)圈故障(IF_2)、重度內(nèi)圈故障(IF_3)、輕度外圈故障(OF_1)、中度外圈故障(OF_2)和重度外圈故障(OF_3)這6 種不同的故障，如圖6 所示。此外，為了比較，將健康軸承設為正常狀態(tài)(NC)。

圖6 SQ軸承故障缺陷Fig.6 Image of SQ bearings fault defects

從SQ試驗臺采集到的振動信號數(shù)據(jù)整理成數(shù)據(jù)集，每個樣本包含1 024 個數(shù)據(jù)點，共7 類，劃分為訓練集和測試集。為保證所提出的算法在小樣本條件下的性能，訓練集中包含每類10個樣本，測試集中包含每類210個樣本，共有1 540個樣本。訓練集樣本量只占總數(shù)據(jù)集的4.55%，滿足小樣本條件。

選取Adam優(yōu)化器在對比學習預訓練和故障識別訓練中更新網(wǎng)絡，學習率分別為0.000 1和0.000 5。折扣因子設置為0.8，網(wǎng)絡訓練設置500 個循環(huán)輪數(shù)，回報分數(shù)值范圍設置在[-30～30]之間。貪婪算法的初值設置為0.35，并均勻增加在500個訓練輪數(shù)后達到1。在每個訓練輪次中，經(jīng)驗池容量設置為20，隨機采樣批次設置為7。回報分數(shù)變化曲線、混淆矩陣和t-SNE 可視化散點圖如圖7 所示。由圖7可以看出：隨著訓練的進行，所提出的算法的回報值逐漸上升，在500輪后達到最大，證明訓練時模型收斂穩(wěn)定，并在本次實驗測試任務中表現(xiàn)了良好的性能，清晰地區(qū)分了類與類的邊界，診斷準確率達到99.59%。

圖7 實驗1分數(shù)曲線、混淆矩陣和t-SNE可視化結果Fig.7 Result of reward curve,confusion matrix and t-SNE visualization in Case 1

此外，在相同的條件下，比較本文算法與基于CNN，DQN和ResNet的故障診斷算法的平均準確率、準確率標準偏差、耗時和參數(shù)，對比結果如表1 所示。從表1 可以看出：由于訓練樣本不足，基于CNN和ResNet的診斷方法難以確定類與類之間的邊界，從而無法有效地對故障進行識別。由于內(nèi)部CNN 層數(shù)的限制以及缺乏適當有效的預訓練，基于DQN算法的精度最高僅為77.82%。而本文所提出的基于對比學習和強化學習結合診斷算法的故障識別精度高達99.59%，計算效率比其他方法的計算效率增加了約2 s，但準確率提高了10%以上，證明了所提出的方法的有效性。同時，本文算法的準確率標準差遠小于其他方法的準確率標準差，證明了算法的穩(wěn)定性。

表1 實驗1不同算法結果對比Table 1 Comparison results of different algorithms in Case 1

3.3 實驗2：機械綜合故障模擬數(shù)據(jù)集

實驗2利用機械故障綜合模擬試驗臺進行滾動軸承的故障模擬，該試驗臺結構如圖8所示，主要由電機、齒輪箱、加速度傳感器以及數(shù)據(jù)采集儀組成。

圖8 機械故障綜合模擬試驗臺Fig.8 Mechanical fault comprehensive simulation test bench

為檢驗本文提出的算法對更復雜、更多樣的故障類型的診斷性能，模擬4種滾動軸承故障，如圖9 所示。采樣頻率設定為5 kHz，電機轉速設置為500 r/min。

圖9 綜合試驗臺軸承缺陷Fig.9 Bearing defects diagram of comprehensive test bench

將采集到的振動信號數(shù)據(jù)整理成數(shù)據(jù)集，每個樣本包含5 類，共1 024 個數(shù)據(jù)點，劃分為訓練集和測試集，訓練集中包含每類10 個樣本，測試集中包含每類110個樣本。

實驗2 也選取Adam 優(yōu)化器更新網(wǎng)絡參數(shù)，算法網(wǎng)絡的參數(shù)設置與實驗1的相同。經(jīng)過500次訓練，網(wǎng)絡回報達到最高值。最后，在測試集診斷任務中，診斷準確率達到97.45%，回報變化曲線、混淆矩陣和t-SNE 可視化散點圖如圖10 所示，由于本次實驗故障狀況復雜且相似度高，并且在低頻轉速下進行，因此，散點圖中一些特征沒有得到有效區(qū)分，略顯混亂。(a)回報分數(shù)曲線圖；(b)混淆矩陣；(c)t-SNE可視化

圖10 實驗2分數(shù)曲線、混淆矩陣和t-SNE可視化結果Fig.10 Result of reward curve,confusion matrix and t-SNE visualization in Case 2

同樣地，在相同的實驗條件下，比較本文算法與基于CNN、DQN和ResNet的故障智能診斷算法的平均準確率、準確率標準偏差、耗時和參數(shù)。對比結果如表2所示，從表2可見：本文算法的精度略有下降，主要原因在于滾動體故障和外圈故障具有一定的相似性(見圖10)，容易混淆。同時，復雜的工作條件導致實驗2的信噪比較實驗1的更低，從而使實驗2 的復雜性上升。基于CNN 和ResNet的算法的準確率與實驗1的相近，但效果依舊較差。由于復雜性的提高，基于DQN 的算法的精度有一定的下降，說明基于DQN 的算法不足以完成復雜的故障識別任務。本文算法雖耗時增加近1 s，但準確率仍提高了10%以上，準確度標準差也比其他方法的小。綜上所述，本文所提出的基于無監(jiān)督特征表示深度Q 學習的智能診斷算法優(yōu)于其他3種智能診斷算法，具有良好的診斷能力和更強的泛化能力。

表2 實驗2不同算法結果對比Table 2 Comparison results of different algorithms in Case 2

4 結論

1)為解決軌道交通故障軸承數(shù)據(jù)樣本嚴重不足從而故障識別困難的問題，提出一種小樣本下的基于無監(jiān)督特征表示深度Q 學習的智能診斷方法。該方法包括利用數(shù)據(jù)增強對訓練集擴充、基于殘差網(wǎng)絡利用無監(jiān)督特征表示SimCLR算法進行預訓練和深度Q 學習算法實現(xiàn)故障識別分類。將該算法應用于SQ 數(shù)據(jù)集和綜合故障模擬數(shù)據(jù)集，可實現(xiàn)不同故障類別、故障程度軸承的識別分類。

2)與其他智能算法相對比，本文提出的算法在分類準確率上有一定幅度的提高，具有有效性和優(yōu)越性。

3)在基于無監(jiān)督特征表示深度Q 學習的智能故障診斷方法的基礎上，如何進行故障準確定位是所提算法需改進的重要方向。