劉幸倩 唐友福 李明磊 繆皓 呂澤宇 楊新霞

(1.東北石油大學(xué)機(jī)械科學(xué)與工程學(xué)院 2.中國石油天然氣集團(tuán)有限公司工程和物裝管理部 3.大慶鉆探工程公司)

0 引 言

隨著現(xiàn)代設(shè)備日趨大型化、高速化和自動(dòng)化，滾動(dòng)軸承作為機(jī)械裝備的重要承載部件往往工作在高速、重載的惡劣環(huán)境下，容易發(fā)生故障失效[1]，輕則造成停產(chǎn)經(jīng)濟(jì)損失，重則導(dǎo)致人員傷亡的災(zāi)難性后果。因此開展有效的滾動(dòng)軸承狀態(tài)監(jiān)測與故障診斷研究具有重要意義。

近年來，基于深度學(xué)習(xí)的設(shè)備智能診斷方法日益成為研究熱點(diǎn)。包從望等[2]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的采煤機(jī)截割部減速器故障診斷方法。段禮祥等[3]提出基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的多源異構(gòu)信息數(shù)據(jù)級融合診斷方法。于洋等[4]提出一種采用深度可分離小卷積核進(jìn)行降采樣和雙通道注意力模塊(Convolutional Block Attention Module，CBAM)的CNN網(wǎng)絡(luò)模型對軸承進(jìn)行故障診斷，解決了池化層模糊特征的問題。ZHANG J.Q.等[5]提出一種新型的雙流神經(jīng)網(wǎng)絡(luò)模型，可以生成大量缺陷圖像，預(yù)訓(xùn)練分類網(wǎng)絡(luò)，通過遷移學(xué)習(xí)對帶鋼表面缺陷進(jìn)行分類。LIU X.C.等[6]融合VGG16和AlexNet模型，提出了一種雙卷積神經(jīng)網(wǎng)絡(luò)模型。CNN雖然取得了一定的成果，但是CNN提取特征時(shí)容易忽略隱性特征，如位置或比例信息。

為了克服上述缺點(diǎn)，國內(nèi)外學(xué)者嘗試將注意力模塊嵌入到CNN中，增加通道和空間維度，比單通道域注意力模塊和單空間域注意力模塊更適用于計(jì)算機(jī)視覺識別任務(wù)。付加勝等[7]提出基于CNN-LSTM融合網(wǎng)絡(luò)的溢流早期預(yù)測深度學(xué)習(xí)方法。崔陸軍等[8]提出基于注意力機(jī)制的卷積模型的激光熔覆裂紋識別方法，提高了檢測準(zhǔn)確率。韓陽等[9]提出一種融合三通道注意力的腦腫瘤圖像分割網(wǎng)絡(luò)。于潤潤等[10]提出輕量級的自適應(yīng)通道注意力機(jī)制和空間注意力機(jī)制。

長久以來，國內(nèi)外專家學(xué)者致力于開發(fā)深層復(fù)雜的網(wǎng)絡(luò)模型以滿足精度需求。強(qiáng)化學(xué)習(xí)的出現(xiàn)打破了深度網(wǎng)絡(luò)模型以往的先驗(yàn)知識，為研究提供了新的嘗試。深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning，DRL)融合了深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。深度學(xué)習(xí)為強(qiáng)化學(xué)習(xí)提供感知?jiǎng)討B(tài)環(huán)境和存儲(chǔ)海量樣本的能力，而強(qiáng)化學(xué)習(xí)使深度學(xué)習(xí)能夠自主學(xué)習(xí)最優(yōu)策略。最近，越來越多的研究將DRL應(yīng)用于故障診斷問題。LI G.Q.等[11]提出一種基于膠囊神經(jīng)網(wǎng)絡(luò)和在線特征字典方法的DRL模型，可以適應(yīng)可變工況的故障診斷任務(wù)。DING Y.等[12]提出了一種基于稀疏自動(dòng)編碼器的DRL方法，用于診斷軸承和泵的故障。DAI W.X.等[13]提出一種通過深度強(qiáng)化學(xué)習(xí)算法和平滑度指數(shù)倒數(shù)控制帶通濾波器，選擇信噪比最高的頻段新方法。FAN S.等[14]提出一種基于DRL的故障診斷方法，該方法可以從初始訓(xùn)練集中選擇合適的樣本以減少模型性能的不平衡。WANG Z.X.等[15]提出一種基于一維卷積深度強(qiáng)化學(xué)習(xí)和改進(jìn)的演員-批評者算法的智能故障識別網(wǎng)絡(luò)，緩解了過度擬合或退化的現(xiàn)象。

為此，筆者提出一種基于特征增強(qiáng)的深度強(qiáng)化學(xué)習(xí)(DRL)的滾動(dòng)軸承故障診斷方法。該方法創(chuàng)新點(diǎn)是在卷積網(wǎng)絡(luò)的基礎(chǔ)上嵌入注意力模塊，實(shí)現(xiàn)全局搜索重要特征，彌補(bǔ)了卷積神經(jīng)網(wǎng)絡(luò)局部最優(yōu)以及忽略重要隱性特征的缺點(diǎn)。其次，該方法結(jié)合強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，利用其自學(xué)能力和獨(dú)立決策能力，通過獎(jiǎng)勵(lì)機(jī)制激勵(lì)于深度網(wǎng)絡(luò)模型注意圖權(quán)重參數(shù)，進(jìn)而自主尋找最優(yōu)分類策略。

1 理論分析

1.1 注意力增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)模型及建模過程

CBAM模塊包含2個(gè)獨(dú)立的模塊，分別為通道注意力模塊和空間注意力模塊，提高了網(wǎng)絡(luò)對隱式重要特征的提取能力。同時(shí)CBAM是一個(gè)簡單的注意力模塊，是一種即插即用的簡單注意力塊，減少參數(shù)數(shù)量和計(jì)算能力。整體CBAM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，通道注意力模塊如圖2所示，空間注意力模塊如圖3所示。

圖1 CBAM網(wǎng)絡(luò)結(jié)構(gòu)圖

圖3 空間注意力模塊

由圖1可知，CBAM模塊結(jié)合了通道注意力模塊和空間注意力模塊來推斷注意力權(quán)重圖并生成詳細(xì)的特征圖。這2個(gè)子模塊計(jì)算公式為：

F′=MC(F)?F

(1)

F″=MS(F′)?F′

(2)

式中：F表示輸入的特征圖；F′表示通道細(xì)化特征圖；F″表示細(xì)化的特征圖；?表示逐元素乘法。

首先使用最大池化層和平均池化層對輸入的特征圖在空間維度進(jìn)行壓縮，生成2種不同的空間上下文描述符：AvgPool(F)和MaxPool(F)；然后將這2個(gè)描述符轉(zhuǎn)發(fā)到多層感知器(MLP)，MLP將2個(gè)池化層輸出的高級特征組合到一起；最后使用sigmoid函數(shù)激活輸入的特征，顯示輸入特征的通道優(yōu)先級。模塊結(jié)構(gòu)如圖2所示。

計(jì)算公式為：

MC(F)=σ(MLP(AvgPool(F)))+

MLP(MaxPool(F))

(3)

式中：σ是sigmoid運(yùn)算；MaxPool表示最大池化；AvgPool表示平均池化。

空間注意力模塊更注重于哪個(gè)位置的信息更重要，起到補(bǔ)充作用。首先利用最大池化層和平均池化層處理輸入的特征；然后將2個(gè)不同特征的輸出連接起來，生成1個(gè)新的特征描述符；最后，通過卷積和sigmoid函數(shù)運(yùn)算將新的特征描述符轉(zhuǎn)化為細(xì)化的特征。其結(jié)構(gòu)如圖3所示，計(jì)算公式為：

MS(F)=σ(f7×7([AvgPool(F)；MaxPool(F)]))

(4)

式中：MS∈RC×H×W；7×7表示卷積核大小。

CBAM模塊主要解決CNN的特征提取不充分的問題。本研究將CBAM模塊引入CNN模型。對CBAM模塊的數(shù)量和集成位置進(jìn)行了分析和確認(rèn)，進(jìn)一步提高了模型的分類性能。網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4所示。

圖4 CBAM-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 DRL基礎(chǔ)理論

強(qiáng)化學(xué)習(xí)是從交互中學(xué)習(xí)以達(dá)到預(yù)期目標(biāo)的方法。強(qiáng)化學(xué)習(xí)以馬爾可夫決策過程(MDP)為框架，馬爾可夫過程由一個(gè)元組組成(s，a，r，γ)。其中s是狀態(tài)集合，a是動(dòng)作集合，p是狀態(tài)轉(zhuǎn)移概率矩陣，r是獎(jiǎng)勵(lì)函數(shù)，γ是折扣因子。馬爾可夫決策過程如圖5所示。

圖5 馬爾科夫決策過程

Q-learning算法中智能體的學(xué)習(xí)過程分為3個(gè)步驟：①智能體觀察當(dāng)前狀態(tài)隨機(jī)選擇一個(gè)動(dòng)作；②環(huán)境對于智能體選擇的動(dòng)作做出反饋，獎(jiǎng)勵(lì)或者懲罰；③利用貝爾曼方程更新Q表，即Q(s，a)。

Q學(xué)習(xí)算法使用貝爾曼方程更新Q(s，a)，其更新公式如下：

Q(s，a)=(1-α)Q(s，a)+

(5)

Qnew(st，at)=Q(st，at)+α[Rt+1+

(6)

通常有2種值函數(shù)來評價(jià)策略π的性能，即狀態(tài)值函數(shù)Vπ(s)和狀態(tài)-動(dòng)作值函數(shù)Qπ(s，a)。狀態(tài)值函數(shù)定義為：

(7)

式中：E(·)為策略π的計(jì)算期望操作；s0為開始觀測狀態(tài)；k是相互作用步驟；Rk表示第k次交互步驟中的獎(jiǎng)勵(lì)。

定義狀態(tài)-動(dòng)作值函數(shù)為：

(8)

式中：策略π用于執(zhí)行動(dòng)作a到觀測結(jié)果s。

策略π用于最大化Qπ(s，a)和Vπ(s)。一旦給定了Qπ(s，a)和Vπ(s)的最大值，最優(yōu)策略π*可以通過以下方法得到：

(9)

經(jīng)驗(yàn)回放是指將智能體與環(huán)境交互過程中每個(gè)時(shí)間節(jié)點(diǎn)產(chǎn)生的經(jīng)驗(yàn)數(shù)據(jù)et：

et=(st，at，rt，st+1)

(10)

將數(shù)據(jù)存儲(chǔ)在經(jīng)驗(yàn)池D：

UHPLC-Q-Orbitrap液相色譜-質(zhì)譜聯(lián)用系統(tǒng)：Ultimate 3000超高效液相色譜儀（美國Dionex公司）；Q Exactive型高分辨質(zhì)譜儀（美國Thermo Fisher Scientific公司）；ACQUITY UPLC? BEH C18色譜柱（100 mm×2.1 mm，1.7 μm，美國Waters公司）。AL104型萬分之一分析天平（瑞士Mettler Toledo上海有限公司）；MDS-6G型多通量微波消解/萃取系統(tǒng)（上海新儀微波化學(xué)科技有限公司）。

D={e1，e2，…，en}

(11)

yi=Q(st，at；θi)+δ(R(s，a，st+1)+

(12)

深度Q網(wǎng)絡(luò)訓(xùn)練過程中，通過最小化損失函數(shù)進(jìn)行權(quán)重更新：

(13)

(14)

式中：y通過Q學(xué)習(xí)得到。

式(13)中，目標(biāo)網(wǎng)絡(luò)的梯度θt通過下式進(jìn)行更新：

?θtQ(s，a；θt)]

(15)

2 CBAM-CNN-QL學(xué)習(xí)框架

本文提出一種特征增強(qiáng)的深度強(qiáng)化學(xué)習(xí)滾動(dòng)軸承故障診斷方法。在該網(wǎng)絡(luò)模型中將注意力模塊(CBAM)與深度強(qiáng)化學(xué)習(xí)(DRL)中的卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)合，提高了CNN網(wǎng)絡(luò)的特征提取能力和圖像識別能力。同時(shí)，不同的故障樣本作為不同的狀態(tài)st，經(jīng)過CNN-CBAM網(wǎng)絡(luò)的特征提取和特征編碼進(jìn)入Q-learning故障識別機(jī)制，最后利用梯度下降法更新CNN中的參數(shù)θ，自主學(xué)習(xí)最優(yōu)的分類策略。所提方法的結(jié)構(gòu)圖如圖6所示，智能體迭代過程如圖7所示。本文所提方法的流程圖如圖8所示。

圖6 CABM-CNN-QL結(jié)構(gòu)圖

圖7 智能體迭代過程

圖8 故障診斷流程圖

具體步驟如下。

(1)將滾動(dòng)軸承故障信號分割成不同類型的樣本。

(2)隨機(jī)選取一個(gè)故障樣本作為當(dāng)前狀態(tài)st輸入到CBAM-CNN-QL模型中。

(3)故障樣本首先進(jìn)入卷積層提取特征，然后進(jìn)入CBAM模塊。

(4)在CBAM模塊中，先后經(jīng)過通道注意力模塊和空間注意力模塊，在注意力模塊中最大池化層和平均池化層分別提取主要特征，然后通過多層感知器MLP融合2個(gè)通道的特征，進(jìn)入卷積層。

(5)通過卷積和sigmoid函數(shù)運(yùn)算將新的特征描述符轉(zhuǎn)化為細(xì)化的特征，生成最終的注意力特征圖。

(6)用卷積層和全連接層對輸入注意力特征圖進(jìn)行編碼，得到Q值。

(7)用貪婪策略選擇動(dòng)作即選擇類別、執(zhí)行動(dòng)作at并獲得獎(jiǎng)勵(lì)Rt+1(如果正確，獎(jiǎng)勵(lì)+1；如果錯(cuò)誤，獎(jiǎng)勵(lì)-1)；然后進(jìn)入下一個(gè)狀態(tài)st+1，將經(jīng)驗(yàn)數(shù)據(jù)et{st，at，rt+1，st+1}存儲(chǔ)于經(jīng)驗(yàn)池D中。

(8)將步驟6中的Q值和獨(dú)熱碼點(diǎn)乘，以獲得Q(s，a；θ)。

(9)重復(fù)步驟(2)～步驟(8)，并從經(jīng)驗(yàn)池D中隨機(jī)抽取小批量et{sj，aj，rj+1，sj+1}，更新注意力圖權(quán)重θ。

(10)利用滾動(dòng)軸承數(shù)據(jù)集驗(yàn)證所提方法的有效性。

3 試驗(yàn)研究

3.1 從滾動(dòng)軸承采集試驗(yàn)數(shù)據(jù)

試驗(yàn)平臺(tái)由交流電動(dòng)機(jī)、電動(dòng)機(jī)轉(zhuǎn)速控制器、轉(zhuǎn)軸、支撐軸承、液壓加載系統(tǒng)和測試軸承等組成，如圖9所示。試驗(yàn)平臺(tái)通過調(diào)節(jié)徑向力和轉(zhuǎn)速，共設(shè)計(jì)了3類工況，如表1所示。試驗(yàn)所用軸承為LDK UER204滾動(dòng)軸承，其相關(guān)參數(shù)見表2。試驗(yàn)中使用DT9837便攜式動(dòng)態(tài)信號采集器采集振動(dòng)信號。試驗(yàn)中設(shè)置采樣頻率為25.6 kHz，采樣間隔為1 min，每次采樣時(shí)長為1.28 s。

表1 試驗(yàn)工況

表2 滾動(dòng)軸承相關(guān)參數(shù)

圖9 滾動(dòng)軸承故障試驗(yàn)臺(tái)

故障數(shù)據(jù)信息如表3所示。每種故障工況包括內(nèi)圈、外圈、滾動(dòng)體、保持架4個(gè)故障位置，即4種故障數(shù)據(jù)集。訓(xùn)練集樣本數(shù)和測試集樣本數(shù)比例為4∶1，每個(gè)故障樣本包含2 480個(gè)數(shù)據(jù)點(diǎn)。表3給出了數(shù)據(jù)集的詳細(xì)信息。4種故障信號的時(shí)域波形圖如圖10所示。

表3 故障數(shù)據(jù)信息

圖10 4種故障狀態(tài)的時(shí)域波形圖

3.2 結(jié)果分析

將本文所提方法應(yīng)用于滾動(dòng)軸承試驗(yàn)數(shù)據(jù)集，CBAM-CNN-QL模塊的訓(xùn)練迭代次數(shù)為60次，每批次200個(gè)樣本數(shù)據(jù)。同時(shí)，為避免試驗(yàn)結(jié)果的隨機(jī)性，保證所提模塊的穩(wěn)定性，將本文所提方法應(yīng)用在3種工況下，以工況S1為例，說明CBAM-CNN-QL方法的分類識別結(jié)果及收斂過程，結(jié)果如圖11所示。圖11中，訓(xùn)練集精度和誤差分別為99.69%和0.001 2。剛開始訓(xùn)練時(shí)曲線振幅較大，上升迅速，迭代28次時(shí)達(dá)到峰值，之后曲線小幅震蕩，精度穩(wěn)定在99.69%附近。測試集精度和誤差分別為99.02%和0.002 6，將測試集分類結(jié)果繪制成混淆矩陣，如圖12所示。4種故障中內(nèi)圈故障(IF)和保持架故障(GF)識別效果最好，均有3個(gè)故障樣本識別錯(cuò)誤，其他2種故障均有8個(gè)樣本識別錯(cuò)別。本文所提方法在各種故障模式下均取得了較好的識別效果，驗(yàn)證了CBAM-CNN-QL模型的可行性。

圖11 CABM-CNN-QL算法結(jié)果

圖12 混淆矩陣

為了驗(yàn)證將本文所提方法的穩(wěn)定性和優(yōu)越性。將本文所提方法CBAM-CNN-QL與CNN、SE-CNN、CBAM-CNN、BP模型進(jìn)行比較，訓(xùn)練集的識別率曲線如圖13所示。由圖13可知，BP模型在收斂過程中曲線上升平緩，精度最低。CNN模型明顯優(yōu)于BP模型但是收斂速度和精度還有待提高。CBAM-CNN模型和SE-CNN模型收斂速度相差不大，但是CBAM-CNN模型在收斂過程中曲線振幅相對較小，在迭代35次之后識別精度相對較高。CBAM-CNN-QL模型初始迭代時(shí)精度優(yōu)于其他算法，上升過程中曲線振幅小于其他模型，迭代20次時(shí)，曲線精度開始高于CBAM-CNN模型，第20次之后CBAM-CNN-QL精度曲線始終高于其他模型且振幅相對穩(wěn)定，無較大波動(dòng)。

圖13 不同模型試驗(yàn)比較結(jié)果

為進(jìn)一步驗(yàn)證模型的穩(wěn)定性，將不同工況下的試驗(yàn)數(shù)據(jù)代入不同算法網(wǎng)絡(luò)模型，比較其分類準(zhǔn)確率，結(jié)果如圖14和表4所示。由圖14可知，本文所提方法CBAM-CNN-QL在每一類的故障數(shù)據(jù)樣本中均有較高分類精度，且收斂快、收斂過程穩(wěn)定，平均分類精度可達(dá)到99.69%，比CBAM-CNN、SE-CNN、CNN、BP模型準(zhǔn)確率高1.24%、2.08%、3.57%、13.66%。結(jié)果表明，相較于傳統(tǒng)的診斷算法，所構(gòu)建的CBAM-CNN-QL模型優(yōu)于其他方法的診斷性能。

表4 不同工況準(zhǔn)確率結(jié)果

圖14 不同工況準(zhǔn)確率對比

為了直觀地可視化分類過程，引入t-SNE技術(shù)，結(jié)果如圖15所示。使用CBAM-CNN-QL融合模型對6 287個(gè)測試集樣本數(shù)據(jù)進(jìn)行分類，并給出了它們中間過程的t-SNE可視化。本文選擇的可視化網(wǎng)絡(luò)層為輸入層、卷積層、CBAM模塊中的卷積層以及全連接層。由圖15可知，振動(dòng)信號在進(jìn)入輸入層時(shí)其特征在二維空間上的分布混亂，不同類別混淆在一起，難以分辨。當(dāng)振動(dòng)信號通過卷積層后，可視化圖像可觀察到初步的分類，不同類別漸漸分離開來可觀察到1、3類故障點(diǎn)明顯剝離出來。經(jīng)過CBAM模塊的卷積層后類別特征明顯，不同類別有明顯的分離現(xiàn)象但是2、3類故障點(diǎn)小部分未完全分離開來。經(jīng)過最后一層輸出層時(shí)不同類別故障點(diǎn)完全分離，基本完成分類任務(wù)。

圖15 t-SNE可視化特征分布圖

4 結(jié)束語

本文將CNN、CBAM和Q-learning進(jìn)行有機(jī)融合，提出了一種特征增強(qiáng)深度強(qiáng)化學(xué)習(xí)的滾動(dòng)軸承故障診斷方法。通過加入注意力模塊(CBAM)提高特征提取能力，結(jié)合Q-Learning可以實(shí)現(xiàn)故障樣本到故障標(biāo)簽的映射關(guān)系，利用經(jīng)驗(yàn)回放和獎(jiǎng)勵(lì)機(jī)制，調(diào)節(jié)注意力圖權(quán)重參數(shù)，尋找最優(yōu)分類策略。試驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了本文所提的方法的有效性，不僅增強(qiáng)了樣本數(shù)據(jù)的特征，提高識別精度，性能上也優(yōu)于現(xiàn)有算法，具有良好的自適應(yīng)性。