陳博戩，沈長青，石娟娟，朱忠奎，馮毅雄

(1.蘇州大學 軌道交通學院，江蘇 蘇州 215131；2.浙江大學 流體動力與機電系統(tǒng)國家重點實驗室，杭州 310027)

故障診斷已經(jīng)成為現(xiàn)代工業(yè)系統(tǒng)中不可缺少的技術[1]。近年來，基于深度學習的故障診斷方法得到了空前的發(fā)展[2-4]。基于深度學習的軸承等關鍵機械部件故障診斷方法往往要求各故障類型的足量數(shù)據(jù)且訓練集與測試集同分布；然而，在實際應用場景中，軸承存在不同的故障模式和故障程度，即對于診斷模型而言，雖然已經(jīng)學習了某些故障模式和程度的診斷知識，但仍要面臨新診斷需求下存在故障類型增量，需要進一步提升模型泛化能力的問題。受限于深度神經(jīng)網(wǎng)絡自身的特點，深度故障診斷模型在學習新數(shù)據(jù)時會遺忘已學習的舊知識，即現(xiàn)有模型直接學習新的故障類型將導致對舊故障類型的診斷性能不佳，這種現(xiàn)象被稱為災難性遺忘[5]；而收集所有已知故障類型的數(shù)據(jù)來重新訓練模型的成本過高甚至難以實現(xiàn)：因此，引入終身學習來克服深度學習模型的災難性遺忘，持續(xù)、增量地積累和遷移診斷知識，從而建立一個泛化能力更強的診斷模型。

在計算機視覺領域，已有的一些對克服災難性遺忘的研究被稱為終身學習、持續(xù)學習或增量學習[6]。文獻[7]提出了增量分類器和表征學習(Incremental Classifier and Representation Learning，iCaRL)，首先提出了基于典例的終身學習方法并將其與知識蒸餾[8]相結(jié)合。文獻[9]將終身學習的一些方法用于小樣本學習，但忽略了終身學習需解決的關鍵問題，即災難性遺忘。然而，基于終身學習的故障診斷方法的研究還很少。遷移學習和元學習是與終身學習有緊密聯(lián)系的學習范式[10]，在故障診斷領域是熱點話題：文獻[11]提出了一種用于電機軸承和齒輪箱故障診斷的遷移方法，文獻[12]提出了一種基于度量的元學習模型，以實現(xiàn)小樣本的故障診斷。遷移學習、元學習和終身學習都試圖通過在任務之間遷移知識來幫助目標任務學習，但遷移學習和元學習僅關注目標任務的性能，而終身學習則要求模型在所有已學習任務上都有良好的表現(xiàn)。基于終身學習的故障診斷方法可以不斷學習新的故障類型，減少訓練成本并且不斷積累、豐富知識，從而提高診斷模型的可靠性和泛化能力。因此，研究基于終身學習范式的故障類型增量的故障診斷具有十分重要的意義。

本文提出了一種新的基于終身學習的軸承故障診斷方法(Lifelong Learning Based Bearing Fault Diagnosis Method，LLBFDM)，用于具有故障類型增量的軸承故障診斷。LLBFDM基于一種高效、流行的終身學習方法iCaRL，為克服iCaRL存在的災難性遺忘并解決知識保留(穩(wěn)定性)和知識學習(可塑性)困境[13]，本文提出了雙分支自適應聚合殘余網(wǎng)絡(Dual-branch Adaptive Aggregation Residual Networks，DAARN)，通過自適應聚合權(quán)重加權(quán)聚合DAARN中穩(wěn)定分支和動態(tài)分支平衡模型的穩(wěn)定性與可塑性，使用雙級優(yōu)化程序優(yōu)化聚合權(quán)重和模型參數(shù)，并通過一個具有故障類型增量的軸承診斷案例驗證本方法的有效性。

1 理論背景

1.1 終身學習

終身學習是通過模仿人類學習而開發(fā)的一種高效的學習模型，以實現(xiàn)在一系列連續(xù)的任務中持續(xù)地學習。終身學習模型可以像人類一樣提取并保留在一系列訓練任務中逐步出現(xiàn)的有效信息，并利用這些信息幫助學習新的任務。如圖1所示，終身學習有2個主要問題：災難性遺忘和穩(wěn)定性-可塑性困境。

圖1 終身學習中的主要問題

終身學習的過程主要包括兩方面：知識遷移和知識積累。在終身學習中，學習一項新的任務相當于是對模型進行微調(diào)，這也是遷移學習中常用來遷移知識的方法。然而，單純的微調(diào)無法積累知識，模型將失去完成先前已學習任務的能力。這種在先前已學習任務上性能突然斷崖式的下降被稱為災難性遺忘。

終身學習的另一個主要問題是穩(wěn)定性-可塑性困境。終身學習模型應該在克服災難性遺忘的基礎上，維持穩(wěn)定性和可塑性之間的平衡，以實現(xiàn)對新任務敏感的同時，對舊任務的表現(xiàn)不產(chǎn)生破壞性的干擾；然而，終身學習模型很難在保持可塑性的同時實現(xiàn)良好的穩(wěn)定性。穩(wěn)定性-可塑性困境是對終身學習發(fā)展的一個新挑戰(zhàn)。

已經(jīng)提出的關于終身學習的方法可以分為三類：正則化方法、知識重放和參數(shù)隔離。這些方法通?？梢越M合使用以獲得令人滿意的性能。

1.2 問題定義

1.3 所提方法背景

(1)

式中：Pc為類c的樣本數(shù)量；F為特征提取。

假設要選取t個典例，對于d=1,…,t，典例e為

(2)

ε=(e1,e2,…,et)。

(3)

在第n個階段，典例ε0:n-1={ε0,ε1,…,εn-1}和訓練數(shù)據(jù)Dn共同訓練模型Θn-1得到Θn，接著篩選典例εn。

知識蒸餾通過約束參數(shù)的更新方向以克服災難性遺忘[15]，在第n階段，分類損失為常用的交叉熵分類損失函數(shù)，可表示為

(4)

(5)

綜上，總的損失函數(shù)為

(6)

2 基于終身學習的軸承故障診斷方法

2.1 LLBFDM的終身學習過程

LLBFDM的終身學習過程分為初始階段和n個增量階段。LLBFDM由3個主要部分組成：數(shù)據(jù)預處理模塊、特征提取器F和分類器G。在數(shù)據(jù)預處理模塊中，故障的振動信號通過快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)轉(zhuǎn)換成頻域信號，然后將一維頻域信號轉(zhuǎn)換為二維信號。這個模塊在所有階段都是相同的，而其他2個部分在初始階段和增量階段是不同的。

2.2 兼具穩(wěn)定性和可塑性的特征提取器DAARN

DAARN基于ResNet[16]結(jié)構(gòu)，ResNet廣泛用于圖像識別領域，由殘差塊組成。本方法遵循iCaRL的設置，采用ResNet-32作為LLBFDM的骨干網(wǎng)絡。ResNet-32的結(jié)構(gòu)見表1。

表1 ResNet-32的結(jié)構(gòu)

在初始階段，特征提取器F0的結(jié)構(gòu)是標準的ResNet-32。由于故障類型的遞增，在初始階段得到的模型不能可靠地診斷新故障，因此在增量學習階段采用DAARN，以獲得更可靠的診斷模型。

在終身學習中，學習一個新任務相當于對前一個任務學習得到的模型進行微調(diào)。微調(diào)一般有2種： 1)對所有網(wǎng)絡參數(shù)進行微調(diào)，稱為參數(shù)級微調(diào)；2)凍結(jié)部分網(wǎng)絡，對其余網(wǎng)絡參數(shù)進行微調(diào)，稱為部分微調(diào)。如圖2a所示，以三通道卷積神經(jīng)網(wǎng)絡為例，Q為神經(jīng)元數(shù)量，參數(shù)級微調(diào)更新了模型的所有參數(shù)。受文獻[17]的啟發(fā)，本文引入一種新的微調(diào)方式，稱為神經(jīng)元級微調(diào)，如圖2b所示。神經(jīng)元級微調(diào)凍結(jié)了模型Θ0的所有參數(shù)，并為每個神經(jīng)元增加了一個新的權(quán)重參數(shù)。神經(jīng)元級微調(diào)可以減少模型可學習參數(shù)的數(shù)量，從而避免過度擬合，并通過凍結(jié)初始模型的參數(shù)防止災難性遺忘。

圖2 DAARN的結(jié)構(gòu)

xk=(Wk⊙βk)xk-1,

(7)

式中：⊙為哈達瑪積。

如圖2c所示，DAARN由2個不同的ResNet-32分支組成：一個動態(tài)分支和一個穩(wěn)定分支。每個分支由3層相同類型的殘差塊組成，即3個動態(tài)塊(橙色)或3個穩(wěn)定塊(藍色)。動態(tài)塊的訓練為參數(shù)級微調(diào)，穩(wěn)定塊的訓練為神經(jīng)元級微調(diào)。在完成初始階段訓練后，特征提取器F0被用來初始化動態(tài)分支，并在穩(wěn)定分支中凍結(jié)。

用α和β分別表示動態(tài)分支和穩(wěn)定分支的可學習參數(shù)。α可以動態(tài)適應新任務，β則是軟固定的，以盡可能地保留先前學習任務的知識。引入自適應聚合權(quán)重ω以平衡模型的可塑性和穩(wěn)定性，ωα和ωβ分別代表動態(tài)塊和穩(wěn)定塊的自適應聚合權(quán)重。輸入的故障數(shù)據(jù)x[0]通過3個殘差塊層獲得特征h。在第n個殘差層的動態(tài)塊和穩(wěn)定塊的特征提取可表示為

(8)

式中：W0為從初始階段得到并凍結(jié)的神經(jīng)元權(quán)重；f為單個殘差塊的特征提取。

第n個殘差塊層提取的特征可以表示為

(9)

2.3 雙級優(yōu)化程序

(10)

(10)式的上半部分是上層問題，下半部分是下層問題。在下層問題中，模型參數(shù)Θn由所有可用數(shù)據(jù)ε0:n-1∪Dn進行更新，即

[Θn]←[Θn]-γ1?[Θn]Ln(Θn,ωn;ε0:n-1∪Dn),

(11)

式中：γ1為下層問題的學習率。

(12)

式中：γ2為上層問題的學習率。

3 試驗結(jié)果及其分析

3.1 數(shù)據(jù)集描述

輪對軸承故障數(shù)據(jù)采集試驗平臺如圖3所示，試驗臺大輪直徑為280 mm，小輪直徑為200 mm，V帶傳動中小帶輪基準直徑為95 mm，大帶輪基準直徑為200 mm，傳動比約為2.105。采用編碼器對轉(zhuǎn)速信號進行測量，轉(zhuǎn)軸每轉(zhuǎn)一圈編碼器可以發(fā)出600個脈沖。三軸加速度傳感器中的x，y，z方向分別是轉(zhuǎn)軸豎直方向、水平方向和軸向。用NI系統(tǒng)控制變頻器控制電動機轉(zhuǎn)速，電流傳感器測量變頻器電流。

圖3 自制輪對軸承故障數(shù)據(jù)采集試驗平臺

試驗軸承型號為NJ208E(外圈雙擋邊，內(nèi)圈單擋邊圓柱滾子軸承)，設置直徑分別為0.2，0.3，0.4 mm的故障，每種尺寸包含內(nèi)圈故障、外圈故障、滾子故障、內(nèi)圈+滾子故障、外圈+滾子故障、內(nèi)圈+外圈故障、內(nèi)圈+外圈+滾子故障7種故障位置，分別用I，O，B，IB，OB，IO，IOB表示，共21種不同的故障類型。試驗轉(zhuǎn)速為400 r/min，采樣頻率為32 768 Hz，在2.4 kN載荷下使用測得的加速度信號構(gòu)建故障類型增量數(shù)據(jù)集。模型的每個診斷任務包含7種相同故障尺寸的故障類型，如I0.2，B0.2，O0.2，IB0.2，OB0.2，IO0.2，IOB0.2，作為初始診斷任務；而I0.3，B0.3，O0.3，IB0.3，OB0.3，IO0.3，IOB0.3作為第1個增量診斷任務。每種故障類型由100個訓練樣本，100個測試樣本?？傆?個任務，每次學習1個任務。

3.2 對比方法

目前，基于終身學習的診斷方法的研究十分稀少，通過比較相關的非終身學習方法、最流行的終身學習方法和消融試驗驗證LLBFDM的有效性及優(yōu)越性，所有方法均使用ResNet-32作為骨干網(wǎng)絡，詳細情況見表2：R1是用新故障類型的數(shù)據(jù)與所有已知故障類型的數(shù)據(jù)一起訓練模型，通常用于多任務學習，訓練成本最高但結(jié)果也最理想，是終身學習表現(xiàn)的上界；R2是對整個深度神經(jīng)網(wǎng)絡進行微調(diào)，以說明災難性遺忘；R3凍結(jié)了初始階段訓練得到的特征提取器，僅對分類器進行微調(diào)；M1是LLBFDM的基礎，iCaRL并沒有使用全連接層作為分類器，而是使用了最近鄰分類器；M2引入了一系列的方法，如余弦歸一化分類器(Learning Unified Classifier Incrementally via Rebalancing，LUCIR)，以克服災難性遺忘[18]；A1，A2用于驗證雙分支結(jié)構(gòu)的必要性和重要性；A3用于驗證自適應聚合權(quán)重的有效性。

表2 對比方法

3.3 試驗實施細節(jié)

LLBFMD的超參數(shù)見表3：每個學習階段的學習率γ1初始化為0.1，學習率衰減因子設置為0.1，在第80和120個迭代時分別降低到0.01和0.001；學習率γ2也通過學習率衰減因子隨迭代次數(shù)下降；自適應聚合權(quán)重ωα和ωβ被約束為ωα+ωβ=1；在使用含有溫度參數(shù)K的知識蒸餾損失函數(shù)的方法中，K被設置為2。在M1和M2中，未描述的參數(shù)被設置為默認值，超參數(shù)的設置在所有試驗中均相同。

表3 LLBFMD超參數(shù)設置

每個訓練樣本有1 024個采樣點，經(jīng)過數(shù)據(jù)預處理模塊后被重塑為3×32×32。每個故障類型的典例數(shù)固定為10個，典例總數(shù)隨著診斷任務的增加而增加。每個方法都進行5次重復試驗，并給出平均準確率和標準差。

3.4 結(jié)果分析

本試驗旨在驗證LLBFDM的有效性，為比較每種方法在克服災難性遺忘和解決穩(wěn)定性-可塑性困境方面的能力，在完成每個階段的訓練后，分別給出T0和所有已學習任務的診斷精度，結(jié)果見表4和表5。

表4 各方法在任務T0上的診斷精度

表5 各方法在所有已學習任務上的診斷精度

各方法在任務T0上的平均診斷精度及標準差可以反映出其克服災難性遺忘的能力，由表4可知：R1的訓練結(jié)果最理想；R2體現(xiàn)了神經(jīng)網(wǎng)絡在完成新任務的訓練而不采取任何行動后會發(fā)生的災難性遺忘現(xiàn)象；R3表明即使凍結(jié)了特征提取器，診斷模型在完成新任務學習后仍會有一定程度的知識遺忘；隨著學習階段的增加，M1和M2在T0的診斷精度不斷下降，但與R2相比仍有較高的診斷精度，表明知識蒸餾與典例可以防止模型的災難性遺忘；與M1，M2和A1，A2，A3相比，LLBFDM對T0的診斷在每個階段都取得了最高的精度，也是最接近R1的結(jié)果，克服災難性遺忘的能力令人滿意，保持了診斷模型的可靠性。

各方法在所有已學習任務上的平均診斷精度及標準差可以反映出其解決穩(wěn)定性-可塑性困境的能力，由表5可知：R1是診斷性能的上限；R2由于災難性遺忘而性能較差，其完成第1個增量階段后在所有學習任務T0：1上的混淆矩陣如圖4所示，對整個網(wǎng)絡進行參數(shù)級微調(diào)將導致對舊任務T0的災難性遺忘，說明深度神經(jīng)網(wǎng)絡缺乏有效保留舊任務記憶的能力；R3的結(jié)果說明初始階段得到的特征提取器不適用于新任務的故障特征提??； M1和M2在第1階段和第2階段的準確率持續(xù)下降，無法維持可靠的診斷精度，這是由于未考慮穩(wěn)定性-可塑性困境，不能維持可塑性和穩(wěn)定性的良好平衡以保持可靠的診斷精度；A1，A2分別用于驗證穩(wěn)定分支和動態(tài)分支的性能，由于穩(wěn)定分支的可學習參數(shù)比動態(tài)分支少，A1的診斷精度在2個增量階段的表現(xiàn)都比A2差；在A3中將2個聚合權(quán)重固定為0.5，由于缺乏聚合權(quán)重的更新來平衡模型的可塑性和穩(wěn)定性，也無法維持可靠的診斷性能；在新任務的訓練中，動態(tài)分支承擔著絕大部分學習新知識的責任，而穩(wěn)定分支則保留了任務T0的知識并慢慢學習新的故障類型，采用聚合權(quán)重平衡這2個分支并使用雙層優(yōu)化程序更新聚合權(quán)重和模型參數(shù)，使LLBFDM在每個階段都有令人滿意的表現(xiàn)，結(jié)果表明LLBFDM能夠克服災難性遺忘并解決穩(wěn)定性-可塑性的困境，診斷精度是除R1外最高的，且標準差也低于除R1以外的所有方法，說明LLBFDM的魯棒性更強。

圖4 增量階段1中R2在所有已學習任務的混淆矩陣

4 結(jié)束語

在終身學習范式下，本文提出了LLBFDM用于具有故障類型增量的軸承故障診斷。作為LLBFDM的核心，DAARN克服了災難性遺忘，通過使用穩(wěn)定分支和動態(tài)分支并結(jié)合自適應聚合權(quán)重對其進行平衡，解決了終身學習中的穩(wěn)定性-可塑性困境。在具有故障類型增量的軸承數(shù)據(jù)集上進行測試，LLBFDM的有效性得到了驗證。試驗結(jié)果顯示，與其他終身學習方法和消融試驗相比，LLBFDM具有更好的診斷精度和更強的魯棒性。

LLBFDM考慮了穩(wěn)定性-可塑性困境，并使用了典例等方法克服災難性遺忘，但在進行新任務的訓練時忽視了舊故障類型與新故障類型之間樣本數(shù)量的不平衡問題，會造成分類器的權(quán)重偏向于新類，從而加劇災難性遺忘。在后續(xù)工作中，將對具有修正類偏置能力的分類器進行研究，并進一步探索小樣本故障類型增量下終身學習診斷模型的建立。