李國(guó)瑞，武雅君，王 穎，彭三城，王 聰

(1.東北大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110169；2.秦皇島職業(yè)技術(shù)學(xué)院 信息工程系，河北 秦皇島 066100；3.廣東外語(yǔ)外貿(mào)大學(xué) 語(yǔ)言工程與計(jì)算實(shí)驗(yàn)室，廣東 廣州 510006)

隨著“工業(yè)4.0”與“中國(guó)制造2025”等概念的提出，工業(yè)物聯(lián)網(wǎng)（Industrial Internet of Things，IIoT）已取得長(zhǎng)足發(fā)展，并被廣泛應(yīng)用于智能制造、交通運(yùn)輸、能源管控等多個(gè)領(lǐng)域[1]。通過(guò)將具有感知和控制能力的傳感器和執(zhí)行器部署于機(jī)械裝備和工業(yè)現(xiàn)場(chǎng)中，利用無(wú)線(xiàn)通信或現(xiàn)場(chǎng)總線(xiàn)技術(shù)傳輸監(jiān)控?cái)?shù)據(jù)，并采用機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的智能化感知和控制，可以有效地提升工業(yè)生產(chǎn)效率，降低運(yùn)維成本，提高產(chǎn)品質(zhì)量，最終實(shí)現(xiàn)工業(yè)智能化[2]。

作為工業(yè)物聯(lián)網(wǎng)的重要組成部分，故障預(yù)測(cè)與健康管理（prognostics health management，PHM）可基于設(shè)備的健康監(jiān)測(cè)數(shù)據(jù)實(shí)現(xiàn)智能故障診斷和剩余使用壽命預(yù)測(cè)，并結(jié)合可用維修資源和設(shè)備使用需求制定最優(yōu)的健康管理策略[3]。其中，設(shè)備剩余使用壽命預(yù)測(cè)可基于多種預(yù)測(cè)方法對(duì)工業(yè)物聯(lián)網(wǎng)設(shè)備的未來(lái)性能進(jìn)行預(yù)測(cè)，以獲得設(shè)備在其喪失運(yùn)行能力之前的剩余時(shí)間，并在設(shè)備出現(xiàn)故障前制定最優(yōu)維修策略，改進(jìn)維修計(jì)劃，從而降低設(shè)備的維修成本，提高設(shè)備的可靠性、可用性和安全性[4]。

近年來(lái)，設(shè)備剩余使用壽命預(yù)測(cè)引起了學(xué)術(shù)界和工業(yè)界的極大關(guān)注，已廣泛應(yīng)用于工業(yè)物聯(lián)網(wǎng)中的機(jī)械部件[5]、電子裝置[6]、機(jī)電系統(tǒng)[7]的監(jiān)控預(yù)測(cè)中。目前，主流的剩余使用壽命預(yù)測(cè)方法根據(jù)技術(shù)路線(xiàn)的差異可分為基于物理模型的預(yù)測(cè)方法和數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法兩類(lèi)[8]。

基于物理模型的預(yù)測(cè)方法主要基于故障機(jī)理和經(jīng)驗(yàn)知識(shí)來(lái)構(gòu)建工業(yè)設(shè)備的退化模型并進(jìn)行預(yù)測(cè)，典型的方法包括：基于Paris–Erdogan疲勞模型的預(yù)測(cè)方法[9]，基于Forman–Kearney–Engle模型的預(yù)測(cè)方法[10]，基于維納過(guò)程、伽馬過(guò)程或逆高斯過(guò)程[11]等隨機(jī)過(guò)程的預(yù)測(cè)方法[12]等。該類(lèi)預(yù)測(cè)方法適用于結(jié)構(gòu)簡(jiǎn)單、工況單一的部件剩余壽命預(yù)測(cè)，而對(duì)于結(jié)構(gòu)和工況較為復(fù)雜的工業(yè)物聯(lián)網(wǎng)設(shè)備預(yù)測(cè)較為困難。

數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法通過(guò)采集工業(yè)設(shè)備的各種監(jiān)測(cè)數(shù)據(jù)，利用機(jī)器學(xué)習(xí)算法自動(dòng)推斷出隱藏在退化數(shù)據(jù)中的因果關(guān)系，從而構(gòu)建復(fù)雜的機(jī)械設(shè)備退化模型。根據(jù)采用的學(xué)習(xí)方法不同，數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法大致可分為基于回歸的預(yù)測(cè)方法、基于人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法和基于相關(guān)向量機(jī)的預(yù)測(cè)方法等。其中，基于回歸的預(yù)測(cè)方法通過(guò)利用差分消除數(shù)據(jù)波動(dòng)，從而構(gòu)建統(tǒng)計(jì)模型以擬合退化時(shí)序數(shù)據(jù)，代表性的預(yù)測(cè)模型包括自回歸（autoregressive，AR）模型、自回歸移動(dòng)平均（auto-regressive integrated moving average，ARIMA）模型[13]和高斯過(guò)程回歸（Gaussian process regression，GPR）模型[14]等。基于人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法通過(guò)利用神經(jīng)網(wǎng)絡(luò)的特征抽取和復(fù)雜系統(tǒng)建模能力，構(gòu)建深度學(xué)習(xí)模型以表征設(shè)備的退化趨勢(shì)，代表性的預(yù)測(cè)模型包括基于循環(huán)神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)預(yù)測(cè)模型[15]和基于長(zhǎng)短期記憶網(wǎng)絡(luò)（long short term memory，LSTM）的數(shù)據(jù)預(yù)測(cè)模型[16]等?；谙嚓P(guān)向量機(jī)（relevance vector machine，RVM）的預(yù)測(cè)方法根據(jù)稀疏貝葉斯學(xué)習(xí)理論，通過(guò)約束隱變量分布可有效地對(duì)預(yù)測(cè)模型進(jìn)行剪枝，從而提高預(yù)測(cè)模型的執(zhí)行效率，降低對(duì)退化數(shù)據(jù)量的需求[17]。該類(lèi)方法具有效率高、樣本少、可提供概率化預(yù)測(cè)結(jié)果等優(yōu)點(diǎn)，在設(shè)備剩余使用壽命預(yù)測(cè)中具有廣泛的應(yīng)用前景。

然而，在利用機(jī)器學(xué)習(xí)方法學(xué)習(xí)機(jī)械設(shè)備退化模型時(shí)，盡管可以獲取大量的健康監(jiān)測(cè)數(shù)據(jù)，但其中起關(guān)鍵作用的故障監(jiān)測(cè)數(shù)據(jù)非常稀少。同時(shí)，快速的設(shè)備退化過(guò)程進(jìn)一步加劇了有效數(shù)據(jù)的稀缺性。為了充分利用有限的故障監(jiān)測(cè)數(shù)據(jù)，自適應(yīng)地調(diào)整設(shè)備的狀態(tài)預(yù)測(cè)模型，并提供具有置信度的數(shù)據(jù)預(yù)測(cè)能力，本文提出一種基于注意力機(jī)制的設(shè)備剩余使用壽命預(yù)測(cè)方法（attention-based remaining useful lifetime prediction，ARULP），通過(guò)在相關(guān)向量機(jī)的隱變量中引入局部注意力機(jī)制，并逐步更新注意力權(quán)重，從而更好地調(diào)整設(shè)備的狀態(tài)預(yù)測(cè)模型，進(jìn)一步提升設(shè)備的剩余使用壽命預(yù)測(cè)精度?；谖靼步煌ù髮W(xué)滾動(dòng)軸承加速壽命試驗(yàn)數(shù)據(jù)集的驗(yàn)證結(jié)果表明，所提出的設(shè)備剩余使用壽命預(yù)測(cè)方法（ARULP）在預(yù)測(cè)精度方面優(yōu)于現(xiàn)有的其他同類(lèi)預(yù)測(cè)方法。

1 基于注意力的剩余壽命預(yù)測(cè)方法

基于注意力的設(shè)備剩余使用壽命預(yù)測(cè)方法包括模型訓(xùn)練階段和模型預(yù)測(cè)階段。在模型訓(xùn)練階段，基于訓(xùn)練數(shù)據(jù)計(jì)算局部注意力度量并構(gòu)建相應(yīng)的設(shè)備狀態(tài)預(yù)測(cè)模型。在模型預(yù)測(cè)階段，利用前一階段所構(gòu)建的預(yù)測(cè)模型進(jìn)行設(shè)備狀態(tài)預(yù)測(cè)，進(jìn)而計(jì)算設(shè)備的剩余使用壽命。

1.1 模型訓(xùn)練階段

假設(shè) {x1,x2,···,xn}為模型訓(xùn)練數(shù)據(jù)，其中，前t個(gè)數(shù)據(jù) {x1,x2,···,xt}被設(shè)置為歷史序列，后n?t個(gè)數(shù)據(jù){xt+1,xt+2,···,xn}被設(shè)置為目標(biāo)序列。通過(guò)計(jì)算預(yù)測(cè)模型中隱變量的注意力度量，并學(xué)習(xí)預(yù)測(cè)模型參數(shù)，可基于歷史序列對(duì)目標(biāo)序列進(jìn)行預(yù)測(cè)。

目前，注意力機(jī)制已廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、動(dòng)作識(shí)別和推薦系統(tǒng)等應(yīng)用領(lǐng)域[18–19]。該技術(shù)的核心思想是從輸入序列中挑選少量與目標(biāo)較為相關(guān)的主要信息，通過(guò)為其分配較大的權(quán)重，從而使模型重點(diǎn)關(guān)注大量數(shù)據(jù)中的關(guān)鍵信息，進(jìn)而提高模型處理長(zhǎng)序列數(shù)據(jù)的能力[20–21]。本文所設(shè)計(jì)的局部注意力計(jì)算模型如圖1所示。

圖1 局部注意力計(jì)算模型Fig.1 Local attention computation model

圖1中，i和j分別為預(yù)測(cè)數(shù)據(jù)窗口和歷史數(shù)據(jù)窗口的起始位置，d為窗口寬度。通過(guò)不斷向前滑動(dòng)歷史數(shù)據(jù)窗口和預(yù)測(cè)數(shù)據(jù)窗口，可計(jì)算歷史序列{xj,xj+1,···,xj+d?1} 和預(yù)測(cè)序列{xi,xi+1,···,xi+d?1}之間的相關(guān)性：

假設(shè)K=[j:argmaxjCji]為相關(guān)性矩陣C中每列最大元素的索引所構(gòu)成的行向量，則與預(yù)測(cè)數(shù)據(jù)序列{xi,xi+1,···,xi+d?1} 最 相 關(guān) 的 歷 史 序 列 為{xk,xk+1,···,xk+d?1} ， 其中k=Ki。因此，兩個(gè)數(shù)據(jù)序列間的相似性度量向量為：

首先，將Si按列排列成相似性矩陣S；然后，利用sigmod函數(shù)將S逐列映射至[0,1]區(qū)間；最后，利用零填充將映射結(jié)果擴(kuò)展至t行，即可獲得所需的注意力度量矩陣A。綜上所述，局部注意力計(jì)算算法如算法1所示。

算法1局部注意力計(jì)算算法

輸 入：歷 史 序 列 {x1,x2,···,xt} ，目 標(biāo) 序 列{xt+1,xt+2,···,xn}；

輸出：注意力度量A；

1. Fori∈[t?d+2,n?d+1]

2. Forj∈[1,i?1]

3.利用式（1）計(jì)算Cji；

4.K=[j:argmaxjCji]；

5. Fori∈[t?d+2,n?d+1]

6. 利用式（2）計(jì)算Si；

7.A=extend(sigmoid(S))。

相關(guān)向量機(jī)基于稀疏貝葉斯學(xué)習(xí)理論，具有稀疏表征、核函數(shù)不受Mercer條件限制、可提供概率化的預(yù)測(cè)結(jié)果等優(yōu)點(diǎn)[22]，其模型可表示為：

式中：y為預(yù)測(cè)值；w0為 偏置，wi（i=1,2,···,t）為模型參數(shù)，令w=[w0,w1,···,wi,···,wt]T為模型參數(shù)向量；K()為核函數(shù)。為方便描述，假設(shè)?(x)=[1,K(x,x1),K(x,x2),···,K(x,xt)]。 因?yàn)閣0服 從均值為0、方差為 β?1的正態(tài)分布，即w0～N(0,β?1)， 可知y～N(?(x)w,β?1)。因此，預(yù)測(cè)值y的條件概率分布為：

如果采用最大似然法直接對(duì)式（4）進(jìn)行求解，極易出現(xiàn)過(guò)擬合現(xiàn)象[23]。為避免此問(wèn)題產(chǎn)生，通過(guò)稀疏貝葉斯學(xué)習(xí)理論為模型參數(shù)w定義了先驗(yàn)分布，即假設(shè)wi～N(0,)。故：

式中， α =[α0,α1,···,αt]T為模型參數(shù)，其元素與參數(shù)w的元素一一對(duì)應(yīng)。通過(guò)在參數(shù) α上增加注意力機(jī)制，可將式（5）改寫(xiě)為：

式中，c為注意力度量矩陣A的相應(yīng)列，Z=diag(cα)為主對(duì)角線(xiàn)元素是cα的對(duì)角陣。

根據(jù)貝葉斯定理，由先驗(yàn)分布和似然估計(jì)，可得到參數(shù)w的后驗(yàn)分布為：

式中， μ=Σ?(x)Ty/β?1為 后驗(yàn)均值，Σ=(Z+?(x)T?(x)/β?1)?1為后驗(yàn)方差。此時(shí)，預(yù)測(cè)值y的邊緣概率密度函數(shù)可表示為：

將式（4）和（6）代入式（8）后，對(duì)計(jì)算結(jié)果取對(duì)數(shù)可得：

式中，? =β?1+?(x)Z?1?(x)T。

為求最優(yōu)的預(yù)測(cè)模型參數(shù) α 和 β?1，對(duì)式（9）分別求偏導(dǎo)可得：

令式（10）和（11）等于零，參數(shù) α 和 β?1的更新公式可表示為：

式中， Σii為 Σ的第i個(gè)對(duì)角線(xiàn)元素。

綜上所述，基于局部注意力的相關(guān)向量機(jī)算法如算法2所示。

算法2基于局部注意力的相關(guān)向量機(jī)算法

輸 入：歷 史 序 列 {x1,x2,···,xt} ，目 標(biāo) 序 列{xt+1,xt+2,···,xn}，最大迭代次數(shù)I，收斂誤差ε；

輸出：模型參數(shù) α 和 β?1；

1. 初始化 α為t+1維隨機(jī)向量， β?1為[0,1]之間的隨機(jī)標(biāo)量；

2. 利用算法1計(jì)算注意力度量A；

3. While 迭代次數(shù)小于I或// α+?α//≥ε：

4. Σ =(Z+?(x)T?(x)/β?1)?1；

5. μ=Σ?(x)Ty/β?1；

6. ( αi)+=(1?αiΣii)/；

1.2 模型預(yù)測(cè)階段

在模型預(yù)測(cè)階段，對(duì)于新的退化數(shù)據(jù)x?，其預(yù)測(cè)值y?服從均值為 ? (x?)μ 、方差為 β?1的高斯分布，即y?～N(?(x?)μ,β?1) ，因此預(yù)測(cè)結(jié)果為y?=?(x?)μ。令zθ/2為置信水平為1 ? θ的分位點(diǎn)， τL和 τU分別為相應(yīng)的置信下限和置信上限，具體表示如下：

2 實(shí)驗(yàn)分析

為了分析ARULP方法的有效性，本文采用西安交通大學(xué)滾動(dòng)軸承加速壽命試驗(yàn)數(shù)據(jù)集（XJTU–SY數(shù)據(jù)集）[24]進(jìn)行驗(yàn)證。該數(shù)據(jù)集使用軸承加速退化測(cè)試平臺(tái)對(duì)型號(hào)為L(zhǎng)DK UER204的滾動(dòng)軸承進(jìn)行性能退化實(shí)驗(yàn)，其中包含了軸承的全壽命周期振動(dòng)數(shù)據(jù)，收集工況分別為：工況1，頻率35 Hz，徑向力12 kN；工況2，頻率37.5 Hz，徑向力11 kN；工況3，頻率40 Hz，徑向力10 kN；測(cè)試軸承的失效部件涵蓋了軸承的外圈、內(nèi)圈、保持架等失效位置。典型的失效軸承類(lèi)型包括軸承的內(nèi)圈磨損、保持架斷裂、外圈磨損、外圈斷裂[25]，具體情況如圖2所示。

圖2 軸承的失效類(lèi)型Fig.2 Types of bearing failure

XJTU–SY數(shù)據(jù)集中不同測(cè)試軸承的失效位置如表1所示。

表1 測(cè)試軸承的失效位置Tab.1 Failure positions of test bearings

實(shí)驗(yàn)過(guò)程中所對(duì)比分析的方法包括：

1）相關(guān)向量機(jī)RVM。該方法基于稀疏貝葉斯學(xué)習(xí)理論，利用獨(dú)立先驗(yàn)分布參數(shù)構(gòu)建預(yù)測(cè)模型，可提供帶置信區(qū)間的預(yù)測(cè)結(jié)果。

2）自回歸模型AR。該方法利用歷史退化數(shù)據(jù)構(gòu)建具有隨機(jī)誤差的線(xiàn)性方程，從而表示設(shè)備退化狀態(tài)的回歸模型，并根據(jù)模型中的回歸系數(shù)預(yù)測(cè)系統(tǒng)的狀態(tài)。

3）自回歸移動(dòng)平均模型ARIMA。該方法包括自回歸模型、移動(dòng)平均模型和差分算子3個(gè)子部分，可處理非平穩(wěn)時(shí)間序列數(shù)據(jù)，構(gòu)建復(fù)雜回歸模型并進(jìn)行狀態(tài)預(yù)測(cè)。

4）長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM。該方法利用深度學(xué)習(xí)的特征抽象和表征能力，結(jié)合特殊門(mén)限設(shè)置可實(shí)現(xiàn)長(zhǎng)序列數(shù)據(jù)的學(xué)習(xí)能力，從而實(shí)現(xiàn)對(duì)設(shè)備的未來(lái)狀態(tài)預(yù)測(cè)。

實(shí)驗(yàn)中的性能度量指標(biāo)采用相對(duì)均方誤差（relative mean square error, RMSE）和平均絕對(duì)誤差（mean absolute error，MAE），其定義分別為：

式中，yi和分別為真實(shí)數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)，m為預(yù)測(cè)數(shù)據(jù)量。實(shí)驗(yàn)過(guò)程中，將訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集按照7∶3的比例進(jìn)行劃分，歷史序列長(zhǎng)度t設(shè)置為訓(xùn)練數(shù)據(jù)集長(zhǎng)度的1/4，注意力窗口寬度d設(shè)置為0.1t，置信水平設(shè)置為95%，核函數(shù)采用高斯核，故障閾值設(shè)置為實(shí)驗(yàn)對(duì)象正常工作時(shí)最大幅值的10倍。

表2和3分別給出了ARULP方法與基準(zhǔn)方法在3組不同工況下針對(duì)具有不同失效位置的軸承進(jìn)行預(yù)測(cè)時(shí)的RMSE和MAE結(jié)果。由表2和3可知，由于ARULP方法融入了注意力機(jī)制，使其具有更高的預(yù)測(cè)精度，在不同工況和不同故障時(shí)其表現(xiàn)都是最優(yōu)的。

表2 不同預(yù)測(cè)方法對(duì)軸承振動(dòng)數(shù)據(jù)預(yù)測(cè)的RMSE對(duì)比Tab.2 Comparison of RMSE for bearing vibration prediction by different methods

表3 不同預(yù)測(cè)方法對(duì)軸承振動(dòng)數(shù)據(jù)預(yù)測(cè)的MAE對(duì)比Tab.3 Comparison of MAE for bearing vibration prediction by different methods

為了衡量不同預(yù)測(cè)方法針對(duì)不同類(lèi)型的故障進(jìn)行預(yù)測(cè)時(shí)的實(shí)際性能，針對(duì)軸承外圈故障、軸承內(nèi)圈故障和軸承保持架故障使用上述5種預(yù)測(cè)方法進(jìn)行了預(yù)測(cè)，其具體結(jié)果對(duì)比如圖3～5所示。

從圖3中可以看出：在軸承外圈故障預(yù)測(cè)時(shí)，本文所提出的ARULP方法的預(yù)測(cè)結(jié)果與軸承實(shí)際退化數(shù)據(jù)最為接近，能夠較好地反映故障軸承的退化狀態(tài)。相比之下，RVM方法的預(yù)測(cè)誤差略高于ARULP方法；AR方法和ARIMA方法只能在一定程度上反映軸承的退化趨勢(shì)；LSTM方法在預(yù)測(cè)過(guò)程中預(yù)測(cè)曲線(xiàn)過(guò)于平穩(wěn)，因此會(huì)丟失較多的細(xì)節(jié)信息。

圖3 軸承外圈故障不同方法預(yù)測(cè)結(jié)果對(duì)比Fig.3 Comparison of outer ring fault prediction results by different methods

從圖4中可以看出：軸承內(nèi)圈故障的振幅曲線(xiàn)比軸承外圈故障抖動(dòng)得更加劇烈，因此在該類(lèi)故障下進(jìn)行數(shù)據(jù)預(yù)測(cè)時(shí)更加困難。在該故障下，ARULP方法的預(yù)測(cè)結(jié)果更加貼近實(shí)際數(shù)據(jù)。相比之下，RVM方法的預(yù)測(cè)結(jié)果稍遜于ARULP方法；AR方法在此故障模式下具有較差的預(yù)測(cè)結(jié)果，預(yù)測(cè)誤差間隔較大；ARIMA方法和LSTM方法的預(yù)測(cè)曲線(xiàn)較為平緩，無(wú)法反映細(xì)節(jié)預(yù)測(cè)信息，最終的剩余壽命預(yù)測(cè)結(jié)果和實(shí)際情況出入較大。

圖4 軸承內(nèi)圈故障不同方法預(yù)測(cè)結(jié)果對(duì)比Fig.4 Comparison of inner ring fault prediction results by different methods

從圖5中可以看出：軸承保持架故障發(fā)生時(shí)，實(shí)際退化數(shù)據(jù)的曲線(xiàn)振幅抖動(dòng)情況最為劇烈。本文所提出的ARULP方法在該故障模式下依然具有明顯的預(yù)測(cè)精度優(yōu)勢(shì)。相比之下，RVM方法和AR方法的預(yù)測(cè)結(jié)果與軸承實(shí)際退化數(shù)據(jù)的差距較大，ARIMA方法和LSTM方法的預(yù)測(cè)細(xì)節(jié)丟失情況依舊顯著。

圖5 軸承保持架故障不同方法預(yù)測(cè)結(jié)果對(duì)比Fig.5 Comparison of cage fault prediction results by different methods

3 結(jié) 論

針對(duì)如何預(yù)測(cè)工業(yè)物聯(lián)網(wǎng)中的設(shè)備剩余使用壽命問(wèn)題進(jìn)行研究，采用局部注意力機(jī)制和相關(guān)向量機(jī)，提出一種有效的設(shè)備剩余使用壽命預(yù)測(cè)方法。通過(guò)分別設(shè)計(jì)局部注意力計(jì)算算法和基于局部注意力的相關(guān)向量機(jī)，并將局部注意力機(jī)制有效融入設(shè)備的狀態(tài)預(yù)測(cè)模型，使其能對(duì)預(yù)測(cè)模型中的參數(shù)自適應(yīng)學(xué)習(xí)，從而實(shí)現(xiàn)對(duì)設(shè)備剩余使用壽命高精度預(yù)測(cè)。通過(guò)與多種基準(zhǔn)方法在XJTU–SY數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，表明了所提方法的有效性。下一步研究方向?qū)⒅攸c(diǎn)考慮如何提高設(shè)備剩余使用壽命預(yù)測(cè)方法的效率。