陳子涵

(中國(guó)空間技術(shù)研究院 遙感衛(wèi)星總體部, 北京 100094)

0 引言

近年來(lái),下一代配備電傳飛控系統(tǒng)的航天裝備日益增加[1]。機(jī)電作動(dòng)器(EMA)作為一種重要的電傳飛控作動(dòng)器,具有更高的可靠性、更低的總重量、更好的可維護(hù)性等優(yōu)點(diǎn),在航天工業(yè)中得到越來(lái)越多的關(guān)注和應(yīng)用。EMA是航天器上重要的執(zhí)行機(jī)構(gòu)之一,航天器復(fù)雜的工作環(huán)境可能會(huì)導(dǎo)致多樣的EMA故障。航天裝備對(duì)EMA的安全性和可靠性要求很高,未被發(fā)現(xiàn)的EMA故障可能會(huì)導(dǎo)致災(zāi)難性的后果。因此,開(kāi)展航天器EMA的故障診斷和壽命預(yù)測(cè)研究具有重要意義。

EMA由電氣、電子和機(jī)械部分組成,會(huì)呈現(xiàn)復(fù)雜的故障模式?？紤]到航天系統(tǒng)對(duì)安全方面的嚴(yán)格要求,必須實(shí)現(xiàn)準(zhǔn)確的壽命預(yù)測(cè),從而在災(zāi)難性故障發(fā)生之前留出足夠的時(shí)間進(jìn)行應(yīng)急管理。數(shù)年來(lái),在EMA的故障預(yù)測(cè)與健康管理領(lǐng)域已有很多研究。這些研究提出的方法基本上可以分為基于模型的方法和數(shù)據(jù)驅(qū)動(dòng)的方法兩類[2]。

基于模型的方法需要建立一個(gè)準(zhǔn)確的數(shù)學(xué)模型,從而預(yù)測(cè)EMA的輸入和輸出關(guān)系,或者估計(jì)EMA內(nèi)部狀態(tài)量的變化規(guī)律。通過(guò)將模型估計(jì)的參數(shù)與真實(shí)測(cè)量的參數(shù)進(jìn)行比較,可以識(shí)別EMA的性能狀態(tài)或健康狀態(tài)。基于模型的方法可以跟蹤EMA中的單個(gè)組件的運(yùn)行狀態(tài),從而直接從物理角度識(shí)別故障。這類方法能夠?qū)崿F(xiàn)非常具體的故障識(shí)別,并且能夠?qū)崟r(shí)查看特定組件的健康狀態(tài)。文獻(xiàn)[3]使用遺傳算法在EMA性能下降初期識(shí)別故障征兆。文獻(xiàn)[4]考慮EMA及上級(jí)控制系統(tǒng)的詳細(xì)模型,設(shè)計(jì)了5組基于信號(hào)的監(jiān)控功能,并通過(guò)基于信號(hào)的規(guī)則來(lái)檢測(cè)和定位系統(tǒng)的相關(guān)故障。該方法需要大量準(zhǔn)確的先驗(yàn)知識(shí)和預(yù)先設(shè)計(jì)的規(guī)則。文獻(xiàn)[5]基于EMA的線性模型設(shè)計(jì)了線性殘差濾波器,并通過(guò)基于零空間的殘差濾波器監(jiān)視EMA的3個(gè)傳感器,實(shí)現(xiàn)故障診斷。文獻(xiàn)[6]通過(guò)物理第一性原理建立EMA動(dòng)態(tài)模型,模擬EMA的動(dòng)力學(xué)中涉及的最相關(guān)現(xiàn)象,從而檢測(cè)瞬態(tài)故障特征。這兩種方法依賴于高保真模型,而高保真模型通常是根據(jù)特定設(shè)備設(shè)計(jì)的,并且需要監(jiān)測(cè)的參數(shù)往往是實(shí)驗(yàn)室階段才能監(jiān)測(cè)到?；谀Ｐ偷姆椒ǖ膬?yōu)點(diǎn)是在故障模式和模型參數(shù)之間有一組清晰的對(duì)應(yīng)關(guān)系。然而基于模型的方法中使用的模型往往過(guò)于復(fù)雜,其完整的模型參數(shù)在非實(shí)驗(yàn)室階段難以獲得,或者對(duì)測(cè)量和計(jì)算要求非常高。同時(shí),對(duì)于基于模型的方法,每個(gè)新產(chǎn)品和新應(yīng)用場(chǎng)景都必須有一個(gè)新的經(jīng)過(guò)驗(yàn)證的模型。因此,雖然上述基于模型的方法在EMA的故障診斷方面表現(xiàn)良好,但是其應(yīng)用條件苛刻,在面對(duì)工程實(shí)踐中的復(fù)雜工況時(shí),擴(kuò)展應(yīng)用較為困難。美國(guó)國(guó)家航天局(NASA)的Ames研究中心對(duì)電磁干擾下的EMA進(jìn)行了故障模式與影響分析,提出了基于EMA動(dòng)力學(xué)模型和觀測(cè)器的混合診斷方法[7]。該方法同樣需要準(zhǔn)確的EMA模型,并需要人工設(shè)計(jì)特征集和診斷樹(shù)?；谀Ｐ偷姆椒ǔＳ糜贓MA的故障診斷方面,而壽命預(yù)測(cè)方面研究較少。文獻(xiàn)[8]建立簡(jiǎn)化模型預(yù)測(cè)EMA的電流。文獻(xiàn)[9]利用輔助特征改進(jìn)卡爾曼濾波器估計(jì)EMA的電機(jī)電壓。由此可知,基于模型的方法通常難以直接預(yù)測(cè)EMA的剩余壽命,往往是預(yù)測(cè)電流電壓等性能參數(shù)。

數(shù)據(jù)驅(qū)動(dòng)的方法使用監(jiān)測(cè)數(shù)據(jù)和信號(hào)處理技術(shù),利用EMA的正常和故障數(shù)據(jù)建立數(shù)據(jù)模型,從而學(xué)習(xí)EMA的故障規(guī)律。數(shù)據(jù)驅(qū)動(dòng)的方法可以直接使用傳感器數(shù)據(jù),隨著監(jiān)測(cè)技術(shù)和計(jì)算能力的提高,數(shù)據(jù)驅(qū)動(dòng)方法比基于模型的方法更受歡迎。文獻(xiàn)[10]使用功率譜密度方法提取EMA的振動(dòng)信號(hào)的頻域特征,之后使用主成分分析方法降低頻域特征維度,最后通過(guò)貝葉斯分類器實(shí)現(xiàn)故障診斷。文獻(xiàn)[11]基于集合經(jīng)驗(yàn)?zāi)Ｊ椒纸夥椒ㄌ崛「黝l段包含的故障特征,實(shí)現(xiàn)EMA的故障診斷。文獻(xiàn)[12]利用變分模態(tài)分解、多重分形去趨勢(shì)波動(dòng)分析和概率神經(jīng)網(wǎng)絡(luò)對(duì)EMA進(jìn)行故障診斷。文獻(xiàn)[13]提出一種基于交互式多模型和無(wú)跡卡爾曼濾波相結(jié)合的EMA突變故障診斷方法。文獻(xiàn)[14]針對(duì)EMA漸變性故障提出了基于動(dòng)態(tài)小波神經(jīng)網(wǎng)絡(luò)的故障診斷方法。這些傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)方法通常是人工設(shè)計(jì)特征提取方法,之后通過(guò)神經(jīng)網(wǎng)絡(luò)等分類器實(shí)現(xiàn)故障診斷。這類方法對(duì)預(yù)定義的領(lǐng)域知識(shí)依賴性較強(qiáng),工作效率較低,工程擴(kuò)展能力較弱。近年來(lái),深度學(xué)習(xí)在EMA的故障預(yù)測(cè)與健康管理領(lǐng)域有一定研究。深度學(xué)習(xí)方法不需要依靠高水平的專家知識(shí),可以自動(dòng)識(shí)別數(shù)據(jù)的深層結(jié)構(gòu)和高層抽象特征,從而自動(dòng)提取數(shù)據(jù)內(nèi)部的固有特征。文獻(xiàn)[15]提出一種基于一維卷積神經(jīng)網(wǎng)絡(luò)的EMA故障診斷方法,能夠自動(dòng)提取信號(hào)特征。文獻(xiàn)[16]使用深度自動(dòng)編碼器將EMA的多模態(tài)傳感器數(shù)據(jù)組成的高維數(shù)據(jù)轉(zhuǎn)換到低維潛在空間,再?gòu)牡途S空間重構(gòu)特征數(shù)據(jù),最后使用重構(gòu)誤差作為異常分?jǐn)?shù)實(shí)現(xiàn)了異常檢測(cè)。文獻(xiàn)[17]提出了一種滑窗增強(qiáng)的基于改進(jìn)的長(zhǎng)短時(shí)記憶(LSTM)神經(jīng)網(wǎng)絡(luò)的EMA故障檢測(cè)與故障隔離方法。文獻(xiàn)[18]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)和最大平均偏差的EMA故障診斷方法。

雖然數(shù)據(jù)驅(qū)動(dòng)的方法在EMA的故障診斷方面取得了良好成果,但是關(guān)于EMA的壽命預(yù)測(cè)研究較少。NASA提出基于高斯過(guò)程回歸(GPR)的剩余壽命預(yù)測(cè)方法[19]。文獻(xiàn)[20]利用加權(quán)Bagging方法改進(jìn)基于GPR的壽命預(yù)測(cè)方法。但是GPR類方法在每次預(yù)測(cè)時(shí)均需對(duì)歷史數(shù)據(jù)隨機(jī)抽樣,計(jì)算量很大,預(yù)測(cè)穩(wěn)定度較差。

綜上所述,雖然EMA在航空航天裝備中占據(jù)重要位置,尤其是EMA的滾珠絲杠故障是航空航天裝備的關(guān)鍵單點(diǎn)故障之一,但是對(duì)EMA故障領(lǐng)域的研究主要集中在故障診斷方面,對(duì)其壽命預(yù)測(cè)的研究較少。EMA的壽命預(yù)測(cè)問(wèn)題的難點(diǎn)在于EMA結(jié)構(gòu)復(fù)雜,具有多種類型的機(jī)電參數(shù),各參數(shù)間相互影響,難以通過(guò)對(duì)個(gè)別參數(shù)的行為規(guī)律建模實(shí)現(xiàn)對(duì)其壽命退化規(guī)律的認(rèn)知。以往基于GPR等算法的壽命預(yù)測(cè)方法只能處理個(gè)別參數(shù),導(dǎo)致壽命預(yù)測(cè)準(zhǔn)確率不高、壽命預(yù)測(cè)起始點(diǎn)距離壽命終止點(diǎn)過(guò)近等問(wèn)題。

因此,目前在EMA的故障預(yù)測(cè)與健康管理領(lǐng)域的研究存在以下不足:

1)基于模型的方法計(jì)算成本較高,而且難以獲得在復(fù)雜環(huán)境下的高保真的模型;

2)傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)方法常需要大量的專家知識(shí),自動(dòng)化和自適應(yīng)能力較弱;

3)現(xiàn)有基于深度神經(jīng)網(wǎng)絡(luò)的方法在工程擴(kuò)展性和解決長(zhǎng)期數(shù)據(jù)依賴性方面能力較弱;

4)EMA的故障診斷方面有一定研究,但是對(duì)其壽命預(yù)測(cè)的研究較少。

因此,面向日益復(fù)雜的航天器設(shè)計(jì),亟需使用新一代智能數(shù)據(jù)驅(qū)動(dòng)方法,開(kāi)展能夠識(shí)別長(zhǎng)時(shí)間序列數(shù)據(jù)內(nèi)部特性的EMA壽命預(yù)測(cè)技術(shù)研究。

近年來(lái),注意力機(jī)制在基于深度學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)方法中受到廣泛關(guān)注。注意力機(jī)制可以自主學(xué)習(xí)原始數(shù)據(jù)的權(quán)重分配策略,進(jìn)一步提高時(shí)間序列的特征表示能力。文獻(xiàn)[21]提出在門(mén)控循環(huán)單元上使用注意力機(jī)制的方法估計(jì)EMA的電機(jī)電壓,進(jìn)而實(shí)現(xiàn)故障診斷。注意機(jī)制可以學(xué)習(xí)原始數(shù)據(jù)的權(quán)重分配策略,提高對(duì)時(shí)間序列的特征表示能力。但是門(mén)控單元仍然屬于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的范疇,該方法對(duì)長(zhǎng)時(shí)間序列的表征能力有限。Transformer[22]是首個(gè)完全基于自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò),常用于序列到序列的建模,可以捕捉輸入時(shí)間序列內(nèi)的依賴關(guān)系,不受序列內(nèi)距離的影響。同時(shí) Transformer能夠并行計(jì)算,相比于只能串行計(jì)算的RNN極大地提升了運(yùn)行速度。Transformer已在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、聲音處理等多個(gè)領(lǐng)域取得優(yōu)異效果。

鑒于Transformer在多個(gè)領(lǐng)域取得的突出有益效果和巨大成功,而EMA的壽命預(yù)測(cè)領(lǐng)域未見(jiàn)相關(guān)研究成果[23]。本文將其引入EMA的壽命預(yù)測(cè)領(lǐng)域,通過(guò)重新設(shè)計(jì)的Transformer模型,使其在具備模型的長(zhǎng)時(shí)間序列建模能力的同時(shí),適用于EMA壽命預(yù)測(cè)任務(wù)。本文基于Transformer的設(shè)計(jì)原理,考慮到EMA的復(fù)雜結(jié)構(gòu)和多樣化功能,設(shè)計(jì)多模態(tài)Transformer模型,從而使得Transformer模型可將EMA的多模態(tài)數(shù)據(jù)作為輸入,將剩余壽命作為輸出,最終實(shí)現(xiàn)EMA的壽命預(yù)測(cè)。

考慮到航空航天裝備的高可靠使用要求、多階段任務(wù)需求和多層級(jí)運(yùn)維現(xiàn)狀,對(duì)EMA的自主健康管理設(shè)計(jì)不僅要求在其壽命退化初期實(shí)現(xiàn)壽命預(yù)測(cè),更要求預(yù)測(cè)其關(guān)鍵性能參數(shù)的退化趨勢(shì)。然而以上兩項(xiàng)壽命預(yù)測(cè)需求是矛盾的,通常難以在壽命退化初期準(zhǔn)確預(yù)測(cè)關(guān)鍵性能參數(shù)的長(zhǎng)期退化趨勢(shì)。

為解決上述現(xiàn)實(shí)需求相互矛盾而無(wú)法同時(shí)滿足的問(wèn)題,本文設(shè)計(jì)多模態(tài)Transformer模型,通過(guò)Transformer模型的編碼器和解碼器結(jié)構(gòu)分別實(shí)現(xiàn)EMA的直接壽命預(yù)測(cè)和間接壽命預(yù)測(cè)。直接壽命預(yù)測(cè)方式是指多模態(tài)Transformer模型的第1種輸出,即直接輸出預(yù)測(cè)的剩余壽命,可實(shí)現(xiàn)在EMA性能退化早期實(shí)時(shí)直接地預(yù)測(cè)其剩余壽命。間接壽命預(yù)測(cè)方式是指多模態(tài)Transformer模型的第2種輸出,即在性能退化到一定程度時(shí),輸出關(guān)鍵特征參數(shù)的時(shí)序預(yù)測(cè)值,通過(guò)計(jì)算關(guān)鍵特征參數(shù)到達(dá)壽命閾值的時(shí)間,從而間接預(yù)測(cè)剩余壽命。

本文提出一種解決航空航天裝備中EMA壽命預(yù)測(cè)問(wèn)題的新思路,特別是滿足了相互矛盾的現(xiàn)實(shí)需求,攻克了多階段多層次壽命預(yù)測(cè)難題。具體創(chuàng)新點(diǎn)包括:

1)針對(duì)EMA的復(fù)雜行為特點(diǎn),提出利用EMA的多模態(tài)傳感器數(shù)據(jù)進(jìn)行壽命預(yù)測(cè)的方法;

2)設(shè)計(jì)針對(duì)EMA的多模態(tài)時(shí)間序列數(shù)據(jù)的Transformer模型,解決壽命預(yù)測(cè)中的時(shí)間序列數(shù)據(jù)的長(zhǎng)時(shí)間依賴問(wèn)題;

3)設(shè)計(jì)直接和間接兩種方式的壽命預(yù)測(cè)方法,實(shí)現(xiàn)了性能退化早期和性能退化中期不同需求特點(diǎn)的壽命預(yù)測(cè)。

1 Transformer模型

注意力機(jī)制源于對(duì)人類觀察行為的分析。人類在觀察事物時(shí)會(huì)選擇性地將注意力投放在其中的一部分事物中,而選擇性地忽略其他部分,這種機(jī)制被稱為注意力機(jī)制。自注意力機(jī)制重點(diǎn)在序列內(nèi)部運(yùn)用注意力機(jī)制尋找序列內(nèi)部的關(guān)聯(lián)關(guān)系。Transformer模型完全基于自注意力機(jī)制設(shè)計(jì),可以識(shí)別時(shí)間序列內(nèi)相關(guān)的特別的行為特征,能夠更好地對(duì)時(shí)間序列建模。原始的Transformer模型如圖1所示。

圖1 原始Transformer模型架構(gòu)Fig.1 Architecture of the Transformer model

1.1 位置編碼

基于時(shí)間序列輸入向量的各個(gè)數(shù)值之間具有固定的時(shí)序關(guān)系,完全基于自注意力機(jī)制的編碼器和解碼器不能考慮位置信息。Transformer通過(guò)位置編碼將序列的時(shí)間信息加入輸入向量,為整合后的輸入提供有意義的時(shí)間序列內(nèi)距離關(guān)系。本文提出的多模態(tài)Transformer模型使用正弦和余弦函數(shù)實(shí)現(xiàn)位置編碼:

(1)

式中:pos表示向量中元素位置;di表示維度;dmodel表示模型維度。位置編碼的每個(gè)維度對(duì)應(yīng)一個(gè)正弦信號(hào)。

1.2 編碼器

定義經(jīng)位置編碼后的輸入時(shí)間序列矩陣為X。編碼器將其映射到編碼空間,構(gòu)成編碼向量。編碼器層由N個(gè)相同的編碼器堆疊構(gòu)成。每一編碼器都由兩個(gè)模塊組成:第1個(gè)是多頭注意力模塊,第2個(gè)是全連接前饋神經(jīng)網(wǎng)絡(luò)模塊。在兩個(gè)模塊中,每一模塊都采用殘差連接,并進(jìn)行層歸一化處理。

多頭注意力是指同時(shí)使用多個(gè)注意力機(jī)制,自注意力機(jī)制首先處理輸入序列矩陣,計(jì)算Q、K、V矩陣:

Q=XWQK=XWKV=XWV

(2)

式中:WQ、WK、WV為權(quán)重矩陣。

使用正整數(shù)n、m、dK、dV表示矩陣維度,則上述計(jì)算得到的矩陣可表示為Q∈Rn×dQ、K∈Rm×dK、V∈Rm×dV,其中dQ=dK。

之后計(jì)算注意力:

(3)

多頭注意力是指使用多個(gè)自注意力機(jī)制分別計(jì)算注意力,再將其融合的過(guò)程。多頭注意力機(jī)制擴(kuò)展了模型專注于不同位置的能力,提供了多個(gè)自注意力表示子空間,從而在不同時(shí)刻、不同情況下關(guān)注輸入序列的不同位置。

多頭注意力模型將Q、K、V通過(guò)投影矩陣進(jìn)行線性映射,然后分別計(jì)算h次注意力,最后將結(jié)果進(jìn)行拼接。單個(gè)注意力的計(jì)算過(guò)程為

headi=A(QWi,Q,KWi,K,VWi,V)

(4)

式中:headi為第i個(gè)自注意力計(jì)算結(jié)果;Wi,Q、Wi,K、Wi,V表示第i個(gè)自注意力機(jī)制的映射矩陣,以上 3個(gè)映射矩陣的維度大小可以分別記為Wi,Q∈Rdmodel×dK、Wi,K∈Rdmodel×dK、Wi,V∈Rdmodel×dV。

映射矩陣的作用是將Q、K、V投影到h個(gè)不同的側(cè)重點(diǎn),從而學(xué)習(xí)到不同的注意力,提高模型的準(zhǔn)確性,最后將所有注意力結(jié)果拼接:

M(Q,K,V)=Concat(head1,…,headh)WM

(5)

式中:M(·,·,·)表示多頭注意力;WM為多頭注意力的映射矩陣。

多頭注意力機(jī)制進(jìn)行了h次參數(shù)不共享的自注意力計(jì)算,使得模型可以在不同的表示子空間里學(xué)習(xí)到不同的信息。殘差結(jié)構(gòu)的作用是當(dāng)模型深度過(guò)深時(shí),梯度不會(huì)為0。層歸一化能夠?qū)⒔?jīng)過(guò)的向量值映射到0～1之間,加快模型的收斂速度。

層歸一化是對(duì)該層的輸入x的歸一化,具體計(jì)算表示為

(6)

式中:LayerNorm(x)為層歸一化的輸出;γ和β為調(diào)節(jié)參數(shù);μx和σx分別為x的均值和標(biāo)準(zhǔn)差。

1.3 解碼器

N個(gè)解碼器堆疊構(gòu)成的解碼器層。每個(gè)解碼器均接受最后一個(gè)編碼器的輸出,同時(shí)解碼器層將自身的上一時(shí)刻輸出作為下一時(shí)刻的輸入。

解碼器除了與編碼器相同的兩個(gè)模塊之外,解碼器還添加了掩碼多頭注意力模塊。該模塊用于對(duì)編碼器組的輸出執(zhí)行掩碼多頭注意力計(jì)算。與編碼器類似,解碼器的每個(gè)子層也采用殘差連接,并進(jìn)行層歸一化處理。解碼器和編碼器不同,解碼器計(jì)算輸出的時(shí)候,無(wú)法獲取此后時(shí)間的輸入時(shí)間序列,因此需要屏蔽后續(xù)時(shí)間的輸入,該方法稱為掩碼。

(7)

式中:MA(·,·,·)表示掩碼多頭注意力;Mk表示掩碼。

解碼器中的自注意力與編碼器中的自注意力的運(yùn)行方式不同:在解碼器中的自注意力只允許關(guān)注輸出序列中較早的位置。這是在計(jì)算softmax步驟之前通過(guò)掩碼屏蔽未來(lái)位置完成。

每一編碼器和解碼器都包含一個(gè)全連接前饋神經(jīng)網(wǎng)絡(luò)模塊。前饋模塊是由兩個(gè)全連接神經(jīng)網(wǎng)絡(luò)串行連接而成。每個(gè)全連接網(wǎng)絡(luò)有獨(dú)立的權(quán)重、偏差和維度,能夠進(jìn)一步提取信息。第1個(gè)全連接神經(jīng)網(wǎng)絡(luò)使用修正線性單元(ReLU)激活函數(shù),第2個(gè)不使用激活函數(shù)。計(jì)算公式為

FFN(x)=ReLU(xW1+b1)W2+b2

(8)

式中:FFN(x)為前饋神經(jīng)網(wǎng)絡(luò)計(jì)算結(jié)果;W1、b1、W2、b2分別為兩個(gè)全連接神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏差。

2 多模態(tài)Transformer模型

本文面向EMA的多傳感器數(shù)據(jù)組成的綜合時(shí)間序列,建立多模態(tài)Transformer模型,實(shí)現(xiàn)直接和間接兩種方式預(yù)測(cè)EMA剩余壽命。本文提出的多模態(tài)Transformer模型的總體架構(gòu)如圖2所示。

針對(duì)EMA的壽命預(yù)測(cè)問(wèn)題,本文在使用多模態(tài)數(shù)據(jù)的基礎(chǔ)上,為了優(yōu)化梯度路徑、增強(qiáng)梯度穩(wěn)定性、增強(qiáng)時(shí)間序列全局信息分別做了改進(jìn)。此外,為了適用于EMA的實(shí)際使用場(chǎng)景,本文對(duì)多模態(tài)Transformer模型的輸出部分進(jìn)行改進(jìn),使其既能輸出直接的剩余壽命,又能間接地預(yù)測(cè)關(guān)鍵參數(shù)的壽命退化過(guò)程。

2.1 梯度路徑優(yōu)化

圖2 多模態(tài)Transformer模型架構(gòu)Fig.2 Architecture of the multi-mode Transformer model

殘差連接在緩解深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)信息衰減方面起著至關(guān)重要的作用。然而原始的Transformer模型在殘差連接后增加了一系列層歸一化操作。在初始化時(shí),輸出層附近參數(shù)的期望梯度很大[24]。為了優(yōu)化梯度路徑,本文提出的多模態(tài)Transformer模型將層歸一化移動(dòng)到解碼器和編碼器子模塊的輸入以及殘差連接之前。這樣就形成了從輸出到輸入的直通式梯度路徑,而不需要任何轉(zhuǎn)換。

基于該改進(jìn),多頭注意力的輸出表示為

YM=X+M(LayerNorm(X))

(9)

式中:YM表示多頭注意力的輸出。

基于該改進(jìn),前饋神經(jīng)網(wǎng)絡(luò)的輸出表示為

YF=YM+FFN(LayerNorm(YM))

(10)

式中:YF表示前饋神經(jīng)網(wǎng)絡(luò)的輸出。

2.2 增強(qiáng)梯度穩(wěn)定性

為了提高編碼器層的收斂性,本文采用了高斯誤差線性單元(GeLU)激活函數(shù)[25]代替ReLU激活函數(shù)。對(duì)于任何輸入r,GeLU被定義為輸入r和掩碼u的乘積:

(11)

式中:Φ(r)為正態(tài)分布的累積分布函數(shù);P(R≤r)表示R小于等于r的概率。

在此基礎(chǔ)上,GeLU函數(shù)可被定義為

(12)

式中:erf(·)表示高斯誤差函數(shù),

(13)

在計(jì)算中,GeLU函數(shù)可近似計(jì)算為

(14)

GeLU激活函數(shù)是連續(xù)可微的,在r=0處比ReLU激活具有更明顯的非線性。

基于以上改進(jìn),前饋神經(jīng)網(wǎng)絡(luò)的輸出為

FFN(x)=GeLU(xW1+b1)W2+b2

(15)

2.3 時(shí)間序列全局信息增強(qiáng)

為了準(zhǔn)確預(yù)測(cè)EMA的剩余壽命,模型應(yīng)能夠在充分利用局部信息的基礎(chǔ)上,盡可能保留全局的原始多模態(tài)時(shí)間序列信息。因此,本文使用顆粒度一致注意力[26]的方式增強(qiáng)時(shí)間序列的全局信息保留能力,同時(shí)加強(qiáng)解碼和編碼過(guò)程,充分利用模型的表達(dá)能力。

基于顆粒度一致注意力的多模態(tài)Transformer模型的解碼器和編碼器序列組合關(guān)系如圖3所示。

圖3 基于顆粒度一致注意力的改進(jìn)方式Fig.3 An improved approach based on Granularity Consistent Attention

原始的Transformer模型僅將最后一個(gè)編碼器模塊的輸出連接到解碼器模塊,本文提出的多模態(tài)Transformer模型使用顆粒度一致注意力的方式,更符合多層編碼和解碼過(guò)程的特點(diǎn)。

2.4 模型輸出符合實(shí)際用途

原始的Transformer模型用于序列到序列的建模,其輸出僅能預(yù)測(cè)時(shí)間序列的后續(xù)發(fā)展。本文提出的多模態(tài)Transformer模型的輸出部分包括直接剩余壽命輸出和關(guān)鍵參數(shù)預(yù)測(cè)輸出。

剩余壽命輸出部分將編碼器層的輸出經(jīng)全連接神經(jīng)網(wǎng)絡(luò)和softmax處理后得到各個(gè)時(shí)刻直接預(yù)測(cè)的剩余壽命。

關(guān)鍵參數(shù)預(yù)測(cè)部分將解碼器層的輸出經(jīng)全連接神經(jīng)網(wǎng)絡(luò)和softmax處理后得到各個(gè)時(shí)刻預(yù)測(cè)的后續(xù)關(guān)鍵參數(shù)。通過(guò)關(guān)鍵參數(shù)預(yù)測(cè)曲線和參數(shù)閾值間接計(jì)算剩余壽命。

3 試驗(yàn)驗(yàn)證

3.1 EMA壽命退化試驗(yàn)

為了驗(yàn)證本文提出的壽命預(yù)測(cè)方法的有效性,利用NASA的可飛式機(jī)電作動(dòng)器(FLEA)試驗(yàn)數(shù)據(jù)進(jìn)行驗(yàn)證。FLEA試驗(yàn)臺(tái)如圖4所示,FLEA試驗(yàn)臺(tái)包含3個(gè)不同的作動(dòng)器:故障注入作動(dòng)器X、正常作動(dòng)器Y、動(dòng)態(tài)負(fù)載作動(dòng)器Z。測(cè)試中將負(fù)載從正常作動(dòng)器切換到故障作動(dòng)器,可以在不改變作動(dòng)器工作的情況下實(shí)現(xiàn)故障注入。

圖4 FLEA試驗(yàn)臺(tái)Fig.4 FLEA test bed

EMA由電氣部分和機(jī)械部分組成,故障類型包括傳感器故障、電機(jī)故障、機(jī)械故障和電子故障。其中傳感器故障和電子故障與其他航空航天系統(tǒng)的同類故障沒(méi)有顯著差異。電機(jī)故障表示為電流變化,故障特征顯著,早期故障診斷較為容易。機(jī)械故障是航天應(yīng)用中的關(guān)注焦點(diǎn),其中軸承和齒輪箱部分的故障診斷已有很多研究[27-28]。機(jī)械結(jié)構(gòu)中減速器等可以通過(guò)余度設(shè)計(jì)提高可靠性,但是滾珠絲杠難以實(shí)現(xiàn)余度設(shè)計(jì)。滾珠絲杠作為EMA的關(guān)鍵功能部件,其故障成為機(jī)電作動(dòng)器的單點(diǎn)故障,其中阻塞故障是滾珠絲杠的關(guān)鍵漸變故障之一。一般情況下,堵塞發(fā)生后EMA仍需要工作一段時(shí)間。因此早期阻塞故障發(fā)生后,預(yù)測(cè)EMA的剩余壽命對(duì)航天器非常重要,對(duì)保障航天器安全具有重要意義。因此,本文主要針對(duì)EMA堵塞故障發(fā)展過(guò)程的壽命預(yù)測(cè)開(kāi)展研究。

FLEA試驗(yàn)中,阻塞故障是通過(guò)安裝在滾珠絲杠返回通道上的機(jī)構(gòu)減緩軸承球的循環(huán)而注入的。FLEA試驗(yàn)以100 Hz的采樣率獲取作動(dòng)器位置、電壓、電流、溫度等數(shù)據(jù)。共計(jì)13種數(shù)據(jù)可被用于分析:時(shí)間、作動(dòng)器Z位置、動(dòng)態(tài)負(fù)載、作動(dòng)器X電機(jī)電流、作動(dòng)器Y電機(jī)電流、作動(dòng)器Z電機(jī)電流、作動(dòng)器X電機(jī)電壓、作動(dòng)器Y電機(jī)電壓、作動(dòng)器Y電機(jī)溫度、作動(dòng)器Z電機(jī)溫度、作動(dòng)器X螺母溫度、作動(dòng)器Y螺母溫度、環(huán)境溫度。

一般情況下,只有部分參數(shù)可以為剩余壽命預(yù)測(cè)提供有用信息[29]。與故障作動(dòng)器X直接相關(guān)的數(shù)據(jù)包括作動(dòng)器X位置,作動(dòng)器X電機(jī)電流,作動(dòng)器X電機(jī)電壓,作動(dòng)器X電機(jī)溫度和作動(dòng)器X螺母溫度。堵塞發(fā)生時(shí),滾珠絲杠螺母中摩擦增加,導(dǎo)致控制器將額外的電流輸入到作動(dòng)器X電機(jī),從而嘗試在相同的負(fù)載下與作動(dòng)器Y執(zhí)行相同的運(yùn)動(dòng)曲線。這種過(guò)高的電流導(dǎo)致電機(jī)外殼內(nèi)的熱量逐漸積聚。過(guò)熱最終導(dǎo)致繞組絕緣損壞、短路和電機(jī)故障等。在相同的負(fù)載下,作動(dòng)器X和作動(dòng)器Y的電機(jī)溫度如圖5所示。

圖5 -40 lbs載荷時(shí)作動(dòng)器X和作動(dòng)器Y的電機(jī)溫度Fig.5 Temperature of motor housing X and Y with -40 lbs load

由圖5可以看出,存在阻塞故障作動(dòng)器X的電機(jī)溫度與正常作動(dòng)器Y的電機(jī)溫度顯著不同。作動(dòng)器X電機(jī)溫度表現(xiàn)出持續(xù)上升的趨勢(shì),驗(yàn)證了作動(dòng)器X電機(jī)溫度能表征EMA阻塞故障的變化規(guī)律的故障機(jī)理。電機(jī)使用壽命的降低與電機(jī)溫度的持續(xù)升高有關(guān),電機(jī)溫度可作為壽命預(yù)測(cè)的關(guān)鍵特征參數(shù)。

一旦電機(jī)溫度超過(guò)上限,即可認(rèn)為EMA壽命終止。一般而言,可將電機(jī)溫度閾值設(shè)置為88 ℃[19],穩(wěn)定達(dá)到壽命閾值的時(shí)刻作為壽命終止(EoL)時(shí)刻。在通常的壽命預(yù)測(cè)試驗(yàn)中,為了驗(yàn)證壽命預(yù)測(cè)的效果,可將不同條件下的作動(dòng)器壽命閾值設(shè)置為70 ℃或55 ℃[20]。

3.2 壽命預(yù)測(cè)性能指標(biāo)

在壽命預(yù)測(cè)相關(guān)的研究領(lǐng)域,常使用平均百分比誤差(MAPE)和S分?jǐn)?shù)作為壽命預(yù)測(cè)的評(píng)價(jià)指標(biāo)。MAPE評(píng)價(jià)壽命預(yù)測(cè)的平均精度,對(duì)任何預(yù)測(cè)結(jié)果均采取相同的權(quán)重,因此本文使用MAPE評(píng)估間接壽命預(yù)測(cè)的性能,也就是評(píng)估關(guān)鍵性能參數(shù)的預(yù)測(cè)精度。剩余壽命高估(剩余壽命預(yù)測(cè)值大于真實(shí)值)時(shí),會(huì)造成后續(xù)預(yù)防策略的誤判,甚至造成安全問(wèn)題。因此在模型的評(píng)價(jià)過(guò)程中需要對(duì)高估的剩余壽命預(yù)測(cè)值施加更多的懲罰,在評(píng)價(jià)標(biāo)準(zhǔn)中產(chǎn)生更多的負(fù)面影響。S分?jǐn)?shù)的非對(duì)稱函數(shù)的特點(diǎn)滿足上述要求。本文使用S分?jǐn)?shù)評(píng)估直接壽命預(yù)測(cè)的精度。MAPE和S分?jǐn)?shù)的計(jì)算公式分別為

(16)

(17)

3.3 壽命預(yù)測(cè)驗(yàn)證試驗(yàn)

本文使用動(dòng)態(tài)負(fù)載,作動(dòng)器X的電機(jī)電流、電機(jī)電壓、螺母溫度和電機(jī)溫度作為多模態(tài)時(shí)間序列作為輸入,預(yù)測(cè)剩余壽命。所用數(shù)據(jù)的試驗(yàn)工況如表1所示。

試驗(yàn)中部分EMA最終溫度達(dá)到100 ℃左右完全停止試驗(yàn),在88 ℃時(shí)已無(wú)法完成正常功能,被認(rèn)為壽命完全終止。部分EMA在70 ℃時(shí)已完全失效,無(wú)法繼續(xù)進(jìn)行試驗(yàn)。為了顯示這兩類EMA試驗(yàn)數(shù)據(jù)的區(qū)別,分別對(duì)這兩類EMA各取一個(gè)試驗(yàn)樣本,繪制其壽命試驗(yàn)數(shù)據(jù),如圖6所示。

表1 試驗(yàn)工況Table 1 Experiment conditions

圖6(a)為最終電機(jī)溫度達(dá)到100 ℃時(shí)EMA的壽命試驗(yàn)數(shù)據(jù),圖6(b)為最終電機(jī)溫度達(dá)到70 ℃時(shí)EMA的壽命試驗(yàn)數(shù)據(jù)。首先,以最終電機(jī)溫度達(dá)到100 ℃時(shí)EMA的壽命試驗(yàn)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),以最終電機(jī)溫度達(dá)到70 ℃時(shí)EMA的壽命試驗(yàn)數(shù)據(jù)作為測(cè)試數(shù)據(jù),驗(yàn)證基于多模態(tài)Transformer的編碼器的直接剩余壽命預(yù)測(cè)方法。之后,本文以部分最終電機(jī)溫度達(dá)到100 ℃時(shí)EMA的壽命試驗(yàn)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),以其他最終電機(jī)溫度達(dá)到100 ℃時(shí)EMA的壽命試驗(yàn)數(shù)據(jù)作為測(cè)試數(shù)據(jù),預(yù)測(cè)這些EMA的電機(jī)溫度,驗(yàn)證基于多模態(tài)Transformer模型的間接壽命預(yù)測(cè)方法。

圖6 EMA壽命試驗(yàn)數(shù)據(jù)Fig.6 Overview of EMA degradation test data

試驗(yàn)中電機(jī)溫度達(dá)到70 ℃左右的EMA在 399 s 時(shí)完全失效,直接壽命預(yù)測(cè)結(jié)果如圖7所示。為了簡(jiǎn)化測(cè)試,本文試驗(yàn)中每秒取一次數(shù)據(jù)進(jìn)行預(yù)測(cè),圖7中真實(shí)剩余壽命和預(yù)測(cè)剩余壽命均有398個(gè)數(shù)值,預(yù)測(cè)結(jié)果的S分?jǐn)?shù)是656.69。

圖7 剩余壽命預(yù)測(cè)Fig.7 Prediction of RUL

目前關(guān)于EMA的壽命預(yù)測(cè)研究較少,沒(méi)有發(fā)現(xiàn)類似的針對(duì)EMA開(kāi)展的直接壽命預(yù)測(cè)研究。為對(duì)比本文所提出方法的有效性,本文使用常規(guī)的LSTM神經(jīng)網(wǎng)絡(luò)和一維CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行性能對(duì)比,分別使用上述方法進(jìn)行直接壽命預(yù)測(cè),對(duì)比結(jié)果如表2所示。

表2 直接壽命預(yù)測(cè)性能對(duì)比Table 2 Performance comparison of direct RUL methods

由此可知本文所提出的基于多模態(tài)Transformer編碼器的直接壽命預(yù)測(cè)方法能夠以較高的精度實(shí)時(shí)直接預(yù)測(cè)EMA的剩余壽命(見(jiàn)圖7)。

電機(jī)溫度可以直觀地顯示EMA的性能退化過(guò)程,壽命退化試驗(yàn)持續(xù)進(jìn)行至電機(jī)溫度達(dá)到 100 ℃, 此時(shí)EMA完全失效。試驗(yàn)中EMA在 735 s 時(shí)電機(jī)溫度達(dá)到88 ℃,從而喪失正常功能,可認(rèn)為其壽命終止。本文所述的間接壽命預(yù)測(cè)結(jié)果如圖8所示。

圖8 電機(jī)溫度預(yù)測(cè)Fig.8 Prediction of motor temperature

為簡(jiǎn)化測(cè)試,本文試驗(yàn)中每秒取一次數(shù)據(jù)進(jìn)行預(yù)測(cè),上圖中真實(shí)電機(jī)溫度和預(yù)測(cè)電機(jī)溫度均有986個(gè)數(shù)值,預(yù)測(cè)誤差MAPE是1.45。通過(guò)預(yù)測(cè)電機(jī)X溫度,并與溫度閾值88 ℃比較,可知預(yù)測(cè)壽命終止的時(shí)間是722 s,真實(shí)壽命終止是735 s,預(yù)測(cè)值與真實(shí)值較為接近。

為對(duì)比本文所提出的方法的有效性,本文使用NASA提出的傳統(tǒng)的曲線擬合(統(tǒng)計(jì)分布估計(jì))類方法GPR、LSTM深度神經(jīng)網(wǎng)絡(luò)、原始Transformer模型進(jìn)行性能對(duì)比,分別使用上述方法進(jìn)行間接壽命預(yù)測(cè),對(duì)比結(jié)果如表3所示。

表3 間接壽命預(yù)測(cè)性能對(duì)比Table 3 Performance comparison of indirect RUL methods

由此可知本文所提出的基于多模態(tài)Transformer的關(guān)鍵性能參數(shù)預(yù)測(cè)效果較好,間接壽命預(yù)測(cè)方法能夠以較高的精度預(yù)測(cè)EMA的關(guān)鍵性能參數(shù)的發(fā)展趨勢(shì),并間接計(jì)算其剩余壽命。

4 結(jié)論

面向航空航天裝備領(lǐng)域應(yīng)用日益廣泛的機(jī)電作動(dòng)器,以及當(dāng)前壽命預(yù)測(cè)研究較少的現(xiàn)狀,本文針對(duì)航空航天領(lǐng)域?qū)MA壽命預(yù)測(cè)互斥的應(yīng)用需求,提出一種基于多模態(tài)Transformer的機(jī)電作動(dòng)器直接壽命預(yù)測(cè)及關(guān)鍵性能參數(shù)預(yù)測(cè)方法。本文提出的多模態(tài)Transformer的編碼器部分通過(guò)多頭注意力機(jī)制自適應(yīng)提取多傳感器時(shí)間序列的壽命特征,從而直接預(yù)測(cè)機(jī)電作動(dòng)器的剩余壽命。多模態(tài)Transformer的編碼器和解碼器部分組合起來(lái)預(yù)測(cè)多傳感器時(shí)間序列中關(guān)鍵性能參數(shù)的退化趨勢(shì),通過(guò)自回歸的方式持續(xù)輸出預(yù)測(cè)值,最終與關(guān)鍵性能參數(shù)的故障閾值比較,從而間接預(yù)測(cè)機(jī)電作動(dòng)器的剩余壽命。本文提出的多模態(tài)Transformer是端到端的架構(gòu),無(wú)需任何人工設(shè)計(jì)特征及相關(guān)預(yù)處理過(guò)程,模型直接獲取原始多傳感器時(shí)間序列數(shù)據(jù),實(shí)時(shí)輸出各時(shí)間點(diǎn)的機(jī)電作動(dòng)器剩余壽命及關(guān)鍵性能參數(shù)預(yù)測(cè)序列。最后通過(guò)機(jī)電作動(dòng)器壽命試驗(yàn)數(shù)據(jù)驗(yàn)證了本文所提方法的有效性。試驗(yàn)結(jié)果表明,本文所提出的方法用于直接壽命預(yù)測(cè)時(shí),預(yù)測(cè)性能指標(biāo)S分?jǐn)?shù)是656.69,明顯優(yōu)于常規(guī)的LSTM和CNN方法;該方法用于間接壽命預(yù)測(cè)時(shí),性能指標(biāo)參數(shù)MAPE是1.45,明顯優(yōu)于NASA提出的基于GPR的常規(guī)方法和基于深度神經(jīng)網(wǎng)絡(luò)的LSTM和CNN方法。以上結(jié)果表明本文所提出的方法在直接剩余壽命預(yù)測(cè)和間接剩余壽命預(yù)測(cè)時(shí)均有很高的精度。

本文提出的直接剩余壽命預(yù)測(cè)部分可以在EMA使用過(guò)程中,尤其是故障早期直觀地預(yù)測(cè)剩余壽命,可為早期應(yīng)急管理奠定基礎(chǔ)。當(dāng)EMA性能退化中期,間接壽命預(yù)測(cè)方法可以直觀地顯示關(guān)鍵特征參數(shù)的發(fā)展規(guī)律,并預(yù)測(cè)剩余壽命,可讓地面運(yùn)維人員直觀地看到EMA壽命退化曲線,方便結(jié)合專家知識(shí)實(shí)現(xiàn)精準(zhǔn)的中后期應(yīng)急處置。

未來(lái)將使用更多的數(shù)據(jù)驅(qū)動(dòng)方法在多種不同工況的機(jī)電作動(dòng)器壽命試驗(yàn)數(shù)據(jù)上測(cè)試,并橫向比較各方法性能。同時(shí),將EMA的其他故障模式納入測(cè)試,驗(yàn)證本文提出方法的有效性。