嚴(yán)啟華, 羅亮, 陳振宇, 張敏, 李書(shū)龍

(1.西南科技大學(xué)信息工程學(xué)院, 綿陽(yáng) 621010; 2.清華四川互聯(lián)網(wǎng)能源研究院能源大數(shù)據(jù)研究所, 成都 610200; 3.西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 綿陽(yáng) 621010)

科學(xué)預(yù)測(cè)飛機(jī)故障率可以對(duì)航空維修進(jìn)行科學(xué)決策[1-2],是提高維修保障能力不可缺少的重要條件,對(duì)于提高航空維修保障工作的預(yù)見(jiàn)性、對(duì)策性和科學(xué)性,提高航空裝備的完善和利用水平,具有十分重要的作用[3]。無(wú)人機(jī)故障包含“軟故障”和“硬故障”[4],軟故障指系統(tǒng)發(fā)生的緩慢變化,如控制系統(tǒng)參數(shù)變化或電路偏置漂移等[5-6]。硬故障指飛機(jī)突然發(fā)生某部分損壞或完全停止工作,這種故障容易識(shí)別[7]。

通過(guò)對(duì)無(wú)人機(jī)數(shù)據(jù)的分析,可以及早發(fā)現(xiàn)無(wú)人機(jī)可能出現(xiàn)的故障,如電池電量不足、電機(jī)異常、傳感器故障等。這有助于在故障加重之前采取預(yù)防措施,避免無(wú)人機(jī)在飛行中出現(xiàn)事故或損壞。無(wú)人機(jī)在飛行過(guò)程中還可能面臨各種風(fēng)險(xiǎn),如碰撞、失控、墜毀等。通過(guò)分析無(wú)人機(jī)故障數(shù)據(jù)并做出預(yù)測(cè),可以及早采取措施,避免潛在的安全事故發(fā)生,保護(hù)人員和財(cái)產(chǎn)的安全。

Yang等[8]利用真實(shí)的無(wú)人機(jī)飛行數(shù)據(jù),提出了一種完整的基于信息的主成分分析(complete-information-based principal component analysis,CIPCA)-反向傳播神經(jīng)網(wǎng)絡(luò)(back-propagation neural network,BPNN)故障預(yù)測(cè)方法,可以在無(wú)人機(jī)故障發(fā)生前9 s左右準(zhǔn)確預(yù)測(cè)故障。杜金等[9]開(kāi)發(fā)了一個(gè)基于YOLOv5s算法的模型,旨在實(shí)現(xiàn)對(duì)風(fēng)機(jī)葉片故障的快速檢測(cè)和識(shí)別,同時(shí)兼顧了較高的準(zhǔn)確率。Wang等[10]提出了一種半監(jiān)督聚類(lèi)技術(shù)來(lái)對(duì)采樣點(diǎn)進(jìn)行自動(dòng)模式識(shí)別,大大提高了在歷史飛行數(shù)據(jù)中添加精確標(biāo)簽的效率和準(zhǔn)確性。Yang等[11]提出了一種基于時(shí)間戳片和多可分卷積神經(jīng)網(wǎng)絡(luò)(time step-multi scale convolutional neural network,TS-MSCNN)的無(wú)人機(jī)異常狀態(tài)檢測(cè)方法,準(zhǔn)確率高達(dá)97.99%。他們還提出了一種基于無(wú)人機(jī)環(huán)內(nèi)軟件仿真環(huán)境的時(shí)間線(xiàn)建模(time line modeling,TLM)方法來(lái)獲取和處理無(wú)人機(jī)的機(jī)載故障日志,GPS分類(lèi)準(zhǔn)確率最高達(dá)到85.63%。Masalimov等[12]提出了一種新穎的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)CompactNeuroUAV模型,實(shí)現(xiàn)了常見(jiàn)故障或故障前狀態(tài)檢測(cè),準(zhǔn)確率為93.36%。Cabahug等[13]將振動(dòng)數(shù)據(jù)與K-means聚類(lèi)算法結(jié)合,無(wú)人機(jī)飛行中故障檢測(cè)準(zhǔn)確度在89%～95%。Park等[14]提出了一種基于無(wú)監(jiān)督學(xué)習(xí)的堆疊自編碼器的故障檢測(cè)模型。利用無(wú)人機(jī)安全狀態(tài)數(shù)據(jù)對(duì)自編碼器進(jìn)行訓(xùn)練,并對(duì)其重構(gòu)損失進(jìn)行檢測(cè),以區(qū)分安全狀態(tài)和故障狀態(tài),其準(zhǔn)確率最高達(dá)到93.21%。Azarakhsh[15]提出了一種使用遞歸最小二乘法來(lái)檢測(cè)飛機(jī)行為異常的實(shí)時(shí)方法,準(zhǔn)確率為86.36%。

黃莉莉等[16]提出基于T-S(Takagi-Sugeno)模糊故障樹(shù)的故障診斷方法,解決了實(shí)際儀表著陸系統(tǒng)下滑信標(biāo)(glidepath beacon, GP)故障時(shí)無(wú)法快速定位故障點(diǎn)的難題。王康等[17]提出了基于貝葉斯網(wǎng)絡(luò)的故障診斷方法,解決了飛機(jī)駕駛艙手輪故障診斷的不確定性和復(fù)雜性,為機(jī)務(wù)人員迅速做出判斷和高效維修提供有力支持。何永春等[18]提出一種基于注意力機(jī)制的多尺度儀表檢測(cè)方法,增強(qiáng)了特征的表達(dá)能力。王欣等[19]在LSTM中引入了注意力機(jī)制,提升了發(fā)動(dòng)機(jī)壽命預(yù)測(cè)模型的精度。吳昉等[20]針對(duì)多類(lèi)型、多特征的缺陷檢測(cè)問(wèn)題,提出一種新穎的并行殘差注意力模塊,可以自適應(yīng)地選擇缺陷特征。武東輝等[21]將注意力機(jī)制添加在時(shí)空網(wǎng)絡(luò)模型中,解決了單一神經(jīng)網(wǎng)絡(luò)時(shí)序信息利用匱乏、局部信息把握不全等問(wèn)題。

對(duì)無(wú)人機(jī)故障俯仰角數(shù)據(jù)集進(jìn)行預(yù)測(cè)分析,可以及早檢測(cè)出無(wú)人機(jī)可能出現(xiàn)的故障情況。如果預(yù)測(cè)模型能夠準(zhǔn)確地識(shí)別無(wú)人機(jī)俯仰角異常的模式或趨勢(shì),就可以在故障發(fā)生之前采取相應(yīng)的措施,避免飛行事故的發(fā)生。通常,對(duì)無(wú)人機(jī)試飛故障的研究大多集中在事故分析和預(yù)警管理分析方面[22-23],且研究對(duì)象較為模糊。首先是數(shù)據(jù)獲取難度較大,預(yù)測(cè)無(wú)人機(jī)故障需要大量的數(shù)據(jù)支持,包括無(wú)人機(jī)的傳感器數(shù)據(jù)、飛行數(shù)據(jù)等。但是,獲取這些數(shù)據(jù)需要安裝相應(yīng)的傳感器和設(shè)備,這可能會(huì)增加無(wú)人機(jī)的重量和復(fù)雜度,影響無(wú)人機(jī)的飛行性能和安全性。其次,無(wú)人機(jī)試飛具有較高的復(fù)雜性和不確定性,無(wú)人機(jī)試飛時(shí)可能會(huì)受到環(huán)境、風(fēng)力、天氣等多種因素的影響,這些因素可能會(huì)使得無(wú)人機(jī)的飛行數(shù)據(jù)和傳感器數(shù)據(jù)變得復(fù)雜和不確定,從而增加預(yù)測(cè)故障的難度。

預(yù)測(cè)俯仰角故障數(shù)據(jù),一種情況是可以驗(yàn)證和確認(rèn)已知故障類(lèi)型的存在。將預(yù)測(cè)故障數(shù)據(jù)并與實(shí)際觀測(cè)數(shù)據(jù)進(jìn)行比對(duì),可以驗(yàn)證和確認(rèn)故障類(lèi)型的準(zhǔn)確性;另一種情況是通過(guò)預(yù)測(cè)俯仰角故障數(shù)據(jù),可以提供關(guān)于故障程度和嚴(yán)重性的信息。此外,預(yù)測(cè)俯仰角故障數(shù)據(jù)可為故障校正和應(yīng)對(duì)提供指導(dǎo)。預(yù)測(cè)故障數(shù)據(jù)可幫助判斷是否需要進(jìn)行實(shí)時(shí)調(diào)整或干預(yù)控制系統(tǒng)以糾正俯仰角異常,這對(duì)于保持飛行穩(wěn)定性和避免潛在風(fēng)險(xiǎn)至關(guān)重要。

現(xiàn)以確定故障類(lèi)型為出發(fā)點(diǎn),添加并調(diào)整注意力機(jī)制的層級(jí)結(jié)構(gòu),在數(shù)據(jù)量有限的情況下搭建長(zhǎng)短期記憶網(wǎng)絡(luò)(long short term memory,LSTM)、差分自回歸移動(dòng)平均(autoregressive integrated moving average,ARIMA)、注意力機(jī)制+LSTM 3個(gè)故障數(shù)據(jù)預(yù)測(cè)模型,利用該類(lèi)數(shù)據(jù)于模型方面進(jìn)行創(chuàng)新融合,針對(duì)模型預(yù)測(cè)過(guò)程中梯度爆炸和梯度消失導(dǎo)致預(yù)測(cè)準(zhǔn)確率下降的問(wèn)題,在LSTM模型中加入了注意力機(jī)制,以實(shí)現(xiàn)預(yù)測(cè)數(shù)據(jù)盡量貼合真實(shí)數(shù)據(jù)的目的。將ARIMA和LSTM作為對(duì)比模型,以驗(yàn)證模型的優(yōu)越性。以期對(duì)后續(xù)的無(wú)人機(jī)故障類(lèi)型驗(yàn)證、實(shí)時(shí)調(diào)整或干預(yù)控制等方面提供可靠結(jié)果。

1 數(shù)據(jù)來(lái)源及處理

所使用的實(shí)驗(yàn)數(shù)據(jù)源自卡內(nèi)基梅隆大學(xué)ALFA公開(kāi)數(shù)據(jù)集[24-25]。目前,該數(shù)據(jù)集包括47次自主飛行的處理數(shù)據(jù),其中包括23次突然的全發(fā)動(dòng)機(jī)故障場(chǎng)景及其另外7個(gè)不同種類(lèi)的執(zhí)行器故障場(chǎng)景共計(jì)24次。在正常情況下,總共飛行了66 min,而在故障發(fā)生后的飛行時(shí)間為13 min。此外,還有數(shù)十個(gè)故障場(chǎng)景下的全自動(dòng)、自動(dòng)駕駛輔助和手動(dòng)飛行的數(shù)小時(shí)原始數(shù)據(jù)[25]。如表1所示。

表1 飛行實(shí)驗(yàn)數(shù)據(jù)

選取發(fā)動(dòng)機(jī)全功率損失故障類(lèi)型,在此狀態(tài)下預(yù)測(cè)無(wú)人機(jī)的實(shí)際俯仰角狀態(tài)。首先將時(shí)間序列的時(shí)間戳變換成常用的時(shí)刻,然后選取表中80%數(shù)據(jù)作為訓(xùn)練集(前2 000條),20%數(shù)據(jù)作為測(cè)試集(后520條)。部分?jǐn)?shù)據(jù)如表2所示。

表2 無(wú)人機(jī)試飛部分俯仰角數(shù)據(jù)

俯仰角表征如圖1所示,plt.c為命令輸入值,plt.m為實(shí)際測(cè)量值。

圖1 在引擎異常情況下無(wú)人機(jī)俯仰角表征

2 3種模型預(yù)測(cè)方法

2.1 ARIMA模型

ARIMA模型又稱(chēng)整合移動(dòng)平均自回歸模型,是時(shí)間序列預(yù)測(cè)辦法之一[26-27]。此模型可以應(yīng)對(duì)非平穩(wěn)時(shí)間序列的建模問(wèn)題,且當(dāng)前時(shí)刻的值可以由過(guò)去若干時(shí)刻的值、誤差來(lái)預(yù)測(cè),所以搭建ARIMA模型對(duì)試飛俯仰角數(shù)據(jù)進(jìn)行分析。

ARIMA的搭建基本分為3個(gè)部分:序列平穩(wěn)化、模型識(shí)別、模型檢驗(yàn)。試飛數(shù)據(jù)俯仰角ARIMA模型詳細(xì)流程圖搭建如圖2所示。

圖2 ARIMA模型流程圖

ARIMA(p,d,q)模型中,AR表示自回歸(autoregressive),其中p表示自回歸項(xiàng)的數(shù)量;MA表示滑動(dòng)平均(moving average),其中q表示滑動(dòng)平均項(xiàng)的數(shù)量;d表示使時(shí)間序列成為平穩(wěn)序列而進(jìn)行的差分操作的次數(shù)(階數(shù))?？杀硎緸?/p>

(1)

式(1)中:L為滯后算子(lag operator);Li為滯后操作符;Xt為時(shí)間序列的觀測(cè)值;Φi為自回歸系數(shù);θi為移動(dòng)平均系數(shù);εt為白噪聲誤差;d∈Z,d>0。

當(dāng)時(shí)間序列消除了非平穩(wěn)時(shí)間序列的局部水平和趨勢(shì),某些部分與其他部分相似,時(shí)間序列出現(xiàn)一定的同質(zhì)性。之后進(jìn)行差分處理,將其轉(zhuǎn)化為平穩(wěn)時(shí)間序列。轉(zhuǎn)化后的序列稱(chēng)為齊次非平穩(wěn)時(shí)間序列,差分次數(shù)即為齊次階數(shù)[28]。

對(duì)于差分算子?,有

?2yt=?(yt-yt-1)=yt-2yt-1+yt-2

(2)

式(2)中:yt為差分的時(shí)間序列。對(duì)延遲算子B,有

yt-p=Bpyt,?p≥1

(3)

得

?k=(1-B)k

(4)

設(shè)有d階其次非平穩(wěn)時(shí)間序列,那么?dyt是平穩(wěn)時(shí)間序列,將其設(shè)為ARMA(p,q)模型,即

λ(B)(?dyt)=θ(B)εt

(5)

式(5)中:λ(B)=1-λ1B-λ2B2-…-λpBp;θ(B)=1-θ1B-θ2B2-…-θpBp。

2.2 LSTM模型+LSTM及注意力機(jī)制

2.2.1 注意力機(jī)制

注意力機(jī)制(attention mechanism)是一種在人工神經(jīng)網(wǎng)絡(luò)中常用的技術(shù),用于處理序列數(shù)據(jù)。將輸入序列中相關(guān)信息選擇性地聚焦,以便網(wǎng)絡(luò)能夠在處理過(guò)程中更加關(guān)注重要的部分,從而提高模型的性能[29]。其基本思想是模擬人類(lèi)在處理信息時(shí)的注意力分配過(guò)程[30],允許模型根據(jù)輸入序列中不同位置的重要性來(lái)動(dòng)態(tài)地調(diào)整注意力權(quán)重[31],從而使模型能夠在處理過(guò)程中更加關(guān)注一些重要的位置或詞匯。對(duì)無(wú)人機(jī)俯仰角故障數(shù)據(jù)的處理正是運(yùn)用了這一特點(diǎn)和思想。

在注意力機(jī)制中,有如下3個(gè)關(guān)鍵的要素。

查詢(xún)(Query):用于表示當(dāng)前需要關(guān)注的位置或詞匯,通常由網(wǎng)絡(luò)的中間層輸出作為查詢(xún)輸入。

鍵(Key):用于表示輸入序列中的位置或詞匯,通常由網(wǎng)絡(luò)的輸入層輸出作為鍵輸入。

值(Value):用于表示輸入序列中的位置或詞匯的特征,通常由網(wǎng)絡(luò)的輸入層輸出作為值輸入。

通過(guò)計(jì)算查詢(xún)與鍵之間的相似度,并將其用作權(quán)重,從而在值上計(jì)算加權(quán)和[32]。這樣,模型可以根據(jù)查詢(xún)的重要性來(lái)聚焦于鍵和值的不同部分,從而在不同位置上分配不同的注意力權(quán)重。這使得模型可以根據(jù)任務(wù)的需要?jiǎng)討B(tài)地調(diào)整對(duì)輸入序列的關(guān)注度,從而更好地處理序列數(shù)據(jù)。在attention計(jì)算過(guò)程如圖3所示。

圖3 Attention計(jì)算過(guò)程

具體過(guò)程如下。

步驟1輸入序列編碼。輸入序列(如文本、圖像等)經(jīng)過(guò)編碼器(Encoder)處理,生成一組特征向量(Key)。這些特征向量可以通過(guò)不同的方式生成,如循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)等。

步驟2生成查詢(xún)(Query)、鍵(F)和值(Value)。從編碼后的特征向量中生成查詢(xún)、鍵和值向量。通?？梢酝ㄟ^(guò)對(duì)特征向量進(jìn)行線(xiàn)性映射得到查詢(xún)、鍵和值向量,鍵F(Q,K)中Q為query,K為key。

步驟3計(jì)算注意力權(quán)重(s)[33]。以計(jì)算的方式,查詢(xún)向量和鍵向量之間的相似度,得到一組注意力權(quán)重。常用的計(jì)算相似度的方法有點(diǎn)積(dot product)、縮放點(diǎn)積(scaled dot product)、加性注意力(additive attention)等。

步驟4權(quán)重歸一化。對(duì)注意力權(quán)重進(jìn)行歸一化,使得權(quán)重之和等于1,以確保注意力的有效性。

步驟5加權(quán)(a)求和。將歸一化后的注意力權(quán)重與對(duì)應(yīng)位置的值向量相乘并求和,得到最終的上下文向量。

步驟6輸出處理。將上下文向量用于后續(xù)的任務(wù),如生成文本、分類(lèi)、回歸等。

充分利用純注意力機(jī)制的優(yōu)勢(shì),即可以進(jìn)一步優(yōu)化純注意力機(jī)制,顯著提高預(yù)測(cè)性能[34]。

2.2.2 LSTM模型

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)模型,其本質(zhì)是一種循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)。LSTM模型在RNN模型的基礎(chǔ)上通過(guò)增加門(mén)限(gates)來(lái)解決RNN短期記憶的問(wèn)題,使得循環(huán)神經(jīng)網(wǎng)絡(luò)能夠真正有效地利用長(zhǎng)距離的時(shí)序信息。

在傳統(tǒng)的RNN中,訓(xùn)練算法使用的是BPTT,當(dāng)時(shí)間跨度較大,需要回傳的殘差會(huì)指數(shù)下降,導(dǎo)致神經(jīng)網(wǎng)絡(luò)權(quán)重更新速度變慢,無(wú)法展現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)具備的長(zhǎng)期記憶效果。所以引入一個(gè)存儲(chǔ)單元,用于存儲(chǔ)網(wǎng)絡(luò)中的記憶信息。并幫助網(wǎng)絡(luò)捕捉長(zhǎng)期依賴(lài)關(guān)系,確保網(wǎng)絡(luò)在處理長(zhǎng)時(shí)間序列時(shí)能夠有效地保留和使用過(guò)去的信息[35],因此LSTM模型被提出,利用其優(yōu)勢(shì)搭建LSTM模型,LSTM細(xì)節(jié)圖如圖4所示。

圖4 LSTM細(xì)節(jié)圖

(1)輸入門(mén)(input gate):通過(guò)一個(gè)Sigmoid激活函數(shù)來(lái)控制是否更新細(xì)胞狀態(tài)(cell state)。Sigmoid函數(shù)的輸出范圍在0～1,表示更新的權(quán)重。輸入門(mén)根據(jù)當(dāng)前輸入和上一個(gè)時(shí)刻的隱藏狀態(tài)來(lái)決定是否更新細(xì)胞狀態(tài)。

(2)遺忘門(mén)(forget gate):通過(guò)一個(gè)Sigmoid激活函數(shù)來(lái)控制是否遺忘之前的細(xì)胞狀態(tài)。遺忘門(mén)根據(jù)當(dāng)前輸入和上一個(gè)時(shí)刻的隱藏狀態(tài)來(lái)決定哪些信息應(yīng)該被遺忘,哪些應(yīng)該被保留。

(3)輸出門(mén)(output gate):通過(guò)一個(gè)Sigmoid激活函數(shù)來(lái)控制是否輸出細(xì)胞狀態(tài)。輸出門(mén)根據(jù)當(dāng)前輸入和上一個(gè)時(shí)刻的隱藏狀態(tài)來(lái)決定輸出的細(xì)胞狀態(tài)。

(4)細(xì)胞狀態(tài)(cell state):用來(lái)存儲(chǔ)網(wǎng)絡(luò)中的記憶信息,可以在不同時(shí)間步之間傳遞。細(xì)胞狀態(tài)的更新由輸入門(mén)、遺忘門(mén)和輸出門(mén)共同控制。

(5)隱藏狀態(tài)(hidden state):作為L(zhǎng)STM的輸出,也可以作為下一個(gè)時(shí)間步的輸入。隱藏狀態(tài)通過(guò)輸出門(mén)和細(xì)胞狀態(tài)進(jìn)行更新。

2.2.3 模型融合

在搭建LSTM神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上,通過(guò)添加注意力層,計(jì)算注意力權(quán)重來(lái)調(diào)整LSTM模型的輸出,從而提升模型預(yù)測(cè)的精度。注意力層即是在每個(gè)時(shí)間步驟上,根據(jù)當(dāng)前輸入和前一個(gè)隱藏狀態(tài)計(jì)算出一個(gè)向量表示,并利用該向量與所有歷史隱藏狀態(tài)進(jìn)行相似性比較。然后,將相似性得分轉(zhuǎn)換成概率分布,并使用該分布加權(quán)平均所有歷史隱藏狀態(tài)得到最終的上下文向量,如2.2.1節(jié)所介紹。Attention-LSTM框架如圖5所示,注意力層的計(jì)算和搭建過(guò)程如下。

圖5 Attension-LSTM模型結(jié)構(gòu)

首先輸入數(shù)據(jù)并區(qū)分?jǐn)?shù)據(jù)對(duì),便于模型訓(xùn)練。將數(shù)據(jù)拼接升為三維數(shù)據(jù)輸入LSTM模型中,其形狀為N×1×1。

通過(guò)一個(gè)Dense層將LSTM模型的輸出降維,使用LeakyReLU激活函數(shù),限制輸出范圍。

通過(guò)Lambda層將輸出轉(zhuǎn)換為注意力權(quán)重,使用relu函數(shù),轉(zhuǎn)換輸出數(shù)據(jù)。

通過(guò)Multiply層將LSTM模型的輸出和注意力權(quán)重相乘,得到加權(quán)后的輸出。

最后通過(guò)Lambda層對(duì)加權(quán)后的輸出求和,得到一個(gè)新的特征向量,作為最終的輸出。

3 模型預(yù)測(cè)及結(jié)果

3.1 評(píng)價(jià)指標(biāo)

選取3種主要的回歸算法評(píng)價(jià)指標(biāo)對(duì)模型效果進(jìn)行評(píng)價(jià)[36],分別為平均絕對(duì)誤差(mean absolute error,MAE)、均方根誤差(root mean square error,RMSE)、平均絕對(duì)百分比誤差(mean absolute percentage error,MAPE),其計(jì)算公式如下。

(6)

平均絕對(duì)誤差(MAE):預(yù)測(cè)值與真實(shí)值之間絕對(duì)誤差的平均值,用于衡量預(yù)測(cè)值與真實(shí)值之間的平均偏差。MAE 的解釋性很直觀,它表示模型的平均預(yù)測(cè)誤差,值越小越好。

(7)

均方根誤差(RMSE):均方誤差的平方根,用于衡量預(yù)測(cè)值與真實(shí)值之間的平均偏差,且具有與原始單位相同的量綱。因?yàn)镽MSE對(duì)預(yù)測(cè)誤差的較大值更加敏感,誤差平方后會(huì)放大,從而能夠更好地評(píng)估模型的預(yù)測(cè)準(zhǔn)確性。

(8)

平均絕對(duì)百分比誤差(MAPE):其值越小,表示模型的預(yù)測(cè)性能越好,越接近0表示模型的預(yù)測(cè)非常準(zhǔn)確。MAPE具有百分比的形式,可以直觀地了解模型在相對(duì)誤差方面的表現(xiàn)。

3.2 ARIMA模型

根據(jù)俯仰角數(shù)據(jù)的數(shù)據(jù)特征,搭建與其相適應(yīng)的ARIMA模型:p=2,d=1,q=2。預(yù)測(cè)效果圖如圖6所示。

圖6 ARIMA預(yù)測(cè)效果圖

預(yù)測(cè)結(jié)果:MAE=0.35,RMSE=0.73,MAPE=23.80%。

可以看出,由于無(wú)人機(jī)試飛數(shù)據(jù)的小樣本性,預(yù)測(cè)結(jié)果中存在梯度爆炸[37]問(wèn)題,ARIMA模型預(yù)測(cè)該種類(lèi)型數(shù)據(jù)效果不是很理想。

3.3 LSTM模型及注意力機(jī)制+LSTM模型

搭建LSTM模型進(jìn)行預(yù)測(cè),預(yù)測(cè)效果如圖7所示。

圖7 LSTM預(yù)測(cè)效果圖

預(yù)測(cè)結(jié)果:MAE=0.49,RMSE=0.74,MAPE=45.20%。

可以看出,LSTM模型對(duì)無(wú)人機(jī)俯仰角試飛數(shù)據(jù)梯度預(yù)測(cè)比較準(zhǔn)確,但是精確度相比于ARIMA模型MAE下降了0.14,RMSE下降了0.01,MAPE下降了21.4%。

在LSTM模型中添加注意力機(jī)制以改善模型數(shù)據(jù)輸入的權(quán)重,預(yù)測(cè)效果如圖8所示。

圖8 注意力機(jī)制LSTM預(yù)測(cè)效果圖

在LSTM模型中添加注意力機(jī)制后,預(yù)測(cè)結(jié)果與原數(shù)據(jù)基本吻合。

預(yù)測(cè)結(jié)果:MAE=0.17,RMSE=0.53,MAPE=18.93%。

針對(duì)無(wú)人機(jī)俯仰角試飛數(shù)據(jù),相比于傳統(tǒng)的ARIMA、LSTM模型,在LSTM中添加注意力機(jī)制有一個(gè)更加優(yōu)異的表現(xiàn),如表3所示。

表3 無(wú)人機(jī)試飛數(shù)據(jù)俯仰角預(yù)測(cè)結(jié)果

傳統(tǒng)的LSTM模型在處理時(shí)間序列數(shù)據(jù)時(shí)可能會(huì)面臨梯度消失或梯度爆炸等問(wèn)題,導(dǎo)致難以捕捉依賴(lài)關(guān)系。而引入注意力機(jī)制后,通過(guò)對(duì)序列中不同位置的注意力權(quán)重進(jìn)行建模,使模型能夠更加靈活地關(guān)注到不同位置的信息,從而更好地處理時(shí)間序列數(shù)據(jù);當(dāng)模型輸入數(shù)據(jù)的權(quán)重得到不同分配、在不同的時(shí)間步或位置上集中注意力時(shí),就會(huì)提高模型的建模能力和預(yù)測(cè)準(zhǔn)確性;同時(shí)生成的對(duì)不同位置的注意力權(quán)重,使模型的預(yù)測(cè)結(jié)果更具解釋性和可解釋性,在實(shí)際應(yīng)用中更容易解釋和理解模型的預(yù)測(cè)結(jié)果。

4 結(jié)論

搭建ARIMA模型和LSTM模型用于無(wú)人機(jī)俯仰角試飛數(shù)據(jù)的預(yù)測(cè),并在LSTM模型中添加了注意力機(jī)制以提升其預(yù)測(cè)準(zhǔn)確性。利用預(yù)測(cè)結(jié)果來(lái)判斷是否需要實(shí)時(shí)調(diào)整或干預(yù)控制系統(tǒng),以便糾正俯仰角異常,或者將預(yù)測(cè)結(jié)果應(yīng)用于故障驗(yàn)證等方面。實(shí)驗(yàn)結(jié)果表明添加了注意力機(jī)制的LSTM模型預(yù)測(cè)效果要優(yōu)于ARIMA模型和一般的LSTM模型。對(duì)于ARIMA模型,還可以通過(guò)引入一些創(chuàng)新性元素,如非線(xiàn)性趨勢(shì)、異方差性等,來(lái)改進(jìn)模型的預(yù)測(cè)能力;同時(shí)還可以將多個(gè)ARIMA模型進(jìn)行集成,例如通過(guò)模型平均、模型堆疊等方式,利用各個(gè)模型的優(yōu)點(diǎn),降低模型的偏差和方差,從而提高預(yù)測(cè)分析的準(zhǔn)確性。