王 力,馬 憲

(1.中國(guó)民航大學(xué) 職業(yè)技術(shù)學(xué)院，天津 300300; 2.中國(guó)民航大學(xué) 電子信息與自動(dòng)化學(xué)院，天津 300300)

0 引言

飛機(jī)輔助動(dòng)力裝置(APU,auxiliary power unit)本質(zhì)上是一個(gè)小型渦輪燃?xì)獍l(fā)動(dòng)機(jī)，其結(jié)構(gòu)簡(jiǎn)單，重量小，功率大，主要用于輔助飛機(jī)主發(fā)動(dòng)機(jī)啟動(dòng)并為機(jī)載用電設(shè)備供電。APU作為第二動(dòng)力系統(tǒng)，為飛機(jī)的安全性與乘客的舒適性提供保障，是一個(gè)不可缺少的重要子系統(tǒng)。

排氣溫度(EGT)作為一個(gè)關(guān)鍵的氣路性能參數(shù)，可以直接反應(yīng)APU的健康狀態(tài)，因此可以利用歷史時(shí)刻EGT組成的時(shí)序數(shù)據(jù)預(yù)測(cè)未來一段時(shí)間APU的狀態(tài)。APU是一個(gè)復(fù)雜非線性系統(tǒng)，多個(gè)部件共同作用使EGT呈現(xiàn)出非線性的時(shí)變規(guī)律，故對(duì)EGT的預(yù)測(cè)要考慮到APU內(nèi)各種性能參數(shù)。

國(guó)內(nèi)外學(xué)者對(duì)排氣溫度預(yù)測(cè)展開了大量研究，文獻(xiàn)[4]利用排氣溫度與其他性能參數(shù)間的關(guān)系對(duì)EGT進(jìn)行預(yù)測(cè)。文獻(xiàn)[5]采用遺傳算法優(yōu)化支持向量機(jī)參數(shù)來提高預(yù)測(cè)精度。文獻(xiàn)[7]采用優(yōu)化后的最小二乘支持向量機(jī)模型預(yù)測(cè)EGT。雖然上述的方法取得了較不錯(cuò)的預(yù)測(cè)效果，但是對(duì)長(zhǎng)時(shí)間序列，進(jìn)行多變量和多時(shí)間步預(yù)測(cè)時(shí)效果不是很好。近些年深度學(xué)習(xí)發(fā)展迅速，在處理長(zhǎng)時(shí)間多變量的時(shí)序數(shù)據(jù)有著明顯的優(yōu)勢(shì)。長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個(gè)變種，解決了序列長(zhǎng)時(shí)間被遺忘的問題。卷積神經(jīng)網(wǎng)絡(luò)(CNN)可以挖掘輸入數(shù)據(jù)的特征，提取深層次的變量間局部依賴關(guān)系，一定程度上提高預(yù)測(cè)精度。在時(shí)序預(yù)測(cè)中引入注意力機(jī)制可以為重要特征和時(shí)刻加權(quán)，加強(qiáng)重要信息的對(duì)輸出的影響，從而提高預(yù)測(cè)模型精度。粒子群算法(PSO)可以對(duì)長(zhǎng)短期記憶網(wǎng)絡(luò)的超參數(shù)進(jìn)行優(yōu)化，提升預(yù)測(cè)模型的性能，從而提高預(yù)測(cè)精度。文獻(xiàn)[16]提出基于LSTM的多變量時(shí)間序列預(yù)測(cè)模型。文獻(xiàn)[17]提出了一種基于CNN和LSTM的混合模型預(yù)測(cè)短期電力負(fù)荷。文獻(xiàn)[18]提出了一種基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的模型，對(duì)短期光伏功率進(jìn)行預(yù)測(cè)。文獻(xiàn)[19]提出一種基于自適應(yīng)PSO的LSTM預(yù)測(cè)模型,對(duì)股票價(jià)格進(jìn)行預(yù)測(cè)。

本文提出一種基于DAM和CNN-LSTM的模型對(duì)APU的氣路參數(shù)EGT進(jìn)行多變量預(yù)測(cè)，首先在CNN中引入通道注意力機(jī)制，對(duì)各特征通道進(jìn)行加權(quán)，突出重要特征的表達(dá)，提高了CNN提取重要特征的能力；然后在LSTM輸出側(cè)引入時(shí)序特征注意力機(jī)制，加強(qiáng)歷史時(shí)刻重要信息對(duì)預(yù)測(cè)輸出的影響。最后利用改進(jìn)的粒子群算法對(duì)該模型的關(guān)鍵參數(shù)進(jìn)行尋優(yōu)，使用優(yōu)化后的模型對(duì)EGT進(jìn)行預(yù)測(cè)。此方法旨在使用深度神經(jīng)網(wǎng)絡(luò)的不同結(jié)構(gòu)，更有效的處理EGT數(shù)據(jù)特征信息，達(dá)到準(zhǔn)確預(yù)測(cè)EGT動(dòng)態(tài)變化的目的。

1 深度學(xué)習(xí)理論

1.1 CNN原理結(jié)構(gòu)

CNN是一種得到深度學(xué)習(xí)領(lǐng)域廣泛使用的前饋神經(jīng)網(wǎng)絡(luò)。其卷積層通過局部連接和權(quán)值共享的方式有效提取原始數(shù)據(jù)的局部特征信息，保留了平面結(jié)構(gòu)信息。由于時(shí)序序列具有局部相關(guān)性，故可以使用1DCNN處理其局部特征。CNN結(jié)構(gòu)如圖1所示，主要由卷積層、池化層和全連接層組成。卷積層對(duì)輸入數(shù)據(jù)進(jìn)行特征提取，公式如下：

F

=

f

(

W

×

X

+

b

)

(1)

式中,

W

為卷積核權(quán)重矩陣，

X

為輸入?yún)?shù)向量，

b

為偏置向量，

f

(·)為激活函數(shù)。

圖1 CNN結(jié)構(gòu)

1.2 LSTM原理結(jié)構(gòu)

LSTM網(wǎng)絡(luò)是在在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN,recurrent neural network)的基礎(chǔ)上改進(jìn)而來，可以彌補(bǔ)RNN中固有的無法處理長(zhǎng)距離的依賴的缺陷。LSTM在RNN的基礎(chǔ)上增加了細(xì)胞狀態(tài)和3個(gè)門，控制各個(gè)門的狀態(tài)來對(duì)上一時(shí)刻舊信息和輸入的新信息進(jìn)行舍棄、保存和更新，最后得到的隱藏層輸出由多個(gè)函數(shù)共同作用，避免了梯度消失問題。這種復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)使LSTM比RNN能長(zhǎng)期記住更多過去的有用信息。LSTM的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 LSTM結(jié)構(gòu)圖

f

=

σ

(

W

(

h

-1,

x

)+

b

)

(2)

i

=

σ

(

W

(

h

-1,

x

)+

b

)

(3)

(4)

(5)

o

=

σ

(

W

(

h

-1,

x

)+

b

)

(6)

h

=

o

tanh(

C

)

(7)

式中,

x

為

t

時(shí)刻的輸入；

h

-1和

h

為

t

-1時(shí)刻和

t

時(shí)刻隱藏層狀態(tài)；

f

,

i

,

o

分別為遺忘門、輸入門和輸出門；

C

-1和

C

分別為

t

-1和

t

時(shí)刻的細(xì)胞狀態(tài)；,,,分別為不同狀態(tài)門的權(quán)重矩陣；

b

,

b

,

b

,

b

分別是不同狀態(tài)門的偏移量;

σ

表示sigmoid激活函數(shù)。

1.3 注意力機(jī)制

注意力機(jī)制本質(zhì)上是一種權(quán)重分配機(jī)制，受到人類視覺注意力機(jī)制的啟發(fā)而提出。深度學(xué)習(xí)中的注意力機(jī)制的核心目標(biāo)是令神經(jīng)網(wǎng)絡(luò)更加關(guān)注數(shù)據(jù)出現(xiàn)的趨勢(shì)和變化，對(duì)關(guān)鍵信息賦予更多的概率權(quán)重以提高神經(jīng)網(wǎng)絡(luò)對(duì)關(guān)鍵信息的提取。在時(shí)序預(yù)測(cè)中，注意力機(jī)制既可以加入到CNN中，為重要的特征通道信息賦予更大的權(quán)重，從而降低無關(guān)特征信息對(duì)預(yù)測(cè)結(jié)果的影響，也可以作用到LSTM網(wǎng)絡(luò)輸出側(cè)，加大歷史時(shí)刻關(guān)鍵信息對(duì)當(dāng)前輸出的影響。

1.4 粒子群算法

粒子群算法是通過模擬鳥群覓食行為而發(fā)展起來的一種基于群體協(xié)作的隨機(jī)搜索算法，被廣泛的應(yīng)用在各種優(yōu)化問題。粒子群算法中每個(gè)粒子的初始位置都是隨機(jī)的，其位置代表優(yōu)化問題的解。所有的粒子都有一個(gè)由被優(yōu)化的函數(shù)決定的適應(yīng)值，適應(yīng)值是評(píng)價(jià)粒子位置是否為最優(yōu)解的一個(gè)評(píng)價(jià)指標(biāo)。粒子僅具有位置和速度兩個(gè)屬性，進(jìn)行迭代尋優(yōu)的過程中會(huì)不斷更新自身的位置和速度。在搜索空間內(nèi)，每個(gè)粒子單獨(dú)搜索全局最優(yōu)解，個(gè)體間通過協(xié)作和信息共享的方式來調(diào)整位置與速度。粒子速度、位置更新公式為：

(8)

(9)

2 基于雙階段注意力機(jī)制的CNN-LSTM混合模型

2.1 模型描述

長(zhǎng)序列數(shù)據(jù)包含許多潛在的規(guī)律信息，傳統(tǒng)的預(yù)測(cè)模型處理數(shù)據(jù)時(shí)，無法提取數(shù)據(jù)特征信息之間的潛在規(guī)律，導(dǎo)致了相對(duì)較大的預(yù)測(cè)誤差。CNN通過局部鏈接和權(quán)值共享的方式對(duì)原始數(shù)據(jù)進(jìn)行高維特征映射，能夠挖掘出數(shù)據(jù)的特征信息。但通過卷積進(jìn)行特征提取時(shí)，產(chǎn)生的冗余特征會(huì)對(duì)預(yù)測(cè)精度產(chǎn)生影響，對(duì)含有不同特征的通道使用注意力機(jī)制，在訓(xùn)練過程中學(xué)習(xí)各個(gè)通道的權(quán)重，給重要特征分配更大的權(quán)重，從而獲得預(yù)測(cè)模型更多的關(guān)注，降低無關(guān)特征對(duì)預(yù)測(cè)結(jié)果的影響。LSTM網(wǎng)絡(luò)通過門控狀態(tài)選擇信息的保存與更新，保存需要長(zhǎng)時(shí)間記憶的關(guān)鍵信息，遺忘無關(guān)信息。在處理具有長(zhǎng)期依賴的時(shí)序數(shù)據(jù)時(shí)有較好的表現(xiàn)。由于排氣溫度的預(yù)測(cè)值受歷史狀態(tài)影響較大，為了使預(yù)測(cè)值能自主處理歷史狀態(tài)信息，加強(qiáng)對(duì)當(dāng)前時(shí)刻輸出影響大的歷史時(shí)刻信息表達(dá)，在LSTM網(wǎng)絡(luò)的輸出側(cè)加入時(shí)序注意力機(jī)制，能夠得到更接近真實(shí)值的預(yù)測(cè)值。因此提出基于雙階段注意力機(jī)制的CNN-LSTM混合模型，引入注意力機(jī)制加強(qiáng)模型對(duì)關(guān)鍵信息的關(guān)注，使網(wǎng)絡(luò)學(xué)習(xí)到更多關(guān)鍵信息的特征，進(jìn)而提高預(yù)測(cè)精度。

2.2 通道注意力機(jī)制

為更好的利用重要的特征通道信息，在CNN卷積層后加入通道注意力模塊，突出重要特征通道的表達(dá)。具體細(xì)節(jié)如圖3所示。

圖3 通道注意力機(jī)制

(

F

)=

σ

(

MLP

(

AvgPool

(

F

))+

MLP

(

MaxPool

(

F

)))=

(10)

其中:

σ

代表sigmoid激活函數(shù)，

δ

代表relu激活函數(shù)，∈

R

×和∈

R

×分別為全連接層的兩個(gè)權(quán)重矩陣。最后，將通道注意力矩陣(

F

)與輸入特征圖

F

相乘，并且通過殘差的方式與原始的輸入特征圖相加，得到該通道注意力模塊的最后輸出。最終，每個(gè)特征通道都乘上了學(xué)習(xí)到的相應(yīng)權(quán)重，增強(qiáng)了網(wǎng)絡(luò)對(duì)某些重要通道信息的注意力，能夠更好的提取數(shù)據(jù)的時(shí)空特征。

2.3 時(shí)序注意力機(jī)制

在EGT預(yù)測(cè)中，當(dāng)前時(shí)刻的預(yù)測(cè)值與歷史時(shí)刻預(yù)測(cè)值有較大聯(lián)系，但每個(gè)歷史時(shí)刻信息對(duì)當(dāng)前輸出的影響程度不同，為了突出重要?dú)v史時(shí)刻信息的影響，在LSTM網(wǎng)絡(luò)的輸出側(cè)加入時(shí)序注意力模塊為重要?dú)v史信息分配更大的權(quán)重。具體細(xì)節(jié)如圖4所示。

圖4 時(shí)序注意力機(jī)制

在

t

時(shí)刻，CNN提取的特征參數(shù)向量

r

與LSTM上一時(shí)刻隱層狀態(tài)

h

-1一同輸入到LSTM網(wǎng)絡(luò)中，得到

t

時(shí)刻的輸出

h

，表示為：

h

=

f

(

h

-1,

r

)

(11)

式中,

f

表示LSTM網(wǎng)絡(luò)單元。時(shí)序注意力機(jī)制的輸入為經(jīng)過LSTM網(wǎng)絡(luò)處理過的特征矩陣，隨后時(shí)序注意力機(jī)制會(huì)對(duì)歷史時(shí)刻隱層狀態(tài)信息分配權(quán)重系數(shù)，其計(jì)算公式如下：

β

=

V

tanh(

W

[

h

;

C

] +

U

h

+

b

)

(12)

(13)

式中,[

h

;

C

]是LSTM單元隱層狀態(tài)與細(xì)胞狀態(tài)的拼接；

β

是LSTM單元隱層狀態(tài)

h

和[

h

;

C

]的相關(guān)性分?jǐn)?shù)；,,為時(shí)序注意力相應(yīng)的權(quán)重矩陣；

b

為偏差項(xiàng)；

α

為經(jīng)過softmax函數(shù)歸一化的注意力權(quán)重系數(shù)。

(14)

α

對(duì)

t

時(shí)刻隱層輸出

h

與當(dāng)前時(shí)刻[

h

;

C

]的相關(guān)性進(jìn)行了量化，提高與當(dāng)前時(shí)刻輸出關(guān)聯(lián)密切的歷史信息的影響，最后各時(shí)刻的隱層輸出加權(quán)求和得到了時(shí)序注意力機(jī)制的輸出

u

,

u

經(jīng)過全連接層進(jìn)行維度變換得到最終的EGT預(yù)測(cè)值。

2.4 粒子群算法改進(jìn)

傳統(tǒng)的粒子群算法粒子速度的改變總是保持同一水平，導(dǎo)致了算法收斂速度慢并且搜索全局性差，易陷入局部最優(yōu)值。通過改進(jìn)慣性因子來調(diào)節(jié)粒子的全局和局部尋優(yōu)能力。改進(jìn)后的慣性因子

ω

公式為：

(15)

式中,

ω

和

ω

分別為慣性因子的最大值與最小值，一般設(shè)

ω

=0.9,

ω

=0.4，

t

為當(dāng)前迭代次數(shù)，

T

為最大迭代數(shù)。

(16)

慣性因子代表粒子對(duì)當(dāng)前速度的繼承程度，上式為慣性因子的微分，代表慣性因子的變化率。在迭代次數(shù)

t

較小時(shí)，

ω

接近最大值，粒子能快速分布到整個(gè)搜索空間，以找出最優(yōu)值的大概范圍；隨著迭代次數(shù)的增加，

ω

下降的越來越快，粒子速度變小確保了局部搜索的精度。使用非線性慣性因子調(diào)節(jié)粒子速度，使搜索的全局性與局部性達(dá)到動(dòng)態(tài)平衡，提高了粒子群算法尋優(yōu)的性能。

改進(jìn)PSO算法對(duì)LSTM網(wǎng)絡(luò)超參數(shù)尋優(yōu)的具體步驟如下：

1)輸入經(jīng)過預(yù)處理的訓(xùn)練集數(shù)據(jù)；

2)設(shè)置初始粒子群種群大小、迭代次數(shù)、學(xué)習(xí)因子等相關(guān)參數(shù)；

3)利用改進(jìn)PSO算法對(duì)LSTM網(wǎng)絡(luò)的學(xué)習(xí)率lr，步長(zhǎng)step進(jìn)行尋優(yōu)，并確定搜索范圍；

4)粒子的適應(yīng)度計(jì)算與對(duì)比，以LSTM的預(yù)測(cè)平均絕對(duì)百分比誤差作為目標(biāo)函數(shù)，計(jì)算各粒子的適應(yīng)度值并進(jìn)行比較，找到粒子的全局最優(yōu)值gbest；

5)利用式(8)和式(9)對(duì)粒子的速度和位置進(jìn)行更新；

6)判斷是否達(dá)到最大迭代次數(shù)或最小誤差。若兩個(gè)條件均不滿足則返回步驟4);

7)輸出LSTM網(wǎng)絡(luò)的最優(yōu)學(xué)習(xí)率與步長(zhǎng)。

在改進(jìn)的粒子群算法中設(shè)置最大迭代次數(shù)為100，種群規(guī)模為20,學(xué)習(xí)因子

c

=2,

c

=2,慣性因子最大值與最小值分別為0.9，0.4。LSTM網(wǎng)絡(luò)訓(xùn)練過程中使用adam優(yōu)化器，損失函數(shù)采用均方誤差(MSE)，學(xué)習(xí)率取值范圍為[0.001,0.01]，步長(zhǎng)的取值范圍為[1,10]，改進(jìn)PSO搜索到的最優(yōu)組合參數(shù)學(xué)習(xí)率為0.003，步長(zhǎng)為6。

2.5 基于雙階段注意力機(jī)制的CNN-LSTM混合模型

整個(gè)預(yù)測(cè)模型結(jié)構(gòu)如圖5所示，原始數(shù)據(jù)經(jīng)過輸入層進(jìn)行預(yù)處理，然后輸入到1D卷積層進(jìn)行特征提取，利用通道注意力機(jī)制為各特征通道分配權(quán)重，再經(jīng)過池化層、全連接層的處理，信息進(jìn)入LSTM網(wǎng)絡(luò)，其隱層狀態(tài)作為時(shí)序注注力機(jī)制的輸入，時(shí)序注意力機(jī)制實(shí)現(xiàn)了選擇不同時(shí)刻特征的重要性，加權(quán)后的特征信息經(jīng)過全連接層維度變換后得到最后的預(yù)測(cè)值。

圖5 DAM和CNN-LSTM模型結(jié)構(gòu)

模型中的每層描述如下：

1)輸入層:對(duì)原始輸入數(shù)據(jù)進(jìn)行預(yù)處理，使輸入數(shù)據(jù)滿足預(yù)測(cè)模型的要求。

2)引入通道注意力機(jī)制的CNN層:對(duì)經(jīng)過預(yù)處理的數(shù)據(jù)進(jìn)行特征提取。CNN由卷積層、池化層和全連接層組成，APU性能參數(shù)為時(shí)序數(shù)據(jù)，具有局部相關(guān)性，故將卷積層設(shè)計(jì)為一維卷積便于處理其局部特征，該卷積層包含64個(gè)1×1的卷積核，其激活函數(shù)選取Relu函數(shù)，相比sigmoid函數(shù)和tanh函數(shù)，Relu函數(shù)緩解了梯度消失問題并加快了模型收斂速度。它將小于0的輸入直接輸出為0，使得神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元具有了稀疏激活性，能夠一定程度上防止過擬合。通道注意力模塊為經(jīng)過卷積層的特征分配權(quán)重，突出重要特征信息的表達(dá)。池化層選擇最大池化，能夠保留更多的特征信息。為了避免過擬合，在池化層和全連接層中增加Dropout層，以一定概率隨機(jī)斷開神經(jīng)元的連接，最后經(jīng)過全連接層轉(zhuǎn)換數(shù)據(jù)維度將其輸出。

3)引入時(shí)序注意力機(jī)制的LSTM層:LSTM網(wǎng)絡(luò)對(duì)CNN層提取的特征向量進(jìn)行學(xué)習(xí)，挖掘出具有長(zhǎng)期依賴性的特征。LSTM網(wǎng)絡(luò)學(xué)習(xí)率為0.003，隱層神經(jīng)元節(jié)點(diǎn)數(shù)為128，步長(zhǎng)為6，batch_size為64。時(shí)序注意力機(jī)制為L(zhǎng)STM網(wǎng)絡(luò)的輸出分配權(quán)重。時(shí)序注意力機(jī)制的輸入為L(zhǎng)STM輸出的特征向量

H

=[

h

,

h

,…,

h

]。

4)輸出層：其輸入是時(shí)序注意力機(jī)制模塊的輸出。由全連接層輸出最后的預(yù)測(cè)值，激活函數(shù)選取sigmoid函數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)預(yù)處理與評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)數(shù)據(jù)采用航空公司某型飛機(jī)快速存取記錄器(QAR,quick access recorder)系統(tǒng)采集的APU數(shù)據(jù)，其中包括滑油溫度(

T

)、引氣壓力(

P

)、引氣流量(

W

)、發(fā)電機(jī)負(fù)載(

G

)、APU轉(zhuǎn)速(

N

)、EGT，共3 300組數(shù)據(jù)。

EGT的變化受多個(gè)APU性能參數(shù)影響，但過多的輸入?yún)?shù)會(huì)造成預(yù)測(cè)模型網(wǎng)絡(luò)復(fù)雜化，還會(huì)使模型學(xué)習(xí)到與輸出無關(guān)的特征，從而影響預(yù)測(cè)精度。相關(guān)性是衡量不同參數(shù)間變化一致程度的指標(biāo)，選擇與EGT相關(guān)的性能參數(shù)作為輸入數(shù)據(jù)可以保存大量特征信息并降低計(jì)算量。因此采用數(shù)據(jù)分析軟件SPSS計(jì)算各參數(shù)間的Pearson相關(guān)系數(shù)，如表1所示。

表1 不同參數(shù)的相關(guān)系數(shù)比較

通常情況下，相關(guān)系數(shù)絕對(duì)值大于0.8，認(rèn)為參數(shù)間高度線性相關(guān)。在0.5～0.8之間，認(rèn)為參數(shù)間具有顯著線性相關(guān)性。在0.4以下，一般認(rèn)為有極弱線性相關(guān)性或不存在線性相關(guān)。在進(jìn)行多步預(yù)測(cè)時(shí)，具有高度相關(guān)性的輸入數(shù)據(jù)有助于加強(qiáng)神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)過程，提高預(yù)測(cè)結(jié)果的準(zhǔn)確率。

根據(jù)表1不同參數(shù)相關(guān)系數(shù)選擇模型輸入?yún)?shù)為APU轉(zhuǎn)速

N

、引氣流量

W

、發(fā)電機(jī)負(fù)載

G

。由于APU排氣溫度與相關(guān)的特征參數(shù)在APU工作過程中波動(dòng)范圍較大，且各個(gè)特征參數(shù)的量綱級(jí)別也不同，為了防止各特征參數(shù)數(shù)值差異過大造成奇異解，加快模型收斂速度，需要對(duì)原始數(shù)據(jù)進(jìn)行歸一化以適應(yīng)模型訓(xùn)練。

(17)

式中,

x

為輸入數(shù)據(jù)

x

的最大值，

x

為最小值。

對(duì)各特征參數(shù)數(shù)據(jù)進(jìn)行min-max標(biāo)準(zhǔn)化，線性變換到[0,1]區(qū)間，適應(yīng)sigmoid和tanh激活函數(shù)。在模型的輸出階段，需要對(duì)數(shù)據(jù)進(jìn)行反歸一化，使得輸入數(shù)據(jù)和輸出數(shù)據(jù)保持一致。

本文選取3種誤差評(píng)價(jià)指標(biāo)衡量模型的預(yù)測(cè)精度，分別是MAE(mean absolute error)、MAPE(mean absolute percentage error)與RMSE(root mean square error)，計(jì)算公式如下：

(18)

(19)

(20)

3.2 模型收斂性

設(shè)置最優(yōu)模型參數(shù)后，需要對(duì)訓(xùn)練過程中DAM和CNN-LSTM混合模型的收斂性進(jìn)行驗(yàn)證。計(jì)算該模型訓(xùn)練過程中的損失值，并與CNN-CAM-LSTM模型、CNN-LSTM-TAM模型、CNN-LSTM模型進(jìn)行比較。各模型收斂性如圖6所示。

圖6 不同模型進(jìn)行EGT預(yù)測(cè)的損失收斂

實(shí)驗(yàn)中各模型參數(shù)均相同，采用均方誤差MSE(mean square error)作為模型訓(xùn)練的損失函數(shù)。由圖6可以看出各模型在經(jīng)過200次迭代后其損失函數(shù)MSE趨于平穩(wěn)。在整個(gè)訓(xùn)練過程中本文所提模型的損失函數(shù)MSE的值均小于另外3種模型，具有更好的收斂效果。

3.3 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證雙階段注意機(jī)制對(duì)特征提取和時(shí)序依賴關(guān)系的有效性及優(yōu)化效果，對(duì)樣本數(shù)據(jù)采用本文提出的DAM和CNN-LSTM混合模型、CNN-CAM-LSTM模型、CNN-LSTM-TAM模型、CNN-LSTM模型進(jìn)行排氣溫度預(yù)測(cè)。上述模型中使用的LSTM網(wǎng)絡(luò)均采用相同的超參數(shù)(學(xué)習(xí)率為0.003，隱層神經(jīng)節(jié)點(diǎn)數(shù)為128，步長(zhǎng)為6，batch_size為64)；1DCNN的卷積核個(gè)數(shù)為64，卷積核大小為1，最大池化層為2，dropout為0.3。數(shù)據(jù)集前90%作為訓(xùn)練集，后10%作為測(cè)試集。在模型訓(xùn)練過程中選擇Adam算法優(yōu)化模型參數(shù)，Adam算法吸收了AdaGrad和RMSProp兩種梯度下降算法的優(yōu)點(diǎn)，既能適應(yīng)稀疏梯度，又緩解了梯度震蕩問題。文中預(yù)測(cè)模型的代碼都是用Python編寫，使用Pytorch深度學(xué)習(xí)框架進(jìn)行開發(fā)。采用本文選取的3種誤差評(píng)價(jià)指標(biāo)來評(píng)價(jià)不同模型的預(yù)測(cè)性能與精度，實(shí)驗(yàn)對(duì)比結(jié)果如表2所示。

表2 不同模型預(yù)測(cè)精度比較

根據(jù)實(shí)驗(yàn)結(jié)果分析，加入雙階段注意力機(jī)制對(duì)預(yù)測(cè)效果的提升顯著，MAE、RMSE、MAPE均有明顯下降。為驗(yàn)證通道注意力機(jī)制和時(shí)序注意力機(jī)制對(duì)模型性能的提升效果，將兩種注意力機(jī)制單獨(dú)加入到CNN-LSTM模型(CAM為通道注意力機(jī)制； TAM為時(shí)序注意力機(jī)制)。由表2可以看出，在輸出側(cè)加入時(shí)序注意力機(jī)制對(duì)模型預(yù)測(cè)性能的提升更為明顯。

本文所提模型比CNN-LSTM模型,CNN-CAM-LSTM模型，CNN-LSTM-TAM模型的MAE分別降低了71.03%、50.26%、21.50%；RMSE分別降低了55.87%、36.79%、9.61%；MAPE分別降低了2.48%、0.93%、0.32%。本文算法在3種誤差評(píng)價(jià)指標(biāo)上都有明顯的降低，證明了該模型在多步多變量排氣溫度預(yù)測(cè)的可行性。

各模型在測(cè)試集上的預(yù)測(cè)輸出曲線對(duì)比如圖7所示。

圖7 不同模型的EGT預(yù)測(cè)溫度比較

由圖7(d)可以看出CNN-LSTM模型在高低峰值和大幅波動(dòng)區(qū)間的預(yù)測(cè)輸出值與真實(shí)值擬合程度較低，難以反映EGT真實(shí)值的變化趨勢(shì)。圖7(c)為CNN-CAM-LSTM模型的預(yù)測(cè)值，該模型在特征提取階段加入通道注意力機(jī)制對(duì)特征通道分配權(quán)重，加強(qiáng)了模型對(duì)重要特征通道的關(guān)注，在高低峰值區(qū)間的預(yù)測(cè)效果有一定的提升，但在高峰階段的預(yù)測(cè)值與真實(shí)值仍有較大誤差，無法準(zhǔn)確的預(yù)測(cè)出排氣溫度的峰值，從而忽視因排氣溫度超溫而引起的故障。CNN-LSTM-TAM模型在LSTM輸出側(cè)加入時(shí)序注意力機(jī)制加強(qiáng)了歷史關(guān)鍵時(shí)刻信息對(duì)當(dāng)前輸出的影響，由圖7(b)可以看到整個(gè)區(qū)間的預(yù)測(cè)精度均有明顯提升，在高低峰值和大幅波動(dòng)區(qū)間的預(yù)測(cè)輸出值與真實(shí)值擬合度較高。由圖7(a)可以看出本文提出的DAM和CNN-LSTM混合模型在整個(gè)區(qū)間的預(yù)測(cè)輸出與EGT真實(shí)值擬合程度很高，準(zhǔn)確的捕捉到了EGT變化規(guī)律。其他幾種預(yù)測(cè)模型在部分區(qū)間雖然也有較好的預(yù)測(cè)效果，但在高低峰值和大幅波動(dòng)區(qū)間的預(yù)測(cè)精度均低于本文所提模型。

總體而言，提出的DAM-CNN-LSTM方法能夠有效地學(xué)習(xí)參數(shù)數(shù)據(jù)的內(nèi)部變化規(guī)律，可以用于未來排氣溫度預(yù)測(cè)。該預(yù)測(cè)方法可為未來APU健康狀態(tài)預(yù)測(cè)提供預(yù)警作用，預(yù)測(cè)未來EGT，并結(jié)合其他APU性能參數(shù)，查看是否在合理的范圍內(nèi)，及時(shí)排查潛在故障原因保障APU正常運(yùn)行。

3.4 不同步長(zhǎng)效果驗(yàn)證

為了進(jìn)一步驗(yàn)證本文方法的泛化性和穩(wěn)定性，使用不同步長(zhǎng)進(jìn)行EGT預(yù)測(cè)，采用上文提出的3種誤差評(píng)價(jià)指標(biāo)對(duì)4種模型的預(yù)測(cè)性能進(jìn)行評(píng)估與分析。

圖8和圖9分別為步長(zhǎng)為10和15時(shí)，4種模型的MAE、RMSE、MAPE值。從圖中可以看出隨著步長(zhǎng)的增加，3種誤差評(píng)價(jià)指標(biāo)值均升高，說明步長(zhǎng)的增加導(dǎo)致各模型的泛化性和穩(wěn)定性變差。與6步預(yù)測(cè)結(jié)果相比，各模型在進(jìn)行10步預(yù)測(cè)時(shí)，RMSE分別增長(zhǎng)了32.11%、35.10%、33.67%、35.02%，在進(jìn)行15步預(yù)測(cè)時(shí)，RMSE分別增加了37.33%、39.01%、42.37%、41.31%。本文方法的RMSE增幅還是較高，但與其他方法相比，RMSE增長(zhǎng)率最低，說明在步長(zhǎng)增加的情況下，預(yù)測(cè)精度下降的更緩慢，MAE和MAPE也明顯低于其他方法?？傮w而言，本文提出的預(yù)測(cè)模型在十步和十五步預(yù)測(cè)中，3種誤差評(píng)價(jià)指標(biāo)是最低的，表明其預(yù)測(cè)性能要優(yōu)于其他預(yù)測(cè)模型。

圖8 十步預(yù)測(cè)不同模型的評(píng)價(jià)指標(biāo)值

圖9 十五步預(yù)測(cè)不同模型的評(píng)價(jià)指標(biāo)值

步長(zhǎng)的增加導(dǎo)致了各預(yù)測(cè)模型的預(yù)測(cè)性能下降，計(jì)算單位步長(zhǎng)增加時(shí)各預(yù)測(cè)模型的誤差平均增長(zhǎng)率，增長(zhǎng)率越低，說明預(yù)測(cè)模型性能衰減的越慢，各預(yù)測(cè)模型誤差平均增長(zhǎng)率如表3所示。

表3 不同預(yù)測(cè)模型平均誤差增長(zhǎng)率

由表3可以看出，本文所提預(yù)測(cè)模型在MAE、RMSE、MAPE的平均增長(zhǎng)率分別為9.02%、6.62%、6.90%，均低于其他預(yù)測(cè)模型。其中MAE是衡量預(yù)測(cè)模型精度的一個(gè)指標(biāo)；RMSE主要反映模型的穩(wěn)定性；MAPE百分比表現(xiàn)模型預(yù)測(cè)性能，該預(yù)測(cè)模型在引入雙階段注意力機(jī)制后，在多步長(zhǎng)預(yù)測(cè)中精度和穩(wěn)定性均優(yōu)于CNN-LSTM-TAM模型、CNN-CAM-LSTM模型、CNN-LSTM模型，相比其他模型更適用于多步長(zhǎng)預(yù)測(cè)。

DAM-CNN-LSTM預(yù)測(cè)模型利用通道注意力機(jī)制和時(shí)序注意力機(jī)制充分學(xué)習(xí)了特征參數(shù)間的內(nèi)部相關(guān)性，可較為準(zhǔn)確地對(duì)未來APU 的EGT進(jìn)行預(yù)測(cè)。

4 結(jié)束語

本文提出一種基于DAM和CNN-LSTM的混合模型用來提高APU排氣溫度短期預(yù)測(cè)的精度與穩(wěn)定性，得到了以下結(jié)論：

1)多維冗余的無關(guān)輸入數(shù)據(jù)會(huì)導(dǎo)致模型結(jié)構(gòu)復(fù)雜且預(yù)測(cè)精度下降。為提升預(yù)測(cè)模型的效率與性能，對(duì)輸入數(shù)據(jù)進(jìn)行相關(guān)性分析，選擇與EGT相關(guān)性較強(qiáng)的性能參數(shù)參與預(yù)測(cè)，提高數(shù)據(jù)可靠性。

2)在CNN中加入通道注意力機(jī)制學(xué)習(xí)各個(gè)特征通道的權(quán)重，為重要特征分配更大的權(quán)重，從而獲得預(yù)測(cè)模型更多的關(guān)注，降低無關(guān)特征對(duì)預(yù)測(cè)結(jié)果的影響，提高了CNN提取重要特征的能力。在LSTM網(wǎng)絡(luò)輸出階段加入時(shí)序注意機(jī)制可以捕捉時(shí)序數(shù)據(jù)間的依賴關(guān)系，加強(qiáng)歷史關(guān)鍵信息對(duì)當(dāng)前輸出的影響，提高模型對(duì)長(zhǎng)時(shí)間序列的預(yù)測(cè)性能。

3)非線性慣性因子提高了PSO的尋優(yōu)能力，避免算法陷入局部最優(yōu)值并加快收斂速度。利用改進(jìn)的粒子群算法優(yōu)化LSTM網(wǎng)絡(luò)的學(xué)習(xí)率和步長(zhǎng)，找到最優(yōu)組合參數(shù)。

4)雙階段注意力機(jī)制的加入使模型對(duì)重要特征及重要?dú)v史信息投入更多的關(guān)注，通過實(shí)驗(yàn)驗(yàn)證了注意力機(jī)制對(duì)多變量多步EGT預(yù)測(cè)模型性能的提升。當(dāng)預(yù)測(cè)步長(zhǎng)增加時(shí)，雖然3種誤差評(píng)價(jià)指標(biāo)均有所上升，但上升幅度較低，預(yù)測(cè)精度仍高于其他3種模型，證明了本文所提預(yù)測(cè)模型的穩(wěn)定性。