張 鵬 楊 濤 劉亞楠

1(中國(guó)民航大學(xué)適航學(xué)院 天津 300300)2(中國(guó)民航大學(xué)電子信息與自動(dòng)化學(xué)院 天津 300300)

0 引 言

伺服系統(tǒng)在航空航天、軍事、高精度數(shù)控機(jī)床等精密機(jī)械傳動(dòng)與控制領(lǐng)域得到了廣泛的應(yīng)用。而對(duì)這些設(shè)備開(kāi)展?fàn)顟B(tài)預(yù)測(cè)和故障診斷，以便在故障發(fā)生前及時(shí)提供預(yù)警或采取保護(hù)措施，對(duì)保障設(shè)備安全運(yùn)行具有重要現(xiàn)實(shí)意義[1]。

伺服系統(tǒng)一般包括機(jī)械系統(tǒng)、控制系統(tǒng)和驅(qū)動(dòng)系統(tǒng)三個(gè)主要部分。在大型系統(tǒng)(如飛控系統(tǒng))中，往往包含多個(gè)伺服系統(tǒng)，且系統(tǒng)之間存在復(fù)雜的耦合關(guān)系，難以建立其準(zhǔn)確的物理模型[2]，導(dǎo)致基于模型的方法難以適用。國(guó)內(nèi)外學(xué)者普遍采用數(shù)據(jù)驅(qū)動(dòng)的方法用于狀態(tài)預(yù)測(cè)和故障診斷。

目前數(shù)據(jù)驅(qū)動(dòng)的狀態(tài)預(yù)測(cè)方法主要分為傳統(tǒng)統(tǒng)計(jì)方法和人工智能方法[3]。傳統(tǒng)統(tǒng)計(jì)方法在平穩(wěn)序列上能夠取得較好預(yù)測(cè)結(jié)果，但其缺陷在于過(guò)度依賴序列特征[4]，因此不適用于以非平穩(wěn)序列為主的伺服系統(tǒng)狀態(tài)預(yù)測(cè)。人工智能的方法分為統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法[5]與深度學(xué)習(xí)方法[6]，能夠在給定輸入輸出數(shù)據(jù)的基礎(chǔ)上，自動(dòng)擬合輸入輸出數(shù)據(jù)之間的非線性關(guān)系，在實(shí)際中取得了較好的效果，且同樣適用于非平穩(wěn)的序列。文獻(xiàn)[7]通過(guò)收集高壓斷路器歷史動(dòng)作數(shù)據(jù)，利用支持向量機(jī)(SVM)預(yù)測(cè)其下一次的動(dòng)作數(shù)據(jù)，用于發(fā)現(xiàn)其潛在故障，達(dá)到故障診斷的目的。文獻(xiàn)[8]提出一種最小二乘支持向量機(jī)(LS-SVM)算法，用于風(fēng)力發(fā)電機(jī)的狀態(tài)預(yù)測(cè)當(dāng)中。文獻(xiàn)[9]利用小波神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了交通狀態(tài)的短時(shí)預(yù)測(cè)，將小波基作為特征函數(shù)來(lái)優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。上述方法在各自領(lǐng)域都取得了一定的效果，但是需要大量工程實(shí)踐與信號(hào)處理技術(shù)來(lái)提取信號(hào)特征，特征參數(shù)的選取依賴人工經(jīng)驗(yàn)且只適用于小數(shù)據(jù)量的系統(tǒng)。

對(duì)于伺服系統(tǒng)狀態(tài)預(yù)測(cè)而言，統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法難以適用，原因如下：(1) 過(guò)度依賴人工經(jīng)驗(yàn)選取特征參數(shù)，特征參數(shù)選取直接影響模型性能。(2) 伺服系統(tǒng)運(yùn)行時(shí)是一個(gè)連續(xù)的控制過(guò)程，其原始參數(shù)具有時(shí)間長(zhǎng)、狀態(tài)參數(shù)多的“大數(shù)據(jù)”特點(diǎn)，利用信號(hào)處理技術(shù)來(lái)提取原始參數(shù)特征效率低、效果差[10]。因此，該領(lǐng)域的研究方向逐漸轉(zhuǎn)移到深度學(xué)習(xí)上。

深度學(xué)習(xí)算法能夠從原始數(shù)據(jù)中自動(dòng)地提取數(shù)據(jù)的多層特征表示，在不同的狀態(tài)預(yù)測(cè)任務(wù)中均取得了最佳效果[10-12]。文獻(xiàn)[10]將LSTM用于多種序列預(yù)測(cè)任務(wù)當(dāng)中，預(yù)測(cè)精度高于傳統(tǒng)模型，且適用性更廣。文獻(xiàn)[11]在風(fēng)電短期預(yù)測(cè)中應(yīng)用了LSTM模型，且預(yù)測(cè)精度高于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)。文獻(xiàn)[12]首次將LSTM 網(wǎng)絡(luò)用于鋰電池剩余壽命預(yù)測(cè)當(dāng)中，準(zhǔn)確預(yù)測(cè)了鋰電池一個(gè)周期內(nèi)的剩余壽命曲線。

上述研究表明，基于深度學(xué)習(xí)的狀態(tài)預(yù)測(cè)方法比傳統(tǒng)方法性能更加優(yōu)越，能夠擺脫傳統(tǒng)算法對(duì)數(shù)據(jù)特征提取的依賴。但上述研究都是基于單任務(wù)學(xué)習(xí)的預(yù)測(cè)，在實(shí)際應(yīng)用中，往往需要對(duì)具有共同特征參數(shù)的多個(gè)狀態(tài)參數(shù)進(jìn)行預(yù)測(cè)。為解決上述問(wèn)題，本文將多任務(wù)學(xué)習(xí)[13]的思想引入伺服系統(tǒng)狀態(tài)預(yù)測(cè)當(dāng)中。多任務(wù)學(xué)習(xí)是一種歸納遷移機(jī)制，主要思想是充分利用隱含在多個(gè)相關(guān)任務(wù)訓(xùn)練信號(hào)中的特定領(lǐng)域信息，在并行訓(xùn)練的過(guò)程中促使模型學(xué)習(xí)到適用于不同任務(wù)的共有特征，從而提升模型的泛化性能[13]。多任務(wù)學(xué)習(xí)在不同領(lǐng)域得到了廣泛的研究[14-15]。文獻(xiàn)[14]提出一種用于人臉重建與識(shí)別的MTLSAE算法，將人臉姿態(tài)恢復(fù)與臉部局部細(xì)節(jié)信息保留兩個(gè)任務(wù)共同建模，識(shí)別率高于對(duì)比算法。文獻(xiàn)[15]在視覺(jué)語(yǔ)音識(shí)別中引入多任務(wù)學(xué)習(xí)框架，將姿態(tài)分類作為輔助任務(wù)，同單任務(wù)的方法相比，其效果有顯著提升。

本文在研究深度學(xué)習(xí)理論的基礎(chǔ)上，提出一種多任務(wù)學(xué)習(xí)框架下的狀態(tài)預(yù)測(cè)方法，并將其用于伺服系統(tǒng)的狀態(tài)預(yù)測(cè)中，以脫離對(duì)人工提取數(shù)據(jù)特征的依賴。實(shí)驗(yàn)結(jié)果表明，所提方法能夠自動(dòng)從數(shù)據(jù)中提取特征，且預(yù)測(cè)精度優(yōu)于對(duì)比算法。

1 深度學(xué)習(xí)理論

深度學(xué)習(xí)的概念起源于人工神經(jīng)網(wǎng)絡(luò)的研究，有多個(gè)隱含層的多層感知器是深度學(xué)習(xí)模型的顯著特征[16]。相對(duì)于淺層學(xué)習(xí)算法，前者具有更好逼近復(fù)雜函數(shù)的能力，由于具有多隱層結(jié)構(gòu)，能夠?qū)崿F(xiàn)數(shù)據(jù)特征的逐層轉(zhuǎn)換，保證最有效地信息提取與特征表達(dá)。深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動(dòng)的算法，無(wú)需建立系統(tǒng)的準(zhǔn)確物理模型，只需要收集系統(tǒng)運(yùn)行的歷史數(shù)據(jù)，即可獲得系統(tǒng)的最優(yōu)特征表示，從而完成故障診斷、故障分類和故障預(yù)測(cè)等任務(wù)。本文主要研究深度學(xué)習(xí)中的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)。

本文采用LSTM[17]模型來(lái)構(gòu)建映射關(guān)系，LSTM是一種時(shí)間遞歸的神經(jīng)網(wǎng)絡(luò)，非常適合處理時(shí)間序列數(shù)據(jù)。相較于傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)，LSTM通過(guò)引入了記憶單元，解決了RNN在實(shí)際應(yīng)用中不能長(zhǎng)期依賴的問(wèn)題。

LSTM由輸入層、隱含層和輸出層構(gòu)成，其結(jié)構(gòu)如圖1所示。其中，g(t)表示輸入單元，h(t)表示狀態(tài)輸出單元，M表示記憶單元，i(t)、o(t)、f(t)分別表示輸入門限、輸出門限以及遺忘門限。

圖1 LSTM結(jié)構(gòu)

由圖1可以看出，M的讀、寫和遺忘操作由三個(gè)門限單元來(lái)控制。設(shè)輸入時(shí)間序列為x，t為當(dāng)前時(shí)刻，則各單元的狀態(tài)可用如下公式表示：

輸入單元：

g(t)=tanh(Wxgg(t-1)+Whgh(t-1)+bg)

(1)

門控單元：

i(t)=σ(Wxii(t-1)+Whih(t-1)+bi)

(2)

f(t)=σ(Wxfi(t-1)+Whfh(t-1)+bf)

(3)

o(t)=σ(Wxoi(t-1)+Whoh(t-1)+bo)

(4)

記憶單元：

M(t)=f(t)M(t-1)+i(t)g(t)

(5)

狀態(tài)輸出單元：

h(t)=o(t)tanh(M(t))

(6)

式中：σ表示sigmoid激活函數(shù)。

2 MTL-LSTM模型

伺服系統(tǒng)狀態(tài)預(yù)測(cè)任務(wù)可定義如下：給定系統(tǒng)相關(guān)的n個(gè)狀態(tài)參數(shù)集合X={x1,x2,…,xn}(X中包含了需要預(yù)測(cè)的狀態(tài)參數(shù)y)在t時(shí)間段內(nèi)的數(shù)據(jù)，預(yù)測(cè)狀態(tài)參數(shù)y在d時(shí)間后，即t+d時(shí)刻的值。

基于多任務(wù)的思想，MTL-LSTM模型對(duì)所有狀態(tài)參數(shù)分別建立一個(gè)預(yù)測(cè)任務(wù)，構(gòu)成一個(gè)具有n個(gè)任務(wù)的模型，并將n個(gè)任務(wù)以并行的方式連接，共享LSTM的網(wǎng)絡(luò)權(quán)重，n個(gè)任務(wù)協(xié)同監(jiān)督網(wǎng)絡(luò)訓(xùn)練。同時(shí)，基于如下兩點(diǎn)考慮：(1) 時(shí)間間隔越近的數(shù)據(jù)對(duì)狀態(tài)預(yù)測(cè)的影響越大；(2) 不同任務(wù)下不同特征參數(shù)與所預(yù)測(cè)參數(shù)的相關(guān)性不同。因此，分別從時(shí)間維度和特征參數(shù)維度提取數(shù)據(jù)特征，MTL-LSTM模型結(jié)構(gòu)如圖2所示。

圖2 MTL-LSTM模型結(jié)構(gòu)

圖2左LSTM中P=[p1,p2,…,pT]∈n×t，其中pi為X在i時(shí)刻的狀態(tài)向量，P與X存在如下關(guān)系：

P=XT

(7)

(8)

(9)

MTL-LSTM模型所有任務(wù)均共享HL與HR，考慮到不同時(shí)刻、不同特征參數(shù)與每一個(gè)任務(wù)的相關(guān)性不同，因此為每一個(gè)任務(wù)引入注意力機(jī)制[18]，其過(guò)程可按如下公式描述：

(10)

(11)

(12)

式中：k表示第k個(gè)任務(wù)；Wα∈1×m與Wβ∈1×f為的權(quán)值矩陣，bα與bβ為偏置項(xiàng)，均由訓(xùn)練時(shí)學(xué)習(xí)得到；αk∈1×t表示對(duì)第k個(gè)任務(wù)而言不同時(shí)刻點(diǎn)數(shù)據(jù)所占的權(quán)重的集合，βk∈1×n表示第k個(gè)任務(wù)中不同狀態(tài)參數(shù)的權(quán)重集合，αk與βk均在學(xué)習(xí)過(guò)程中不斷調(diào)整。式(12)將時(shí)間、特征兩個(gè)維度的LSTM隱含層輸出向量分別在各自維度下與對(duì)應(yīng)的“權(quán)重”相乘求和。然后拼接得到γk∈(t+n)×1，即輸入數(shù)據(jù)的特征表達(dá)。最后，預(yù)測(cè)值由式(13)給出：

(13)

式中：W∈1×(t+n)與b一起由學(xué)習(xí)得到。同時(shí)，實(shí)際應(yīng)用中關(guān)鍵參數(shù)的重要程度應(yīng)大于非關(guān)鍵參數(shù)，故為整個(gè)網(wǎng)絡(luò)定義加權(quán)損失函數(shù)如下：

(14)

3 算例分析

3.1 數(shù)據(jù)構(gòu)造

本文以B777客機(jī)飛控系統(tǒng)的俯仰控制通道為研究對(duì)象，根據(jù)飛控系統(tǒng)工作原理[19]，從快速存取記錄器QAR(Quick Access Recorder)數(shù)據(jù)中選取22個(gè)典型相關(guān)參數(shù)，采樣間隔為1秒，選取參數(shù)如表1所示，各參數(shù)具體含義參見(jiàn)文獻(xiàn)[19]。與傳統(tǒng)機(jī)器學(xué)習(xí)方法不同，深度學(xué)習(xí)不需要精心地選擇特征參數(shù)，只需要盡可能多地選取能夠反映系統(tǒng)運(yùn)行過(guò)程的相關(guān)參數(shù)，深度學(xué)習(xí)算法能夠自動(dòng)從數(shù)據(jù)中獲取系統(tǒng)的最優(yōu)特征表示[16]。

表1 相關(guān)參數(shù)表

多任務(wù)數(shù)據(jù)構(gòu)造方式如圖3所示。給定n個(gè)參數(shù)在T時(shí)間段內(nèi)的數(shù)據(jù)，數(shù)據(jù)構(gòu)造過(guò)程如下：(1) 將歸一化后的相關(guān)參數(shù)按照時(shí)間順序鋪開(kāi)；(2) 選取滑動(dòng)窗口大小為w，按照一定的步長(zhǎng)s向下截取數(shù)據(jù)；(3) 在每一次截取時(shí)，選取滑動(dòng)窗口最后一個(gè)時(shí)刻t在d時(shí)間間隔之后的結(jié)果作為d步預(yù)測(cè)標(biāo)簽。單任務(wù)數(shù)據(jù)集構(gòu)造與多任務(wù)類似，只是在第三個(gè)步驟時(shí)只選取對(duì)應(yīng)預(yù)測(cè)參數(shù)的第t+d時(shí)刻的數(shù)據(jù)作為d步預(yù)測(cè)標(biāo)簽。本文選取w=22、s=1構(gòu)造數(shù)據(jù)集，即每一樣本輸入由22個(gè)飛行參數(shù)在過(guò)去22個(gè)時(shí)刻點(diǎn)內(nèi)的數(shù)據(jù)構(gòu)成。

圖3 數(shù)據(jù)構(gòu)造方式

3.2 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證MTL-LSTM模型的有效性，在深度學(xué)習(xí)平臺(tái)KERAS上實(shí)現(xiàn)該模型。并與傳統(tǒng)LSTM模型[20]、單任務(wù)LSTM模型(STL-LSTM，即MTL-LSTM的單任務(wù)結(jié)構(gòu))在不同步數(shù)的數(shù)據(jù)上做對(duì)比實(shí)驗(yàn)。MTL-LSTM結(jié)構(gòu)參數(shù)如圖4所示。

圖4 MTL-LSTM結(jié)構(gòu)參數(shù)

按照3.1節(jié)的數(shù)據(jù)構(gòu)造方式，為22個(gè)飛行參數(shù)構(gòu)建22個(gè)任務(wù)。在該算例中，所有任務(wù)都具有相同的輸入數(shù)據(jù)X，且共享兩個(gè)LSTM網(wǎng)絡(luò)的權(quán)重，圖4中虛線框表示不同任務(wù)通過(guò)各自的注意力機(jī)制得到各自的預(yù)測(cè)輸出Y。對(duì)每一任務(wù)而言，在訓(xùn)練過(guò)程中，輸入數(shù)據(jù)為一個(gè)三維的張量(?,22,22)，其中?表示批大小。輸入數(shù)據(jù)分別通過(guò)左右兩個(gè)隱含層數(shù)為50的LSTM單元提取特征，其中左LSTM從時(shí)序維度提取數(shù)據(jù)特征，輸入數(shù)據(jù)轉(zhuǎn)置之后通過(guò)右LSTM提取狀態(tài)維度的特征，并分別通過(guò)注意力機(jī)制加權(quán)求和，最終得到兩個(gè)特征張量，張量維度為(?,1,50)。將兩個(gè)特征張量拼接，得到(?,1,100)維的融合特征向量，再通過(guò)128維的全連接層，并連接丟棄率為0.3的Dropout層，以防止過(guò)擬合。最后通過(guò)一個(gè)1維的全連接層激活輸出預(yù)測(cè)值，激活函數(shù)為Sigmoid。每一步訓(xùn)練時(shí)，將所有任務(wù)的損失加權(quán)求和，作為模型的整體損失，從而保證模型的并行，優(yōu)化目標(biāo)是最小化模型的整體損失。所有超參數(shù)均調(diào)至最優(yōu)，其中批大小為32；學(xué)習(xí)率為0.001；優(yōu)化器為Adam。訓(xùn)練時(shí)若驗(yàn)證集誤差在10步以內(nèi)不再減少，則提前終止訓(xùn)練，并保存驗(yàn)證集誤差最低模型。

對(duì)比實(shí)驗(yàn)過(guò)程如下：

(1) 按3.1節(jié)所述方式分別構(gòu)造d=1,3,5時(shí)的數(shù)據(jù)集，其中STL-LSTM的狀態(tài)預(yù)測(cè)參數(shù)分別是：俯仰角、滾轉(zhuǎn)角。

(2) 分別訓(xùn)練MTL-LSTM、STL-LSTM與LSTM模型。由于是多任務(wù)模型，在d步時(shí)MTL-LSTM模型只需要訓(xùn)練一次就能對(duì)兩個(gè)參數(shù)預(yù)測(cè)，而STL-LSTM與LSTM模型則需要針對(duì)兩個(gè)參數(shù)分別訓(xùn)練。

(3) 預(yù)測(cè)未來(lái)200點(diǎn)內(nèi)的俯仰角、滾轉(zhuǎn)角狀態(tài)，并與真實(shí)QAR數(shù)據(jù)相比較。

3.2.1 固定步數(shù)預(yù)測(cè)

對(duì)于固定步數(shù)預(yù)測(cè)，三種模型都是預(yù)測(cè)固定步數(shù)之后的狀態(tài)。狀態(tài)預(yù)測(cè)結(jié)果如圖5所示，其中圖5(a)-(c)為俯仰角狀態(tài)預(yù)測(cè)結(jié)果，圖5(d)-(f)為滾轉(zhuǎn)角狀態(tài)預(yù)測(cè)結(jié)果。為衡量模型性能，采用均方根對(duì)數(shù)誤差(RMSLE)[21]作為評(píng)價(jià)指標(biāo)，計(jì)算公式如下：

(15)

式中：At為預(yù)測(cè)值，F(xiàn)t為真實(shí)值。計(jì)算值越小表明預(yù)測(cè)值越接近真實(shí)值，證明模型性能越好、預(yù)測(cè)精度更高。

圖5 俯仰角與滾轉(zhuǎn)角狀態(tài)預(yù)測(cè)

上述三種模型的誤差指標(biāo)計(jì)算如表2和表3所示。其中表2為俯仰角誤差對(duì)比，表3為滾轉(zhuǎn)角誤差對(duì)比，表中加粗項(xiàng)代表誤差最低的結(jié)果。

表3 滾轉(zhuǎn)角誤差對(duì)比結(jié)果

比較圖5結(jié)果，MTL-LSTM在不同固定步數(shù)下，其預(yù)測(cè)曲線與真實(shí)曲線最為接近，STL-LSTM次之，傳統(tǒng)LSTM預(yù)測(cè)結(jié)果與真實(shí)曲線偏離最遠(yuǎn)。同時(shí)，由表2、表3的誤差計(jì)算結(jié)果可知，MTL-LSTM模型在對(duì)俯仰角和滾轉(zhuǎn)角的固定步數(shù)預(yù)測(cè)上的預(yù)測(cè)誤差均最低。在俯仰角狀態(tài)預(yù)測(cè)中，MTL-LSTM固定步數(shù)預(yù)測(cè)精度較STL-LSTM平均提升約18.5%，較LSTM平均提升約21.2%。在滾轉(zhuǎn)角狀態(tài)預(yù)測(cè)中，MTL-LSTM固定步數(shù)預(yù)測(cè)精度較STL-LSTM平均提升約39.4%，較LSTM平均提升約42.4%。隨著預(yù)測(cè)步數(shù)的增大，由于狀態(tài)序列之間的關(guān)聯(lián)性降低，各模型預(yù)測(cè)誤差均會(huì)存在不同程度的下降，相較而言，MTL-LSTM模型的魯棒性更優(yōu)。

上述實(shí)驗(yàn)結(jié)果表明，STL-LSTM模型與傳統(tǒng)LSTM相比，能夠更有效地提取數(shù)據(jù)特征；而多任務(wù)學(xué)習(xí)框架下的MTL-LSTM模型通過(guò)相關(guān)任務(wù)共同學(xué)習(xí)，而比STL-LSTM模型預(yù)測(cè)精度更高，驗(yàn)證了所提方法的有效性。

3.2.2 迭代預(yù)測(cè)

MTL-LSTM模型與單任務(wù)模型相比，一大優(yōu)勢(shì)在于MTL-LSTM能夠進(jìn)行迭代預(yù)測(cè)。所謂迭代預(yù)測(cè)，即在訓(xùn)練過(guò)程中用單步預(yù)測(cè)方法訓(xùn)練，預(yù)測(cè)階段則將當(dāng)前時(shí)刻的預(yù)測(cè)值作為下一時(shí)刻預(yù)測(cè)時(shí)的輸入?yún)?shù)，以遞歸的方式迭代預(yù)測(cè)輸出[22]。相較于固定步數(shù)預(yù)測(cè)而言，迭代預(yù)測(cè)具有更大的靈活性，不需要針對(duì)每一步去訓(xùn)練模型。俯仰角迭代預(yù)測(cè)結(jié)果如圖6所示，誤差計(jì)算結(jié)果如表4所示。

表4 俯仰角迭代預(yù)測(cè)誤差

圖6 俯仰角迭代預(yù)測(cè)結(jié)果

表4中誤差計(jì)算結(jié)果與表3中MTL-LSTM固定步預(yù)測(cè)結(jié)果相比，迭代預(yù)測(cè)誤差較大，原因在于隨著時(shí)間的推移，迭代預(yù)測(cè)上一步的預(yù)測(cè)誤差會(huì)累積到下一步，因此時(shí)間步數(shù)越長(zhǎng)，迭代預(yù)測(cè)誤差會(huì)越大。相對(duì)而言，迭代預(yù)測(cè)靈活性更高，在滿足一定的精度條件下，迭代預(yù)測(cè)更適合實(shí)際應(yīng)用。

3.2.3 λk對(duì)預(yù)測(cè)結(jié)果的影響

對(duì)于多任務(wù)學(xué)習(xí)而言，不同任務(wù)之間的重要程度存在差異。在飛控系統(tǒng)多元狀態(tài)預(yù)測(cè)中，系統(tǒng)關(guān)鍵參數(shù)的重要性必然大于非關(guān)鍵參數(shù)，因此在式(14)中為不同任務(wù)分配不同的懲罰因子λk顯得尤為重要。為驗(yàn)證懲罰因子對(duì)預(yù)測(cè)誤差的影響，該節(jié)實(shí)驗(yàn)中將俯仰角視為關(guān)鍵參數(shù)，其余參數(shù)均視為非關(guān)鍵參數(shù)。設(shè)關(guān)鍵參數(shù)與非關(guān)鍵參數(shù)的懲罰因子之比為W(W=1,3,5,7,9),d=3時(shí)，俯仰角誤差變化趨勢(shì)如圖7所示。

圖7 俯仰角誤差變化趨勢(shì)

3.2.4 注意力機(jī)制的效果

為探究MTL-LSTM注意力機(jī)制在數(shù)據(jù)特征中的學(xué)習(xí)效果，將俯仰角單步預(yù)測(cè)過(guò)程中如式(10)、式(11)所示的注意力權(quán)重α、β可視化輸出，其可視化結(jié)果如圖8所示，其中圖8(a)為時(shí)間維度的注意力權(quán)重α，圖8(b)為特征維度的注意力權(quán)重β，右側(cè)刻度為權(quán)重對(duì)應(yīng)的顏色區(qū)域。

圖8 注意力權(quán)重可視化

由圖8(a)可以看出，從時(shí)間維度考慮，離預(yù)測(cè)值最近的第21、22個(gè)時(shí)刻點(diǎn)對(duì)狀態(tài)預(yù)測(cè)的影響最大，其中第22個(gè)時(shí)刻所占的權(quán)重為0.72，對(duì)狀態(tài)預(yù)測(cè)起主要作用，與實(shí)際分析一致。從圖8(b)可知，針對(duì)特征維度，除俯仰角(第22個(gè)參數(shù))本身外，高度變化率(第5個(gè)參數(shù))、飛行航跡角(第13個(gè)參數(shù))、迎角(第15個(gè)參數(shù))、垂直速度(第21個(gè)參數(shù))與俯仰角狀態(tài)預(yù)測(cè)相關(guān)性較大。通過(guò)觀察對(duì)比高度變化率、飛行航跡角、迎角、垂直速度的變化趨勢(shì)發(fā)現(xiàn)，上述參數(shù)與俯仰角的變化趨勢(shì)相似。

4 結(jié) 語(yǔ)

本文提出了一種基于多任務(wù)學(xué)習(xí)與LSTM網(wǎng)絡(luò)的改進(jìn)模型MTL-LSTM，并將其用于伺服系統(tǒng)的狀態(tài)預(yù)測(cè)當(dāng)中。通過(guò)引入多任務(wù)學(xué)習(xí)的思想，利用關(guān)聯(lián)任務(wù)共同監(jiān)督模型訓(xùn)練，從而提升模型泛化性能。同時(shí)，本文對(duì)傳統(tǒng)LSTM網(wǎng)絡(luò)予以改進(jìn)，使用兩個(gè)LSTM網(wǎng)絡(luò)分別從時(shí)間與特征參數(shù)兩個(gè)維度提取數(shù)據(jù)特征，并在多任務(wù)學(xué)習(xí)中共享此部分權(quán)重；在最后預(yù)測(cè)階段，針對(duì)每一任務(wù)獨(dú)立構(gòu)建注意力機(jī)制，使得每一任務(wù)能夠針對(duì)性地調(diào)整不同時(shí)刻、不同狀態(tài)參數(shù)的權(quán)重，從而提升學(xué)習(xí)效果。實(shí)驗(yàn)表明，本文所提模型比傳統(tǒng)LSTM、STL-LSTM模型具有更高的預(yù)測(cè)精度，具備較高的應(yīng)用價(jià)值。