王 坤，高丹妮

（中國民航大學 電子信息與自動化學院，天津 300300）

0 引 言

輔助動力裝置（Auxiliary Power Unit，APU）是一個小型發(fā)動機，可以在飛機未起飛前和起飛后提供電源和氣源，是保障飛機運行的重要系統(tǒng)。能否及時檢測出APU 的故障會直接影響飛機運行效率。

常見的用于故障數據挖掘的機器學習算法有：決策樹、支持向量機、人工神經網絡、深度學習以及結合分類法。向丹等人使用支持向量機對軸承進行故障診斷，利用經驗模式對輸入數據進行分解處理[1]。唐貴基等人使用自適應最大相關峭度解卷積方法對軸承早期故障進行診斷[2]。黨宏鑫采用專家系統(tǒng)工具CLIPS 實現了推理機并構建了知識庫[3]。羅云林使用最小二乘支持向量分類器（LS?SVC）對APU 外部件進行故障診斷，用多小波輸入數據進行預處理[4]。衛(wèi)星使用LSTM 判斷車輛行為類別，用雙卷積網絡對提取視頻中的關鍵幀進行分析處理和特征提取[5]。艾虎等人根據漢語方言數據的特點對LSTM 進行改進，建立了高效的LSTM 方言辨識模型[6]。李萬等人將動態(tài)權重的PSO 與LSTM 相結合，搭建了LSTM 鐵路客運量預測模型[7]。唐賽等人將LSTM 用于軸承故障診斷，通過LSTM 訓練參數，再輸入到softmax網絡層，得到分類類別的概率分布[8]。

長短期記憶人工神經網絡具有時間記憶單元，更善于處理時間序列問題，但其隱含層節(jié)點數難以確定，且隱含層節(jié)點數直接影響模型的擬合能力和正確率。在實際應用中，這種參數常由經驗確定，有較大的不確定性和隨機性，影響了模型診斷結果，本文采用自適應粒子群（APSO）和LSTM 結合的組合分類方法，使用APSO優(yōu)化LSTM 的隱含層節(jié)點數。

首先以LSTM 中隱含層節(jié)點作為粒子種群，將粒子種群分為若干子種群，按不同的方式對子種群中普通粒子和局部最優(yōu)粒子進行更新，并加入修正向量a1，a2，以避免陷入局部最優(yōu)，利用得到的最優(yōu)隱含層節(jié)點數構建LSTM 網絡模型，通過對比實驗，確定了訓練次數、學習率、樣本大小等參數，得到基于自適應粒子群的長短期記憶網絡（APSO?LSTM）故障診斷模型，對APU 進行故障診斷。

1 LSTM 理論

長短期記憶（Long Short?Term Memory，LSTM）網絡是德國計算機科學家Schmidhuber 在1997 年提出的一種時間循環(huán)神經網絡，可以改善過多的存儲信息導致的梯度消失、梯度爆炸等問題。LSTM 結構如圖1 所示，每個LSTM 單元在普通輸出ht的基礎上增加了一個輸出，即一個記憶單元Ct，并引入了三個門：輸入門、遺忘門和輸出門，通過這三個門控制了增加或者減少數據的比例。

圖1 LSTM 結構

LSTM 記憶單元與各個門控制器更新如下：

式（1）、式（2）分別為輸入門it和遺忘門ft的更新公式。其中：bi和bf是輸入門和遺忘門的偏置矩陣；σ為sigmoid 函數；W是相對應的權重矩陣。輸入門表示對輸入和上一輸出的接收量，遺忘門過濾了輸入和上一輸出的遺忘量。

式（3）為臨時記憶單元c′t的更新公式；tanh（·）為激活函數；W xc，W hc分別為輸入xt和上一輸出ht-1的權重矩陣。

式（4）為最終的長期記憶單元Ct的更新公式，可以看出長期記憶單元是輸入門it、遺忘門ft、上一記憶單元Ct-1和臨時記憶單元c′t共同決定的結果。

ot是輸出門更新公式，如式（5）所示，其中，W xo和W ho是對應的權重矩陣。輸出門的功能就是對繁瑣記憶信息的過濾。LSTM 單元最終輸出如式（6）所示。

2 自適應粒子群

2.1 傳統(tǒng)粒子群

傳統(tǒng)粒子群中，每個粒子的當前狀態(tài)由位置xi、速度vi共同決定，其更新公式如式（7）、式（8）所示，優(yōu)劣程度由適應度值決定。式中：w為慣性權重；k為進化代數；c1，c2是學習因子；r1，r2是[0，1]之間的隨機數；Pbesti為粒子個體最優(yōu)位置；Gbesti為全局最優(yōu)位置。

2.2 對傳統(tǒng)粒子群的改進

傳統(tǒng)的粒子群容易陷入局部最優(yōu)，針對此問題，本文根據粒子的分布狀態(tài)，將一個種群看作一個班級，借助自適應學習思維，將一個班級自適應地劃分為若干個學習小組，采用不同學習策略分別對不同類型的學生粒子進行更新，這樣可以提高種群多樣性。選取初始的班級粒子后進行如下步驟。

2.2.1 劃分學習小組

學習小組的劃分原則是中心點周圍為局部密度較低點，其他點遠離中心點。由m個學生粒子構成一個班級對于每個粒子，粒子的局部密度為ρi，到下一粒子間的距離為εi，其公式如下：

式中：dij為粒子pj和pi之間的歐氏距離；dc為截斷距離。

由式（10）可以看出，若粒子pi的密度是最大局部密度，則εi遠大于其最鄰近粒子ε的距離。因此，學習小組的組長粒子為高密度遠距離粒子。對于其他粒子pj，將其歸入密度比pj大，且距離pj最近的樣本所在的學習小組。

2.2.2 粒子適應度值的計算

根據參數建立LSTM 診斷模型，對模型進行訓練。適應度函數Fit計算公式如下：

式中：N為樣本總數；為輸出預測值；yi為輸出實際值。

2.2.3 學習小組中普通學生粒子的更新

學習小組中普通學生粒子在小組組長即最優(yōu)粒子帶領下拓展局部學習能力，公式如下：

式中：w為慣性權重；c1，c2為學習因子為區(qū)間[0，1]上的隨機數；cGbes為c學 習 小 組 的 組 長粒子。

2.2.4 學習小組中組長粒子的更新

學習小組中組長粒子通過綜合班級中各學習小組的信息進行更新，實現了學習小組間信息的共享，促進了各個學習小組間尋優(yōu)信息的傳遞，從而提高整個班級的信息多樣化，避免陷入局部最優(yōu)。公式如下：

式中，用各個學習小組中組長得到信息的比重和來指導各學生粒子的更新，公式如下：

式中：λ1+λ2+…+λC=1；λc為每個小組組長粒子所占比重。組長粒子的適應度函數越優(yōu)，所得的比重越高。修正向量a1= [a11,a12,…,a1D]和a2=[a21,a22,…,a2D]是和學生粒子具有同維度的二進制向量，可以對組長粒子和全班最優(yōu)學生粒子的信息進行批判繼承，降低各個學習小組中組長粒子對自身以及全班最優(yōu)粒子的過度依賴，避免在迭代后期為追求單一全局極值而造成的局部最優(yōu)。其計算公式如下：

式中：D是粒子維度；函數bin(·)產生D維二進制隨機向 量；a1d和a2d是a1和a2中的元素。當a1d=1 時，局部最優(yōu)粒子的d維將被有效繼承。具體流程如圖2 所示。

圖2 傳統(tǒng)種群改進流程

選取Schaffer 函數（二維）、Griewank 函數、全局最優(yōu)值均為（0，…，0），全局極值均為0。選取平均最優(yōu)和標準偏差值為參考，對APSO 算法進行性能測試，結果如表1、表2 所示。

表1 Schaffer 函數測試結果

表2 Griewank 函數測試結果

仿真測試結果表明自適應方法能夠顯著地增強PSO 的搜索能力，在測試函數上能達到更好的結果。

3 基于APSO?LSTM 的故障診斷模型

3.1 網絡搭建

APSO?LSTM 網絡模型如圖3 所示，單獨使用LSTM構成的網絡只具有學習能力，但不能對不同的故障進行分類，需要在網絡頂層加入具有判別能力的結構，本文選用Softmax 回歸模型。依次為輸入層、LSTM 層、LSTM層、全連接層、softmax 輸出層。

圖3 APSO?LSTM 網絡結構

3.2 APSO?LSTM 故障診斷模型的搭建

APSO?LSTM 故障診斷模型分為生成故障檢測器和故障檢測兩個部分，具體流程如圖4 所示。

圖4 APSO?LSTM 故障檢測流程

在生成故障檢測器階段，需要先對故障數據進行歸一化以及時間序列化預處理，然后搭建網絡模型，利用APSO 調整隱含層節(jié)點數，對訓練次數、學習率、樣本大小進行實驗對比，接著訓練模型，其中，APSO 優(yōu)化LSTM過程如下：

1）將LSTM 中隱含層神經元作為班級學生，并初始化學生粒子的位置和速率。

2）按式（9）和式（10）劃分種群，確定適應度函數如式（11）所示。

3）種群密度和適應度值對普通學生粒子和組長粒子進行劃分，分別以式（12）和式（13）進行更新。

4）判斷是不是滿足結束條件，若滿足，返回最優(yōu)隱含層節(jié)點數取值；若不滿足，返回步驟3）。

5）利用最優(yōu)隱含層節(jié)點數構建LSTM 網絡。

在故障檢測階段，測試數據需要經過與訓練數據一樣的數據預處理過程后進入故障檢測器，通過故障檢測器給出分類結果，并與真實的類別作比較，計算測試集上的正確率。

4 實驗與分析

4.1 實驗數據

本文使用波音787 飛機的QAR 系統(tǒng)提供的飛機輔助動力裝置（APU）的實時數據。人工選取適用于本實驗的有效特征數據包括：排氣溫度（EGT）、滑油溫度（OilTemp）、滑油量（OilQty）和轉速4 種故障參數，如表3所示。按照滑油故障、點火系統(tǒng)故障、發(fā)電機故障三類劃分故障模式，使正常啟動時輸出為0，滑油故障時輸出為1，點火系統(tǒng)故障時輸出為2，發(fā)電機故障時輸出為3。

表3 故障特征選擇

對故障參數求偏差值，將得到的偏差數據使用歸一化進行預處理。歸一化將數據縮放到[0，1]區(qū)間內，如下：

仿真實驗中，keras LSTM 模型對數據形式有一定要求，通常為3D tensor。 因此，從CSV 文檔讀入一組原始數據后，需要用numpy.reshape 函數替代原始數據reshape，以便keras LSTM 讀入。

4.2 模型參數對實驗數據的影響

根據APSO?LSTM 故障檢測器可知在訓練過程中，對模型性能影響較大的參數有訓練次數T、學習率LR，樣本大小s。

圖5 記錄了訓練次數和學習率對實驗的影響，描述了訓練2 000 次時，正確率隨訓練次數T和學習率LR 的變化。

圖5 訓練2 000 次學習率對比曲線

由圖5 可知，訓練850 次后，三種正確率都有下降，為了保持運行速度，避免梯度爆炸，訓練次數選擇為800 次；學習率決定了循環(huán)迭代的快慢，訓練次數達到800 次之前，三種學習率中，學習率為0.06 的曲線相對穩(wěn)定且正確率最高，所以選定訓練次數T=800，學習率LR=0.06。

圖6 為選擇T=800，LR=0.06 時，樣本大小s=50 和s=200 的正確率比較圖。

圖6 不同樣本對比曲線

由圖6 可以看出，s=200 時收斂速度慢，正確率低且不穩(wěn)定；s=50 時，收斂速度較快，正確率顯著提高且十分穩(wěn)定。所以，選定樣本大小為50。

4.3 實驗結果

通過對比實驗，最終選擇T=800，LR=0.006，s=50，第一層隱含層單元數選擇12，第二層隱含層單元數選擇24，選擇400 個參數向量作為測試集進行診斷，診斷結果如圖7 所示。

圖7 中橫坐標0～100 為正常數據，測試結果顯示可以完全識別；100～200 為滑油故障，判錯2 個；200～300為點火系統(tǒng)故障，判錯1 個；300～400 為發(fā)電機故障，判錯2 個。為驗證優(yōu)化算法的合理性，首先將模型結果與人工選擇隱含層參數的LSTM 模型進行對比，結果如圖8 所示。

圖7 APSO?LSTM 診斷結果

圖8 APSO?LSTM 和LSTM 對比

由圖8 可看出，APSO?LSTM 模型的正確率收斂于98.85%，很好地識別了故障狀態(tài)。APSO?LSTM 與人工選取參數的LSTM 相比，收斂速度更快，精度更高。

選用相同訓練集及相同的迭代次數，與支持向量機（SVM）模型、RNN 模型和極限學習機（ELM）模型的正確率進行對比，結果如表4 所示。

表4 實驗對比結果

由表4 可以看出，使用APSO?LSTM 方法時，選擇迭代次數為800 次的正確率要比迭代次數為200 次高6.8%，比迭代次數為1 000 次時高9.48%；在同樣使用迭代次數為800 次的情況下，該方法較之單一的LSTM 方法正確率提高了2.17%；與SVM 方法相比，正確率提高了3.2%；與RNN 網絡相比，正確率提高了4.48%；與ELM 相比，正確率提高了6.3%。

5 結 語

常見的故障診斷方法，如單獨的支持向量機解釋性較差且核函數的選擇也是問題，單獨的人工神經網絡參數難以確定。本文提出一種基于APSO?LSTM 的故障診斷模型，利用APSO 對傳統(tǒng)LSTM 進行參數優(yōu)化，實驗在Python 語言開發(fā)環(huán)境中編寫程序并調用TensorFlow 庫函數完成。它可以直接對故障數據進行診斷，避免了人工選擇參數的影響，可實現高精度的APU 故障診斷。將APSO?LSTM 與普通LSTM 模型、SVM 模型、RNN 模型、ELM 模型進行實驗對比，可以看出，在同等條件下，APSO?LSTM 訓練模型的正確率更高。本文提出的故障診斷模型更適用于處理時間序列問題，可以對飛機發(fā)動機、APU 等故障診斷提供一定參考。