易文川 王 興 王 翔 唐慶如

（1.中國民用航空飛行學(xué)院航空工程學(xué)院 廣漢 618307）（2.中國民用航空飛行學(xué)院工程技術(shù)訓(xùn)練中心 廣漢 618307）

1 引言

離開燃燒室的氣體混合物的溫度是優(yōu)化發(fā)動機性能和控制排放的關(guān)鍵參數(shù)，這是因為排氣溫度（Exhaust Gas Temperature，EGT）與氣缸內(nèi)的燃燒過程密切相關(guān)［1］。EGT 影響排放控制系統(tǒng)的性能。例如，不完全燃燒產(chǎn)物（如一氧化碳和未燃燒碳氫化合物）的催化氧化需要EGT 大于250℃［2］。此外，EGT還可以用于發(fā)動機故障診斷和維護，以延長發(fā)動機壽命［3～5］。因此，在發(fā)動機運行期間預(yù)測EGT十分重要。

文獻中發(fā)表了幾種可以預(yù)測給定操作條件下EGT 的物理模型［6～7］。一般來說，物理模型包括缸內(nèi)燃燒模型、傳熱模型和排氣模型。然而，在燃燒后期發(fā)生的復(fù)雜現(xiàn)象［8］可能使傳統(tǒng)物理模型難以準確預(yù)測EGT。如果考慮基于數(shù)據(jù)驅(qū)動的預(yù)測模型，采用機器學(xué)習(xí)算法來模擬燃燒過程、傳熱過程和排氣冷卻過程，則可以降低預(yù)測EGT 的復(fù)雜性。文獻綜述表明，相關(guān)模型已成功用于預(yù)測EGT［9～14］?？偟膩碚f，這些方法支持使用機器學(xué)習(xí)技術(shù)來構(gòu)建快速、穩(wěn)健的基于數(shù)據(jù)驅(qū)動的EGT 預(yù)測模型，進而協(xié)助或替代物理預(yù)測模型。盡管EGT 在發(fā)動機開發(fā)中很重要，但文獻中使用機器學(xué)習(xí)技術(shù)預(yù)測EGT的研究數(shù)量有限，因此本文的目標是研究基于數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)預(yù)測模型在預(yù)測EGT 方面的性能。鑒于難以為該任務(wù)先驗地選擇最合適的機器學(xué)習(xí)算法，評估了不同算法的預(yù)測性能，即人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）、隨機森林（Random Forest，RF）、支持向量回歸（Support Vector Regression，SVR）和門控循環(huán)單元（Gate Recurrent Unit，GRU）?？偟膩碚f，本文的結(jié)果有助于優(yōu)化發(fā)動機性能、排放和壽命，同時能夠?qū)氖孪嚓P(guān)研究的學(xué)者有一定的借鑒意義。

2 機器學(xué)習(xí)算法簡介

2.1 人工神經(jīng)網(wǎng)絡(luò)

基于數(shù)學(xué)計算，神經(jīng)網(wǎng)絡(luò)算法使用一組相互連接的人工神經(jīng)元在發(fā)動機關(guān)鍵性能參數(shù)（燃油流量、滑油壓力和轉(zhuǎn)速）和排氣溫度之間建立非線性關(guān)系。如圖1 所示，該模型使用了帶反向傳播算法（此處未顯示）的3-N-1架構(gòu)，隱藏層與輸出層的傳遞函數(shù)分別為tansig和purelin。盡管在三層網(wǎng)絡(luò)結(jié)構(gòu)中沒有選擇隱層神經(jīng)元數(shù)量N 的一般規(guī)則，文獻［15］建議N=2n+1，n為輸入變量的個數(shù)。

圖1 人工神經(jīng)網(wǎng)絡(luò)模型示意圖

神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，執(zhí)行兩個功能：收集輸入和生成輸出。輸入和輸出之間的關(guān)系為

其中，wi為第i個輸入Ii的權(quán)重；b為偏置；f(·)為激活函數(shù)；O為神經(jīng)元的輸出。多層前饋網(wǎng)絡(luò)具有多層結(jié)構(gòu)的神經(jīng)元，可以在沒有反饋連接的情況下單向傳遞信息。第l+1層的神經(jīng)元j可表示為

其中，nij為第l層的所有神經(jīng)元；wlij為連接第l層神經(jīng)元i和第l+1 層神經(jīng)元j的權(quán)重；blj為第l層神經(jīng)元j的偏置。

反向傳播算法通常用于訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)，它有規(guī)則地調(diào)整每個訓(xùn)練模型的權(quán)重，以最小化網(wǎng)絡(luò)預(yù)測值與實際值之間的誤差。在監(jiān)督學(xué)習(xí)的過程中神經(jīng)網(wǎng)絡(luò)通過迭代的方式學(xué)習(xí)樣本特征。訓(xùn)練網(wǎng)絡(luò)需要設(shè)計合適的網(wǎng)絡(luò)結(jié)構(gòu)（如隱藏層的層數(shù)、每一層神經(jīng)元的個數(shù)等）和超參數(shù)（如初始化權(quán)重、學(xué)習(xí)率、正則化參數(shù)等）以防止過擬合。

2.2 隨機森林

與神經(jīng)元和人工神經(jīng)網(wǎng)絡(luò)之間的關(guān)系類似，決策樹是隨機森林算法的基本處理單元。圖2 顯示決策樹表示一組約束或條件，這些約束或條件按層次組織并從樹的根依次應(yīng)用到終端節(jié)點。在處理回歸問題時，從數(shù)據(jù)集中執(zhí)行遞推分割和多元回歸以形成決策樹。從根節(jié)點開始，在樹的每個內(nèi)部節(jié)點中重復(fù)進行數(shù)據(jù)分割過程，直到達到之前指定的停止條件。每個終端節(jié)點或葉節(jié)點都有一個僅適用于該節(jié)點的簡單回歸模型。樹的分枝過程一旦完成，就可以進行剪枝，目的是通過降低樹的結(jié)構(gòu)復(fù)雜性來提高樹的泛化能力。

圖2 決策樹示意圖

在決策樹的形成過程中，決策樹在所有候選分枝中搜索最佳分枝，以最小化結(jié)果樹的“雜質(zhì)”：其中，s是節(jié)點t處的候選分枝，i(t)為分枝前的“雜質(zhì)”度量，Δi(s，t)為分枝后的“雜質(zhì)”減少量。在該等式中，節(jié)點t被劃分為左子節(jié)點tL（比例為PL）和右子節(jié)點tR（比例為PR）。基尼指數(shù)（Gini index，GI）通常用以衡量“雜質(zhì)”：

其中，f(tX(xi)，j)表示值為xi的樣本屬于葉節(jié)點j和中間節(jié)點t的比例，決策樹以最小化基尼指數(shù)作為分枝標準。

隨機森林是一種回歸技術(shù)，它結(jié)合了眾多決策樹算法的性能來分類或預(yù)測變量的值。如果隨機森林基于輸入矢量{x} 構(gòu)建了K個決策樹，那么隨機森林預(yù)測模型表示為

其中，Tk(x)為第k個決策樹的預(yù)測，為所有決策樹預(yù)測的平均值。

2.3 支持向量回歸

支持向量機的基本思想是將輸入特征轉(zhuǎn)換為一個高維空間，其中兩個類別可以由一個高維曲面線性分離，稱為超平面［16］。假設(shè)一個訓(xùn)練數(shù)據(jù)集有N個樣本和L個輸入特征，對應(yīng)于已知的輸出特征，支持向量回歸模型定義如下：

其中，φ是將輸入數(shù)據(jù)映射到高維特征空間的非線性函數(shù)；w是垂直于超平面的權(quán)重矢量；b為超平面偏置。在軟邊界約束下，支持向量回歸模型的優(yōu)化定義了一個超平面，該超平面將具有最大邊界的訓(xùn)練數(shù)據(jù)分離。該優(yōu)化問題可以使用拉格朗日乘數(shù)法（Lagrange multiplier method）求解：

其中，γ為核參數(shù)。支持向量回歸沒有設(shè)計映射函數(shù)、轉(zhuǎn)換數(shù)據(jù)并計算內(nèi)積，而是直接將內(nèi)核定義為輸入特征向量的函數(shù)。通過引入核表示法，極大簡化了該代價函數(shù)的優(yōu)化問題。

2.4 門控循環(huán)單元

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）在處理時間序列數(shù)據(jù)時優(yōu)勢明顯，作為RNN 的一種變體，長短期記憶網(wǎng)絡(luò)（Long Short Term Memory，LSTM）增加了一種攜帶信息跨越多個隱含層的方法，從而防止較上層的信息在傳遞過程中逐漸失真。但LSTM 的隱含層結(jié)構(gòu)復(fù)雜，訓(xùn)練樣本的時間過長。門控循環(huán)單元在結(jié)構(gòu)上簡化了LSTM 網(wǎng)絡(luò)的門設(shè)置，圖3為門控循環(huán)單元示意圖。

圖3 門控循環(huán)單元示意圖

圖中，⊙表示矩陣點乘；⊕表示矩陣相加；Tanh為激活函數(shù)，將數(shù)據(jù)縮放到(-1 ～1) 的范圍內(nèi)；xt為t時刻的輸入；ht-1、ht分別為上一節(jié)點傳遞下來的隱狀態(tài)和當(dāng)前節(jié)點的隱狀態(tài)；r、u分別為重置門和更新門。門控更新過程為

其中，rt、ut分別為t時刻重置門與更新門的狀態(tài)；Wr、Wu、Wh′、Wy為學(xué)習(xí)的參數(shù)矩陣；h'、yt分別為當(dāng)前節(jié)點的中間狀態(tài)和模型輸出；σ為sigmoid函數(shù)；*代表矩陣點乘。第t個節(jié)點的隱藏狀態(tài)聚集了前t個時間步的信息，用當(dāng)前輸入xt和上一節(jié)點傳遞下來的隱藏狀態(tài)ht-1進行建模。

3 數(shù)據(jù)說明及預(yù)處理

筆者的前期工作收集了同一架次Cessna-172R 型飛機（使用一臺活塞式發(fā)動機，型號為IO-360-12A）在約400次飛行訓(xùn)練過程中的機載傳感器數(shù)據(jù)，傳感器以離散形式記錄數(shù)據(jù)，數(shù)據(jù)刷新頻率為1Hz。該數(shù)據(jù)集記錄了反映飛機當(dāng)前性能和狀態(tài)的52種飛行參數(shù)，其中包括7種與發(fā)動機直接相關(guān)的飛行參數(shù)，即油箱油量（FQty）、滑油溫度（OilT）、燃油流量（FFlow）、滑油壓力（OilP）、轉(zhuǎn)速（RPM）、缸頭溫度（CHT）和排氣溫度（EGT），實測數(shù)據(jù)部分展示如表1所示。

表1 實測數(shù)據(jù)

由于過擬合會給機器學(xué)習(xí)模型的訓(xùn)練帶來誤差，因此需要進行特征子集選擇。皮爾遜相關(guān)系數(shù)通常用來衡量特征之間的相關(guān)性［17］，7 種飛行參數(shù)之間的皮爾遜相關(guān)系數(shù)如圖4 所示。本文以燃油流量、滑油壓力和轉(zhuǎn)速作為輸入，以建立用于預(yù)測EGT的機器學(xué)習(xí)模型，因為這些參數(shù)與EGT高度相關(guān)［18］。

圖4 飛行參數(shù)之間的相關(guān)系數(shù)

大約80%的數(shù)據(jù)用于訓(xùn)練機器學(xué)習(xí)模型，其余20%用于測試EGT 預(yù)測模型的性能。在評估機器學(xué)習(xí)模型性能期間，根據(jù)預(yù)測值與實際值之間的差異計算均方根誤差（RMSE），以確定預(yù)測的精度和偏差。此外，決定系數(shù)（R2）用以衡量預(yù)測值與實際值的擬合優(yōu)度。在統(tǒng)計學(xué)中，接近1 的R2和接近0的RMSE表示良好的預(yù)測性能。

4 機器學(xué)習(xí)算法性能評估

4.1 機器學(xué)習(xí)算法在預(yù)測EGT中的性能比較

本文使用貝葉斯優(yōu)化方法獲得機器學(xué)習(xí)模型的最佳超參數(shù)。貝葉斯優(yōu)化已成為支持向量機或深度神經(jīng)網(wǎng)絡(luò)等機器學(xué)習(xí)算法超參數(shù)優(yōu)化的成功工具。該算法在目標函數(shù)內(nèi)部模擬高斯過程模型，通過評估目標函數(shù)來訓(xùn)練該模型［19］。貝葉斯超參數(shù)優(yōu)化后，機器學(xué)習(xí)模型的一些關(guān)鍵超參數(shù)如表2所示。

表2 機器學(xué)習(xí)算法關(guān)鍵超參數(shù)設(shè)置

超參數(shù)優(yōu)化后訓(xùn)練機器學(xué)習(xí)模型，并在測試數(shù)據(jù)上驗證EGT 預(yù)測模型的性能，結(jié)果如圖5 所示。實際EGT和預(yù)測EGT分別繪制在x軸和y軸上。圖5 表明預(yù)測存在可接受的偏差。為了幫助評估圖5中的模型性能，陰影區(qū)域覆蓋了誤差在±1%（約為12deg F）以內(nèi)的預(yù)測數(shù)據(jù)，幾乎所有的點都聚集在45°對角線上。值得一提的是，接近1 的斜率和接近0的RMSE表明三個模型輸入（即燃油流量、滑油壓力和轉(zhuǎn)速）足以預(yù)測EGT。

圖5 機器學(xué)習(xí)模型預(yù)測性能

顯然，GRU、ANN 和SVR 的預(yù)測性能優(yōu)于RF，這表現(xiàn)在陰影區(qū)域內(nèi)的點更多、斜率更接近1 且RMSE 更小。此外，RF 高估了EGT 較低的情況，但低估了EGT 較高的情況。盡管RMSE 和陰影區(qū)域內(nèi)的點數(shù)幾乎相同，但ANN 的表現(xiàn)略優(yōu)于SVR，這可以通過更接近1 的斜率來證明。GRU 在這四種算法中表現(xiàn)最好，因為圖5（d）中陰影區(qū)域內(nèi)的點幾乎成線性分布。

圖6 在擬合優(yōu)度上比較了四種機器學(xué)習(xí)模型的EGT 預(yù)測性能，此外，以每秒鐘機器學(xué)習(xí)模型訓(xùn)練的樣本數(shù)（samples per second，SPS）來衡量模型復(fù)雜度并給出對比結(jié)果。

圖6 模型的預(yù)測性能與復(fù)雜度對比

從擬合優(yōu)度上評估模型預(yù)測性能，GRU 預(yù)測EGT的準確性最高，而RF算法的準確性最低，這與圖5 得出的結(jié)論一致。然而，RF 算法的計算效率最高，與之相反，SVR 的計算效率最低但保證了較好的預(yù)測精度。如果經(jīng)過良好訓(xùn)練，ANN 是最合適的EGT 預(yù)測算法，在預(yù)測精度和計算效率上均表現(xiàn)優(yōu)異，這在EGT 實時預(yù)測時尤其重要。然而，ANN 在正確調(diào)整其超參數(shù)方面需要大量努力。

4.2 機器學(xué)習(xí)算法的抗噪能力

評估機器學(xué)習(xí)算法的抗噪能力也很有意義。實際情況下，數(shù)據(jù)樣本中摻雜噪聲信號是不可避免的，噪聲信號的強弱將影響EGT 預(yù)測的準確性［20］。本文對模型的輸入樣本添加不同功率的噪聲信號，用以模擬發(fā)動機在真實飛行環(huán)境下可能受到擾動而導(dǎo)致傳感器記錄的數(shù)據(jù)產(chǎn)生噪聲。原始數(shù)據(jù)與噪聲的功率比用信噪比（Signal to Noise Ratio，SNR）來描述：

其中，x(t)為原始數(shù)據(jù)；n(t)為噪聲。在不同的信噪比條件下，對四種機器學(xué)習(xí)模型的EGT預(yù)測性能進行評估，結(jié)果如圖7 所示。一般來說，所有機器學(xué)習(xí)模型的預(yù)測性能都隨著信噪比的增加而提升，當(dāng)信噪比在9dB～21dB 時，所有模型的預(yù)測性能顯著提升。對于SNR 在15dB～30dB 的情況，GRU 在所有機器學(xué)習(xí)模型中表現(xiàn)最佳，但信噪比低于18dB 時，隨著信噪比的降低，GRU 的預(yù)測性能快速下降，信噪比低于12dB 時，它的表現(xiàn)最差。因此，GRU 保證高預(yù)測性能的前提是模型輸入需要高質(zhì)量的無噪聲數(shù)據(jù)。此外，在低信噪比（小于15dB）條件下，ANN 的預(yù)測性能優(yōu)于其他機器學(xué)習(xí)模型。

圖7 不同信噪比條件下機器學(xué)習(xí)模型的預(yù)測性能

4.3 機器學(xué)習(xí)算法的魯棒性與泛化能力

為了說明機器學(xué)習(xí)算法的魯棒性與泛化能力，從整個數(shù)據(jù)集中多次隨機劃分訓(xùn)練集和測試集，對文中提到的模型進行多次訓(xùn)練與測試。

圖8（a）顯示了使用四次隨機選擇的80%數(shù)據(jù)訓(xùn)練后的機器學(xué)習(xí)模型擬合優(yōu)度。結(jié)果表明，無論訓(xùn)練集如何，機器學(xué)習(xí)模型都表現(xiàn)良好，相似的R2證明了這一點。在監(jiān)督訓(xùn)練后，對其余20%數(shù)據(jù)進行EGT 預(yù)測。圖8（b）表明，無論是在訓(xùn)練集還是測試集，機器學(xué)習(xí)模型都表現(xiàn)出了相似的擬合優(yōu)度，這說明模型的預(yù)測性能從訓(xùn)練集泛化到測試集?？偟膩碚f，RF、SVR、ANN 和GRU 均是穩(wěn)健EGT預(yù)測算法。

圖8 分析機器學(xué)習(xí)模型的魯棒性與泛化能力

5 結(jié)語

在燃燒后期發(fā)生的復(fù)雜現(xiàn)象可能使傳統(tǒng)物理模型難以準確預(yù)測EGT。本文的目的是研究當(dāng)使用燃油流量、滑油壓力和轉(zhuǎn)速作為模型輸入時，用實測數(shù)據(jù)訓(xùn)練的機器學(xué)習(xí)模型是否有助于EGT 預(yù)測。鑒于難以為該任務(wù)先驗地選擇最合適的機器學(xué)習(xí)算法，評估四種經(jīng)典機器學(xué)習(xí)回歸算法在預(yù)測EGT方面的性能，即人工神經(jīng)網(wǎng)絡(luò)、隨機森林、支持向量回歸和門控循環(huán)單元。主要結(jié)論如下：

1）四種機器學(xué)習(xí)模型在可接受的誤差范圍內(nèi)預(yù)測了排氣溫度，這表明三個模型輸入（即燃油流量、滑油壓力和轉(zhuǎn)速）足以預(yù)測EGT。

2）模型性能相互比較時，門控循環(huán)單元的預(yù)測精度最高，但它通常需要高質(zhì)量的無噪聲數(shù)據(jù)；隨機森林的精確度最低，但需要的計算資源最少；支持向量回歸在耗費高計算資源的前提下保證了較好的預(yù)測精度；人工神經(jīng)網(wǎng)絡(luò)是最合適的預(yù)測算法，但它存在繁瑣的超參數(shù)調(diào)整過程。