周雋杰，付東翔

（上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

引言

風(fēng)洞作為氣體流量次級(jí)標(biāo)準(zhǔn)裝置，主要用于模擬真實(shí)環(huán)境下的氣體流動(dòng)［1］。風(fēng)洞實(shí)驗(yàn)是研究空氣動(dòng)力學(xué)中的關(guān)鍵一環(huán)，不僅對(duì)航空與航天工程的發(fā)展起著重要作用，在交通運(yùn)輸、風(fēng)力發(fā)電等方面也有廣泛應(yīng)用。動(dòng)態(tài)流量是風(fēng)洞實(shí)驗(yàn)中的一項(xiàng)重要參考指標(biāo)，對(duì)于評(píng)價(jià)系統(tǒng)動(dòng)態(tài)特性有重要意義。目前我國有一些流量儀器生產(chǎn)廠家宣稱其產(chǎn)品已通過風(fēng)洞流量標(biāo)定，實(shí)際上他們標(biāo)定的僅僅是平均流速，再計(jì)算出流量，但用固定的平均流速點(diǎn)來測(cè)流量精度不高［2］。且大部分流量儀都是在固定場(chǎng)所標(biāo)定，很難考慮到不同環(huán)境下其他因素對(duì)流量的影響，測(cè)得流量的可靠性不強(qiáng)。在空氣動(dòng)力學(xué)研究日益發(fā)展的環(huán)境下，有必要研究高精度標(biāo)準(zhǔn)氣體流量測(cè)量方法。軟測(cè)量技術(shù)是根據(jù)某種最優(yōu)準(zhǔn)則，基于輔助變量和主導(dǎo)變量之間的數(shù)學(xué)關(guān)系構(gòu)建的軟測(cè)量模型［3］。它采用各種計(jì)算方法有機(jī)融合，實(shí)現(xiàn)待測(cè)參數(shù)及指標(biāo)的測(cè)量［4］。該方法可以顧及更全面的樣本數(shù)據(jù)，這對(duì)研究高精度風(fēng)量動(dòng)態(tài)測(cè)量有重要意義。

傳統(tǒng)的軟測(cè)量技術(shù)主要方法中，卡爾曼濾波是一種重要的方法，其動(dòng)態(tài)性能好，但在噪聲條件下，其狀態(tài)估計(jì)與真實(shí)值的誤差不易提出，測(cè)量精度受限?；贐P 神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)流量測(cè)量法［5］，在一定程度上提高了在線測(cè)量精度，但簡單的神經(jīng)網(wǎng)絡(luò)模型由于訓(xùn)練過程收斂速度慢［6］，容易出現(xiàn)過擬合、穩(wěn)定性差等問題。

隨著深度學(xué)習(xí)的不斷發(fā)展，其特點(diǎn)是可以從原始特征中獲得更有效的多尺度特征，收斂速度更快，魯棒性更好［7］。近年來涌現(xiàn)出深度網(wǎng)絡(luò)模型有循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent neural network，RNN）、門控循環(huán)單元（Gated recurrent unit，GRU）網(wǎng)絡(luò)、長短時(shí)記憶神經(jīng)（Long short-term memory，LSTM）網(wǎng)絡(luò)等，其中，LSTM 網(wǎng)絡(luò)因其對(duì)時(shí)間序列的強(qiáng)大學(xué)習(xí)能力，已成功應(yīng)用于軟測(cè)量領(lǐng)域。Ke 等［8］提出基于長短期記憶單元的軟測(cè)量建模方法，有效地實(shí)現(xiàn)了工業(yè)過程中的動(dòng)態(tài)測(cè)量。Yan 等［9］提出了一種基于Attention-LSTM 模型的河流流量預(yù)測(cè)模型，通過Attention 學(xué)習(xí)數(shù)據(jù)間的非線性關(guān)系，加強(qiáng)序列間的相關(guān)性，并有效提升預(yù)測(cè)精度。上述LSTM 模型方法只用作靜態(tài)預(yù)測(cè)模型，其較長的訓(xùn)練、參數(shù)整定耗時(shí)，無法有效應(yīng)用于動(dòng)態(tài)瞬時(shí)流量測(cè)量。雖然離線訓(xùn)練的靜態(tài)模型無需在線學(xué)習(xí)，但在動(dòng)態(tài)性提取上有缺陷，導(dǎo)致估計(jì)精度低、魯棒性差等問題［10］。另外，LSTM 模型存在當(dāng)時(shí)間序列過長，序列中兩個(gè)間隔時(shí)間步很遠(yuǎn)的樣本之間相關(guān)特性不易發(fā)現(xiàn)等問題，考慮引入注意力機(jī)制。

本文基于LSTM 建立靜態(tài)軟測(cè)量模型，加入注意力機(jī)制，并結(jié)合Kalman 濾波，提出一種基于Attention-LSTM-Kalman 的動(dòng)態(tài)測(cè)量模型。根據(jù)實(shí)驗(yàn)風(fēng)洞環(huán)境特點(diǎn)，測(cè)量與氣體流量相關(guān)的變量數(shù)據(jù)，對(duì)特征值進(jìn)行歸一化處理作為軟測(cè)量模型的輸入變量，并建立基于注意力機(jī)制的LSTM 預(yù)測(cè)模型，為了更好地適應(yīng)系統(tǒng)的動(dòng)態(tài)特性，加入Kalman 對(duì)輸出進(jìn)行動(dòng)態(tài)調(diào)整。最后通過風(fēng)洞測(cè)量實(shí)驗(yàn)驗(yàn)證該模型在動(dòng)態(tài)測(cè)量中的可行性和有效性。

1 風(fēng)洞流量軟測(cè)量模型

本文為有效實(shí)現(xiàn)風(fēng)洞流量動(dòng)態(tài)測(cè)量，采用長短時(shí)記憶網(wǎng)絡(luò)LSTM 作為預(yù)測(cè)模型，采集過去一段時(shí)間內(nèi)的相關(guān)變量（壓力、壓差、溫度和風(fēng)速）作為輸入，對(duì)時(shí)間序列中的流量進(jìn)行預(yù)測(cè)，作為基本時(shí)間序列，此外引入注意力機(jī)制來更好地適應(yīng)序列樣本的相關(guān)性。圖1 為本實(shí)驗(yàn)搭建的Attention-LSTM 建模過程。通過學(xué)習(xí)、訓(xùn)練和驗(yàn)證得到更精準(zhǔn)的靜態(tài)預(yù)測(cè)模型。

圖1 Attention-LSTM 建模過程Fig.1 Modeling process of Attention-LSTM

1.1 LSTM 神經(jīng)網(wǎng)絡(luò)

通過應(yīng)用LSTM，不僅可以建立順序數(shù)據(jù)的短期關(guān)系，而且可以建立長期依賴關(guān)系［11］。LSTM 網(wǎng)絡(luò)結(jié)構(gòu)［12］如圖2 所示，其引入了門控的思想，以保護(hù)和控制單元的狀態(tài)，使網(wǎng)絡(luò)能在多個(gè)時(shí)間步上繼續(xù)學(xué)習(xí)。

圖2 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of LSTM network

（1）遺忘門確定哪些信息從LSTM 單元狀態(tài)中被丟棄，其輸出表示為

C～t和ht在每個(gè)時(shí)間步都被轉(zhuǎn)移到下一個(gè)單元，然后重復(fù)進(jìn)行上述過程。

本文建立的LSTM 網(wǎng)絡(luò)通過學(xué)習(xí)預(yù)測(cè)值和流量樣本間的差異來學(xué)習(xí)權(quán)值和偏差，這種訓(xùn)練方式可以更全面地學(xué)習(xí)數(shù)據(jù)間的非線性關(guān)系。

1.2 注意力機(jī)制

由于多維輔助變量對(duì)輸出的影響程度不一，可能對(duì)預(yù)測(cè)結(jié)果產(chǎn)生影響。對(duì)此本文用注意力機(jī)制［13］為不同時(shí)間步的輸入分配權(quán)重來改善流量預(yù)測(cè)效果。主要原理是：保存時(shí)間序列輸入經(jīng)LSTM 網(wǎng)絡(luò)產(chǎn)生的中間結(jié)果，將該結(jié)果與輸出值聯(lián)系起來，從而使模型學(xué)習(xí)如何選擇性地關(guān)注數(shù)據(jù)，并為這些數(shù)據(jù)分配更合理的權(quán)重［14］。該網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 注意力機(jī)制工作步驟Fig.3 Work steps of attention mechanism

在t時(shí)刻得到LSTM 隱藏狀態(tài)為：[ht，1，ht，2，…，ht，i，…，ht，T]T。

計(jì)算t時(shí)刻隱層狀態(tài)hi對(duì)輸出的注意力權(quán)重αt，i，本文采用點(diǎn)乘形式計(jì)算

本文將注意力機(jī)制加入LSTM 神經(jīng)網(wǎng)絡(luò)，用于計(jì)算網(wǎng)絡(luò)各隱層狀態(tài)的權(quán)重，并建立Attention-LSTM 軟測(cè)量模型實(shí)現(xiàn)風(fēng)洞流量預(yù)測(cè)。

1.3 構(gòu)建Attention-LSTM 網(wǎng)絡(luò)模型

基于Attention-LSTM 的網(wǎng)絡(luò)層結(jié)構(gòu)如圖4 所示，主要有4 部分組成。

圖4 基于Attention-LSTM 神經(jīng)網(wǎng)絡(luò)層級(jí)結(jié)構(gòu)Fig.4 Hierarchy of Attention-LSTM network

輸入層：輸入為輔助變量時(shí)間序列和流量值。設(shè)T為時(shí)間步平滑窗口數(shù)，則在t時(shí)刻輸入序列為

Attention 層：Attention 層的輸入為上一層的輸出ht，通過式（7，8）求得注意力權(quán)值αt，i，記t時(shí)刻該層的輸出為St

輸出層：選用激活函數(shù)為sigmoid 的全連接層，輸出t+1 時(shí)刻的流量預(yù)測(cè)值y

2 卡爾曼濾波

考慮到被測(cè)系統(tǒng)的動(dòng)態(tài)特性，且輔助變量的采集過程中產(chǎn)生的噪聲和錯(cuò)誤，上述建立的軟測(cè)量模型本著“錯(cuò)進(jìn)錯(cuò)出”的原理必然會(huì)對(duì)測(cè)量結(jié)果產(chǎn)生一定影響。針對(duì)該問題，提出在模型后使用卡爾曼濾波來消除影響。它運(yùn)用遞歸算法來解決離散數(shù)據(jù)的濾波問題，并且不需要所有的先前數(shù)據(jù)［15］。具體方法如下：

（1）通過靜態(tài)軟測(cè)量法分析當(dāng)前時(shí)刻的流量真值，由流量方程為

式中：Qk為k時(shí)刻的流量數(shù)據(jù)；S為截面積，這里取風(fēng)洞洞口處截面；Vk為k時(shí)刻該截面上的空速。

（2）由于k時(shí)刻下該流量真值與軟測(cè)量模型的預(yù)測(cè)值都被認(rèn)為是不可信的，故依據(jù)卡爾曼原理對(duì)系統(tǒng)建模得到最優(yōu)估計(jì)值。記Qj(k)為連續(xù)的靜態(tài)軟測(cè)量信號(hào)，Qd(k)為網(wǎng)絡(luò)軟測(cè)量模型軟測(cè)量信號(hào)。選取Qd(k)作為Kalman 的測(cè)量信號(hào)，得到該系統(tǒng)的狀態(tài)方程和測(cè)量方程分別為

式中：A和B為系統(tǒng)參數(shù)；Qd(k)和Qd(k-1)分別為k時(shí)刻和k-1 時(shí)刻網(wǎng)絡(luò)軟測(cè)量模型得到的流量值；Qj(k)為k時(shí)刻分析的流量真值；U(k)和Z(k)分別為k時(shí)刻的控制量和觀測(cè)值；W(k)和V(k)分別表示過程和測(cè)量噪聲；H為測(cè)量系統(tǒng)的參數(shù)。

（3）經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)，Kalman 的輸入輸出都是一維流量數(shù)據(jù)，故取A=1，H=1，B=0。假設(shè)過程W(k)和測(cè)量噪聲V(k)不隨系統(tǒng)狀態(tài)變化，為高斯白噪聲，記其協(xié)方差分別為R、Q。采用k-1 時(shí)刻網(wǎng)絡(luò)模型的流量輸出作為k時(shí)刻的先驗(yàn)估計(jì)值并預(yù)測(cè)誤差協(xié)方差P，則有

式中：P(k|k-1)為先驗(yàn)估計(jì)的協(xié)方差，P(k-1|k-1)為k-1 狀態(tài)下的協(xié)方差。

（4）得到狀態(tài)預(yù)測(cè)結(jié)果后，結(jié)合k時(shí)刻的網(wǎng)絡(luò)模型流量輸出Z(k)，對(duì)先驗(yàn)估計(jì)值修正。得到當(dāng)前時(shí)刻的最優(yōu)估計(jì)值Qd(k|k)為

按照上述Kalman 算法流程實(shí)現(xiàn)對(duì)Attention-LSTM 軟測(cè)量模型輸出的動(dòng)態(tài)校正，綜合輸出當(dāng)前時(shí)刻流量的最優(yōu)估計(jì)值。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

根據(jù)式（15）可知，理想狀態(tài)下的氣體流量Q與流速v正相關(guān)，而根據(jù)伯努利方程可知，流速v與高度h，壓強(qiáng)p，流體密度ρ有關(guān)。故本實(shí)驗(yàn)選取風(fēng)洞出口截面處的壓差、空速、溫度和濕度作為預(yù)測(cè)流量的輔助變量，并使用標(biāo)準(zhǔn)流量計(jì)觀測(cè)流量數(shù)據(jù)作為驗(yàn)證集。

3.2 實(shí)驗(yàn)結(jié)果

網(wǎng)絡(luò)的輸出值反歸一化［17］后，轉(zhuǎn)化為原始數(shù)據(jù)對(duì)應(yīng)的輸出。LSM 模型的流量預(yù)測(cè)結(jié)果如圖5 所示。以原始四維變量為輸入建立Attention-LSTM-Kalman 網(wǎng)絡(luò)模型，其流量預(yù)測(cè)結(jié)果如圖6 所示。

圖5 流量真實(shí)值、GRU、RNN 以及LSTM模型預(yù)測(cè)值隨時(shí)間序列的變化Fig.5 Change of real value, GRU, RNN and LSTM model predicted value with time series

圖6 流量真實(shí)值、Attention-LSTM 以及Attention-LSTM-Kalman 模型預(yù)測(cè)值隨時(shí)間序列的變化Fig.6 Change of real value, Attention-LSTM and Attention-LSTM-Kalman model predicted value with time series

模型預(yù)測(cè)的均方根誤差（Root mean squared error，RMSE）和平均絕對(duì)誤差（Mean absolute error，MAE）評(píng)價(jià)如圖7、8 所示。靜態(tài)預(yù)測(cè)模型Attention-LSTM 預(yù)測(cè)值的RMSE 和MAE 均低于GRU、RNN 和LSTM 模型，證明在本實(shí)驗(yàn)中基于注意力機(jī)制的LSTM 較其他兩種時(shí)間序列模型 取 得 了 更 準(zhǔn) 確 的 預(yù) 測(cè) 值 。 而 本 文 提 出 的Attention-LSTM-Kalman 模型的 RMSE 和 MAE 均低于Attention-LSTM 模型，經(jīng)Kalman 動(dòng)態(tài)調(diào)整后，模型的準(zhǔn)確度明顯提升，表明本模型有更準(zhǔn)確的預(yù)測(cè)能力。

圖7 RMSE 值隨時(shí)間序列的變化Fig.7 Change of RMSE with time series

圖8 MAE 值隨時(shí)間序列的變化Fig.8 Change of MAE with time series

模型預(yù)測(cè)的確定系數(shù)R-squared 評(píng)價(jià)如圖9 所示。靜態(tài)預(yù)測(cè)模型Attention-LSTM 預(yù)測(cè)值的R-squared 比GRU、RNN 和LSTM 模型更接近于1，證明在本實(shí)驗(yàn)中，基于注意力機(jī)制的LSTM 模型的擬合度優(yōu)于其他兩種預(yù)測(cè)模型。而本文提出的Attention-LSTM-Kalman 模型的R-squared 高于Attention-LSTM ，靜態(tài)預(yù)測(cè)模型經(jīng)Kalman 動(dòng)態(tài)調(diào)整后，R-squared 的值顯著上升。這表明LSTM-Kalman 模型在預(yù)測(cè)方面具有更好的解釋能力，Attention-LSTM-Kalman 模型更好地?cái)M合了數(shù)據(jù)。各網(wǎng)絡(luò)模型預(yù)測(cè)評(píng)價(jià)如表1 所示。

圖9 R-square 值隨時(shí)間序列的變化Fig.9 Change of R-square with time series

表1 各網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果對(duì)比Table 1 Prediction results comparison of various network models

4 結(jié)束語

針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)靜態(tài)預(yù)測(cè)模型在動(dòng)態(tài)流量測(cè)試中估計(jì)精度低，適應(yīng)性差，不適用于動(dòng)態(tài)測(cè)量場(chǎng)景的問題。本文提出一種動(dòng)靜結(jié)合的軟測(cè)量方法，在靜態(tài)預(yù)測(cè)模型后追加Kalman 濾波進(jìn)行動(dòng)態(tài)校正，使軟測(cè)量模型能夠取得更高的精度和擬合度，為了使序列間獲得更好的相關(guān)性，本文也引用了注意力機(jī)制加以實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，Attention-LSTM-Kalman 模型的動(dòng)態(tài)測(cè)量值比RNN、LSTM 等傳統(tǒng)預(yù)測(cè)模型的結(jié)果更加平滑且擬合效果更好，實(shí)現(xiàn)了流量動(dòng)態(tài)測(cè)量，本文的模型方法對(duì)流量測(cè)量、標(biāo)定等方面有參考意義。