郭 昊，董 雪?，孫志偉?，周 波

(1.上海交通大學(xué)中英國際低碳學(xué)院，上海 200240；2.澳大利亞阿德萊德大學(xué)能源研究中心，澳大利亞 SA5005；3.南方科技大學(xué)力學(xué)與航空系，廣東 深圳 518000)

1 引言

湍流流動因其結(jié)構(gòu)具有復(fù)雜的時空特性，至今仍是學(xué)術(shù)界最受關(guān)注的研究方向之一。為捕捉高度湍流火焰中渦流和中間產(chǎn)物的瞬態(tài)特性，亟需發(fā)展適用于湍流燃燒測量的具有高時空分辨率的診斷技術(shù)。在過去的數(shù)十年中，采用非侵入式光學(xué)診斷方法研究湍流-火焰相互作用是比較主流的實驗方法[1]。為了通過實驗手段可視化湍流火焰結(jié)構(gòu)，通常采用平面激光誘導(dǎo)熒光(PLIF)[2，3]方法對燃燒中間產(chǎn)物的濃度分布進行測量。這是一種用于診斷燃燒過程的有效的成像技術(shù)，具有很高的空間分辨率。OH自由基(羥基)是燃燒過程中的一個重要自由基，它的分布通常被用作火焰中反應(yīng)區(qū)的標志。

然而，平面激光成像技術(shù)雖然可提供高時空分辨率以及高保真度的湍流結(jié)構(gòu)[4-8]，現(xiàn)階段尚且難以對湍流火焰的中間產(chǎn)物開展高頻連續(xù)診斷，其原因在于對于很多用于測量燃燒中間產(chǎn)物的激光診斷方法，現(xiàn)有的實驗設(shè)備仍然不滿足高頻連續(xù)測量的需求。近年來高速脈沖激光(multi-kHz)和探測器的發(fā)展為高時空分辨率的湍流結(jié)構(gòu)測量提供了有利條件[9-11]?？捎糜诟咚偃紵\斷的激光器包括突發(fā)模式激光器(burst-modelasers)，其原理為基于高重復(fù)率種子激光器的順序放大；此外 Nd：YAG團簇也可以產(chǎn)生極短的脈沖間隔(理論上沒有最小脈沖間隔)，并且能量與10Hz激光相當。雖然高速 Nd-YAG激光器與染料激光器或者 OPO聯(lián)合使用可用于高速(百 kHz級別)OH-PLIF測量，然而以上兩種激光器均受制于有限的連續(xù)脈沖數(shù)(如 burst-modelaser的連續(xù)脈沖數(shù)為100左右)，因此通過實驗獲得的有效PLIF圖像序列都比較短，對于湍流火焰結(jié)構(gòu)變化的時序分析提出了挑戰(zhàn)。

鑒于此，若能通過計算成像的方法利用過去的多幀 OH自由基火焰序列圖像預(yù)測未來多幀 OH自由基火焰序列圖像，不僅可以一定程度彌補激光光源在時序序列之間的間斷，還可以利用獲得的預(yù)測圖像判斷火焰燃燒狀態(tài)，對未來可能發(fā)生的異常情況進行判斷和處理。因此對火焰狀態(tài)的時序預(yù)測，對于獲得連續(xù)高速的成像、實現(xiàn)燃燒狀態(tài)的動態(tài)調(diào)控和燃燒室故障預(yù)警均起到重要作用。

近年來，基于深度學(xué)習(xí)的計算成像方法受到越來越多的重視。隨著 2015年Shi 等人提出卷積長短期記憶網(wǎng)絡(luò)(ConvLSTM)[12]并將其成功應(yīng)用到降雨量的預(yù)測上，ConvLSTM在未來多幀圖像預(yù)測研究領(lǐng)域的應(yīng)用也越來越廣泛。該模型以過去的一段衛(wèi)星云圖序列為輸入，預(yù)測未來的一段時間的衛(wèi)星云圖，這種方法很好地捕捉了靜態(tài)和移動物體的相對運動，但預(yù)測的圖像有明顯的模糊和預(yù)測對象的逐漸消失的缺點[13]。隨后，F(xiàn)inn等人[14]基于該模型構(gòu)造了一個網(wǎng)絡(luò)，用于預(yù)測前一幀圖像序列在下一幀的變換。Lotter等人[15]在ConvLSTM的基礎(chǔ)上建立了預(yù)測模型，重點在于提高下一幀的預(yù)測質(zhì)量。然而，以上研究都只專注于預(yù)測下一幀圖像，而本研究的目標是一個以過去的 OH自由基成像序列為輸入，以未來一定數(shù)量(大于 1)的 OH自由基成像序列為輸出的時空序列預(yù)測問題。

為了提升預(yù)測時序序列的長度以及預(yù)測圖像的準確度，Patraucean等人[16]通過引入光流模型來改進遞歸神經(jīng)網(wǎng)絡(luò)模型。然而由于光流模型計算量的增加，這種方法很難應(yīng)用。近期，Wang等人首先提出Predrnn[17]并在其基礎(chǔ)上加以改進提出Predrnn++[18]，使得未來多幀預(yù)測結(jié)果的準確率得到了顯著的提升。

本文的目標是基于Predrnn++模型構(gòu)建一種新的神經(jīng)網(wǎng)絡(luò)時序預(yù)測模型——CasecadeRNN模型，以實現(xiàn)對高頻OH-PLIF圖像的未來多幀預(yù)測，并使模型在預(yù)測空間特征迅速變化的火焰時能保證較高的準確率。該模型在前人工作基礎(chǔ)上做的改進主要在于：①修改了CausalLSTM單元的時間記憶單元空間記憶單元的級聯(lián)結(jié)構(gòu)；②將Causal LSTM單元空間記憶單元內(nèi)部的激活函數(shù)由tanh 修改為ReLU[19]；③將CausalLSTM中時間記憶單元和空間記憶單元融合時所使用的激活函數(shù)由tanh修改為ReLU；④修改了Predrnn++模型的層數(shù)和各層隱藏狀態(tài)的個數(shù)；⑤模型訓(xùn)練時融合MeanAbsoluteError(MAE)和結(jié)構(gòu)相似性指數(shù)(SSIM)作為損失函數(shù)。除模型創(chuàng)新之外，通過真實實驗數(shù)據(jù)自建了 OH-PLIF圖像數(shù)據(jù)集，填補了燃燒診斷多幀預(yù)測方面計算成像研究的數(shù)據(jù)空缺。

2 湍流燃燒自由基成像時空預(yù)測模型的構(gòu)建

2.1 模型結(jié)構(gòu)

本研究所構(gòu)建的計算成像模型CascadeRNN主要基于CausalLSTM框架。該框架與傳統(tǒng)的LSTM模型相比增加了前一個時間步到下一個時間步的遞歸深度，并通過這種機制獲得了空間相關(guān)性和更強的時序變化建模能力。但由于 Causal LSTM 內(nèi)部采用級聯(lián)操作以及多個指數(shù)激活函數(shù)，使網(wǎng)絡(luò)參數(shù)和深度急劇上升，在實踐中比較耗時。此外，網(wǎng)絡(luò)在實際訓(xùn)練中也會出現(xiàn)過擬合現(xiàn)象。本文基于此，通過修改內(nèi)部結(jié)構(gòu)和激活函數(shù)，提出了CausalLSTM++。其次，為了實現(xiàn)更長時序序列的未來幀預(yù)測，本文嘗試解決反向傳播梯度消失的問題。具體技術(shù)路線為建造了一條可供選擇的梯度高速傳播路徑——GradientHighwayUnit(GHU)，即一條從輸出到遠距離輸入的較短路線。CausalLSTM++與GradientHighwayUnit經(jīng)過級聯(lián)形成了本研究所構(gòu)建的獨特的級聯(lián)遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu)CascadeRNN。該模型的訓(xùn)練模塊和預(yù)測模塊的神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)示意圖如圖1所示。

圖1 CascadeRNN模型結(jié)構(gòu)示意圖

2.1.1 CausalLSTM++結(jié)構(gòu)

圖2 CausalLSTM++結(jié)構(gòu)示意圖

與Wang等人最初提出的ST-LSTM[17]有明顯不同的是，CausalLSTM++在采用級聯(lián)機制的基礎(chǔ)上，通過在多個信息傳播路徑上加入ReLU激活函數(shù)引入了稀疏性，降低了梯度反向傳播的計算量，并且緩解了過擬合。第k層CausalLSTM++的更新方程如下

(6)

2.1.2 GradientHighwayUnit

此前研究表明，Srivastava等人提出的梯度高速公路層[20]能夠在非常深的前饋網(wǎng)絡(luò)中有效地傳遞梯度。這一思想應(yīng)用到遞歸網(wǎng)絡(luò)中，可以防止長傳梯度的快速消失，Wang等人[17]在此基礎(chǔ)上提出了一種新的時空遞歸結(jié)構(gòu)梯度高速公路單元(GHU)，GHU的方程式如下

Pt=tanh(Wpx*Xt+Wpz*Zt-1)

(7)

St=σ(Wsx*Xt+Wsz*Zt-1)

(8)

Zt=St⊙Pt+(1-St)⊙Zt-1

(9)

2.2 損失函數(shù)的改進

另外Wang等人[21]指出，單一的MAE作為損失函數(shù)并不能直觀準確地表征與人類視覺系統(tǒng)所感受到的一致性。因此本研究也引入SSIM指標來衡量圖像之間的相似性。SSIM從顏色亮度、對比度和結(jié)構(gòu)相似性三個測量尺度分別衡量了兩張圖片之間的相似性更加符合人類視覺系統(tǒng)的評估標準。基于此，本文使用了一個新的損失函數(shù)，定義如下

Loss=α×MAE(f，g)+(1-α)×SSIM(f，g)

(10)

式中α是0到1之間的常數(shù)，f和g分別表示原始圖像和預(yù)測圖像。

3 數(shù)據(jù)的采集與預(yù)處理

3.1 數(shù)據(jù)采集

本研究的燃燒診斷實驗部分于瑞典隆德大學(xué)激光診斷實驗室完成，實驗裝置如圖3 所示。與slipchenko 等人研究開發(fā)的PLIF 實驗裝置相似但不完全相同，本實驗中使用了超高速激光器(Quasimodo by spectral energy，LLC)，該激光系統(tǒng)被用來與光學(xué)參量振蕩器(OPO)耦合以形成 OH 自由基的激發(fā)光。在本研究中，進行了從 282.3nm 到 284.5nm 的 OH 激發(fā)掃描。A-X(0，0)躍遷的 OH 自由基熒光信號由安裝在 CMOS 相機(photoron sa-z)前面的干涉濾波片(λt=310 ± 10nm)在 308nm 處進行收集。同時該相機配有與鏡頭耦合的高速增強器[22]。

圖3 高速OH-PLIF 實驗裝置圖

本研究采用的燃燒器為混合多孔塞噴式燃燒器，詳見文獻[3]。其主要部件包括直徑為61毫米的多孔燒結(jié)不銹鋼塞和中心直徑為1.5毫米的噴嘴。預(yù)混合的CH4和空氣混合物通過中央噴嘴形成噴射火焰。氣體流量由6個質(zhì)量流量控制器進行調(diào)節(jié)，并在300下進行校準，精度可以達到98.5%以上。

3.2 數(shù)據(jù)預(yù)處理

原始的OH-PLIF數(shù)據(jù)中有很多高速相機啟動但未有火焰信號的圖像以及信噪比特別低的圖像，這些圖像都需要被清除。另外由于原始圖像中存在較多噪點，如果直接將其作為輸入將對模型的結(jié)果的準確率造成很大的不利影響。所以需要對其進行二值化，本研究中所有的OH-PLIF圖像都是通過自適應(yīng)閾值二值化進行預(yù)處理的，從圖4 可以看出，通過自適應(yīng)閾值二值化，有效地提高了原始圖像的信噪比。

圖4 自適應(yīng)閾值二值化效果圖

4 結(jié)果與討論

4.1 評價指標

除了均方誤差(MSE)外，本研究還使用SSIM 來量化預(yù)測圖像和實驗結(jié)果之間的相似程度；此外，本文還采用了另一項相關(guān)性指標——Correlation來量化預(yù)測與測量之間的相似性。Correlation定義如下

(11)

其中Pi，j和Ti，j分別代表圖像P和T在第i行第j列的像素值，ε=10-9。

4.2 模型訓(xùn)練與預(yù)測

本實驗的數(shù)據(jù)集包含1575 個長度為24 幀(前16 幀為輸入，后8 幀為輸出)，共37776張圖像的OH-PLIF 圖像序列，其中1385 個圖像序列作為訓(xùn)練樣本對CascadeRNN 進行訓(xùn)練與參數(shù)調(diào)整，190 個圖像序列作為測試集用于模型的性能測試。模型計算環(huán)境為：Python 3.5.0、兩塊Nvidia Tesla V100 GPU(32GB)、Intel(R) Xeon(R) Gold 6130 CPU，主頻2.10GHz、Ubuntu 16.4 系統(tǒng)。模型訓(xùn)練優(yōu)化器為Adam[23]，學(xué)習(xí)率為0.001，衰減因子設(shè)置為0.01，batch size 均為8。

4.3 CascadeRNN模型的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)分析

首先對CascadeRNN模型與其它幾類經(jīng)典的時空預(yù)測模型Predrnn++[24]，Conv-GRU[25]，和Conv-LSTM[13]在相同的實驗條件下進行了參數(shù)分析，實驗條件為每個模型都包含四個隱藏層，每個隱藏層包含16 個隱狀態(tài)，損失函數(shù)為上一章中介紹的L1+SSIM損失函數(shù)(式10)，并設(shè)置參數(shù)α為0.5，訓(xùn)練輪數(shù)為100 個epoch。結(jié)果如圖5和表1 所示。

表1 不同模型的性能分析

從圖5 中可以看出：①Conv-GRU 預(yù)測的圖像除了前兩幀的火焰具有流動性之外，剩下的六幀圖像幾乎是不變的，這是由于Conv-GRU 模型內(nèi)部只有兩個門控單元，記憶信息的能力有限。②Conv-LSTM 預(yù)測的圖像記憶了較多噪聲并且在后幾幀中出現(xiàn)了圖像模糊的情況。③Predrnn++模型預(yù)測的圖像與前兩個模型相比，具有更好的記憶火焰流動和結(jié)構(gòu)變化的能力，但與CascadeRNN 模型對比稍有不足，通過調(diào)整CascadeRNN 模型的層數(shù)和隱藏層的個數(shù)，并且在CascadeRNN 模型的Causal LSTM++單元的多個信息傳播路徑上加入ReLU 激活函數(shù)引入了稀疏性，不僅降低了梯度反向傳播的計算量，并且緩解了過擬合，從而取得了比Predrnn++更好的實驗結(jié)果。由表1發(fā)現(xiàn)CascadeRNN模型在OH-PLIF 測試集上與實驗真值的圖像的誤差值為0.1097，優(yōu)于原始模型的0.1227，在所有模型中具有最高的相似度。

圖5 100kHzOH-PLIF數(shù)據(jù)集上不同模型的預(yù)測結(jié)果

從表1可以看出CascadeRNN模型與其它模型相比，在訓(xùn)練誤差和測試誤差上都有所降低，并且訓(xùn)練速度比原Predrnn++要快，模型參數(shù)大小與原模型相差無幾。另外從表2可以看出，CascadeRNN模型測試集上202組數(shù)據(jù)上的MSE和SSIM指標上都優(yōu)于Predrnn++模型，Correlation指標優(yōu)于Conv-GRU和Conv-LSTM，與Predrnn++模型幾乎一致。

表2 不同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下深度學(xué)習(xí)模型的性能分析

本文還對CascadeRNN 模型在不同網(wǎng)絡(luò)層數(shù)下的表現(xiàn)進行了實驗分析，發(fā)現(xiàn)如圖6 和表3所示，隨著網(wǎng)絡(luò)層數(shù)的增加，雖然隱藏狀態(tài)的總和降低了：兩層網(wǎng)絡(luò)為128 個，三層網(wǎng)絡(luò)為96 個，四層網(wǎng)絡(luò)為64 個。但是網(wǎng)絡(luò)的訓(xùn)練誤差和測試誤差都有所降低，說明更深的網(wǎng)絡(luò)具有更強的擬合能力。另外由于兩層網(wǎng)絡(luò)之間無法加入GHU，可以發(fā)現(xiàn)模型的訓(xùn)練誤差為0.1053，與三層網(wǎng)絡(luò)的0.1005 相比多了0.0048，而三層網(wǎng)絡(luò)的誤差僅比四層網(wǎng)絡(luò)的0.0984 多了0.0019。說明GHU 對于網(wǎng)絡(luò)梯度回傳從而降低梯度消失是非常有效的。

圖6 CascadeRNN在不同隱藏狀態(tài)個數(shù)上的訓(xùn)練loss

4.4 CascadeRNN模型在OH-PLIF數(shù)據(jù)集上的實驗結(jié)果

本文使用上面提到的最優(yōu)模型對OH-PLIF數(shù)據(jù)集進行了訓(xùn)練和測試，實驗所采用的CascadeRNN模型包括4個隱層，每個隱藏包含16個隱狀態(tài)，損失函數(shù)為上文中介紹的L1+SSIM損失函數(shù)，訓(xùn)練輪數(shù)為100個epoch。

從表3 可以看出，CascadeRNN 模型在測試集202 組數(shù)據(jù)上相比于其它模型，取得了最高的模型準確度。在圖7 中給出了隨機抽取的幾個預(yù)測結(jié)果的實例，從圖中可以看出CascadeRNN 模型對于火焰結(jié)構(gòu)的流動性和結(jié)構(gòu)變化都有較好的建模能力，如圖像紅色虛線框中的部分所示，預(yù)測的圖像不僅成功預(yù)測了火焰的結(jié)構(gòu)及其變化，并且成功預(yù)測了火焰的大小變化。

圖7 CascadeRNN在100 kHzOH-PLIF數(shù)據(jù)集上的預(yù)測結(jié)果

表3 不同模型條件下相似指數(shù)的平均值

5 結(jié)論

本文通過建立基于Predrnn++的湍流火焰自由基成像時空預(yù)測模型——級聯(lián)遞歸神經(jīng)網(wǎng)絡(luò)CascadeRNN，以實現(xiàn)利用百kHz的歷史OH-PLIF圖像生成同頻率的未來多幀OH-PLIF圖像，以解決超高速激光的間歇性導(dǎo)致其時序序列之間存在間斷的問題。本文的主要結(jié)論為以下3 點：

1)通過實驗數(shù)據(jù)自建OH-PLIF圖像數(shù)據(jù)集，填補目前OH-PLIF圖像多幀預(yù)測方面的數(shù)據(jù)空缺；數(shù)據(jù)集包含的1575 個長度為24幀(前16幀為輸入，后8幀為輸出)的OH-PLIF圖像序列能夠滿足模型訓(xùn)練的要求。進一步增加數(shù)據(jù)集大小將有助于提升模型精度。

2)基于Predrnn++建立CascadeRNN模型實現(xiàn)多幀圖像預(yù)測，并調(diào)整CascadeRNN模型結(jié)構(gòu)和參數(shù)，激活函數(shù)和損失函數(shù)等對數(shù)據(jù)集中的圖像序列進行預(yù)測，提高了預(yù)測的準確率。

3)對預(yù)測的結(jié)果進行了多個指標的分析，評估模型應(yīng)用于OH-PLIF圖像多幀預(yù)測的可行性和精度。發(fā)現(xiàn)CascadeRNN模型與幾個經(jīng)典的時空預(yù)測模型Conv-GRU、Conv-LSTM以及Predrnn++相比都有性能上的提升，對于火焰結(jié)構(gòu)的流動性和結(jié)構(gòu)變化均有較好的建模能力，其MSE、SSIM和Correlation分別為0.0448、0.761 和0.901，均優(yōu)于其它模型。

結(jié)果表明，CascadeRNN模型不僅成功預(yù)測了火焰的結(jié)構(gòu)和大小，并且成功預(yù)測了其隨時間的變化規(guī)律，具有較好的時空預(yù)測能力。