單良，華夏杰，牛玉風(fēng)，趙騰飛，洪波，孔明

（1 中國(guó)計(jì)量大學(xué)信息工程學(xué)院，浙江省電磁波信息技術(shù)與計(jì)量檢測(cè)重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310018；2 中國(guó)計(jì)量大學(xué)計(jì)量測(cè)試工程學(xué)院，浙江 杭州 310018）

火焰作為人類最早接觸和利用的能源，是支撐人類生存與發(fā)展的原動(dòng)力之一。火焰溫度場(chǎng)重建在電力生產(chǎn)[1]、材料加工[2]和航天發(fā)動(dòng)系統(tǒng)[3]等領(lǐng)域發(fā)揮著重要作用，也在推演能量損耗[4]、確定組分產(chǎn)物[5]、維穩(wěn)鍋爐狀態(tài)[6]等工作中具有指導(dǎo)意義。在熱電偶[7]為代表的接觸式測(cè)溫中，測(cè)溫器件直接接觸火焰，測(cè)溫范圍受材料限制。而以激光干涉[8]為代表的主動(dòng)探測(cè)，設(shè)備較為昂貴，系統(tǒng)復(fù)雜，常搭建于實(shí)驗(yàn)室環(huán)境。隨著儀器科學(xué)[9]和光學(xué)傳感技術(shù)[10]的發(fā)展，基于輻射測(cè)溫的溫度場(chǎng)重建[11]逐漸趨于主流，相比其他測(cè)溫方法具有獨(dú)特的優(yōu)勢(shì)。光場(chǎng)相機(jī)測(cè)溫[12]不會(huì)干擾燃燒環(huán)境，并且搭建簡(jiǎn)便，同時(shí)具備靈敏的輻射響應(yīng)能力與較高的準(zhǔn)確度，受到國(guó)內(nèi)外研究者的青睞。

近年來(lái)，基于深度學(xué)習(xí)的溫度場(chǎng)重建在工業(yè)環(huán)境中得到了廣泛的應(yīng)用[13]。唐廣通等[14]提出了多層感知機(jī)重建爐膛溫度場(chǎng)的方法，通過(guò)機(jī)組調(diào)峰測(cè)算了用料量與風(fēng)強(qiáng)對(duì)溫度的影響；李智聰?shù)萚15]選用多層感知機(jī)預(yù)測(cè)了乙烯層流擴(kuò)散火焰的溫度與碳煙體積分布，具有良好的抗噪能力。多層感知機(jī)在測(cè)量燃燒參數(shù)表現(xiàn)優(yōu)異，但當(dāng)重建對(duì)象為火焰三維溫度場(chǎng)時(shí)，需要重建的數(shù)據(jù)量較大，訓(xùn)練所需開銷過(guò)高。卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)于圖像類型的輸入具有廣泛的適用性[16]。Wang等[17]提出了一種集成火焰特征提取與分類的端到端框架，實(shí)現(xiàn)了高效的爐膛燃燒狀態(tài)檢測(cè)；Jin 等[18]根據(jù)12 個(gè)傳統(tǒng)相機(jī)構(gòu)成的火焰層析成像系統(tǒng)，提出一種基于CNN 的火焰形態(tài)重建網(wǎng)絡(luò)，相比傳統(tǒng)投影迭代算法，重建速度顯著提升；張杰等[19]采用精簡(jiǎn)的卷積-池化結(jié)構(gòu)，提出了基于光場(chǎng)圖像的火焰溫度場(chǎng)快速重建網(wǎng)絡(luò)，相比傳統(tǒng)的非負(fù)最小二乘法[20]重建單峰火焰，平均相對(duì)誤差降低了一個(gè)數(shù)量級(jí)。

現(xiàn)有的CNN 用于三維溫度場(chǎng)重建時(shí)已取得了良好效果，但在對(duì)宏像素圖像（MPI）進(jìn)行特征提取時(shí)使用了3×3卷積核，沒(méi)有考慮光場(chǎng)圖像中光線角度的動(dòng)態(tài)分布情況[21]。在計(jì)算機(jī)視覺(jué)領(lǐng)域，如何設(shè)計(jì)合適的圖像特征提取方法是實(shí)現(xiàn)超分辨率的重要思路。WAFA等[22]提出了一種利用全四維光場(chǎng)空間和角度信息進(jìn)行光場(chǎng)空間超分辨的網(wǎng)絡(luò)，同時(shí)考慮所有的子孔徑圖像（SAI），利用極線像平面信息平滑視圖誤差；Wang 等[23]設(shè)計(jì)了一種基于宏像素表示的光場(chǎng)圖像超分辨率聚合網(wǎng)絡(luò)，使用兩種特殊卷積分別提取空間信息和角度信息，并對(duì)殘差模塊混合信息進(jìn)行聚合，在超分辨率領(lǐng)域取得了優(yōu)于CNN 的性能。結(jié)果表明，根據(jù)光場(chǎng)圖像的像素排列規(guī)則對(duì)卷積方法進(jìn)行改進(jìn)，可以更準(zhǔn)確地提取圖像特征，提高重建精度。Yue 等[24]考慮到單幅圖像的不同縮放尺寸對(duì)特征提取的貢獻(xiàn)不同，提出了信道注意力模塊來(lái)估計(jì)權(quán)重，構(gòu)建了漸進(jìn)通道注意的超分辨率網(wǎng)絡(luò)。通過(guò)在CUFED5 等數(shù)據(jù)集上的驗(yàn)證，與IENet、EDSR 等先進(jìn)方法相比，該網(wǎng)絡(luò)獲得了更高的峰值信噪比，表明優(yōu)化特征分類對(duì)重建精度具有顯著影響。

本文整合深度學(xué)習(xí)燃燒診斷與火焰形態(tài)識(shí)別框架，根據(jù)超分辨率領(lǐng)域?qū)鈭?chǎng)特征提取的優(yōu)化思想，對(duì)特征提取過(guò)程進(jìn)行了改進(jìn)，提高溫度場(chǎng)的重建精度。具體體現(xiàn)在使用SAI圖像代替MPI圖像作為輸入；設(shè)計(jì)了一種雙分支卷積方法來(lái)提取光場(chǎng)圖像的空間和角度特征；進(jìn)一步利用通道注意機(jī)制[25]來(lái)優(yōu)化不同特征的權(quán)重，實(shí)現(xiàn)光場(chǎng)圖像先驗(yàn)信息的補(bǔ)充，并使端到端映射更加嚴(yán)格，提高了溫度場(chǎng)重建的精度。最后以MRE 和MMRE 為指標(biāo)，設(shè)計(jì)了正交試驗(yàn)與K折交叉試驗(yàn)，驗(yàn)證上述因素對(duì)重建精度的影響。

1 光場(chǎng)特征的優(yōu)化提取方法

1.1 傳統(tǒng)的溫度場(chǎng)重建網(wǎng)絡(luò)結(jié)構(gòu)

CNN 是一種用于二維形態(tài)特征識(shí)別的多層感知機(jī)。在火焰溫度場(chǎng)重建任務(wù)中，神經(jīng)網(wǎng)絡(luò)通過(guò)識(shí)別火焰圖像各尺度的特征，學(xué)習(xí)得到灰度值信息與溫度場(chǎng)的映射關(guān)系。基于光場(chǎng)圖像的傳統(tǒng)三維火焰溫度場(chǎng)重建網(wǎng)絡(luò)[19]如圖1所示。

圖1 溫度場(chǎng)重建網(wǎng)絡(luò)結(jié)構(gòu)

這類網(wǎng)絡(luò)以光場(chǎng)MPI圖像為輸入，通過(guò)5次卷積和池化操作，將特征樣式整理成復(fù)數(shù)的小圖像塊。將圖像塊中的元素展平成一維向量，并與同樣展平的三維溫度場(chǎng)數(shù)據(jù)相連接，形成一個(gè)展平-全連接模塊，如圖1(b)所示。卷積層負(fù)責(zé)提取當(dāng)前層級(jí)的特征，使用較小的卷積核對(duì)圖像中的每個(gè)像素進(jìn)行正相關(guān)運(yùn)算，識(shí)別感受野內(nèi)的特征樣式。池化層負(fù)責(zé)對(duì)圖像進(jìn)行降采樣，減小其尺寸并擴(kuò)展感受野。全連接層負(fù)責(zé)關(guān)聯(lián)向量對(duì)，將展平的元素作為特征向量，解碼為三維溫度場(chǎng)數(shù)據(jù)，最終完成重建。

然而，這類網(wǎng)絡(luò)的特征提取方法主要面向二維平面圖像，還不能很好地理解光場(chǎng)圖像的三維信息。當(dāng)該網(wǎng)絡(luò)直接用于光場(chǎng)火焰圖像時(shí)，僅僅抓取了相鄰像素包含的追跡光線角度特征，沒(méi)有考慮視角間距下像素所代表的另一類追跡光線空間特征。并且卷積核下像素對(duì)應(yīng)的物點(diǎn)坐標(biāo)呈不規(guī)則排列，特征向量的數(shù)物特性不夠嚴(yán)謹(jǐn)。

1.2 優(yōu)化的溫度場(chǎng)重建網(wǎng)絡(luò)結(jié)構(gòu)

本文優(yōu)化后的溫度場(chǎng)重建網(wǎng)絡(luò)如圖2(a)所示，以光場(chǎng)SAI圖像為輸入，整體框架沿用特征提取模塊與池化層重復(fù)搭建，最后進(jìn)行元素展平連接溫度場(chǎng)數(shù)據(jù)。設(shè)計(jì)優(yōu)化后的特征分流提取模塊（OHFEM）如圖2(b)所示。該模塊采用兩個(gè)分支去提取光場(chǎng)圖像的空間特征和角度特征，并使用注意力模塊（CBAM）[26]優(yōu)化角度特征的提取。

圖2 基于SAI特征分流的溫度場(chǎng)重建網(wǎng)絡(luò)結(jié)構(gòu)

1.3 基于SAI圖像的特征分流原理

在使用圖1所示的傳統(tǒng)網(wǎng)絡(luò)重建溫度場(chǎng)時(shí)，常使用大小為3×3 的卷積核，導(dǎo)致提取的特征雜糅。圖3(a)為選擇中心視角為6×6的火焰MPI圖像，圖3(b)為圖3(a)紅色框中的放大圖像。黃色框表示每個(gè)微透鏡下對(duì)應(yīng)的像素簇。藍(lán)色、紫色和綠色框都是3×3卷積核的處理對(duì)象。圖3(c)為對(duì)應(yīng)顏色框下3×3像素對(duì)應(yīng)的物點(diǎn)位置，該坐標(biāo)可由光線追跡與火焰切面的交點(diǎn)關(guān)系得到。

圖3 MPI圖像的3×3次卷積信息偏移

從圖3(b)中藍(lán)色框和紫色框中的像素對(duì)應(yīng)物點(diǎn)關(guān)系可知，當(dāng)卷積核下的像素均位于同一個(gè)微透鏡下時(shí)，這些像素接收到的光線在物面呈規(guī)則的等距分布。然而，當(dāng)卷積核下的像素不屬于同一微透鏡時(shí)，如圖3(b)中綠框所示，虛線框內(nèi)的物面交點(diǎn)并非等距排列在黑點(diǎn)處，而是落在實(shí)線框內(nèi)的綠點(diǎn)處。這種偏移來(lái)自于光場(chǎng)相機(jī)主透鏡-微透鏡陣列-傳感器的獨(dú)特結(jié)構(gòu)，并受到像素簇對(duì)應(yīng)的微透鏡位置的影響。因此在對(duì)火焰MPI圖像進(jìn)行3×3卷積處理時(shí)，提取的特征混淆了物理映射關(guān)系，忽略了不同微透鏡下相同坐標(biāo)像素的空間特征。為解決上述問(wèn)題，本文將MPI圖像的像素重新排列得到SAI圖像，其中包含36張不同視角的子圖像，如圖4所示。

圖4 SAI圖像

特征分流首先需要將不同角度的SAI圖像疊放在通道維度，作為優(yōu)化的溫度場(chǎng)重建網(wǎng)絡(luò)輸入。當(dāng)采用1×1卷積核對(duì)光場(chǎng)圖像進(jìn)行采樣時(shí)，可以得到光場(chǎng)的角度特征。同理采用3×3卷積核采樣時(shí)，可以得到光場(chǎng)的空間特征。將得到的兩類特征繼續(xù)在通道維度上疊放，并傳遞到下一個(gè)層級(jí)。這一過(guò)程可以歸納為基于SAI圖像的特征分流模塊（HFEM），如圖5所示。

圖5 特征分流提取原理

SAI圖像的1×1卷積核下的像素來(lái)自不同視角、相同坐標(biāo)的像素，對(duì)應(yīng)的物點(diǎn)分布間距相對(duì)較短，便于獲取目標(biāo)像素與局部區(qū)域的關(guān)系，反映小范圍灰度值變化的細(xì)節(jié)。該處理相當(dāng)于MPI圖像的3×3卷積特征提取，但不存在跨像素簇的特征雜糅。SAI 圖像的3×3 卷積核下像素為同一視角、相鄰坐標(biāo)的像素，對(duì)應(yīng)的物點(diǎn)分布間距較遠(yuǎn)，便于目標(biāo)像素在環(huán)境中的定位，反映了廣域的空間位置信息，彌補(bǔ)了傳統(tǒng)重建網(wǎng)絡(luò)中空間特征提取的不足。

1.4 基于注意力的權(quán)重分配原理

本文提出通過(guò)注意力機(jī)制進(jìn)一步優(yōu)化光場(chǎng)火焰圖像的特征提取。其中通道注意力用于強(qiáng)調(diào)不同類型特征的權(quán)重差異；空間注意力則用于過(guò)濾火焰背景部分，凸顯特征樣式主體，其計(jì)算方法如圖6所示。

圖6 注意力權(quán)重分配原理

在通道注意力處理階段，對(duì)于輸入的圖像或特征樣式，使用每個(gè)通道的最大和平均池化結(jié)果代表自身，通過(guò)兩次卷積整理得到通道權(quán)重編碼。將結(jié)果與輸入相乘完成通道尺度的加權(quán)后，傳遞到空間注意力階段，基于通道求解全局的最大值和平均值，可以得到特征邊緣和主體的分布信息，通過(guò)3×3卷積壓縮將兩類信息到單一通道，將結(jié)果與輸入相乘完成空間尺度的加權(quán)。

與MPI 圖像相比，SAI 圖像具有更小的分辨率，并且可以使用3×3卷積核更快地遍歷全局，無(wú)需CBAM模塊的輔助即可實(shí)現(xiàn)較完備的空間特征提取工作。為使神經(jīng)網(wǎng)絡(luò)輕量化，減少訓(xùn)練開銷，本文僅將CBAM置于角度特征提取中。

2 溫度場(chǎng)重建結(jié)果與分析

本文采用正交試驗(yàn)分析輸入圖像格式、光場(chǎng)特征提取方法和注意力機(jī)制優(yōu)化三個(gè)因素的主體間效應(yīng)。為了避免深度學(xué)習(xí)訓(xùn)練結(jié)果的隨機(jī)波動(dòng)，進(jìn)一步采用K折交叉試驗(yàn)[27]，隨機(jī)劃分訓(xùn)練樣本。對(duì)每組試驗(yàn)進(jìn)行10 次訓(xùn)練，并對(duì)各因素的顯著性進(jìn)行評(píng)價(jià)。本文的評(píng)價(jià)方法MRE 和MMRE 基于測(cè)量值與真值的比較，分別求解相對(duì)誤差的平均值與最大值，計(jì)算方法可表示為式（1）。

2.1 實(shí)驗(yàn)條件

溫度場(chǎng)重建網(wǎng)絡(luò)的輸入設(shè)定為360×360分辨率的火焰光場(chǎng)圖像合計(jì)1600 組。網(wǎng)絡(luò)的輸出是模擬的軸對(duì)稱單峰火焰溫度場(chǎng)，尺寸為24mm×24mm×30mm，采樣步長(zhǎng)為2mm?；鹧鏈囟葓?chǎng)生成公式[20]如式(2)所示，溫度分布情況如圖7所示。

圖7 軸對(duì)稱火焰溫度分布圖

式中，H、R為火焰尺寸基準(zhǔn)值；h、r為物點(diǎn)的軸向坐標(biāo)和徑向坐標(biāo)；m、n為調(diào)整火焰大小的變易參數(shù)。采用公式模擬火焰溫度場(chǎng)是一種有效的數(shù)字孿生方法。先前研究[19]已經(jīng)通過(guò)實(shí)驗(yàn)證明了這種方法在實(shí)際火焰溫度場(chǎng)重建的有效性。如果該網(wǎng)絡(luò)在模擬數(shù)據(jù)集上具有較低的重建誤差，則該網(wǎng)絡(luò)在真實(shí)實(shí)驗(yàn)中也可以具備較好的重建精度。

本文的重建網(wǎng)絡(luò)基于PyTorch 框架，在配備NVIDIA GeForce RTX 3080Ti GPU 的服務(wù)器進(jìn)行訓(xùn)練，分別設(shè)計(jì)了8個(gè)代表性組合對(duì)上述3個(gè)因素進(jìn)行析因試驗(yàn)。具體方案見(jiàn)表1。

表1 正交試驗(yàn)方案表

表1 中試驗(yàn)號(hào)1 是傳統(tǒng)的火焰溫度場(chǎng)重建網(wǎng)絡(luò)，試驗(yàn)號(hào)8是本文提出的優(yōu)化網(wǎng)絡(luò)，兩者構(gòu)成對(duì)比試驗(yàn)。試驗(yàn)號(hào)2至試驗(yàn)號(hào)7為不同優(yōu)化方案的排列組合，共同組成多因素的消融試驗(yàn)。

2.2 K折交叉試驗(yàn)分析

在深度學(xué)習(xí)中，神經(jīng)網(wǎng)絡(luò)的每次訓(xùn)練結(jié)果不盡相同，模型在驗(yàn)證數(shù)據(jù)集的重建精度會(huì)在一個(gè)小范圍波動(dòng)。為使評(píng)價(jià)指標(biāo)更接近實(shí)際模型性能，設(shè)計(jì)了隨機(jī)K折交叉試驗(yàn)。將樣本數(shù)據(jù)集中90%的數(shù)據(jù)隨機(jī)劃分為訓(xùn)練集，剩余數(shù)據(jù)作為測(cè)試集。每組試驗(yàn)均進(jìn)行10 次，不同試驗(yàn)次數(shù)下模型在驗(yàn)證數(shù)據(jù)集中重建的溫度場(chǎng)MRE和MMRE如圖8所示。

圖8 隨機(jī)K折交叉試驗(yàn)箱線圖

圖8根據(jù)拉依達(dá)準(zhǔn)則，加號(hào)代表數(shù)據(jù)中的異常值，T形標(biāo)記代表極值，藍(lán)框由上四分位數(shù)和下四分位數(shù)組成，反映數(shù)據(jù)的主體分布，紅線代表數(shù)據(jù)的中位數(shù)，反映數(shù)據(jù)的偏態(tài)分布。由此可知，試驗(yàn)號(hào)8的兩個(gè)指標(biāo)都明顯小于試驗(yàn)號(hào)1。并且試驗(yàn)號(hào)8的MRE 箱體狹窄，穩(wěn)定性強(qiáng)。MMRE 的最小結(jié)果顯著低于其他試驗(yàn)號(hào)，反映了最佳模型能有效抑制較高誤差的產(chǎn)生。由于單項(xiàng)因素在不同方案下對(duì)重建精度存在不同程度的抑制或放大作用，需要通過(guò)正交試驗(yàn)探討不同因素組合對(duì)重建精度的影響。

2.3 正交試驗(yàn)分析

采用MRE 和MMRE 指標(biāo)對(duì)進(jìn)行主體間效應(yīng)分析，計(jì)算結(jié)果如表2所示。

表2 相對(duì)誤差計(jì)算表

表2中，Kji為j列水平為i的測(cè)試指標(biāo)之和，重建任務(wù)的目的是減少誤差，因此Kji越小，對(duì)應(yīng)的因子水平越好。如表中K22＜K21和K42＜K41，該結(jié)果表明無(wú)論是CBAM還是HFEM都能有效降低重建溫度場(chǎng)的MRE。對(duì)截距進(jìn)行校正后，其因子顯著性如表3所示。

表3 相對(duì)誤差方差分析表

給定因素的顯著性代表了其對(duì)重建精度的影響程度，顯著性越小，影響越大。由表3可知交互效應(yīng)A×B對(duì)MRE 的影響最為顯著。進(jìn)一步討論計(jì)算A×B的效應(yīng)誤差如表4所示。

表4 MRE因素效應(yīng)搭配表

表4中效應(yīng)誤差由同一水平組合的試驗(yàn)指標(biāo)相加得到，并且溫度場(chǎng)重建任務(wù)希望效應(yīng)誤差盡可能低。由此可知，A2B2組的效應(yīng)誤差小于A×B的其他組，代表最好的解決方案是使用SAI 圖像作為輸入，并通過(guò)CBAM優(yōu)化權(quán)重分配。這一結(jié)論與交叉試驗(yàn)的分析一致，結(jié)合表2中HFEM能夠有效降低MRE 的結(jié)論，即同時(shí)采用本文提出的三種優(yōu)化因素是MRE重建任務(wù)的最佳解決方案。

同理通過(guò)表2、表3中MMRE指標(biāo)的計(jì)算結(jié)果，可知該指標(biāo)下使用CBAM 仍然可以有效地降低MMRE，并且HFEM、交互效應(yīng)A×C和交互效應(yīng)B×C三者對(duì)MMRE 指數(shù)的影響均較為顯著。為考慮交互效應(yīng)之間是否存在方案沖突，需要進(jìn)一步討論不同因素間相互作用的因素搭配如表5所示。

表5 MMRE因素效應(yīng)搭配表

從表5 可知，A2C2組和B2C2組的效應(yīng)誤差小于其他組，滿足C2采用HFEM與B2采用CBAM的單因素最佳方案。即對(duì)于MMRE 指標(biāo)，最好解決方案仍是同時(shí)采用本文提出的三種優(yōu)化因素。

2.4 網(wǎng)絡(luò)收斂速度

在深度學(xué)習(xí)中，網(wǎng)絡(luò)收斂速度是衡量網(wǎng)絡(luò)性能的另一個(gè)標(biāo)準(zhǔn)，圖9 為試驗(yàn)1 傳統(tǒng)網(wǎng)絡(luò)和試驗(yàn)8 優(yōu)化網(wǎng)絡(luò)隨周期迭代的MRE變化趨勢(shì)。

圖9 MRE隨訓(xùn)練周期變化趨勢(shì)

圖中橫坐標(biāo)為訓(xùn)練周期數(shù)，縱坐標(biāo)為對(duì)應(yīng)周期下模型在測(cè)試集的MRE。優(yōu)化網(wǎng)絡(luò)在15 周期后MRE 均優(yōu)于傳統(tǒng)網(wǎng)絡(luò)，并且在訓(xùn)練前期有更顯著的下降趨勢(shì)，在50 周完成收斂。均訓(xùn)練150 周期后，傳統(tǒng)網(wǎng)絡(luò)耗時(shí)1155s，對(duì)應(yīng)MRE 為0.286%。優(yōu)化網(wǎng)絡(luò)耗時(shí)1395s，對(duì)應(yīng)的MRE 為0.150%，重建精度提高了44.82%。

3 結(jié)論

本文提出了一種基于SAI圖像輸入、光場(chǎng)特征分流提取和注意力機(jī)制優(yōu)化的火焰溫度場(chǎng)重建網(wǎng)絡(luò)。與以往的方法相比，溫度場(chǎng)重建精度更高。

本文以SAI圖像為輸入，利用不同的卷積核分別提取光場(chǎng)角度特征和空間特征，解決了傳統(tǒng)網(wǎng)絡(luò)特征混淆和信息片面的問(wèn)題。再將注意力機(jī)制與特征分流過(guò)程相結(jié)合，自主分配不同尺度的特征權(quán)重，強(qiáng)化重要特征對(duì)溫度計(jì)算的貢獻(xiàn)。

采用K折交叉試驗(yàn)和正交試驗(yàn)分析了本文提出因素的交互效應(yīng)。結(jié)果表明，3個(gè)因素通過(guò)交互作用顯著提高了溫度場(chǎng)的重建精度，同周期下將平均相對(duì)誤差從0.286%降低到0.16%，最大相對(duì)誤差從3.51%降低到2.29%，并且網(wǎng)絡(luò)訓(xùn)練的收斂速度更快。