單 良,趙騰飛,洪 波,孔 明

(1.中國計量大學 信息工程學院 浙江省電磁波信息技術與計量檢測重點實驗室,浙江 杭州 310018;2.中國計量大學 計量測試工程學院,浙江 杭州 310018)

光場成像技術已被廣泛應用于粒子圖像測速[1]、運動恢復結構[2]、距離測量[3]、三維重建[4-7]等工業(yè)科研領域。在火焰測溫和燃燒診斷領域[8],單光場相機可以利用火焰光場信息實時反演三維溫度場,克服了多相機測溫系統(tǒng)結構復雜,同步觸發(fā)難等問題。東南大學的許傳龍教授等[9-14]耦合了光場成像和火焰輻射傳輸模型,建立了基于光場分層成像技術的火焰溫度場測量系統(tǒng),還重建了不同火焰的三維溫度場分布;哈爾濱工業(yè)大學的袁遠教授等[15-16]對火焰輻射傳輸過程中各類參與介質的光場成像模型進行了研究;齊宏教授等[17-18]主要研究了火焰內(nèi)部輻射傳輸和光場成像模型,實現(xiàn)了火焰的三維溫度場重建。本課題組在火焰輻射光場成像模型和溫度場三維重建也進行了持續(xù)的研究和探索[19-20]:結合光場重聚焦技術和光學分層法,實現(xiàn)了火焰的三維溫度場分層重建,提出多曝光時間的圖像融合測溫方法和基于阻尼最小二乘QR分解和列文伯格馬夸爾特算法(damping least squares QR decomposition-Levenberg-Marquardt with boundary constraint,LSQR-LMBC)的光場火焰三維溫度場重建。

在對光場圖像進行三維重建時,由于受到光場相機本身結構的限制,獲取的光場圖像分辨率不高,以致影響了三維重建的精度。因此,光場圖像的超分辨率重建也是目前許多研究人員關注的熱點。Lim等[21]通過數(shù)學方法解釋了四維光場的角度數(shù)據(jù)如何包含空間信息,并根據(jù)角度數(shù)據(jù)提供的冗余信息增強空間分辨率。Alain等[22]將不適定的超分辨率問題轉換為基于稀疏先驗的優(yōu)化問題,通過在光場5D塊匹配濾波(light field block-matching and 5D filtering,LFBM5D)和反投影之間迭代,實現(xiàn)超分辨率光場圖像的目標。Rossi等[23]采用類似多幀的超分辨率方法,并與圖正則化(graph based regularization,GB)器耦合,避免了代價高昂的視差估計步驟。近年來,基于學習的方法成為超分辨率光場圖像的主要研究方向。Yoon等[24]首先提出基于卷積神經(jīng)網(wǎng)絡的光場超分辨率算法(light field convolutional neural network,LFCNN),通過級聯(lián)空間超分辨率網(wǎng)絡和角度超分辨率網(wǎng)絡,先增強每個子孔徑圖像的空間分辨率,再利用相鄰視圖之間的信息生成新穎視圖。Farrugia等[25]表明光場補丁塊存在于低維子空間中,并通過嶺回歸(ridge regression,RR)學習降維子空間之間的映射,該方法也被擴展于角度超分辨率。這些光場超分辨率方法在進行性能評估時,常會與經(jīng)典的雙三次插值方法(bicubic interpolation,BIC)[26]和基于卷積神經(jīng)網(wǎng)絡的單圖像超分辨率方法(very deep convolutional network,VDSR)[27]進行對比。

非透明場景在成像時,圖像傳感器上的像素值僅與其表面發(fā)出的光線有關。對于半透明自發(fā)光火焰,將其視作一個個微元體組成的模型,每一個微元體發(fā)出輻射光線并穿過其他微元體進入到光場相機中,在傳輸過程中發(fā)生吸收、發(fā)射和散射,圖像傳感器接收到的輻射光線不僅與火焰表面微元體有關,也與火焰內(nèi)部微元體有關?，F(xiàn)有光場超分辨率算法應用在火焰介質上的效果如何需要進一步實驗和分析。

本文采集三種不同類型火焰的光場圖像,選取具有代表性的超分辨率算法:LFBM5D,GB,RR,LFCNN,BIC和VDSR進行超分辨率重建,從重建精度、視圖一致性、視覺感知和光場極線平面圖(epipolar plane image,EPI)[28]多個維度評估重建性能,并和公共數(shù)據(jù)集EPFL中的非透明光場圖像的處理結果進行比較,探討火焰半透明介質的光場超分辨率重建的可行性和改進方向。

1 超分辨率重建和評價方法

1.1 重建方法

LFBM5D稀疏編碼算法的核心思想是利用光場角度和空間維度上的冗余,以及自然圖像中出現(xiàn)的自相似性。算法中使用了硬閾值,硬閾值算法簡單,但是適應性較差、去噪效果不佳。這個方法適合于寬基線和低放大倍數(shù)的光場。

基于圖正則化的方法GB使用不同光場視圖中的信息來增強整個光場的空間分辨率。特別是,將多幀范式與強制光場結構的圖正則化器耦合,避免了昂貴且具有挑戰(zhàn)性的視差估計步驟。其超分辨率結果可以有效提升中央視圖的重建精度,但側視圖的重建質量還有待加強。

基于線性子空間投影的方法RR允許在光場的所有子孔徑圖像中以一致的方式增加不同視圖的空間分辨率。該方法優(yōu)點在于不需要大量的樣本進行訓練,但是對不同的數(shù)據(jù)集需要專門的訓練。另外在投影到線性子空間的過程中,可能存在部分信息丟失。

基于卷積神經(jīng)網(wǎng)絡的方法LFCNN的空間超分辨率網(wǎng)絡僅由三個卷積層組成,重建結果相比雙線性插值和雙三次插值都有所提高,同時驗證了超分辨率后的光場圖像可以有效提升深度估計時的精度。

雙三次插值方法BIC是一種單圖像的超分辨率方法,僅對每個子孔徑圖像單獨放大,無法利用視圖間的角度信息。通過兩個多項式插值三次函數(shù),計算得到目標圖像的對應像素點的值。相比于雙線性插值,可以得到更接近高分辨率圖像的放大效果和更平滑的圖像邊緣,但也導致了運算量的急劇增加。

基于神經(jīng)網(wǎng)絡的單圖像超分辨率方法VDSR結合殘差塊構建了非常深的神經(jīng)網(wǎng)絡。超分辨率的結果顯示,VDSR方法的輪廓清晰生動,在去噪和壓縮偽影去除上有較好的效果。

1.2 評價方法

在圖像的超分辨率重建領域,峰值信噪比(peak signal to noise ratio,PSNR)和結構相似性指數(shù)(structural similarity index measure,SSIM)[29]常用作重建質量的測量方法,PSNR的數(shù)值越大,則表示重建精度越好,SSIM是一個0到1之間的數(shù),越大表示輸出圖像和無失真圖像的差距越小。相比于傳統(tǒng)圖像,光場圖像可以認為是從空間的不同角度對同一場景進行捕捉得到的圖像,光場圖像的多視角圖像間包含著視差信息,由視差信息可以求得場景的3D點云。子孔徑圖像間重建精度的標準差越小,說明光場的整體重建質量越高[22]。光場圖像相對于傳統(tǒng)圖像的主要優(yōu)勢之一是可以獲得對極平面圖像EPI,它是具有恒定角度(垂直分辨率)和空間方向(水平分辨率)的2D切片。由于EPI僅由具有各種斜率的線組成,因此它使圖像處理和優(yōu)化易于處理。為此,本文將從重建精度、視圖一致性、光場EPI和視覺感知四個維度進行超分辨率重建分析。

2 實驗與分析

2.1 光場圖像的采集和預處理

火焰光場圖像使用Lytro Illum光場相機拍攝所得,火焰的光場圖像如圖1,圖1中(a)為火焰光場的多視角圖,其中(U,V)為角度坐標,(x,y)為空間坐標。(b)為采集火焰的中心視角圖。

圖1 火焰光場圖像Figure 1 Light field image of flame

由Lytro Illum拍攝的光場圖像的空間分辨率為434×625,角度分辨率為15×15,考慮到光場相機的實際圖像在邊緣角度處存在漸暈效果,僅選用中間的9×9的視角圖。

在調用超分辨率方法前,對于LFBM5D方法,僅調整其中的角度分辨率參數(shù)為9×9。對于涉及多個參數(shù)的GB方法,選擇翹曲模式為“SQ”,能量函數(shù)的權重分別為1.0、0.2和0.005 5。對于RR方法,使用基礎的主成分分析(principal component analysis,PCA)算法和從作者提供數(shù)據(jù)集學習的轉換矩陣。對于LFCNN方法,使用原文的訓練數(shù)據(jù)集,并使用K折交叉驗證策略來訓練。對于單圖像VDSR,使用原文訓練的網(wǎng)絡。

2.2 重建精度

圖像的重建精度主要通過峰值信噪比PSNR和結構相似性指數(shù)SSIM兩個指標進行評價。

火焰光場圖像都是大面積單一的黑色背景,這樣的特征會導致重建精度的結果虛高,從而影響對重建效果的判斷。為了減少背景的影響,通過火焰輪廓的水平和垂直方向切線來框選火焰主體,裁剪掉邊框外的背景部分。由于針對同一類型火焰一組圖片的重建精度效果相當,因此從每種類型的火焰中各選出一幅作為重建精度展示。表1中列出酒精_01、蠟燭_01和礦物油_01超分辨率重建后的定量評價,其中黑色加粗代表評價指標最優(yōu),下劃線代表評價指標次優(yōu)。

表1 火焰光場在六種超分辨率方法下的PSNR和SSIMTable 1 PSNR and SSIM of flame light field using six super resolution methods

從表1可以看到,對于酒精火焰光場和礦物油火焰光場,GB方法的重建精度都最高,這得益于其加入了圖正則化器,能夠從不同視圖中獲取信息。LFCNN方法表現(xiàn)也不錯,通過卷積神經(jīng)網(wǎng)絡直接學習了低分辨率光場圖像到高分辨率光場圖像的映射,利用了不同視圖間的有效信息,而不用考慮火焰輻射和光場成像模型。BIC方法雖然沒有加入各種光場先驗信息,但在酒精火焰重建上僅次于GB方法,由此可見,大部分光場超分辨率方法不能有效提取火焰光場中的冗余信息。RR方法也利用了視圖間的冗余信息,并通過多元嶺回歸學習低分辨率到高分辨率的映射,但是由于PCA降維過程會丟失一些信息,最終結果還具有提升空間。VDSR方法表現(xiàn)中等,因為該方法只對每個子孔徑圖像單獨進行超分辨率重建,如果加入視圖間的冗余信息應該能有更好的效果。LFBM5D的重建精度和以上五種方法有明顯差距,這是由于該方法主要適用于寬基線數(shù)據(jù),而Lytro光場相機拍攝的光場圖像基線非常窄,使得該方法在進行稀疏編碼和反投影操作時性能受限。

對于蠟燭火焰光場,由于出現(xiàn)了過曝情況,內(nèi)焰和外焰已經(jīng)無法區(qū)分,失去了半透明的特性,在不同方法的處理效果上將和非透明光場進行比較。

從光場公共數(shù)據(jù)集EPFL上選取了三幅非透明場景的光場圖像來和火焰光場的重建效果進行對比。為了和火焰光場圖像的分辨率保持一致,將空間分辨率和角度分辨率分別調整為434×625和9×9,其中心視角圖如圖2。

圖2 EPFL非透明光場的中心視角圖Figure 2 Central views of the selected non transparent light field images of EPFL

圖3展示了不同類型火焰光場和EPFL非透明光場在六種選定的超分辨率方法下重建精度的對比。

圖3 火焰與EPFL非透明光場的重建精度對比Figure 3 Comparison of reconstruction accuracy of flame and EPFL non transparent light field

從圖3中可以看出,半透明狀態(tài)的火焰酒精_01和礦物油_01由于場景簡單,在不同超分辨率方法下的重建精度都高于EPFL非透明光場。過曝的火焰蠟燭_01雖然場景也十分簡單,但是內(nèi)焰與外焰已經(jīng)無法區(qū)分,不再符合燃燒的特征,其重建精度介于半透明火焰和EPFL非透明光場之間。另外,半透明火焰的場景間沒有遮擋,內(nèi)外焰結構分明,對于通過光場結構特性進行超分辨率的方法,特別是GB,可以有效找到待重建點在不同視圖上的正確投影位置,這也使得GB在半透明火焰上的重建精度高于基于學習的方法。過曝的火焰在基于學習的VDSR和LFCNN上都有不錯的效果,這和EPFL非透明光場的重建結果是一致的,也說明半透明火焰的特征與非透明光場的特征存在差異,想要通過學習的方法提高半透明火焰光場的分辨率,應該創(chuàng)建對應的火焰光場數(shù)據(jù)集。

2.3 視圖一致性評估

對于視圖一致性的評估應當回歸到光場多視角圖像中,當每一個子孔徑圖像的重建精度相近時,才能保證其中包含的視差信息得到保留。為此,對每幅光場所有視圖的PSNR值計算了標準差(standard deviation,SD),標準差越大說明重建精度的離散程度越大,視圖一致性越差。同時為了更直觀的表現(xiàn)視圖一致性,將每一個子孔徑圖像的PSNR映射到色塊矩陣中,每個色塊代表一個視圖。圖4的(a)、(b)和(c)分別為半透明火焰光場的酒精_01、過曝火焰蠟燭_01和EPFL非透明光場的Danger_de_Mort的色塊矩陣圖。視圖一致性主要表現(xiàn)在邊緣視角和中心視角位置,為了便于展示,從中選取了角度分辨率為1,3,5,7,9的色塊,這一操作并不影響評估結果。

圖4 色塊矩陣圖Figure 4 Color block matrix

從方差的結果可以看出,半透明火焰酒精_01在不同超分辨率方法下的視圖一致性均好于過曝的火焰蠟燭_01和EPFL非透明光場的Danger_de_Mort。半透明介質在光場成像時,內(nèi)部光線雖然被外部光線遮擋,但是內(nèi)外光線形成一束疊加的光線投影到光場圖像上,介質的內(nèi)外信息都被采集到了。非透明場景因為存在遮擋問題,在光場成像時被遮擋的點只能投影到一部分視圖上,對于整個光場來說,采集的信息是殘缺的,因此在超分辨率重建時不同視圖重建精度的離散程度比較大。從色塊矩陣中可以看出,重建質量最高的視圖位置與場景中明亮的位置對應。光場多視角圖可以理解為從不同視角拍攝的圖像,自然越是靠近明亮位置的視角成像質量越好。

2.4 光場EPI

場景中的點在EPI圖像上表現(xiàn)為一條斜線,這條斜線的斜率與場景點的深度有關。以礦物油_02和Color_Chart_1為例,紅色標線為選取的EPI圖像的空間坐標位置,從不同視角提取該行像素,然后沿著角度坐標堆疊,即可得到EPI圖像(圖5)。

圖5 不同超分辨率方法下的EPI對比Figure 5 EPI comparison of different super resolution methods

從重建后的EPI上可以看出,火焰光場和非透明光場在不同超分辨率方法下表現(xiàn)基本相同,都是在LFBM5D方法和RR方法上產(chǎn)生了偽影,在GB方法上效果較好,在LFCNN和VDSR方法上效果次之,在BIC方法上較為模糊。

2.5 視覺感知評估

相比于客觀的數(shù)值計算,人眼的主觀感受也是評價圖像重建好壞的一個要素。通過人眼觀察可以直觀感受重建后的圖像在哪些方面表現(xiàn)較好,在哪些方面變現(xiàn)較差。在視覺感知評估中,從半透明火焰光場和EPFL非透明光場中分別選取了礦物油_01和Danger_de_Mort圖像,并放大局部細節(jié)。具體如圖6。

圖6 不同超分辨率方法下中心視圖的視覺比較Figure 6 Visual comparison of center view under different super-resolution methods

可以看到,在礦物油_01上,LFBM5D在內(nèi)焰邊緣產(chǎn)生了一些偽影,GB在外焰到內(nèi)焰的過渡上存在不自然現(xiàn)象,RR方法則在內(nèi)焰邊緣較為模糊,LFCNN與VDSR方法相差不大,表現(xiàn)都十分不錯。這說明基于學習的方法在端到端的學習過程中沒有引入過多冗余信息,保持了較好的視覺感知效果。

在Danger_de_Mort圖像上,LFBM5D和RR方法產(chǎn)生了偽影,GB的視覺效果在BIC和LFCNN之間,基于學習的LFCNN和VDSR方法均優(yōu)于其他方法。

從視覺感知的結果來看,火焰光場在現(xiàn)有光場超分辨率方法下與非透明光場重建效果相近。

3 結 論

在本文中,將現(xiàn)有光場超分辨率方法應用在火焰這種半透明自發(fā)光介質上,結果顯示,火焰光場的重建精度值明顯高于非透明光場,這主要是由于火焰結構相對于非透明光場結構簡單且場景單一。對于半透明火焰光場,GB方法針對光場結構構造約束項,能適應不同類型的光場,重建精度最高;在視圖一致性上,半透明火焰在光場成像時,隨著視角的變化,內(nèi)焰和外焰的不同組合疊加著投影到傳感器上,非透明物體光場成像時只與表面的反射光線有關,且場景間的遮擋僅在部分視角上成像,因此半透明火焰光場的超分辨率離散程度也低于非透明光場;在視覺感知和光場EPI上,火焰光場與非透明光場重建效果較為相同,都在BIC方法上較為模糊,在LFBM5D和RR方法上產(chǎn)生了偽影。

未來在基于火焰的光場超分辨率研究上,應當從火焰的輻射模型和光場成像模型入手,耦合內(nèi)外焰與傳感器每個像素的關系,同時利用光場結構的獨特性,從不同視圖中提取冗余信息。對于卷積神經(jīng)網(wǎng)絡等基于學習的方法,主要是創(chuàng)建大量的火焰光場數(shù)據(jù)集,從端到端學習低分辨率和高分辨率之間的映射。