劉賓 潘毅華 閆文敏

1) (中北大學(xué)信息與通信工程學(xué)院,太原 030051)

2) (瞬態(tài)沖擊技術(shù)重點實驗室,北京 102202)

光場成像技術(shù)可以通過場景的光場信息實現(xiàn)場景全聚焦圖像合成和背景目標的去遮擋重聚焦等應(yīng)用,其中如何有效評價圖像中的聚焦區(qū)域是進行上述應(yīng)用的前提.但是,傳統(tǒng)成像系統(tǒng)離焦物體的點擴散特性與光場重聚焦圖像中離焦特性存在本質(zhì)差異,因此基于離焦物點擴散特性的評價標準無法適用光場重聚焦圖像的聚焦度評價.針對上述問題,本文從光場成像重聚焦的原理出發(fā),分析離焦目標圖像的虛化特征,設(shè)計光場重聚焦圖像的聚焦度評價函數(shù),在此基礎(chǔ)上研究了聚焦區(qū)域的精細化分割方法.光場重聚焦實驗和去前景遮擋重聚焦實驗表明了本文方法在光場重聚焦圖像聚焦度評價中的有效性.

1 引 言

目前,光場成像中前景目標的標記通常基于場景深度分布信息,但是利用場景光場數(shù)據(jù)對深度分布進行估計需要繁瑣的計算過程,并且當(dāng)場景復(fù)雜時深度分布的計算存在較大誤差,影響重建質(zhì)量[4].另一方面,人們考慮利用聚焦和散焦區(qū)域的圖像的清晰度紋理銳度特征對離焦區(qū)域進行判決[5-10].但是現(xiàn)有空域和頻域的清晰度評價函數(shù)均以傳統(tǒng)成像系統(tǒng)散焦模型為基礎(chǔ),即散焦函數(shù)建模時遵循彌散斑擴散規(guī)律[11-15].然而光場重聚焦成像過程中離焦目標的虛化是由多視角圖像錯位疊加而成,過程中場景的紋理和邊緣信息在一定程度上得到保留,宏觀上表現(xiàn)為模糊的區(qū)域,其中仍然包含大量的高頻信息[16,17].而傳統(tǒng)成像模型基于彌散斑擴散機理的建模規(guī)律與數(shù)字重聚焦過程存在較大差異,因此現(xiàn)有評價方式不能夠很好地適用.

鑒于此,本文從光場重聚焦計算成像的基本原理出發(fā),分析離焦物體虛化的本質(zhì),提出適用于計算重聚焦的聚焦度判別方法,并將本文算法應(yīng)用到復(fù)雜場景的去遮擋聚焦重建中,結(jié)果表明本文算法能夠有效標記和分離虛化偽影信息,保證場景中局部被遮擋目標的高質(zhì)量聚焦重建.

2 光場表征及光場重聚焦原理

光場是對空間光輻射方向和強度信息的參數(shù)化表示,它反映了光輻射強度的分布位置與傳播方向的映射關(guān)系.根據(jù) 光場渲染理論,其被簡化為四維光場函數(shù) L(u,v,s,t) ,其中u,v和s,t分別表示輻射光線與空間兩平面交點坐標,從而可以通過空間兩點來描述輻射場中的任意一條光線[18,19],如圖1所示.

圖1 光場的雙平面表示方法示意圖Fig.1.Schematic diagram of biplane representation of light field.

若將傳統(tǒng)成像系統(tǒng)的光瞳平面和探測器平面對應(yīng)到雙平面模型中兩個相互平行的平面,可以認為探測器平面上的任一點s,t的探測數(shù)值是經(jīng)過光瞳平面的不同方向光輻射的積分.可見傳統(tǒng)成像系統(tǒng)無法對光輻射的方向和位置進行區(qū)分,但是如果將相機按照一定的規(guī)律進行移動形成虛擬相機陣列,從多個視角對同一場景進行成像,便可以有效獲取場景輻射的光場信息.

以視點的一維運動構(gòu)成的 1×N 虛擬相機陣列為例進行詳細分析,相機在移動過程中光軸相互平行,且均垂直于視點組成的空間平面,移動步進表示為B.

如圖2所示,場景中物點M距相機陣列距離為z,Re為參考視點,f為相機焦距,對于視點n和Re來說,其光心與M的連線與成像平面相交,交點為M在成像平面上的投影點,分別距圖像左端的距離為 Sn與 Sr,根據(jù)三角幾何關(guān)系：

總之，在高中物理教學(xué)中進行合理的問題設(shè)計可以啟發(fā)學(xué)生的智慧，鍛煉學(xué)生的思維，讓學(xué)生更好的認識物理規(guī)律，掌握物理知識本質(zhì)，并能培養(yǎng)學(xué)生的科學(xué)態(tài)度與責(zé)任，運用物理知識更好的為人類服務(wù)的意識.

其中,Sr-Sn為M點在n與 Re視點對應(yīng)圖像中的視差,表示為 Δd ,則可得

重聚焦過程中,為保證重建圖像對應(yīng)特定深度目標的清晰度,需要消除各視點對應(yīng)圖像中目標物的視差.假設(shè)M點為重聚焦所在物面,則各視點對應(yīng)圖像的去視差結(jié)果表示為

其中 ΔBn表示視點n與參考視點間的距離,τ=f/z 為調(diào)焦系數(shù),In,z表示為相機n對焦至深度z下的圖像,s表示所有物點在原始圖像的位置,s′表示經(jīng)變換的物點所在的新位置.

可以通過調(diào)整 τ 值的大小對焦至不同深度z對應(yīng)的目標.將去視差后的多視點圖像進行求和平均,得到對焦至M點所在物面的重聚焦圖像.

將(4)式進行二維擴展可以獲得二維虛擬相機陣列各視點對應(yīng)圖像的去視差結(jié)果,表示為

圖2 多視點合成孔徑成像系統(tǒng)示意圖Fig.2.Schematic diagram of a multiview synthetic aperture imaging system.

3 重聚焦圖像離焦目標特征及聚焦評價函數(shù)

由第2節(jié)分析可知,光場重聚焦過程是通過調(diào)節(jié)調(diào)焦系數(shù)實現(xiàn)場景中指定深度物面的重建過程.過程中多視點獲取的圖像序列按照(5)式進行線性平移獲取去視差圖像序列,所謂的去視差是針對特定深度聚焦面目標而言,而離焦面目標經(jīng)過平移變換后仍然存在一定視差.最終將經(jīng)過去視差的圖像序列進行疊加平均,聚焦面目標得到增強而非聚焦面目標均會產(chǎn)生虛化.

但是該過程表現(xiàn)的虛化與傳統(tǒng)成像系統(tǒng)的離焦過程存在較大差異,傳統(tǒng)成像系統(tǒng)中偏離聚焦平面的物點表現(xiàn)為一定尺寸的彌散斑,場景中離焦目標物點所成的像彼此重疊從而導(dǎo)致圖像變得模糊.而數(shù)字聚焦過程中偏離聚焦平面的目標在任意視點的圖像中若表現(xiàn)為清晰的邊緣或紋理時,由于視差的存在導(dǎo)致疊加后的圖像對應(yīng)區(qū)域的結(jié)構(gòu)紋理或邊緣信息仍然有突出的表現(xiàn).

圖3 重聚焦至場景不同深度時離焦目標的虛化特征 (a) 重聚焦至前景(花為聚焦目標物); (b) 重聚焦至后景(畫報為聚焦目標物)Fig.3.The blurring characteristics of defocused target when refocusing to different depth of the scene：(a) Refocus to the foreground (flower is the focus object; (b) refocus to the background (pictorial is the focus object).

如圖3所示,重聚焦到不同物面時,離焦目標區(qū)域邊緣和紋理結(jié)構(gòu)信息仍然保留.離焦面區(qū)域在宏觀方面表現(xiàn)為虛化,但是從細節(jié)方面可以看出：原始場景中的目標邊緣或紋理信息仍然被較好地保留.并且場景中前景目標虛化造成的模糊疊加在聚焦物面上,形成虛化偽影.因此采用傳統(tǒng)成像系統(tǒng)的聚焦評價函數(shù)無法有效適用.

鑒于上述問題,本文從光場重聚焦的原理出發(fā),分析重聚焦計算造成離焦目標虛化的特征.可以看出：離焦面上的物點在多視圖像序列對應(yīng)位置處的像素值由于視差的存在表現(xiàn)出較大差異,而聚焦面上的物點由于視差完全消除而表現(xiàn)出較好的一致性.因此,本文以指定聚焦因子情況下重聚焦圖像像素值與多視點去視差后圖像序列對應(yīng)位置處的像素值的差異程度作為聚焦度評價的依據(jù),構(gòu)造評價函數(shù)為

(6)式為重聚焦圖像在 (s,t) 位置處的聚焦度評價函數(shù),其中 Sz(s,t) 為重聚焦圖像,In,z(s,t) 為各視點按照聚焦因子去視差后的圖像,N表示視點數(shù)量.可以看出函數(shù) C(s,t) 越小,聚焦效果越好.根據(jù)這一規(guī)則,設(shè)置合適閾值對重聚焦圖像進行遍歷,確定像素的聚焦度并進行分類.

4 聚焦區(qū)域的精細化分割

遍歷重聚焦圖像對像素聚焦程度進行判別并標記,初步判定可將其劃分為聚焦、離焦和不確定三種類型.但是,基于上述分類結(jié)果無法實現(xiàn)聚焦區(qū)域和非聚焦區(qū)域的分割和提取.因此,本文采用的自然圖像分割算法[20,21]對初始分類圖像進行精細化處理,以實現(xiàn)最終聚焦區(qū)域提取.該方法以顏色的局部平滑性假設(shè)為前提,將圖像表示為前景F和背景B的組合.假設(shè)圖像像素為前景的概率 α ,圖像可以表示為

其中i表示像素坐標,則

其中,wjj是以j為中心的窗口,ε 為正則項.計算獲得關(guān)于 α 的二次代價函數(shù)

其中L為一個拉普拉斯摳圖矩陣,表達式為

δ為克羅內(nèi)克符號函數(shù),μk和 σk為k所在窗口的像素大小均值及方差,通過求解獲取全局最優(yōu)的 α 值.按照上述圖像分割方法,將初始標記的圖像作為輸入,便可得到精細化分割的結(jié)果.

5 實驗與結(jié)果分析

本文實驗選用Stanford大學(xué)相機陣列拍攝的室內(nèi)場景數(shù)據(jù)集,場景由盆栽、CD盒、儲物瓶和海報組成,盆栽作為場景的前景目標,CD和海報在多視點均被前景目標部分遮擋.數(shù)據(jù)集由105個視點圖像組成,視點排列為5行21列,單視點圖像分辨率為515×650.

實驗一針對前景盆栽目標進行重聚焦重建,分別采用傳統(tǒng)聚焦度判別算法和本文算法對重建圖像聚焦區(qū)域進行標記.并以標記圖像為基礎(chǔ)輸入信息,對其進行精細化處理,實現(xiàn)前景目標的分割.

圖4 (a)和圖4 (b)中白色區(qū)域表示聚焦區(qū)域,黑色區(qū)域為離焦區(qū)域,保持原色的區(qū)域為不確定區(qū)域.可以看出,采用傳統(tǒng)像素級聚焦度判別算法時,由于重聚焦過程離焦物體的邊緣和紋理信息對聚焦度判別形成干擾,聚焦度評價誤判嚴重,如場景中CD盒邊緣、畫報邊緣和儲物瓶印刷圖案等區(qū)域均出現(xiàn)誤判，如圖4 (a)示.以此結(jié)果為基礎(chǔ)輸入精細化處理過程,造成聚焦和離焦目標無法有效區(qū)分,精細化處理過程中無法實現(xiàn)前景目標的分割，如圖4 (c)所示.采用本文方法能夠有效克服背景目標邊緣和紋理信息等造成的誤判問題,聚焦度判決誤差小，如圖4 (d)所示.雖然部分前景目標被歸屬為不確定區(qū)域,但是可以通過精細化處理后得到較好的擴充,最終實現(xiàn)前景目標的分割.

實驗二利用本文提出的重聚焦判決方法,首先獲取場景的前景目標并進行標記,進而調(diào)整聚焦因子將重聚焦平面向后景推移,并且對前景射線進行篩選剔除,進而實現(xiàn)后景目標的去遮擋聚焦重建.

場景中盆栽為前景目標,其對后景CD盒造成一定的遮擋,圖5(a)為參考視點圖像,圖5(b)為沒有布設(shè)盆栽的場景參考視點圖像.利用多視點采集場景的光場信息進行重聚焦成像,調(diào)整聚焦因子使系統(tǒng)重聚焦至CD盒所在物面,如圖5(c)所示,重聚焦圖像中前景目標雖然在一定程度上得到虛化,但是仍然會疊加到聚焦目標上,形成虛化偽影,嚴重影響圖像重建的質(zhì)量.如圖5(d)若采用本文方法對場景前景目標進行標記和提取,并在重建過程中剔除目標輻射光線的影響,則重聚焦結(jié)果可以有效消除前景的虛化偽影,提升重聚焦質(zhì)量.

圖像結(jié)果的質(zhì)量評價可以采用峰值信噪比(peak signal to noise ratio,PSNR)和平均結(jié)構(gòu)相似度(mean structural similarity index measure,MSSIM)對實驗結(jié)果進行定量評價,其中PSNR值越高,表明重建結(jié)果與原圖更為接近,MSSIM范圍為0-1,其值越接近1,表明重建圖像與原始圖像更為接近.可以看出經(jīng)過本文方法去遮擋重建后的質(zhì)量相比直接重聚焦重建圖像在信噪比和結(jié)構(gòu)相似度方面均有很大改善.

6 結(jié) 論

針對光場重聚焦圖像散焦區(qū)域的特征進行分析,在與傳統(tǒng)成像模型離焦模型對比的基礎(chǔ)上,從光場重聚焦的原理出發(fā),提出重建圖像聚焦度判決函數(shù),并進一步研究了重聚焦圖像聚焦區(qū)域的精細化分割算法.

理論分析和實驗結(jié)果表明,本文將重建圖像聚焦度判決回歸到去視差圖像序列的像素值偏差的評價方法是有效的.相對于傳統(tǒng)的聚焦度判決方法,本文方法可以有效地克服場景目標邊緣和紋理信息在離焦區(qū)域的影響,對光場重聚焦圖像的聚焦度判決具有更好的適應(yīng)性.同時利用本文方法對場景中前景目標進行標記和篩選,在場景后景目標重聚焦過程可以有效克服前景虛化疊加在聚焦物上的偽影,提升了重建質(zhì)量.并且本文方法無需復(fù)雜的計算過程,具有較高的效率.