白 燁,尹 晶,曹 正,杜麗萍,遲金陽(yáng),沙彥福

(1.長(zhǎng)春電子科技學(xué)院,吉林 長(zhǎng)春 130114；2.長(zhǎng)春理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院,吉林 長(zhǎng)春 130022)

1 引 言

深度信息能夠直接反映出目標(biāo)物體中各點(diǎn)相對(duì)于攝像機(jī)的距離。精準(zhǔn)的深度信息在計(jì)算機(jī)視覺(jué)領(lǐng)域中有著至關(guān)重要的應(yīng)用價(jià)值。因此,深度估計(jì)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域中的熱點(diǎn)課題,在圖像分割、三維重建、目標(biāo)識(shí)別等方面得到了廣泛的應(yīng)用。

1939年,Gershun等人[1]首次提出了光場(chǎng)的概念,即可以分辨和記錄空間中任意點(diǎn)發(fā)出的任意方向的光的集合。1991年Adelson等人[2]將光場(chǎng)理論應(yīng)用到機(jī)器視覺(jué)中,并將其表示成七維函數(shù)。由于七維函數(shù)過(guò)于復(fù)雜,難以記錄以及編程實(shí)現(xiàn),Levoy等人[3]將七維函數(shù)簡(jiǎn)化成四維函數(shù)。2005年和2011年分別出現(xiàn)了首臺(tái)手持式光場(chǎng)相機(jī)[4]和便攜式光場(chǎng)相機(jī)。

近年來(lái),隨著光場(chǎng)技術(shù)的不斷發(fā)展,光場(chǎng)圖像的深度估計(jì)成為深度估計(jì)方向的研究熱點(diǎn)。目前,光場(chǎng)圖像的深度估計(jì)研究已經(jīng)取得顯著進(jìn)展[5]。Tao等人[6]提出了將散焦線索與匹配線索融合的方法,該方法將四維的極平面圖像進(jìn)行梯度的檢測(cè)及計(jì)算,然后通過(guò)馬爾科夫隨機(jī)場(chǎng)對(duì)兩個(gè)線索進(jìn)行融合,但是該方法估計(jì)的錯(cuò)誤信息較多,并且不能較好地處理遮擋區(qū)域。Jeon等人[7]提出基于相移的亞像素多視角立體匹配算法,通過(guò)構(gòu)建目標(biāo)函數(shù)來(lái)進(jìn)行深度估計(jì),提高了估計(jì)精度,但該方法仍然無(wú)法較好地處理遮擋區(qū)域。為此,Wang等人[8-9]提出了光場(chǎng)遮擋理論,通過(guò)將一個(gè)角度像素塊分割成兩個(gè)區(qū)域,得到了較好的邊緣深度效果,但該方法只能處理單遮擋的情況。在此方法的基礎(chǔ)上,Jia等人[10]通過(guò)分別計(jì)算角度像素塊中的多個(gè)區(qū)域中的修正方差來(lái)獲得初始深度圖,利用馬爾科夫隨機(jī)場(chǎng)進(jìn)行細(xì)化,較好地處理多遮擋的問(wèn)題,但是同時(shí)也會(huì)導(dǎo)致部分邊緣不平滑。在深度學(xué)習(xí)方面,何也等人提出了一種具有多通道信息高效融合結(jié)構(gòu)的特征融合網(wǎng)絡(luò),提高了深度估計(jì)效率,但仍無(wú)法處理遮擋問(wèn)題[11]。為此,針對(duì)多遮擋問(wèn)題,提出了改進(jìn)的深度估計(jì)算法,該算法不僅可以解決深度估計(jì)中多遮擋的問(wèn)題,還可以保持邊緣的平滑性。

2 光場(chǎng)成像與遮擋問(wèn)題

2.1 光場(chǎng)成像技術(shù)

近些年,隨著計(jì)算光學(xué)理論、計(jì)算成像技術(shù)、數(shù)字圖像處理技術(shù)的融合發(fā)展,解決了一些光場(chǎng)成像原理方面的技術(shù)瓶頸,并出現(xiàn)了光場(chǎng)相機(jī)等有代表性的研究成果,標(biāo)志著光場(chǎng)成像技術(shù)取得了一些重大的技術(shù)突破[12-14]。

為了更加直觀地理解光場(chǎng)原理,使用參數(shù)化模型表示光場(chǎng)信息。目前常用的表示方式是“雙平面”參數(shù)化模型,如圖1所示。該模型使用平面uv和平面st來(lái)參數(shù)化表示光場(chǎng),即函數(shù)L(u,v,s,t)。uv和st相互平行,空間中的光線與這兩個(gè)平面相交,交點(diǎn)的坐標(biāo)分別使用(u,v)和(s,t)表示。

圖1 “雙平面”參數(shù)化模型

2.2 光場(chǎng)遮擋問(wèn)題分析

利用軟件對(duì)光場(chǎng)圖像選擇不同的焦點(diǎn)進(jìn)行重聚焦。Ng Ren等人[4]提出了通過(guò)剪切重新聚焦光場(chǎng)圖像的方法,其中重聚焦光場(chǎng)數(shù)據(jù)可以由公式(1)表示:

式中,x和y分別為原空間坐標(biāo)值;u和v分別表示原角度坐標(biāo)值;α是聚焦系數(shù);Lα為剪切α值后重聚焦的光場(chǎng)圖像數(shù)據(jù)。

在深度估計(jì)領(lǐng)域中,由于遮擋的存在會(huì)導(dǎo)致信息缺失,因此,如何精準(zhǔn)的估計(jì)出遮擋處的深度信息始終是需要解決的技術(shù)難題之一,當(dāng)然對(duì)于光場(chǎng)圖像的深度估計(jì)也不例外。光場(chǎng)圖像中的遮擋情況一般分為無(wú)遮擋、單遮擋、多遮擋三種,本文主要處理的是多遮擋情況。

假設(shè)場(chǎng)景中有兩個(gè)遮擋物,圖2(a)和圖2(b)分別表示遮擋邊緣像素p的空間像素塊和角度像素塊的形成過(guò)程,左邊的三個(gè)圓表示空間域中的三個(gè)相鄰像素。如圖2(a)中所示,像素n被遮擋物1所遮擋,像素m被遮擋物2所遮擋。如圖2(b)中所示,同一物體角度像素塊的像素位置與空間像素塊的像素位置相對(duì)應(yīng)。由此可知,對(duì)于空間中的同一個(gè)點(diǎn),當(dāng)重聚焦到準(zhǔn)確的深度時(shí),在空間像素塊和角度像素塊中的像素具有相同的相對(duì)位置關(guān)系。

(a)空間像素塊

3 光場(chǎng)抗遮擋的改進(jìn)算法

3.1 改進(jìn)的遮擋區(qū)域的邊緣提取算法

利用光場(chǎng)圖像進(jìn)行深度估計(jì)的過(guò)程中,遮擋的存在使預(yù)測(cè)得到的深度值的精確度降低,甚至無(wú)法獲取深度值。為此,常用的方法是將光場(chǎng)圖像分為遮擋邊緣區(qū)域和內(nèi)部區(qū)域,并分別采用不同的處理方法。遮擋處的邊緣提取不僅可以減少內(nèi)部像素的多余處理還可以提高深度估計(jì)的精度。因此,遮擋處的邊緣提取是光場(chǎng)圖像深度估計(jì)中一個(gè)至關(guān)重要的技術(shù),最終處理效果直接影響深度估計(jì)的精度。

在Jia等人[10]使用的Canny邊緣檢測(cè)方法的基礎(chǔ)上,在邊緣檢測(cè)函數(shù)中不使用默認(rèn)的雙閾值,而優(yōu)化設(shè)定高低閾值比值。通過(guò)大量實(shí)驗(yàn)確定Canny邊緣檢測(cè)的高低閾值比為3∶1。高閾值將目標(biāo)物體與背景分開,但由于高閾值會(huì)導(dǎo)致邊緣不連續(xù)或者不平滑,故使用低閾值來(lái)平滑目標(biāo)物體的輪廓線,起到邊緣連接的作用。

3.2 改進(jìn)的AP聚類算法

獲取基于Canny的候選遮擋像素后,通過(guò)顏色差來(lái)劃分其空間像素塊,同時(shí)得到相應(yīng)的角度像素塊的分類結(jié)果。當(dāng)一個(gè)像素重新聚焦到準(zhǔn)確的深度時(shí),其所有的角度像素都將對(duì)應(yīng)于相同的空間點(diǎn),因此它們具有色彩一致性。但是,當(dāng)出現(xiàn)遮擋現(xiàn)象時(shí),一些被遮擋的角度像素將呈現(xiàn)出不同的色彩,故通過(guò)分析角度像素的分布情況對(duì)被遮擋視角的像素和未被遮擋視角的像素進(jìn)行分區(qū)。

如果由于遮擋導(dǎo)致角度像素塊很難獲取時(shí),可以通過(guò)尋找與角度像素塊對(duì)應(yīng)的空間像素塊,解決遮擋處準(zhǔn)確的深度估計(jì)問(wèn)題。對(duì)于處于遮擋邊緣處的像素點(diǎn),與其對(duì)應(yīng)的空間像素塊中的像素點(diǎn)具有相似的色彩和位置信息。根據(jù)該特性,使用AP聚類算法將空間像素塊劃分成多個(gè)區(qū)域,可以很好地預(yù)測(cè)遮擋區(qū)域的深度值[10]。

AP聚類算法由Frey等人[15]提出,它是一種根據(jù)數(shù)據(jù)對(duì)象之間的相似度自動(dòng)聚類的方法。AP聚類算法不需要像K-means等算法一樣預(yù)先確定聚類數(shù)目,可以根據(jù)數(shù)據(jù)對(duì)象之間的相似度自動(dòng)聚類,數(shù)據(jù)對(duì)象之間的相似度可根據(jù)不同情況選擇不同的衡量準(zhǔn)則。對(duì)空間像素塊進(jìn)行分類時(shí),所有數(shù)據(jù)對(duì)象均有可能被視為數(shù)據(jù)中心,聚類的數(shù)目是動(dòng)態(tài)變化的,無(wú)法預(yù)先確定,K-means聚類算法不適合該情況,因此采用AP聚類算法。

AP聚類算法的思想是:通過(guò)消息傳遞搜索區(qū)域內(nèi)各個(gè)數(shù)據(jù)點(diǎn)的數(shù)據(jù)中心以及數(shù)據(jù)點(diǎn)與數(shù)據(jù)中心之間的關(guān)系,根據(jù)數(shù)據(jù)中心和各數(shù)據(jù)點(diǎn)間的關(guān)系對(duì)待聚類數(shù)據(jù)集進(jìn)行劃分,形成若干個(gè)性質(zhì)各異的子集。工作流程首先是計(jì)算并構(gòu)建相似度矩陣；然后不斷迭代吸引度參數(shù)r(i,j)和相似度參數(shù)a(i,j)得到聚類中心；最后根據(jù)聚類中心劃分?jǐn)?shù)據(jù)對(duì)象。其中,r(i,j)代表從i點(diǎn)發(fā)送給j點(diǎn)的數(shù)值信息,反映j點(diǎn)是否合適作為i點(diǎn)的聚類中心,可由公式(2)表示。a(i,j)表示從j點(diǎn)發(fā)送到i點(diǎn)的數(shù)值信息,反映i點(diǎn)是否選擇j作為其聚類中心,可由公式(3)表示。r(i,j)與a(i,j)越大,j點(diǎn)成為聚類中心的概率越大。

(2)

(3)

(4)

然后計(jì)算數(shù)據(jù)點(diǎn)之間交換的r(i,j)和a(i,j)兩種信息。最后空間像素塊產(chǎn)生了理想的聚類中心,同時(shí)將其他像素進(jìn)行合理的分類,可以較好地分離不同區(qū)域的物體。

由于AP聚類算法需要事先計(jì)算數(shù)據(jù)對(duì)象之間的相似度,而光場(chǎng)圖像的數(shù)據(jù)大,故計(jì)算過(guò)程中計(jì)算量巨大。此外,在進(jìn)行迭代和更新的過(guò)程中,還會(huì)出現(xiàn)誤匹配和誤分類的情況,故使用傳統(tǒng)的AP聚類算法,結(jié)合加速算子和迭代加權(quán)更新方法。

帶加速算子[16]的聚類是以每個(gè)聚類中數(shù)據(jù)樣本的均值作為該類別的中心,每一個(gè)類別的數(shù)據(jù)樣本在相關(guān)維度上分布緊密[17],方差與權(quán)重值成反比關(guān)系。數(shù)據(jù)中心Oij與權(quán)重值Uij的關(guān)系由公式(5)表示,加速算子bij可由公式(6)表示,權(quán)重值Uij的更新可由公式(7)表示,系數(shù)sij可由公式(8)表示,其中w為在0到1區(qū)間中的隨機(jī)數(shù)。

(5)

lg(a(i,j))

(6)

(7)

(8)

迭代加權(quán)更新的過(guò)程即不斷更新r(i,j)和a(i,j),直到找到最大的r(i,j)和a(i,j)的數(shù)據(jù)樣本作為聚類中心,之后其他的數(shù)據(jù)各自找到自己所歸屬的類別中,形成不同類別的簇,迭代加權(quán)更新后的r(i,j)和a(i,j)分別可由公式(9)和公式(10)表示。式中,t為迭代的次數(shù),λ在0～1之間,表示阻尼因子,其作用于r(i,j)和a(i,j),以更新上一次迭代的r(i,j)和a(i,j),該參數(shù)的作用是可以讓AP聚類算法具有快速收斂的能力。

(9)

at(i,j)=(1-λ)×|max(0,at(i,j))-s(i,j)|

(10)

改進(jìn)后的AP聚類算法可以有效地提高聚類精度,為以后進(jìn)行深度估計(jì)打下良好的基礎(chǔ)。使用改進(jìn)的AP聚類算法對(duì)空間像素塊進(jìn)行合理的劃分后,依據(jù)分塊的結(jié)果,劃分對(duì)應(yīng)的角度像素塊,隨后在多個(gè)分塊區(qū)域分別計(jì)算匹配代價(jià)進(jìn)行深度估計(jì)。

4 深度估計(jì)

4.1 初始深度估計(jì)

(11)

在定義的兩個(gè)線索中,Ca,i(x,y)是基礎(chǔ)方差,用來(lái)測(cè)量角度像素塊中某個(gè)區(qū)域所有像素之間的一致性,可由公式(12)表示:

(12)

(13)

式中,Ni是區(qū)域i中的像素點(diǎn)數(shù)量;I(x,y)是中心視角像素。然后,取所有區(qū)域內(nèi)兩個(gè)匹配代價(jià)最小值,分別可由公式(14)和(15)表示:

(14)

(15)

最后,根據(jù)文獻(xiàn)[9]中的方法,可得到初始深度估計(jì)結(jié)果d。

4.2 深度估計(jì)優(yōu)化

(16)

C*{d(x,y),d′(x′,y′)}

(17)

在優(yōu)化后,得到的深度估計(jì)結(jié)果不僅可以很好地改善復(fù)雜的遮擋情況,還可以使物體的邊緣平滑、彌補(bǔ)空隙,使得最終結(jié)果有了明顯的提高。

5 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證該方法的可行性與有效性,使用了2013年由海德堡大學(xué)HCI實(shí)驗(yàn)室提出的Wanner數(shù)據(jù)集[16]中的場(chǎng)景進(jìn)行實(shí)驗(yàn),使用該數(shù)據(jù)集中角度分辨率為9×9、空間分辨率為768×768的光場(chǎng)圖像,該數(shù)據(jù)集還包括中心視角的真實(shí)深度值以及對(duì)應(yīng)的深度圖。

實(shí)驗(yàn)結(jié)果與現(xiàn)有的三種經(jīng)典的算法進(jìn)行對(duì)比,所有實(shí)驗(yàn)均在同樣的環(huán)境下進(jìn)行,實(shí)驗(yàn)對(duì)比結(jié)果如圖3所示。

圖3 深度估計(jì)結(jié)果對(duì)比

圖4展示了Wanner數(shù)據(jù)集[18]中monasRoom場(chǎng)景的深度估計(jì)結(jié)果。Wang等人[8-9]的深度估計(jì)整體邊緣部分比較平滑,但是花莖與葉子重疊的部分遮擋效果較差,蒙娜麗莎油畫的部分出現(xiàn)了空隙。Jia等人[10]的深度估計(jì)在Wang等人[8-9]的算法基礎(chǔ)上較好地解決了遮擋以及空隙的問(wèn)題,但是在左邊的葉子處出現(xiàn)了不平滑的現(xiàn)象。本文的方法很好地改進(jìn)了以上兩種方法的缺點(diǎn),既能很好地處理遮擋部分和油畫處的空隙,又可以平滑葉子的邊緣。

圖4 Wanner數(shù)據(jù)集中monasRoom的深度估計(jì)結(jié)果

為了得到一個(gè)定量的評(píng)價(jià)結(jié)果,算法的精度可用均方誤差(MSE)來(lái)進(jìn)行評(píng)價(jià),MSE可由公式(18)表示:

(18)

式中,GT(p)和α(p)分別為光場(chǎng)圖像的真實(shí)深度值和使用算法計(jì)算出的深度值,N表示光場(chǎng)圖像像素點(diǎn)的數(shù)量,MSE值越小,表示算法估計(jì)精度值越高。

幾種算法深度估計(jì)的計(jì)算結(jié)果的MSE對(duì)比如表1所示,文中方法獲得了較低的MSE值,表明文中方法更接近真實(shí)的深度值。

表1 各算法MSE比較

6 結(jié) 論

針對(duì)光場(chǎng)深度估計(jì)中存在的多遮擋問(wèn)題,提出了一種光場(chǎng)圖像深度估計(jì)改進(jìn)方法。使用Canny邊緣檢測(cè)提取遮擋區(qū)域的邊緣。分析光場(chǎng)圖像中多遮擋對(duì)深度估計(jì)產(chǎn)生的影響,并根據(jù)光場(chǎng)成像原理和光場(chǎng)相機(jī)的多遮擋模型,可知,當(dāng)空間像素被重聚焦到正確的深度位置時(shí),其在空間像素塊和角度像素塊中的相對(duì)位置是相同的。在此基礎(chǔ)上將迭代加權(quán)更新的帶加速算子引入到AP聚類算法,有效地提高聚類的精度,同時(shí)較好地解決光場(chǎng)深度估計(jì)中的多遮擋問(wèn)題。使用匹配成本計(jì)算光場(chǎng)圖像的初始深度,并應(yīng)用馬爾科夫隨機(jī)場(chǎng)優(yōu)化得到更精確的深度估計(jì)結(jié)果。實(shí)驗(yàn)結(jié)果證明,本文算法相較于其他文獻(xiàn)[7-10]的算法,不僅提高了深度估計(jì)的精度,而且保持了獲得了更加理想的圖像邊緣。在今后的工作中,將根據(jù)優(yōu)化的深度估計(jì)結(jié)果,進(jìn)一步研究基于光場(chǎng)圖像的三維重建方法。