陳思宇

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

光場成像與傳統(tǒng)成像相比，其主要優(yōu)勢體現(xiàn)在：①任意深度的圖像都可以通過對光場數(shù)據(jù)進(jìn)行計(jì)算來獲取，同樣的消除了孔徑大小對于景深的限制；②在積分成像之前對光福射的相位誤差進(jìn)行校正，能夠解除幾何像差對于成像結(jié)果的影響；③由于光場圖像在收集過程中采集了光線的角度信息，所以蘊(yùn)含了能夠計(jì)算成像物體的光譜圖像數(shù)據(jù)和三維形態(tài)信息。光場成像相比傳統(tǒng)成像是一種計(jì)算成像技術(shù)，其利用目前先進(jìn)的數(shù)據(jù)分析和處理能力的優(yōu)勢，不光降低了成像對于硬件性能的需求，而且還克服了許多傳統(tǒng)成像技術(shù)的局限性。

隨著商用光場相機(jī)的出現(xiàn)，光場圖像處理漸漸成為計(jì)算機(jī)視覺方向非常流行的研究主題。原始光場相機(jī)圖像可以解碼為子孔徑圖像的規(guī)則陣列，即從稍微不同的視點(diǎn)來看同一場景的多視角圖像。光場圖像也可以用于合成生成密集的焦點(diǎn)堆棧。在后期處理中，光場圖像可用于克服許多挑戰(zhàn)，例如場景結(jié)構(gòu)推斷、圖像重聚焦和新的視圖合成，這些是傳統(tǒng)2D 或立體圖像難以解決的問題。深度估計(jì)作為光場處理的基本問題，成為了光場處理的研究熱點(diǎn)。

1 相關(guān)工作

深度估計(jì)可以應(yīng)用于三維重建、圖像超分辨、抗遮擋和重聚焦等方面。光場圖像深度估計(jì)算法主要分為EPI、立體匹配、散焦及融合和機(jī)器學(xué)習(xí)等方法。目前，國內(nèi)外對于光場圖像深度估計(jì)有了一些進(jìn)展。

Jeon 等人的方法首先使用相移理論在頻域上進(jìn)行位移，然后構(gòu)建一個匹配代價函數(shù)，隨后對于該代價函數(shù)利用邊緣保持濾波器進(jìn)行損失聚合，得到優(yōu)化后的代價量。緊接著建立了一個多標(biāo)簽優(yōu)化模型以及迭代優(yōu)化模型對深度圖進(jìn)行優(yōu)化。

Zhang 等人提出了一種旋轉(zhuǎn)平行四邊形算子（SPO），該算子主要提取EPI 直線并計(jì)算其斜率從而進(jìn)行局部深度估計(jì)。旋轉(zhuǎn)平行四邊形算子最大化了平行四邊形窗口內(nèi)兩個部分之間的分布距離，以提取深度信息。此方法對遮擋、噪聲、空間混疊和有限的角分辨率不敏感。

EPI 深度估計(jì)利用場景深度和EPI 圖極線斜率之間的比例關(guān)系從而獲取深度信息，能夠一定程度上消除深度不連續(xù)區(qū)域及鏡面反射光的負(fù)面影響，并且在被遮擋區(qū)域效果較為良好。但是這類方法計(jì)算量過于龐大，并且對于噪聲反應(yīng)敏感。立體匹配深度估計(jì)方法利用多視角間的關(guān)系推出深度圖，能夠有效消除光場混疊效應(yīng)以及視角串?dāng)_的影響，并且對于復(fù)雜的遮擋場景具有一定魯棒性。

2 深度估計(jì)算法

本算法主要分為三個步驟：①使用SPO 算法計(jì)算出深度估計(jì)結(jié)果。②使用基于相移理論的立體匹配算法計(jì)算出深度估計(jì)結(jié)果。③分別提取SPO 深度圖中的高頻信息和基于相移理論的立體匹配深度圖的低頻信息最后融合為新的深度圖。

2.1 SSPPOO算法

SPO 中文名為“旋轉(zhuǎn)平行四邊形算子”，通過SPO來計(jì)算深度圖的步驟：

（1）分別通過旋轉(zhuǎn)平行四邊形算子計(jì)算出EPI 水平和垂直圖像的直方圖距離。

（2）通過一個基于置信度的方法來融合兩個方向的直方圖距離x2。

（3）最后進(jìn)行深度圖優(yōu)化。

對于SPO 算子首先使用加權(quán)函數(shù)來定義平行四邊形算子的大小，窗口中的權(quán)重用于衡量每個像素對于距離的貢獻(xiàn)，并使用了高斯導(dǎo)數(shù)來創(chuàng)建加權(quán)函數(shù)。定義窗口中的相應(yīng)像素的權(quán)重為：

然后選擇顏色直方圖的卡方檢驗(yàn)來測量像素顏色分布之間的差異：

2.2 基于相移理論的立體匹配算法

基于相移理論的立體匹配方法來計(jì)算深度圖的步驟如下：

（1）根據(jù)相移的思想來實(shí)現(xiàn)亞像素的匹配。

（2）構(gòu)建一個匹配代價函數(shù)進(jìn)行子視圖之間的匹配。

（3）最后對深度圖進(jìn)行優(yōu)化和增強(qiáng)。

相移理論主要是空域的一個小的位移在頻域?yàn)樵夹盘柕念l域表達(dá)與位移的指數(shù)的冪乘積，公式如下：

然后構(gòu)建代價函數(shù)：

在公式（4）中的α?[0,1]用來調(diào)整 SAD 代價CA和GRAD 代價CG之間的權(quán)重。其中CA的定義為：

其中Rx是一個以x 為中心的小矩形區(qū)域；τ1是為了增加代價函數(shù)魯棒性的截?cái)嘀?；V 表示除了中心視角sc之外的其余視角。公式（5）通過比較中心子孔徑圖像與其他子孔徑圖像的差異來構(gòu)建損失量，具體而言就是通過不斷地在某個視角上x點(diǎn)的周圍移動一個小的距離并于中心視角做差；重復(fù)這個過程直到比較完所有的視角（i=1…視角數(shù)目N）為止。此時會用到上面提及的相移理論以得到移動后的像素強(qiáng)度，注意上面提到的小的距離實(shí)際上就是公式中的Δx，它被定義為如下形式：

其中k 表示深度/視差層的單位（像素），Δx 會隨著任意視角與中心視角之間距離的增大而線性增加。同理，可以構(gòu)造出第二個匹配代價量GRAD，其基本形式如下所示：

至此，代價函數(shù)構(gòu)建完畢。隨后對于該代價函數(shù)利用邊緣保持濾波器進(jìn)行損失聚合，得到優(yōu)化后的代價量。

2.3 濾波處理

兩種深度估計(jì)方法對于深度的推斷都具有一定的局限性。EPI 方法對于噪聲過于敏感，因此這種深度始終不夠準(zhǔn)確。立體匹配方法無法為復(fù)雜的薄結(jié)構(gòu)或非常大的無紋理區(qū)域恢復(fù)準(zhǔn)確的深度。故本方法結(jié)合兩種深度估計(jì)方法的優(yōu)點(diǎn)從而達(dá)到更好的效果。首先，采用高斯高頻濾波器在頻域上對SPO 算法的深度圖進(jìn)行濾波，同時采用高斯低頻濾波器對立體匹配方法的深度圖進(jìn)行濾波。然后將高頻部分和低頻部分結(jié)合到SPO 深度圖上。經(jīng)實(shí)驗(yàn)驗(yàn)證，發(fā)現(xiàn)取得了較好的結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文改進(jìn)算法的可行性和有效性，對多組HCI 數(shù)據(jù)集圖像進(jìn)行實(shí)驗(yàn)，得出結(jié)果采用HCI 的評價與SPO 方法和立體匹配方法進(jìn)行比較。算法實(shí)現(xiàn)使用MATLAB 2014，運(yùn)行環(huán)境為Window 10，計(jì)算機(jī)配置為Intel Core i5 3.2GHz 和 8GB RAM。

圖1 為HCI 數(shù)據(jù)集中sideboard 光場圖像分別采用SPO 算法、立體匹配算法和本文算法而獲取的深度估計(jì)結(jié)果。

圖1 sideboard光場圖像的深度估計(jì)結(jié)果

圖2 為HCI 數(shù)據(jù)集中boxes 光場圖像分別采用SPO 算法、立體匹配算法和本文算法而獲取的深度估計(jì)結(jié)果。

圖2 boxes光場圖像的深度估計(jì)結(jié)果

在HCI 數(shù)據(jù)集的一般采用MSE 來評價結(jié)果，通過計(jì)算得出的視差圖為d，地面真實(shí)視差圖gt 和評估掩膜M，則MSE定義為：

表1 為采用HCI 數(shù)據(jù)集評價標(biāo)準(zhǔn)MSE 來對三種算法評價的結(jié)果。

表1

由表1 可以看出本文算法在深度估計(jì)結(jié)果的精確度方面有了較好的提升，在紋理更復(fù)雜的boxes 光場圖像中的提升更加明顯。高頻濾波將SPO 算法中處理更好的紋理部分提取，低頻濾波將立體匹配算法中處理更好的非紋理區(qū)域進(jìn)行提取，在紋理和非紋理部分都進(jìn)行了加強(qiáng)，因此精確度才有了提高。

4 結(jié)語

本文針對光場圖像中深度估計(jì)結(jié)果的精確度問題展開研究，在現(xiàn)有深度估計(jì)方法上提出改了進(jìn)。首先分別采用SPO 算法和立體匹配算法獲得深度估計(jì)結(jié)果，然后進(jìn)行濾波處理，從而獲得更精確的深度估計(jì)結(jié)果。實(shí)驗(yàn)表明，本文算法在精確度上有了良好的改進(jìn)。但是，算法在時間效率上還是有些欠缺，在之后的研究中會努力改進(jìn)。