方力，葉龍，鐘微，張勤

(中國傳媒大學(xué) 媒介音視頻教育部重點實驗室，北京 100024)

一種FIR頻率平面濾波器及其在光場濾波中的應(yīng)用

方力，葉龍，鐘微，張勤

(中國傳媒大學(xué) 媒介音視頻教育部重點實驗室，北京 100024)

本文提出了一種FIR頻率平面濾波器，它具有近似4D平面的通帶形狀。該濾波器的設(shè)計基于窗函數(shù)法，設(shè)計簡單，且具有線性相位特性，因此非常適合用于光場處理。理論分析和實驗表明，由無遮擋朗伯表面構(gòu)成的光場可以使用該濾波器實現(xiàn)深度濾波。

4D濾波器；光場；場景分析；窗函數(shù)法；線性相位

1 引言

基于圖像渲染(Image-based Rendering)模擬場景中彌漫的光的行為，而不是采集場景的幾何形狀和紋理，能夠從預(yù)先采集的視圖中生成一個新的視圖，而不依賴于場景的幾何信息。光場(Light Field)渲染及其變種[1，2]模擬與場景相關(guān)聯(lián)的7D全光函數(shù)(Plenoptic Function)[3]的一個4D子集，是一種重要的基于圖像渲染技術(shù)。相比于基于模型渲染(Model-based Rendering)方法，它的復(fù)雜度不依賴于場景的復(fù)雜度，易于實現(xiàn)實時渲染，因此近些年來吸引了大量的研究興趣。

7D全光函數(shù)描述了光在時間(一維)、空間(三維)、方向(二維)和頻率(一維)一共七個維度的行為。在透明介質(zhì)的無遮擋靜態(tài)場景中，它可以被簡化為一個4D函數(shù)[1]。4D光場通常使用兩平面參數(shù)化(Two-plane Parameterization，2PP)來表示光線，如圖1所示。每條光線由它與兩個參考平面的交點來描述：其中一個平面被稱作相機(jī)平面，用(s，t)表示，另一個是焦平面，用(u，v)表示。一個完整的光場可以包含多組這樣的平面。注意顏色通常不被算在光場的維度里，因為它們通常被分成紅、綠、藍(lán)三個通道單獨處理。

圖1 四維光場的兩平面參數(shù)化

關(guān)于光場的濾波，許多人取得了許多研究成果。1996年Gortler和Szeliski等人提出了具有深度補(bǔ)償?shù)乃木€性插值濾波器[2]，證明了深度信息對于提高重光場建質(zhì)量是非常重要的。2000年Chai和Shum等人分析了光場的頻譜，給出了最優(yōu)恒定深度重建濾波器[3]。2004年Zhang使用特征濾波器的方法設(shè)計了一個蝶型濾波器用來重建光場[4]。2003年Dansereau和Bruton 提出了一個頻率平面IIR濾波器[5]，能夠?qū)崿F(xiàn)光場的深度濾波器。2007年他們又提出了一個雙扇形IIR濾波器[6]，能夠提取場景中一定深度范圍的光場。2013年Dansereau提出了一個頻域超扇形濾波器[7，8]，用于光場去噪和生成全景聚焦圖像。2015年Edussooriya等人提出了一組IIR深度-速度濾波器[9]，用于動態(tài)光場處理。然而，上述這些濾波器中大部分都是IIR濾波器，需要級聯(lián)額外的網(wǎng)絡(luò)才能實現(xiàn)線性相位(Linear-phase，LP)特性或者零相位濾波，設(shè)計靈活性差。

針對這個問題，本文提出了一種具有線性相位特性的FIR頻率平面濾波器，可以實現(xiàn)光場的深度濾波。論文其余部分結(jié)構(gòu)安排如下：第二節(jié)展示了一個朗伯場景(Lambertian Scene)可以使用4D頻率平面濾波器實現(xiàn)深度濾波；第三節(jié)給出了這樣的濾波器的設(shè)計方法；第四節(jié)給出了實驗結(jié)果；第五節(jié)討論了結(jié)論。

2 朗伯場景的頻譜特性

2.1 全向點光源的頻譜支撐域

為了分析場景的光場，首先需要理解不同類型場景的行為和光場中的場景元素。由于任何的復(fù)雜幾何模型都可以通過一系列點的疊加來模擬，因此我們首先分析空間中的一點。圖2給出了空間中一個點的頂視圖，點的坐標(biāo)為p=[px，py，pz]，從該點發(fā)出的一條光線穿過了兩個參考平面。

圖2 單一點光源的兩平面參數(shù)化頂視圖

從圖2中可以清楚地看出，光場中的光線只有一部分會與點p相交。從圖中的相似三角形中可以推導(dǎo)出與點p相交的所有光線的關(guān)系，s和u之間任意與點p相交的光線滿足

(1)

同樣，t和v也滿足類似的關(guān)系

(2)

請注意公式(1)和(2)分別描述了4D光場中的一個超平面[10]。只有這兩個方程同時滿足才能確定一條光線與空間的點相交。將這兩個方程改寫成矩陣的形式，則點p所占據(jù)的4D光線空間的子集可以描述成

(3)

公式(3)表示公式(1)和(2)所描述的兩個超平面的交集。正如3D空間中兩個平面的交集為一條線，4D空間中兩個超平面的交集是一個平面。因此，公式(3)是4D空間中一個平面的方程。

為了描述點光源在光場中所對應(yīng)平面中光線的值，我們首先假設(shè)場景中點p位置有一個全向點光源，該點發(fā)出的所有光都具有恒定值，因此該點在光場中對應(yīng)的平面也具有恒定值。令該全向點光源的光場為l(s，t，u，v)，那么它的連續(xù)傅里葉變換為

L()=l(s，t，u，v)

·e-j(ss+tt+uu+vv)dsdtdudv

(4)

由于場景中只包含一個點p且該點位于參考平面u-v上，其中pz=d，因此該光場只包含了一個平面u=px，v=py。注意該平面是對齊的，平行于s-t平面，垂直于u-v平面。如果點p位置有一個全向點光源，那么光場平面的值將會是一個恒定值，因此整個光場沿著s和t將具有恒定值。這意味著沿著s和t的積分只在頻域原點處有非零值，因此它的傅里葉變換可以改寫成

L()=δ(s)δ(t)
l(s，t，u，v)e-j(uu+vv)dudv

(5)

這種簡化等同于觀察到的信號在s和t上是恒定的，因此它的頻譜支撐域必須存在于這些軸上的零頻率處。所得的頻域信號的支撐域由公式(5)中的兩個狄拉克函數(shù)定義。每個狄拉克函數(shù)定義了一個過原點的超平面，則它們的乘積定義了這兩個超平面相交的平面。因此，空間中點p(其中pz=d)位置的一個全向點光源的頻譜支撐域是一個過原點的平面。

上述觀察所得可以推廣到場景中任意深度處的一點，任意一個點光源對應(yīng)光場中的一個平面，無論光源的深度是多少。而平面的朝向則隨著光源深度變化而變化。這樣，光場的頻譜支撐域應(yīng)該是上述過原點平面旋轉(zhuǎn)后的版本。我們可以將新光場看作是pz=d的情況旋轉(zhuǎn)后的版本：

l′(s，t，u，v)=l(R[s，t，u，v]T)

(6)

其中R是一個依賴于光源深度pz的4D旋轉(zhuǎn)矩陣。傅里葉變換的性質(zhì)告訴我們，空間域的旋轉(zhuǎn)對應(yīng)于頻域的旋轉(zhuǎn)，公式(6)在頻域可以寫成

L′()=L(RT)

(7)

因此，頻域旋轉(zhuǎn)后的光場的頻譜支撐域是過原點平面旋轉(zhuǎn)后的版本。

我們可以利用平面頻譜支撐域的朝向和空間域光場平面的朝向之間的關(guān)系，從而避免了直接使用旋轉(zhuǎn)矩陣R。在s-u平面，平面頻譜支撐域垂直于空間域光場中的平面，即旋轉(zhuǎn)了90°。在t-v平面，這一現(xiàn)象同樣存在，兩者結(jié)合在一起完整地描述了頻譜支撐域的朝向。從公式(3)中可以發(fā)現(xiàn)，空間域平面在s-u和t-v坐標(biāo)下的斜率都是d/pz。將這個平面分別在s-u和t-v坐標(biāo)下旋轉(zhuǎn)90°，即

(8)

這個方程描述了場景中任意深度位置的一個全向點光源的頻譜支撐域，它的朝向只依賴于場景中點的深度pz。

2.2朗伯表面的頻譜支撐域

2.1節(jié)分析了全向點光源的頻譜支撐域，通過疊加的方法，可以將此結(jié)論擴(kuò)展到表面。這需要將一個表面表示成一組表面元素的集合，比如多邊形。當(dāng)表面元素的數(shù)量非常巨大時，每一個表面元素變得無窮小，它的行為接近于空間中的一個點。

(a)

(b) 圖3 平面頻譜支撐域在(a)s-u平面和(b)t-v平面的投影

將這種方法應(yīng)用于一個朗伯表面(Lambertian Surfaces)產(chǎn)生了一個特別簡單的結(jié)果。一個朗伯表面的亮度與觀看角度是無關(guān)的，因此可以看做是由無數(shù)個全向點光源組成的。這種處理不是完美的，因為它無法模擬遮擋，因此需要假設(shè)是場景中的一個朗伯表面且沒有遮擋。在這個假設(shè)下，光場中朗伯表面的頻譜支撐域可以看作是無數(shù)個點光源的頻譜支撐域的疊加。

我們從最簡單單一恒定深度表面開始，取一個平行于參考平面的表面，深度為pz。在該平面上所有的點光源都具有相同的深度，因此也具有相同的平面頻譜支撐域，由公式(8)給出。由這些平面疊加而成的頻譜支撐域本身就是個平面。這一觀察所得對于包含任意數(shù)目的朗伯表面都成立，只要它們都具有相同的深度pz。圖3(a)和(b)分別給出了場景中具有單一恒定深度的朗伯表面的頻譜支撐域在s-u平面和t-v平面的投影。

3.FIR頻率平面濾波器

在第二節(jié)我們證明了由位于單一恒定深度的朗伯表面組成的場景，它所產(chǎn)生的光場是由完全平行的、恒定值的平面組成。公式(8)描述了這樣的光場的頻譜支撐域，它是由兩個4D超平面相交得到的平面，且在s-u平面和t-v平面上的投影都是一條斜率為的直線，其中pz是朗伯表面所在的深度。類似的，對于一個包含若干個位于不同離散深度上的朗伯表面的場景，它的光場包含了一組組平行平面，每一組平行平面的朝向取決于對應(yīng)朗伯表面的深度。如果我們設(shè)計一個頻率平面濾波器，只允許位于深度pz的朗伯表面通過，而去除或者模糊所有其他的場景元素，那么就可以實現(xiàn)深度濾波。

為了獲得這樣的4D頻率平面通帶，首先需要設(shè)計4D超平面濾波器，它可以通過2D直線濾波器來實現(xiàn)。由于直線沒有寬度，理想的直線通帶是無法實現(xiàn)的。在實際應(yīng)用中，我們可以用寬度非常窄的頻域矩形窗來近似直線通帶，它的空間域表達(dá)式由公式(9)給出：

(9)

其中為直線的斜率，N為濾波器的階數(shù)?？梢钥闯觯@樣的2D直線濾波器具有偶對稱系數(shù)，也就是說，具有線性相位特性。圖4給出了這種2D直線濾波器的一個例子。

(a)頻率響應(yīng) (b)頻域頂視圖圖4 斜率為0的直線濾波器，階數(shù)N=32，使用矩形窗

4D頻率平面濾波器由兩個不同平面的2D直線濾波器的卷積得到

(10)

其中每個2D直線濾波器是由公式(9)得到的。這樣的濾波器具有接近圖3中所示的頻率平面通帶。由于兩個2D直線濾波器都具有線性相位特性，因此所得的4D頻率平面濾波器同樣具有線性相位特性。在第四節(jié)我們將通過實驗來驗證它的深度濾波性能。

4 實驗與分析

第三節(jié)提出的頻率平面濾波器具有兩個可以調(diào)節(jié)的參數(shù)：濾波器階數(shù)和窗函數(shù)。具體的參數(shù)選擇可以參考一維濾波器的窗函數(shù)設(shè)計法。需要注意的是，當(dāng)光場規(guī)模較大時，濾波器的階數(shù)極大影響處理時間，因此濾波器的階數(shù)不宜過大。同時，還需要選擇合適的窗函數(shù)，以避免或減小振鈴效應(yīng)。

斯坦福大學(xué)光場存檔(StanfordLightFieldArchive)是一個公開的數(shù)據(jù)庫，適用于評估光場濾波技術(shù)。圖5展示了其中的“樂高騎士”(LegoKnights)光場的正視圖。它包含了一個17×17網(wǎng)格上個的289張視圖，每張視圖的分辨率為1024×1024。光圈位置足夠接近理想的網(wǎng)格，因此忽略其偏差導(dǎo)致的輸出圖像質(zhì)量降低可以忽略不計?！皹犯唑T士”包含了不同深度的相對簡單的幾何物體，基面上由凸起組成的規(guī)律網(wǎng)格便于演示濾波器對于不同深度的選擇性。因此我們選擇“樂高騎士”光場作為實驗對象。實驗平臺是一臺筆記本電腦，使用了主頻為2.3GHz的Inteli7-3610QM處理器，內(nèi)存為8GBytes。測試程序運行在Matlab上，沒有使用分塊或其他加速算法。為了降低存儲需求和處理時間，光場中的視圖被下采樣到512×512像素。

圖5 輸入光場“樂高騎士”的正視圖

為了驗證頻率平面濾波器的深度濾波性能，我們設(shè)計了兩個尺寸為17×17×17×17的空間域頻率平面濾波器，斜率分別為0.6和2.5，使用了β=3的凱澤窗。分別將它們應(yīng)用到輸入光場，圖6給出了深度濾波的輸出光場的正視圖?？梢钥闯?，兩個頻率平面濾波器分別保留了中間小人和背景，而將其它深度范圍的場景元素模糊掉。大致的通帶范圍可以根據(jù)基面上凸起的清晰程度判斷。

值得注意的是，有一部分想要的信號也被輕微模糊了，比如圖6(a)中間小人頭盔的亮斑附近和(b)中背景。這是因為“樂高騎士”中包含了輕微的鏡面反射，這會導(dǎo)致頻譜的“拉伸”[11]，并被濾波器衰減掉一部分。另一個可能的原因是，光場處理中假設(shè)相機(jī)是一個理想的針孔相機(jī)，從而導(dǎo)致光場測量出現(xiàn)誤差，引起不必要的模糊。

(a)斜率為0.6

(b)斜率為2.5圖6 空間域頻率平面濾波器輸出光場的正視圖

作為對比，圖7展示了文獻(xiàn)[12]中提出的頻率平面IIR濾波器的深度選擇性能，其中(a)中使用的濾波器斜率為0.6，(b)中使用的濾波器斜率為2.5，和前面例子相同。對比圖6和7，可以看出，本文所提出的頻域頻率平面濾波器的通帶要比文獻(xiàn)[12]中的方法要窄，而且沒有出現(xiàn)振鈴效應(yīng)，而7(b)中的背景上可以觀察到很明顯的振鈴效應(yīng)。因此，本文提出的方法整體上要優(yōu)于文獻(xiàn)[12]中的方法，而且本方法的設(shè)計可以借鑒設(shè)計一維濾波器的窗函數(shù)法來調(diào)整參數(shù)，設(shè)計簡單靈活，同時具有線性相位特性。

(a)斜率為0.6

(b)斜率為2.5 圖7 文獻(xiàn)[12]中提出的頻率平面IIR濾波器輸出光場的正視圖

5 結(jié)論

本文提出了一種4DFIR頻率平面濾波器，它的通帶形狀近似一個過原點的平面，可以提取場景中具有單一恒定深度的表面。該濾波器簡單地使用窗函數(shù)法實現(xiàn)，參數(shù)調(diào)整簡單靈活，可以借鑒一維濾波器的設(shè)計方法。與文獻(xiàn)[12]中的頻域方法相比，不僅設(shè)計更加簡單靈活，而且在窄過渡帶的情況下不會出現(xiàn)振鈴效應(yīng)。此外，本文提出的頻率平面濾波器具有線性相位特性，具有一定的應(yīng)用價值。

[1]MLevoy，PHanrahan.Lightfieldrendering[J].SIGGRAPH，ACM，1996，31-42.

[2]SJGortler，RGrzeszczuk，RSzeliski，MFCohen.Thelumigraph[J].ProcSIGGRAPH，1996，43-54.

[3]EHAdelson，JRBergen.Theplenopticfunctionandtheelementsofearlyvision[J].Computationalmodelsofvisualprocessing，1991，91(1)：3-20.

[4]CZhang.Onsamplingofimage-basedrenderingdata[D].PhDthesis，DepartmentofElectricalandComputerEngineering，CarnegieMellonUniversity，2004.

[5]DGDansereau，LTBruton.A4Dfrequency-planarIIRfilteranditsapplicationtolightfieldprocessing[J].IntlSymposiumonCircuitsandSystems(ISCAS)，IEEE，2003(4)：476-479.

[6]DGDansereau，LTBruton.A4-Ddual-fanfilterbankfordepthfilteringinlightfields[J].IEEETransactionsonSignalProcessing，2007，55(2)：542-549.

[7]DGDansereau，DLBongiorno，OPizarro，SBWilliams.Lightfieldimagedenoisingusingalinear4Dfrequency-hyperfanall-in-focusfilter[J].ProceedingsSPIEComputationalImagingXI，F(xiàn)eb，2013，86570P.

[8]DGDansereau，OPizarro，SBWilliams.LinearVolumetricFocusforLightFieldCameras[J].ACMTransGraph34，2(2015)：15-1.

[9]ChamiraUSEdussooriya，DonaldGDansereau，LenTBruton，PanajotisAgathoklis.Five-DimensionalDepth-VelocityFilteringforEnhancingMovingObjectsinLightFieldVideos[J].IEEETransSignalProcess，2015，63(8)：2151-2163.

[10]SLang.CalculusofSeveralVariables[J].SpringerVerlag，January，1995.

[11]CZhang，TChen.Lightfieldsampling[J].Synthesislecturesonimage，videoandmultimediaprocessing2，1(2006)：1-102.

[12]Dansereau，DonaldGilbert.Plenopticsignalprocessingforrobustvisioninfieldrobotics[D].PhDdissertation，TheUniversityofSydney，2014.

(責(zé)任編輯：宋金寶)

A Closed Form Sound Source Location Solution Using Range Differences of Arrival or Gain Ratios of Arrival Video Frames

FANG Li，YE Long，ZHONG Wei，ZHANG Qin

(Key Lab of Media Audio & Video of Ministry of Education，Communication University of China，Beijing 100024，China)

A 4D FIR frequency planar filter with a passband that approximated a 4D plane is proposed.The proposed filter is simply designed by window method，and possesses linear-phase property.Therefore，it is efficient to process light field.Theoretical deduction and experimental results show that a light field containing Lambertian surfaces with no occlusions can be selectively filtered for depth using the proposed filter.

four-dimensional filter；light field；scene analysis；window method；linear phase

2017-05-01

方力(1989-)，男(漢族)，河南西峽人，中國傳媒大學(xué)博士研究生.E-mail：lifang8902@gmail.com

TN

A

1673-4793(2017)04-0028-06