賈 琦，王安紅，武迎春，魏計林

(太原科技大學(xué) 應(yīng)用科學(xué)學(xué)院，太原 030024)

傳統(tǒng)相機(jī)在拍攝真實場景時往往不能獲取場景多個視點(diǎn)的信息，而新型的微透鏡光場相機(jī)[1]和相機(jī)陣列卻可以得到場景更多的信息，例如場景的多視點(diǎn)信息，場景的深度信息等。相比于相機(jī)陣列，微透鏡光場相機(jī)又有著無法比擬的便攜性和快速性。但是，由于國內(nèi)外光場相機(jī)對相關(guān)技術(shù)的保密和軟件程序的不開源等問題，使得使用者無法自主獲得需要的數(shù)據(jù)，例如子孔徑圖像的獲取，深度信息的恢復(fù)，前后景的重聚焦等。因此，本文對微透鏡光場相機(jī)成像系統(tǒng)中涉及的關(guān)鍵技術(shù)做了研究，特別對子孔徑圖像進(jìn)行了系統(tǒng)地研究，結(jié)合光場的定義，研究闡述了子孔徑圖像的成像原理[3]。此外，本文采用了一個光場能量函數(shù)，并且從光學(xué)、物理學(xué)以及幾何光學(xué)的角度給出了采用光場相機(jī)的四維參數(shù)化表示，四維光場獲取方式。其次，本文還利用了數(shù)字圖像處理的方法對光場相機(jī)的微透鏡中心像素進(jìn)行了標(biāo)定，并對標(biāo)定后圖像的像素進(jìn)行了提取和重排，最終實現(xiàn)了對光場相機(jī)子孔徑圖像的提取，為后續(xù)場景深度的恢復(fù)，三維場景的重建等奠定了基礎(chǔ)。

1 光場相機(jī)基本理論

1.1 光場的定義

光場[2]的實質(zhì)就是空間中全部光的具體的傳播方向的集合，是攜帶著場景物體光學(xué)信息的。如圖1所示，光場可以看作為光線的一個五維函數(shù)：L(x,y,z,θ,φ)，其中(x,y,z)代表該點(diǎn)空間三維坐標(biāo)，(θ,φ)分別代表該點(diǎn)處光線的仰角和方位角。

1.2 光場的四維參數(shù)化表示

將光場五維函數(shù)降到四維，場景內(nèi)一條光線同時包含了二維位置信息(u,v)和二維方向信息(θ,φ)，即光場的四維參數(shù)化表示。根據(jù) Levoy 的光場渲染理論可以推出，空間中的任意光線都可以采用兩個平行平面的雙平面參數(shù)方法參數(shù)化表示所捕捉的光場，這些光線同時攜帶了強(qiáng)度和方向信息。若用(u,v)和(s,t)分別表示這條光線與兩個平面交點(diǎn)的坐標(biāo)，在(u,v,s,t)四維坐標(biāo)空間中，每一條光線可表示為L(u,v,s,t)，其位置和方向信息可以由分別(u,v)和(s, t)來決定。其中，L(u,v,s,t)所對應(yīng)的是場景內(nèi)的一個點(diǎn)發(fā)射出的光線。把探測器面上每個點(diǎn)所接收到的來自主透鏡面的全部光線進(jìn)行積分，這樣就整個像面(s,t)處的光照度就可表示為：

I(x,y)=?L(u,v,s,t)dudv

(1)

圖1 空間任意點(diǎn)的 5D 坐標(biāo)表示

Fig.1 5D coordinate of arbitary special point

1.3 基于微透鏡光場相機(jī)的四維光場獲取

由 Levoy 的光場渲染理論可知，光場可以被兩個平行平面的雙平面參數(shù)方法進(jìn)行參數(shù)化表示， 這些光線同時攜帶了二維位置信息(u,v)和二維方向信息(θ,φ).

圖2 光場相機(jī)的四維參數(shù)化表示

Fig.2 4D parameteriazation of light-filed camera

圖3 光場相機(jī)的內(nèi)部結(jié)構(gòu)圖

Fig.3 Interal structure oflight-filed camera

微透鏡陣列光場相機(jī)的內(nèi)部結(jié)構(gòu)[5]如圖3所示，從主透鏡面穿出的光線經(jīng)過每個微透鏡后投影到探測器平面形成一個子圖像,子圖像中每一點(diǎn)對應(yīng)于主透鏡面發(fā)出的一條光線。每幅子圖像都可以看作是一個宏像素,那么每個宏像素的位置就分別對應(yīng)拍攝場景的一個位置坐標(biāo)(s，t)；而宏像素內(nèi)的每一點(diǎn)則分別對應(yīng)場景內(nèi)被拍攝物體在該位置的方向坐標(biāo)(u，v)，將這些宏像素整體組合來看，鏡頭孔徑上每一點(diǎn)和每一個微透鏡后的子圖像共同記錄了光場。

2 光場相機(jī)原圖像與子孔徑圖像

2.1 光場相機(jī)原圖像

由于微透鏡光場相機(jī)拍攝的原圖像格式無法直接被電腦讀取轉(zhuǎn)換成我們熟悉的常規(guī)圖像，所以利用matlab光場相機(jī)擴(kuò)展包提取并恢復(fù)出了一幅微透鏡光場相機(jī)原圖像，如圖4所示：

圖4 光場相機(jī)原圖像

Fig.4 The original graph of light-filed camera

將其放大為圖5，可以看到，光場圖像由許多微透鏡覆蓋下的子圖像組成的，每幅微透鏡圖像邊緣的黑色區(qū)域是微透鏡未覆蓋CCD的區(qū)域。

圖5 光場相機(jī)原圖像放大后的圖像

Fig.5 Theenlarged diagram of the original graph of light-filed camera

為了更加直觀，我們將放大圖簡化，如圖6所示，其中六邊形區(qū)域表示光線通過微透鏡在CCD上的成像部分，黑色區(qū)域代表未成像的區(qū)域。

圖6 光場相機(jī)原圖像放大后圖像的簡圖

Fig.6 The schematic enlarged diagram of the original graph of light-filed camera

2.2 光場相機(jī)子孔徑圖像

由公式(1)可知，主鏡頭孔徑和微透鏡陣列的尺寸將決定四維光場中各個變量的取值范圍。對公式(1)中 (u,v)的積分坐標(biāo)和范圍進(jìn)行限定，就可以在一個小范圍的成像視角中成像。所得到的圖像是場景拍攝目標(biāo)通過主鏡頭某個子孔徑范圍下所成的像，得到以下公式[4]：

(2)

在光場相機(jī)采集的光場數(shù)據(jù)中，其主透鏡下的同一個子孔徑在CCD上的成像對應(yīng)于光場相機(jī)中所有微透鏡單元成像區(qū)域的相同坐標(biāo)。從上圖7可推出，光場相機(jī)得到的子孔徑圖像就相當(dāng)于光場相機(jī)主鏡頭光圈減小后成的像[7]。同理，該像也等同于微透鏡陣列的像元陣列成的像。因此，我們可以得出，子孔徑圖像具有非常大的景深范圍和微小的視差關(guān)系，而且它的信噪比也相對低一些。通過四維空間來觀察二維空間，子孔徑圖像就等價于實際光場在水平維度上的切片[9]。

圖7 子孔徑圖像的提取原理

Fig.7 The extraction diagram of sub-aperture graph

3 子孔徑圖像的提取

3.1 利用峰值檢測法標(biāo)定微透鏡圖像中心點(diǎn)

傳統(tǒng)基于邊緣檢測和幾何方法的微透鏡中心標(biāo)定不可用的原因在于，實際應(yīng)用中，微透鏡成像存在漸暈效應(yīng)，每個微透鏡由于生產(chǎn)技術(shù)水平不同，其尺寸并不是完全相同，也不一定完全是水平于CCD平面的，這樣就導(dǎo)致了微透鏡邊緣模糊且微透鏡圖像的幾何中心不一定是微透鏡圖像的成像中心。對此，我們采用了基于光照度的峰值檢測法，由微透鏡成像原理可知，光線通過微透鏡時會產(chǎn)生匯聚作用，而通過微透鏡中心點(diǎn)的光線會沿直線傳播，所以微透鏡成像中心點(diǎn)的亮度是最高的。因此，通過拍攝白圖像的方法來檢測每個微透鏡圖像的亮度最高的點(diǎn)來求得微透鏡圖像中心點(diǎn)的方法是可行的。

標(biāo)定步驟如下：

1)首先利用多個光場原始數(shù)據(jù)提取出多幅光場白圖像，并且把每一張白圖像都加入到高斯濾波器中進(jìn)行去噪處理。

2)將去噪后的多幅白圖像進(jìn)行求均值處理得出一幅均值白圖像。

3)最后根據(jù)透鏡中心點(diǎn)匯聚光最強(qiáng)的原理，找出基礎(chǔ)白圖像的中心坐標(biāo)。

在進(jìn)行了上述一系列工作后，我們便能夠很好地找出白圖像中的中心坐標(biāo)，這是后續(xù)進(jìn)行子孔徑圖像提取的基礎(chǔ)工作。中心坐標(biāo)標(biāo)定的正確與否直接關(guān)系到子孔徑圖像提取的準(zhǔn)確性。因此在公式(1)的基礎(chǔ)上得出了最終的結(jié)果[3]，如圖8所示：

圖8 峰值檢測法標(biāo)定微透鏡中心點(diǎn)

Fig.8 Micro-lens central points calibrated by peak-value inspection

3.2 子孔徑圖像的提取

本文中光場數(shù)據(jù)主要由Lytro光場相機(jī)獲得。Lytro光場相機(jī)由六邊形微透鏡陣列組成，分辨率為3280×3280.其中空間分辨率為296×296,其角度分辨率為12×12.采用微透鏡陣列可以將獲取的光線分成許多細(xì)小的部分，這些被分化后的光線經(jīng)過傳感器陣列就可以將每個微透鏡產(chǎn)生的焦點(diǎn)形成焦點(diǎn)平面。

由圖5可以發(fā)現(xiàn)，微透鏡圖像的亮度是由中心向四周由亮變暗的，圖像的邊緣部分由于光線的匯聚作用強(qiáng)而導(dǎo)致接收的光線較少，因此我們只取圖像中心區(qū)域亮度較高的部分[7]。例如，我們以微透鏡圖像中心點(diǎn)為中心取一個7×7像素的圖像區(qū)域：

圖9 提取微透鏡圖像的明亮區(qū)域

Fig.9 The bright area of micro-lens graph

將提取出的圖像按原有微透鏡排列次序排好，并標(biāo)出中心點(diǎn)(圖10(a)中藍(lán)色方塊)，將微透鏡圖像所有相同位置的像素全部提出(圖10(a)中紅色，黃色紫色方塊)并進(jìn)行重排列操作，即可得到所需視點(diǎn)的子孔徑圖像(最下方的提取像素重組圖)，由圖10(b)所示：

(a)需要提取的不同視點(diǎn)子孔徑圖像的像素位置

(b)將提取的相應(yīng)位置的像素點(diǎn)進(jìn)行重新排列，得到所需的子孔徑圖像

圖10 子孔徑圖像提取示意圖

Fig.10 The extraction schematic of sub-aperture graph

3.3 實驗結(jié)果

為了更加直觀的看到獲得到的子孔徑圖像是否具有視差效果，本文隨機(jī)抽取了兩張子孔徑圖并放大。左圖為Lytro相機(jī)第二行第二列的子孔徑圖像，右圖為第二行第六列的子孔徑圖像。

圖11 兩幅子孔徑圖像的對比圖

Fig.11 The constract of two sub=aperture graphs

將這兩幅圖進(jìn)行對比，可以看出其中存在微小的視差，證明了本文方法的可行[8]。

4 結(jié)束語

提出一種基于光場相機(jī)的子孔徑圖像提取方法。在預(yù)處理圖像后，采用峰值檢測法對光場相機(jī)原圖像中的微透鏡圖像進(jìn)行中心標(biāo)定，將中心點(diǎn)附近的明亮區(qū)域提取出來，得到一個n×n的微透鏡圖像，將其中相同位置的像素點(diǎn)進(jìn)行提取并重新排列組合成子孔徑圖像。實驗結(jié)果表明，我們方法在提取子孔徑圖像方面不僅定位精準(zhǔn)，運(yùn)算速度快，而且得到的子孔徑圖像具有明顯可見的視差。接下來需要做的工作是運(yùn)用提取的子孔徑圖像計算拍攝場景的深度信息、重建拍攝場景的三維環(huán)境。

參考文獻(xiàn)：

[1] 徐晶. 基于微透鏡陣列的集成成像和光場成像研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué), 2011.

[2] 周志良. 光場成像技術(shù)研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué), 2012.

[3] 張旭, 李晨. 微透鏡陣列式光場成像模型及其標(biāo)定方法[J]. 光學(xué)學(xué)報, 2014, 34(12):95-107.

[4] 趙興榮. 基于光場相機(jī)深度信息獲取技術(shù)的研究[D]. 太原：中北大學(xué), 2014.

[5] 劉朝霞. 人人都是大師 光場相機(jī)技術(shù)淺析[J]. 新潮電子, 2014(8):92-93.

[6] REN N, LEVOY M, BREDIF M, et al. Light Field Photography with a Hand-Held Plenopic Camera[J]. 2005，2(11)1-11.

[7] 楊凡, 袁艷, 周志良,等. 光場相機(jī)成像質(zhì)量評價方法研究[J]. 現(xiàn)代電子技術(shù), 2011, 34(6):4-6.

[8] 袁艷, 周宇, 胡煌華,等. 光場相機(jī)中微透鏡陣列與探測器配準(zhǔn)誤差分析[J]. 光子學(xué)報, 2010, 39(1):123-126.

[9] SHI L, HASSANIEH H, DAVIS A, et al. Light Field Reconstruction Using Sparsity in the Continuous Fourier Domain[J]. Acm Transactions on Graphics, 2014, 34(1):1-13.