速晉輝++金易弢++陸藝丹

摘要： 根據(jù)光場(chǎng)成像原理，對(duì)非聚焦型光場(chǎng)相機(jī)和聚焦型光場(chǎng)相機(jī)的成像原理和采樣模式進(jìn)行了分析，對(duì)比了兩種光場(chǎng)成像系統(tǒng)的成像特點(diǎn)。針對(duì)不同類型光場(chǎng)相機(jī)的信息采樣特點(diǎn)，推導(dǎo)了非聚焦型光場(chǎng)相機(jī)空域平移疊加重聚焦算法及聚焦型光場(chǎng)相機(jī)基礎(chǔ)圖像重構(gòu)算法，并在MATLAB中對(duì)兩種圖像重聚焦算法進(jìn)行了仿真驗(yàn)證，實(shí)驗(yàn)證明兩種算法都可以有效獲得任一景深清晰的像，可為光場(chǎng)成像技術(shù)的應(yīng)用提供借鑒。

關(guān)鍵詞：

光場(chǎng)成像； 圖像重構(gòu)； 重構(gòu)算法； 景深

中圖分類號(hào)： O 439文獻(xiàn)標(biāo)志碼： Adoi： 10.3969/j.issn.10055630.2017.01.006

Simulation of the algorithms for the light field image rendering

SU Jinhui， JIN Yitao， LU Yidan， ZHANG Wei

（School of OpticalElectrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）

Abstract：

The detailed analyses has been done on the unfocused plenoptic camera and the focused plenoptic camera respectively，based on the imaging principle and the sampling modes.The characteristics of these two different light field imaging systems are compared.The spatial domain shiftandadd rendering algorithm of the unfocused plenoptic camera and the basic rendering algorithm of the focused plenoptic have been deduced according to their sampling mode.Then the algorithms are simulated by the software MATLAB.The effectiveness of the two rendering algorithms has been verified that capture the clear image at depths.This research could serve as reference for the application of the light field imaging.

Keywords： light field imaging； imaging rendering； rendering algorithm； depth of field

引言

光場(chǎng)成像由于獲取了光輻射的完整分布，可以通過光場(chǎng)信息重構(gòu)算法的數(shù)據(jù)處理手段計(jì)算出所需的對(duì)焦圖像[12]。光場(chǎng)相機(jī)通過四維坐標(biāo)系參數(shù)表征出空間內(nèi)光輻射位置信息和方向信息，因此與傳統(tǒng)相機(jī)的二維圖像相比多出了兩個(gè)自由度。相較于傳統(tǒng)成像，光場(chǎng)成像的優(yōu)勢(shì)在于無需機(jī)械調(diào)焦，只需通過數(shù)據(jù)處理即可得到不同景深的清晰圖像，由于可在重構(gòu)之前對(duì)光輻射相位誤差進(jìn)行校正，從而能夠消除幾何像差，降低成像質(zhì)量對(duì)于光學(xué)器件性能的依賴性。光場(chǎng)成像過程包括了光場(chǎng)數(shù)據(jù)的采集和光場(chǎng)數(shù)據(jù)轉(zhuǎn)換為圖像的過程。

光場(chǎng)的概念最初由Gershun提出，用來描述三維空間內(nèi)光線的傳輸特性[34]。Adelson等提出用光線的三維坐標(biāo)、光線傳輸方向、光線波長(zhǎng)及時(shí)間多個(gè)參數(shù)表征光場(chǎng)函數(shù)[5]，而Levoy等將光場(chǎng)函數(shù)表示為四維，并提出用兩個(gè)平行的平面對(duì)四維光場(chǎng)進(jìn)行參數(shù)化表征[6]。在幾何光學(xué)中，光場(chǎng)是指光線強(qiáng)度在三維空間中的位置分布和方向分布，可采用雙平面參數(shù)來表征光場(chǎng)。現(xiàn)實(shí)中的成像系統(tǒng)都可以簡(jiǎn)化為兩個(gè)平行的平面，將微透鏡陣列加入到傳統(tǒng)成像系統(tǒng)中，就可以對(duì)光場(chǎng)信息進(jìn)行采集，通過對(duì)探測(cè)器上每個(gè)點(diǎn)所接受的光線進(jìn)行積分，最終對(duì)所采集光場(chǎng)數(shù)據(jù)進(jìn)行處理得到所需要的對(duì)焦圖像[78]。為了提高光場(chǎng)信息采集的便捷性，Adelson等提出了一種光場(chǎng)相機(jī)的原理結(jié)構(gòu)[9]，隨后Ng等簡(jiǎn)化了之前光場(chǎng)相機(jī)設(shè)計(jì)[10]，設(shè)計(jì)出了手持式光場(chǎng)相機(jī)，即傳統(tǒng)非聚焦型光場(chǎng)相機(jī)，再后來Lumsdaine等提出了改進(jìn)的聚焦型光場(chǎng)相機(jī)的設(shè)計(jì)[11]。

本文對(duì)非聚焦型光場(chǎng)相機(jī)和聚焦型光場(chǎng)相機(jī)的成像原理和采樣模式進(jìn)行了詳細(xì)的分析，在此基礎(chǔ)上針對(duì)不同的光場(chǎng)成像模式，推導(dǎo)了適用的光場(chǎng)圖像重構(gòu)算法。

2.2用于聚焦型光場(chǎng)相機(jī)的基礎(chǔ)圖像重構(gòu)算法

2.2.1

基礎(chǔ)圖像重構(gòu)算法原理

基礎(chǔ)圖像重構(gòu)算法是針對(duì)聚焦型光場(chǎng)相機(jī)的一種圖像重構(gòu)算法[13]，由于聚焦型光場(chǎng)相機(jī)的成像采集過程與非聚焦型光場(chǎng)相機(jī)存在差異，物體上每個(gè)點(diǎn)都被微透鏡陣列所采集并被探測(cè)器接收，所以場(chǎng)景中單個(gè)物點(diǎn)被多個(gè)微透鏡所采集。因此在圖像重構(gòu)過程中，需要提取每個(gè)微透鏡圖像中一定空間范圍內(nèi)的采樣信息，以此來對(duì)一個(gè)角度方向進(jìn)行圖像重構(gòu)。

若微透鏡陣列中每個(gè)透鏡之間的間距為μ，那么圖像探測(cè)器接受到所對(duì)應(yīng)微透鏡采集圖像像素范圍為μ×μ，此時(shí)選取每個(gè)微透鏡圖像間圖像信息連續(xù)且大小為M×M部分像素（其中M≤μ），將其定義為“圖像塊”尺寸，根據(jù)幾何成像的原理，將選取的所有圖像塊進(jìn)行拼接，可以重構(gòu)出對(duì)應(yīng)于不同景深的重聚焦圖像，如圖8所示。

另一種對(duì)該重構(gòu)方法的解釋是，若重構(gòu)算法中圖像塊的大小為M×M，如圖8所示，根據(jù)幾何成像原理可得

μ=Mab

（9）

由式（9）可知，不同圖像塊的尺寸對(duì)應(yīng)著不同的景深。由于對(duì)近景圖像的重構(gòu)能夠獲得每個(gè)微透鏡成像范圍內(nèi)更大尺寸的像素，因此距離微透鏡陣列較近的像面可以被重構(gòu)出比距離微透鏡陣列較遠(yuǎn)像面更高分辨率的圖像[1415]。

由于在對(duì)某一固定圖像塊尺寸進(jìn)行重構(gòu)時(shí)，不同景深目標(biāo)的邊緣無法全部實(shí)現(xiàn)完美匹配，因此該算法最終重構(gòu)出的圖像只有某一選定景深目標(biāo)是清晰的，其余景深目標(biāo)均被模糊。被清晰重構(gòu)的目標(biāo)景深與重構(gòu)時(shí)選擇的圖像塊尺寸直接相關(guān)。

2.2.2

基礎(chǔ)圖像重構(gòu)算法仿真

利用MATLAB模擬聚焦型光場(chǎng)相機(jī)成像模型，所建模型的光學(xué)系統(tǒng)參數(shù)如表2所示，分別對(duì)三個(gè)不同圖像以不同景深進(jìn)行成像，并使所得到的三幅圖像相互之間不形成遮擋，最后通過將模擬成像的三個(gè)光場(chǎng)圖像疊加得到包含多個(gè)景深信息的光場(chǎng)圖像。

實(shí)驗(yàn)步驟如下：

（1） 在MATLAB中建立聚焦型光場(chǎng)相機(jī)成像模型，得到多景深目標(biāo)的光場(chǎng)圖像。

（2） 根據(jù)目標(biāo)物距，根據(jù)式（9）計(jì)算出對(duì)應(yīng)的圖像塊尺寸M，并對(duì)M做取整運(yùn)算。

（3） 提取光場(chǎng)圖像的微透鏡圖像，并記錄其坐標(biāo)位置。

（4） 以每個(gè)微透鏡圖像中心為中心原點(diǎn)，以M為大小進(jìn)行圖像塊截取。

（5） 將所有微透鏡圖像中截取的圖像塊，按照所屬微透鏡在光場(chǎng)圖像中的坐標(biāo)位置進(jìn)行拼接，得到該景深聚焦情況下的重構(gòu)圖像。

根據(jù)圖2聚焦型光場(chǎng)相機(jī)結(jié)構(gòu)圖在MATLAB中建立仿真成像模型，并在軟件中對(duì)如圖10所示的場(chǎng)景進(jìn)行構(gòu)建，分別取物距為a1=15 mm、a2=25 mm和a3=40 mm三個(gè)不同目標(biāo)，坐標(biāo)y=0的平面為聚焦型光場(chǎng)相機(jī)模型所在平面，經(jīng)過仿真后得到光場(chǎng)圖像如圖11所示。

對(duì)包含多景深信息的光場(chǎng)圖像使用基礎(chǔ)圖像重構(gòu)算法，根據(jù)仿真圖像所在不同物距及式（9）的變形式M=μb/a得到不同景深對(duì)應(yīng)的適當(dāng)圖像塊尺寸。以a=15 mm時(shí)為例，理想的圖像塊尺寸實(shí)際計(jì)算值為M=2.8像素，由于像素?cái)?shù)必須取整，所以允許對(duì)實(shí)際運(yùn)算值進(jìn)行四舍五入，因此該物距條件下，圖像塊尺寸應(yīng)為M=3像素。仿真實(shí)驗(yàn)中不同物距圖像塊大小如表3所示。

當(dāng)a1=15 mm時(shí)，得到重構(gòu)圖像如圖12所示。由圖可觀察到該物距圖像的邊緣得到了很好的匹配，實(shí)現(xiàn)了重聚焦的效果，同時(shí)在物距a2和a3上的目標(biāo)物產(chǎn)生了模糊現(xiàn)象。

當(dāng)a2=25 mm和a3=40 mm時(shí)，結(jié)果如圖13所示。由于所選目標(biāo)物所處位置較遠(yuǎn)，根據(jù)式（9）隨著景深a變大，圖像塊尺寸M隨之減小，使得最終重構(gòu)圖像分辨率較景深較淺的圖像有所降低。由于圖像塊尺寸變小，重構(gòu)圖像內(nèi)其他景深目標(biāo)物邊緣未能出現(xiàn)明顯的模糊現(xiàn)象，故對(duì)遠(yuǎn)距離目標(biāo)重構(gòu)時(shí)，會(huì)產(chǎn)生類似于全景深聚焦的效果。

3結(jié)論

在非聚焦型光場(chǎng)相機(jī)中，探測(cè)器位于微透鏡陣列的焦平面上，微透鏡陣列對(duì)無窮遠(yuǎn)處的物體進(jìn)行成像，將一個(gè)空間物點(diǎn)的所有角度方向信息采集于一個(gè)微透鏡圖像中，而一個(gè)角度方向的所有物點(diǎn)信息包含在所有微透鏡圖像中，即在非聚焦型光場(chǎng)相機(jī)中，子透鏡圖像中的一個(gè)像素表示來自光場(chǎng)內(nèi)一個(gè)角度方向的信息，不同方向的子圖像尺寸與微透鏡陣列數(shù)相等，通過空域平移疊加算法，雖然能夠重構(gòu)圖像，但其分辨率受到非聚焦光場(chǎng)相機(jī)自身器件的限制。而在聚焦型光場(chǎng)相機(jī)中，圖像探測(cè)器不在微透鏡陣列的焦面上，是在微透鏡陣列對(duì)主鏡頭像方某一平面的共軛像面上，微透鏡陣列可以從不同視角對(duì)該空間點(diǎn)進(jìn)行采集，即一個(gè)空間點(diǎn)被多個(gè)微透鏡所采集，空間與角度信息之間的轉(zhuǎn)換不會(huì)受到微透鏡陣列數(shù)的限制，并且由于與非聚焦型光場(chǎng)相機(jī)的微透鏡陣列與主透鏡位置放置的區(qū)別，聚焦型光場(chǎng)相機(jī)可以選用相對(duì)較大尺寸的微透鏡，通過基礎(chǔ)圖像重構(gòu)算法對(duì)微透鏡圖像進(jìn)行圖像塊選取并拼接，所得到的重構(gòu)圖像尺寸遠(yuǎn)遠(yuǎn)高于微透鏡陣列數(shù)。這樣使得空間與角度信息之間可以更為靈活的轉(zhuǎn)換，確保了光線信息得到更高效的利用，因此與非聚焦型光場(chǎng)相機(jī)相比，聚焦型光場(chǎng)相機(jī)可以拍攝出更高分辨率的圖像。實(shí)驗(yàn)發(fā)現(xiàn)，針對(duì)兩種不同模式的光場(chǎng)相機(jī)，兩種光場(chǎng)重構(gòu)算法都能得到不同景深的重聚焦圖像，實(shí)現(xiàn)數(shù)字重聚焦功能，且聚焦型光場(chǎng)相機(jī)能夠獲得更高分辨率的圖像。

參考文獻(xiàn)：

[1]IVES F E.Parallax stereogram and process of making same：U.S，US725567A[P].19030414.

[2]LIPPMANN G.preuves réversibles.Photographies intégrales[J].Comptes Rendus de lAcadémie des Sciences，1908，146：446451.

[3]GERSHUN A.The light field[J].Journal of Mathematics and Physics，1939，18（1/2/3/4）：51151.

[4]GERSHUN A.The light field[M].Cambridge：Massachusetts Institute of Technology，1939：1315.

[5]ADELSON E H，WANG J Y A.Single lens stereo with a plenoptic camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14（2）：99106.

[6]LEVOY M，HANRAHAN P.Light field rendering[C]∥Proceedings of the 23rd annual conference on computer graphics and interactive techniques.New York：ACM，1996：3142.

[7]LEVOY M.Light fields and computational imaging[J].Computer，2006，39（8）：4655.

[8]BRADY D J.Optical imaging and spectroscopy[M].Hoboken：Wiley，2009：2552.

[9]ADELSON E H，BERGEN J R.The plenoptic function and the elements of early vision[M]∥LANDY F M，MOVSHON J A.Computational models of visual processing.Cambridge：MIT Press，1991：125.

[10]NG R，LEVOY M，BRDIF M，et al.Light field photography with a handheld plenoptic camera[R].Stanford Technical Report CTSR 200502，Palo Alto：Stanford University，2005：18901911.

[11]LUMSDAINE A，GEORGIEV T.The focused plenoptic camera[C]∥Proceedings of 2009 IEEE international conference on computational photography.San Francisco：IEEE，2009：18.

[12]NG R.Fourier slice photography[J].ACM Transactions on Graphics，2005，24（3）：735744.

[13]GEORGIEV T，LUMSDAINE A.Focused plenoptic camera and rendering[J].Journal of Electronic Imaging，2010，19（2）：021106.

[14]LUMSDAINE A，GEORGIEV T.Full resolution lightfield rendering[R].Adobe Technical Report，Adobe Systems，2008.

[15]張薇，郭鑫，尤素萍，等.混合式光場(chǎng)相機(jī)在聚焦與非聚焦模式下的超分辨重聚焦仿真（英文）[J].紅外與激光工程，2015，44（11）：33843392.

（編輯：劉鐵英）