劉嚴(yán)羊碩， 潘晉孝， 潘毅華， 劉　賓

(1. 中北大學(xué) 理學(xué)院， 山西 太原 030051； 2. 中北大學(xué) 電子測試技術(shù)國家重點(diǎn)實(shí)驗(yàn)室， 山西 太原 030051； 3. 中北大學(xué) 信息探測與處理山西省重點(diǎn)實(shí)驗(yàn)室， 山西 太原 030051)

Gershun在1936年提出光場的概念， 定義其為光輻射在空間各個(gè)位置向各個(gè)方向的傳播[1]. 之后， 光場理論又得到了不同程度的改進(jìn). 直至1996年Levoy提出光場渲染理論(light field rendering, LFR)利用四維光場函數(shù)來描述光場， 并通過兩個(gè)相互平行的平面對(duì)四維光場進(jìn)行參數(shù)化表示， 光場理論才得到了完善[2]. 光場信息在實(shí)現(xiàn)重聚焦， 深度估計(jì)及光譜成像等方面都有廣泛的應(yīng)用[3-7].

目前獲取光場信息的方式主要有微透鏡陣列、 相機(jī)陣列及掩膜方式. 微透鏡陣列方式是將微透鏡陣列放置于一次像面處， 探測器平行于微透鏡陣列放置于微透鏡陣列焦距處， 利用探測器記錄位置信息， 利用微透鏡陣列記錄方向信息來獲取四維光場信息[8-10]. 相機(jī)陣列是通過在空間排布多個(gè)相機(jī)得到一系列不同視角圖片的光場獲取方式[11-14]. 掩膜光場成像模型是在透鏡及探測器之間放置一片擁有特殊編碼的掩膜， 通過這種不同位置透視率不同的掩膜來對(duì)入射光進(jìn)行強(qiáng)度調(diào)制[15]. 這3種方式較為常用的是微透鏡陣列方式及相機(jī)陣列方式. 雖然相機(jī)陣列相比于微透鏡陣列可以拍攝更為豐富的角度， 處理上也更為直觀簡便， 但是微透鏡陣列質(zhì)量輕， 體積小， 造價(jià)低廉且利于集成化， 例如Lytro在內(nèi)的很多手持光場相機(jī)均是利用微透鏡陣列制造而成[16].

為了光場成像算法研究獲取第一手?jǐn)?shù)據(jù)， 減小硬件投資造成的成本問題， 同時(shí)可以靈活改變系統(tǒng)參數(shù)， 指導(dǎo)系統(tǒng)設(shè)計(jì)， 本文提出了一種基于微透鏡陣列的光場相機(jī)仿真方法. 該方法以Levoy的光場渲染理論為基礎(chǔ)， 通過將二維圖像以金字塔方式逐層向后推移擴(kuò)展有效面來設(shè)置不同物距的圖像， 再通過光路追跡及遮擋判斷計(jì)算每一物點(diǎn)對(duì)應(yīng)在探測器上的位置坐標(biāo)， 得到光場圖像.

1　光場成像基本原理

1.1　微透鏡陣列光場采樣原理

傳統(tǒng)成像方式所成的像僅能反映出光的強(qiáng)度及位置信息， 而不能反映出光的方向信息， 這是因?yàn)槊恳粋€(gè)像元上所獲得的光線能量均是來源于所有方向的光能量疊加而成， 這一成像過程中損失了光線的方向信息.

與傳統(tǒng)成像方式不同， 將微透鏡陣列放置于主透鏡像面處， 將探測器放置于微透鏡后記錄來自不同方向的光. 根據(jù)光場采樣理論， 探測器所接收到的光是四維光場的重采樣， 能夠記錄光線的方向信息， 如圖 1 所示， 單個(gè)微透鏡接收來自主透鏡所有方向的光在探測器上形成一個(gè)宏像素. 宏像素下包含很多像元， 每一個(gè)像元對(duì)應(yīng)于主透鏡分塊后的一個(gè)子孔徑， 經(jīng)過不同的子孔徑入射來的光代表不同的方向， 一個(gè)宏像素下的不同像元記錄了來自不同子孔徑的光， 相當(dāng)于記錄了光線的方向信息.

對(duì)于單個(gè)子孔徑來說， 物體經(jīng)同一子孔徑打在微透鏡陣列的光會(huì)在其對(duì)應(yīng)宏像素的相同位置處成像， 如圖 2 所示. 利用這一規(guī)律， 給光場圖像的解碼提供了理論依據(jù)， 解碼相當(dāng)于將每一子孔徑所成的像展示出來. 子孔徑相當(dāng)于光圈減小后的主透鏡， 其景深增加， 但信噪比降低.

圖 1　基于微透鏡陣列的光場采樣Fig.1　Light field sampling based on microlens array

圖 2　單個(gè)子孔徑成像光路Fig.2　Optical path of single sub-aperture imaging

每一個(gè)宏像素與一個(gè)微透鏡的大小近似相等， 由圖2可知， 一個(gè)宏像素下的像元個(gè)數(shù)決定主透鏡所分的子孔徑塊數(shù)， 而子孔徑塊數(shù)決定可以分辨光場的方向數(shù). 因此一個(gè)宏像素下的像元個(gè)數(shù)決定方向分辨率， 而微透鏡的個(gè)數(shù)決定空間分辨率.

1.2　數(shù)字重聚焦

由于所采集到的光場為多個(gè)物距上平面組成的三維場景， 故需要對(duì)其進(jìn)行數(shù)字對(duì)焦. 數(shù)字對(duì)焦就是將所采集到的光場重新投影到新的像平面進(jìn)行積分. 重聚焦示意圖如圖 3 所示.

圖 3　數(shù)字重聚焦Fig.3　Digital refocusing

主透鏡與微透鏡距離為l， 主透鏡與聚焦面距離為l′， 定義兩者的關(guān)系為

l′=αl.

(1)

重聚焦就是將主透鏡與聚焦面間光場的方向進(jìn)行積分， 如式(2)所示

(2)

(3)

(4)

(5)

將式(4)帶入式(5)可得

(6)

式(6)即為對(duì)焦至重聚焦面的成像公式.

2　光場成像模型

2.1　物空間模型構(gòu)建

為了構(gòu)建出三維成像模型， 實(shí)驗(yàn)通過將一幅二維圖像以金字塔結(jié)構(gòu)提取圖像的有效區(qū)域并逐層向后推移， 達(dá)到近似構(gòu)建出三維場景的效果. 以擴(kuò)展為8個(gè)離散面為例， 其物空間模型如圖 4 所示.

圖 4　物空間模型Fig.4　Object space model

圖 5　遮擋模型Fig.5　Occlusion model

這種金字塔模式的物體建立方式可任意調(diào)整兩個(gè)物面之間的間距以及物體的物距， 理論上可以排列出無窮多個(gè)物面達(dá)到近似建立三維場景的效果.

在對(duì)每一物距上的平面進(jìn)行光場成像時(shí)， 由于光線沿直線傳播， 前景會(huì)對(duì)后景有部分遮擋， 因此圖像中每一個(gè)像素點(diǎn)發(fā)出的光在打到主透鏡之前要進(jìn)行遮擋判斷， 如圖 5 所示.

由于進(jìn)入不同子孔徑的光的方向不同， 遮擋的范圍也不同， 所以在成像過程中， 要對(duì)每一個(gè)子孔徑進(jìn)行遮擋判斷. 在圖5中， 由于A物面遮擋了部分的B物面， 針對(duì)于所選擇的子孔徑來說，B物面上的陰影區(qū)域所發(fā)出的光無法進(jìn)入該子孔徑， 故在成像時(shí)， 陰影部分的像素點(diǎn)不會(huì)進(jìn)入光場成像系統(tǒng). 在仿真過程中， 每一個(gè)子孔徑的光線近似從子孔徑的中心進(jìn)入. 假設(shè)B面物點(diǎn)的坐標(biāo)為(x1,y1,z1)，A面物點(diǎn)的坐標(biāo)為(x2,y2,z2)子孔徑的坐標(biāo)為(x3,y3,z3)， 則B面物點(diǎn)與子孔徑間的直線方程為

(7)

這條光線在經(jīng)過A物面所在物距z2時(shí)， 其空間位置為

(8)

(9)

此時(shí)判斷(x2′,y2′,z2)是否在A物面上， 若不在A物面上， 則該B面物點(diǎn)可以進(jìn)入光場成像系統(tǒng)； 若在A物面上， 則該B面物點(diǎn)被遮擋， 無法成像.

2.2　數(shù)值孔徑匹配

在主透鏡成像過程中， 物點(diǎn)與像點(diǎn)遵循高斯成像公式

(10)

圖 6　光場成像模型Fig.6　Light field photography model

式中：u為物距；v為像距；f為主透鏡焦距. 微透鏡陣列放置于像面處， 探測器位于微透鏡陣列后方， 如圖 6 所示.

圖 6 中為一個(gè)主透鏡被分為5塊子孔徑的光場成像模型， 設(shè)主透鏡孔徑大小為D， 像距為a， 微透鏡大小為d， 微透鏡焦距為f. 由于像距相比于微透鏡的大小無窮大， 故來自主透鏡的光對(duì)于微透鏡來說近似于來自無窮遠(yuǎn)的平行光， 因而探測面應(yīng)位于微透鏡后f處. 為了使每一個(gè)微透鏡后的宏像素間既不發(fā)生重疊， 又要最大程度利用探測器像元數(shù)， 每一個(gè)宏像素應(yīng)與相鄰宏像素相切， 對(duì)應(yīng)到互相相切的微透鏡陣列， 宏像素的大小應(yīng)為d， 根據(jù)相似三角形定理得到

(11)

2.3　離焦物面成像

在實(shí)際拍攝物體時(shí)， 物面所成像的位置往往不在微透鏡陣列所在像面， 根據(jù)式(10)， 不同的物距對(duì)應(yīng)有不同的像距. 因此每一物面像素經(jīng)子孔徑打在微透鏡陣列處往往是一個(gè)光斑， 物面離焦量越大， 在微透鏡上所成光斑也越大. 圖 7 所示為一個(gè)離焦物點(diǎn)經(jīng)一個(gè)子孔徑在微透鏡上所成的光斑示意圖 .

圖 7　離焦物點(diǎn)光場成像Fig.7　Optical field imaging of defocused point

圖 7 中：z1為物距；z2為像距；z為主透鏡及微透鏡間的距離， 設(shè)子孔徑大小為duv， 光斑大小為h， 主透鏡焦距為F， 則根據(jù)相似三角形定理， 光斑大小的表達(dá)式為

(12)

根據(jù)式(10)可得

(13)

根據(jù)圖 7 所示， 光斑打在若干微透鏡上， 由于此光斑來自于同一子孔徑， 其在探測器上的像元的位置近似為每個(gè)微透鏡下宏像素的相同位置， 根據(jù)光斑在每個(gè)微透鏡上的權(quán)重來分配每個(gè)宏像素下對(duì)應(yīng)像元上的能量. 同時(shí)， 由于不同物點(diǎn)發(fā)出的光可能經(jīng)過同一子孔徑打在同一微透鏡上， 因而每一個(gè)像元所包含的能量不僅僅來源于一個(gè)物點(diǎn). 所以仿真時(shí)針對(duì)每一個(gè)像元統(tǒng)計(jì)打在此像元上的光線條數(shù)， 用總能量除以總光線條數(shù)即可得到此像元下的灰度值.

3　仿真實(shí)驗(yàn)結(jié)果與分析

3.1　仿真實(shí)驗(yàn)結(jié)果

表 1　相機(jī)參數(shù)

為了驗(yàn)證本文所提出仿真方案的正確性， 以一幅二維圖像為例進(jìn)行仿真. 本實(shí)驗(yàn)是在CPU主頻為3.4 GHz， 內(nèi)存為8 G的計(jì)算機(jī)中matlab2014a仿真環(huán)境下進(jìn)行的. 實(shí)驗(yàn)所用圖像如圖 8 所示， 為256×256， 8bit/pixel.

對(duì)圖 8 進(jìn)行本文提出的方式進(jìn)行光場成像仿真， 將二維圖像擴(kuò)展為40個(gè)面， 初始物距為420 mm， 離焦距離為15 mm， 其余面利用金字塔推面模式擴(kuò)展離散物面有效區(qū)域大小并向后挪動(dòng)物面， 步進(jìn)為1 mm， 最終得到由40個(gè)物面構(gòu)成的光場圖， 如圖 9 所示. 根據(jù)數(shù)值孔徑匹配所設(shè)置的相機(jī)參數(shù)如表 1 所示.

圖 8　原始圖像Fig.8　Original image

圖 9　實(shí)驗(yàn)所得光場圖Fig.9　Light field image in the experiment

根據(jù)仿真實(shí)驗(yàn)所得到的光場圖(圖 9)可以看出， 圖像中有很多灰度值漸變的小方格組成， 每一個(gè)小方格代表一個(gè)宏像素， 宏像素下灰度值的不同代表每一子孔徑觀測到的視角的不同. 圖像中間部分離焦距離最小， 在整幅光場圖像中最為清晰， 而自圖像中心向外擴(kuò)的部分隨著離焦距離的增加， 圖像越來越模糊.

為了測試實(shí)驗(yàn)?zāi)Ｐ图肮鈭鰣D像的正確性， 根據(jù)式(6)通過調(diào)整α值對(duì)光場圖像進(jìn)行不同物面的重聚焦處理， 其仿真結(jié)果如圖 10 所示.

圖 10　不同物面的重聚焦結(jié)果Fig.10　The results of refocusing on different object plane

3.2　結(jié)果分析

本文所建立的三維模型是將二維圖像以金字塔模型進(jìn)行有效面擴(kuò)展及推面處理， 由圖9可以看出， 在距離主透鏡最近的部分， 即原始圖像的中心部分， 由于較小的離焦量， 在光場圖像中能夠辨別出圖像中的圖案. 而圖像越靠近四周， 離焦量越大， 在光場圖中越模糊. 這是因?yàn)殡x焦量大的物面像素相比于離焦量小的物面像素經(jīng)子孔徑打在微透鏡陣列上的數(shù)目多， 其所包含的信息分配的宏像素多， 因而呈現(xiàn)出模糊感， 且這種模糊程度隨離焦量的變大而加劇.

通過調(diào)整α值進(jìn)行重聚焦處理， 可以得到不同物距的重聚焦結(jié)果. 由式(1)可知， 隨著α值的減小， 重聚焦平面對(duì)應(yīng)的像距也隨之減小. 根據(jù)式(10)可知， 當(dāng)重聚焦平面對(duì)應(yīng)的像距減小時(shí)， 其對(duì)應(yīng)的物距逐漸增大， 在圖10中表現(xiàn)為清晰部分隨著α值的減小逐漸向圖像四周擴(kuò)展， 而中心部分相對(duì)四周部分物距小， 逐漸變得模糊. 這種現(xiàn)象與所建立的三維場景相符.

4　結(jié)　論

提出一種有效獲得三維場景光場數(shù)據(jù)的仿真方法， 利用金字塔模式對(duì)二維圖像進(jìn)行有效面擴(kuò)展及物面推移處理. 在光場成像過程中判斷前景對(duì)后景的遮擋以及離焦圖像在成像過程中的近似處理得到三維光場圖像. 為了驗(yàn)證本文所提出的三維場景建立方法以及所得到的光場圖像的正確性， 通過調(diào)整α值對(duì)圖像進(jìn)行不同物距上的重聚焦處理. 仿真結(jié)果表明了本文所提出的三維場景模型的正確性， 對(duì)于以后在三維場景下進(jìn)行光譜成像實(shí)驗(yàn)、 深度估計(jì)及其他光場成像實(shí)驗(yàn)的數(shù)據(jù)獲取有一定的參考價(jià)值.

參考文獻(xiàn)：

[1]Gershun A. The Light Field[J]. Studies in Applied Mathematics, 1936, 18(1-4)： 51-151.

[2]Levoy M, Hanrahan P. Light field rendering[C]. Conference on Computer Graphics and Interactive Techniques. ACM, 1996： 31-42.

[3]Zhang C, Hou G, Sun Z, et al. Efficient auto-refocusing of iris images for light-field cameras[C]. IEEE International Joint Conference on Biometrics. IEEE, 2014： 1-7.

[4]Ikeoka H, Murata T, Okuwaki M, et al. Depth estimation for automotive with tilted optics imaging[C]. IEEE International Conference on Image Processing. IEEE, 2015： 3852-3856.

[5]Garbe C, Baker H, J?hne B. Light-field camera design for high-accuracy depth estimation[C]. SPIE Optical Metrology. 2015： 952803.

[6]Zhou Z, Xiangli B. Snapshot Multispectral Imaging Using a Plenoptic Camera with an Axial Dispersion Lens[M]. 2014.

[7]Raghavendra R, Busch C. Presentation attack detection on visible spectrum iris recognition by exploring inherent characteristics of Light Field Camera[C]. IEEE International Joint Conference on Biometrics. IEEE, 2014： 1-8.

[8]Ng R, Levoy M, Brédif M, et al. Light field photography with a hand-held plenoptic camera[J]. Computer Science Technical Report CSTR, 2005, 2(11)： 1-11.

[9]Favaro P. A split-sensor light field camera for extended depth of field and superresolution[C]. SPIE Photonics Europe. International Society for Optics and Photonics, 2012： 843602-843609.

[10]Park H, Park M K, Kim M, et al. Light-field camera using fast switchable micro-lens array for simultaneous 2D/3D image acquisition[C]. Lasers and Electro-Optics Pacific Rim. IEEE, 2015： 1-2.

[11]Bae S J, Kim J W, Park S, et al. Camera array type plenoptic moving picture acquisition system[C]. The Workshop on Information Optics. 2016： 1-3.

[12]Ghasemi A, Scholefield A, Vetterli M. On the accuracy of point localisation in a circular camera-array[C]. Image Processing (ICIP), 2015 IEEE International Conference on. IEEE, 2015： 981-985.

[13]Ciurea F, Lelescu D, Chatterjee P, et al. Adaptive Geometric Calibration Correction for Camera Array[C]. Is&t International Symposium on Electronic Imaging, 2016.

[14]Birklbauer C, Bimber O. Panorama light-field imaging[J]. Computer Graphics Forum. 2014, 33(2)： 43-52.

[15]Park B, Kirmani G A, Raskar R, et al. Apparatus and method for processing light field data using a mask with an attenuation pattern： U.S. Patent 9,143,678[P]. 2015-9-22.

[16]Georgiev T, Yu Z, Goma S. Lytro camera technology： theory, algorithms, performance analysis[J]. Proceedings of SPIE - The International Society for Optical Engineering, 2013, 8667(15)： 86671-86681.