趙守江，趙紅穎，楊 鵬，趙海盟，Anand ASUNDI，晏 磊

1. 北京大學地球與空間科學學院遙感與地理信息系統(tǒng)研究所空間信息集成與3S工程應用北京市重點實驗室，北京 100871； 2. 南洋理工大學機械與航天工程學院，新加坡 639798

由于傳統(tǒng)三維成像到平面成像硬件的二維約束，而不得不采用3-2-3維信息轉(zhuǎn)換模式[1]，其本質(zhì)是利用物體的向空間進行漫反射特性獲取多個視角的影像信息，再利用光線的可逆追蹤計算三維信息，而這一方法帶來的劣勢在于對運動目標無法進行三維信息測量。而生物信息學研究發(fā)現(xiàn)，生物采用復眼技術可以直接一次三維成像，即3-3維的信息直接獲取，給運動目標的三維獲取帶來了優(yōu)勢。然而傳統(tǒng)的仿生復眼結(jié)構(gòu)由多相機陣列組成，在成像的同時需要考慮相機的姿態(tài)以及重疊度等信息，制造相對復雜。因此本文提出利用光場技術進行仿生三維信息獲取。光場成像是一種單次三維測量[3]技術，由于其特殊的光學結(jié)構(gòu)，可以在一次成像過程中完成對目標景物多個方向的光線采集。第一臺手持光場相機由Ng等[4-5]利用微透鏡開發(fā)。之后，商業(yè)相機由Lytro[6]和Raytrix[2]生產(chǎn)，可應用于近距離攝影測量[7]。

由于光場相機一般由主透鏡、微透鏡陣列與探測器陣列三級結(jié)構(gòu)組成，因此一般視點的移動為水平方向和垂直方向，導致同名核線排列在影像數(shù)據(jù)的同一行或者同一列， 這一特性為構(gòu)建核線平面影像(epipolar plane image，EPI)帶來了便利[8-10]。依據(jù)核線平面影像的性質(zhì)即同名點在核線平面影像上成線性排列，在2004年文獻[11]首先提出了利用梯度算子檢測核線斜率，同時推導了光場影像中核線斜率與深度之間的關系，并成功應用到實際場景的計算中。但是通過梯度算子直接進行斜率的計算受影像的噪聲影響，深度估計存在較大誤差。

之后Universit?t Heidelberg的Wanner Seven和Bastian Goldluecke等[12-13]通過增加全局一致性檢驗算法，對經(jīng)過梯度算子計算得到的原始信息進行了優(yōu)化，提高了深度計算的準確度，但梯度算子本身對圖像噪聲的敏感性依然存在。此外在大視差存在的情況下，相鄰兩條核線的灰度分布將會出現(xiàn)跳變，此時進行梯度算子檢測將完全失效。因此在2013年University of California，Berkeley的Michael Tao等[14]提出了對EPI影像進行裁剪的方法，只進行EPI影像垂直方向的檢測，該方法有效彌補了梯度算子檢測的缺點，同時Michael Tao等引入Markov Random Fields理論對深度信息結(jié)果進行了優(yōu)化，優(yōu)化同時考慮了兩種EPI處理方式(同名點對應關系和離焦相鄰點對應關系，correspondence and defocus)。由于直接利用EPI影像進行深度計算的核心在于同名點構(gòu)成的直線檢測，因此北京航空航天大學的Shuo Zhang等[15]利用羅盤算子對比在同名點直線兩旁的像素點分布情況(進行直方圖統(tǒng)計)，計算光場數(shù)據(jù)的深度，同時利用Graph Cuts[16]對深度信息進行優(yōu)化。

但是對于微透鏡陣列結(jié)構(gòu)相機，其獲取的影像數(shù)據(jù)本身為微透鏡形式影像，利用上述的方法進行計算時，需要將原始影像解析成多視幾何圖像，過程相對復雜而且一部分靠近微透鏡邊緣的有效數(shù)據(jù)被舍棄。因此針對上述的問題，本文提出利用微透鏡影像直接進行三維計算的方法，利用光線傳播時強度一致性原理進行影像重聚焦計算，利用最佳的重聚焦點估計目標對象的深度信息，從而避免了將光場影像進行分解。同時與現(xiàn)有的直接利用光場影像進行深度計算的方法相比，本文所提出的方法能夠方便進行三維視覺中的代價計算，并利用圖割優(yōu)化手段進行深度信息的平滑與準確估計，為了驗證本文方法的有效性，試驗結(jié)果將與現(xiàn)有的方法進行比較。

1 傳統(tǒng)復眼結(jié)構(gòu)與光場光學結(jié)構(gòu)

1.1 仿生視覺結(jié)構(gòu)

昆蟲的復眼是由許多個小眼組合而成的，小眼的個數(shù)從幾百個到幾萬個不等，其每個小眼由1套屈光器(1個角膜和1個晶錐)、6至8個小網(wǎng)膜細胞及其特化產(chǎn)生的視桿和基細胞等構(gòu)成，即每個小眼可視為一個光學系統(tǒng)，如圖1所示。

圖1 復眼結(jié)構(gòu)[1]Fig.1 The structure of the compound eye[1]

由于每一個小眼均可以對物體進行成像，因此一個復眼系統(tǒng)可以獲取來自同一物體的不同的角度的信息，從而能夠進行三維信息計算，然后現(xiàn)有的仿生復眼結(jié)構(gòu)很難達到生物復眼的精細結(jié)構(gòu)，因此一般而言仍然采用多相機結(jié)構(gòu)組成，其體積較大且三維計算過程復雜。

1.2 光場光學結(jié)構(gòu)

目前常用的光場相機采用主透鏡、微透鏡陣列和探測器陣列結(jié)構(gòu)，其中一個微透鏡陣列由上萬個小微透鏡組成，一個小微透鏡可以覆蓋100～1000個像素單元，因此每一個微透鏡和被其覆蓋的探測器可以組成一個微型相機系統(tǒng)，其光學結(jié)構(gòu)如圖2所示。為了能夠使得相機進行目標三維計算，主透鏡會將物方三維信息進行壓縮，在像方空間形成一定的景深。因此從光學角度來講，光場相機的三維信息恢復是一種目標景深信息恢復的手段。

圖2 光場相機的結(jié)構(gòu)Fig.2 The structure of the light field camera

根據(jù)圖2所示的光學結(jié)構(gòu)，筆者自主設計一款微透鏡陣列的光場相機。其外觀如圖3所示，相機的主體機構(gòu)由板級相機、主透鏡及內(nèi)部的微透鏡構(gòu)成，相機總長度約為7 cm。

微透鏡陣列采用六角形排列，相機的參數(shù)如表1所示。其中F#表示光場相機的F數(shù)，b是指微透鏡到探測器的距離。d是指單個微透鏡覆蓋的像元數(shù)目；u是指像素的尺寸。

圖3 光場相機外觀Fig.3 The appearance of light field camera

參數(shù)值F#2.8b168μmd27.3像素u2.2μm

2 基于仿生視覺微透鏡技術的3-3-2維向3-3維轉(zhuǎn)換的光場成像新手段

2.1 重聚焦原理

對于傳統(tǒng)相機，當物點處于景深范圍內(nèi)時，物點表現(xiàn)為清晰像點；當物點處于景深范圍之外時，物點表現(xiàn)為模糊像點。

其主要原因在于，處于景深范圍內(nèi)的物點，其通過成像透鏡聚焦時，由該物點向各個方向發(fā)射的光線聚焦于一個探測單元；而非景深范圍內(nèi)的點，其向各個方向發(fā)射的光線分散投影到不同的探測單元，而不同的物點的幾條光線將會投影到一個探測單元。

如圖4所示，其中像點p的亮度為

(1)

式中，α代表不同光線在探測單元覆蓋的面積比率。

圖4 傳統(tǒng)相機物點成像Fig.4 Imaging progress of traditional camera

但是對于光場相機，其內(nèi)部的光線的方向可以確定，因此不同像點的光線可以通過光線的篩選進行重聚焦，來實現(xiàn)像點的清晰成像，如圖5所示。

圖5 光場相機重聚焦的光線篩選Fig.5 Rays selection for the refocusing of light field camera

重聚焦像點P′ 的亮度為

I(P′)=∑wiI(pi)

(2)

2.2 三維深度計算原理

式(2)能夠計算出清晰像點的亮度的前提在于pi(i=1,2)為同名像點，即重聚焦平面距離微透鏡平面為正確的像方深度z。根據(jù)同名像點亮度一致原理，各個像點的亮度的方差理想值應該為零，反之，當重聚焦平面不在正確的像方深度時，pi(i=1,2)為非同名像點，則其方差將會變大，如圖6。因此利用重聚焦原理計算的深度信息為

(3)

圖6 光場信息不同深度的聚焦Fig.6 Image refocusing on different depths in light field

然而由于式(3)進行深度計算是需要對同一重聚焦點進行不同深度的方差信息掃描，然而同一重聚焦點在不同深度上的位置的空間位置不易計算。為解決這一問題，本文利用相機視場角信息計算出重聚焦影像的上下左右邊界，通過該邊界，進行重聚焦像點坐標確定

(4)

(5)

xp和yp為重聚焦影像上的像點的圖像坐標；XP′和YP′為該像點在空間上的絕對坐標。X-(a)、X+(a)、Y-(a)、Y+(a)為重聚焦影像的上下邊界坐標，NxRef和NyRef為預先定義的重聚焦影像的分辨率。

2.3 三維深度優(yōu)化

由于利用式(3)進行深度計算的結(jié)果為Winner-Take-All的結(jié)果，其深度計算出來的信息相對比較粗糙，在此基礎之上，本文利用改進的自適應窗口方法[17]對利用式(3)計算出來的代價信息進行進一步的優(yōu)化。因此修改后的代價信息為

(6)

3 試驗結(jié)果

本文試驗首先對本文設計的相機進行了成像特性的評估，包括重聚焦性能測試。圖7展示的是自主設計的光場相機重聚焦的實驗平臺，圖8顯示了該相機不同虛擬深度處的影像重聚焦結(jié)果。另外三維成像算法的驗證則利用Raytrix相機提供的公開數(shù)據(jù)進行試驗。圖9展示了利用Raytrix光場相機拍攝出的白光影像圖案，用于構(gòu)建微透鏡陣列的中心點。利用構(gòu)建的微透鏡陣列的中心點可以有效地進行影像的信息重聚焦工作，并以此進行三維重建。在試驗過程中重聚焦的深度分層為80個，起始虛擬深度為v=2.0，設置每步深度間隔為0.1。而在進行深度計算時，重聚焦影像的分辨率被設置為1/4倍的原始光場影像大小。

圖7 光場相機重聚焦的實驗平臺Fig.7 The Experimental platform for refocusing of light field camera

圖8 影像重聚焦結(jié)果Fig.8 The result of refocusing image

圖9 Raytrix相機的白光光場影像Fig.9 White image of the Raytrix camera

利用圖9中白光影像采集出來的圖像的中心點，結(jié)合重聚焦影像的聚焦深度信息，利用式(3)和式(6)可以計算出不同深度層次聚焦點的代價信息，最終利用Graph Cuts技術對所有深度層次的代價立方體(Cost Volume)進行優(yōu)化可以得到最終的深度結(jié)果。圖10和圖11分別展示了本文提出的方法與Raytrix軟件計算比較(參數(shù)以達到最佳的性能)和Matthieu Hog的方法[18]。從結(jié)果來看，本文提出的方法可以提供更平滑的深度圖，并保持細節(jié)。而如圖10(b)和圖11(b)，從Raytrix軟件獲取的結(jié)果其深度信息噪聲較大且邊緣被侵蝕。而用文獻[18]提出的方法實現(xiàn)的結(jié)果，可以提供平滑的深度結(jié)果，但是在水平方向具有重復紋理的地方。該方法則完全失效，如圖10(c)所示。在利用自適應窗口進行代價信息優(yōu)化時,根據(jù)試驗效果窗口大小設置成7×7個像素，且rc=9、rd=23。

圖10 工件Fig.10 Workpiece

圖11 水果堆Fig.11 Fruitpile

4 結(jié) 論

本文論述了利用仿生復眼進行目標三維信息獲取的基本方法，提出了單次成像獲取三維信息的手段來實現(xiàn)3維到3維的信息轉(zhuǎn)換獲取。因為利用傳統(tǒng)手段構(gòu)建的復眼相機為利用多個相機的組合進行多視幾何三維構(gòu)像，對相機的姿態(tài)信息有一定的要求，本文利用新型的光場成像相機，通過其獨特的微透鏡與探測器的結(jié)合可以方便地實現(xiàn)三維信息的三維獲取，同時在本文的三維信息獲取方法中利用重聚焦手段對原始光場影像數(shù)據(jù)進行直接處理，避免傳統(tǒng)利用光場解碼數(shù)據(jù)對核線影像處理，有效利用成像像素，并且通過預設重聚焦影像尺寸的方式可以極大提升計算結(jié)果的分辨率。此外本文提出的方法，利用重聚焦影像為深度信息獲取的基礎，可以有效地構(gòu)建代價函數(shù)，因此最終深度估計的結(jié)果與現(xiàn)有的技術相比十分平滑而且準確。

參考文獻：

[1] 高鵬騏.無人機仿生復眼運動目標檢測機理與方法研究[D].北京:北京大學，2009.

GAO Pengqi.Research on UAV Moving Target Detection Inspired by Compound Eye[D].Beijing：Peking University，2009.

[2] RAYTRIX.“The Raytrix Camera”[EB/OL].[2017-08-10].https:∥www.raytrix.de.

[3] NG R.Digital Light Field Photography[D].Stanford，CA，USA：Stanford University，2006.

[4] NG R，LEVOY M，BRéDIF M，et al.Light Field Photography with a Hand-held Plenoptic Camera[R].Stanford Tech Report CTSR 2005-02，2005.

[5] LYTRO.“The Lytro Camera”[EB/OL].[2017-08-10].https:∥www.lytro.com.

[6] YANG Peng，WANG Zhaomin，YAN Yizhen，et al.Close-range Photogrammetry with Light Field Camera：from Disparity Map to Absolute Distance[J].Applied Optics，2016，55(27)：7477-7486.

[7] DANSEREAU D G，PIZARRO O，WILLIAMS S B.Decoding，Calibration and Rectification for Lenselet-based Plenoptic Cameras[C]∥Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland：IEEE，2013.

[8] CRIMINISI A，KANG S B，SWAMINATHAN R，et al.Extracting Layers and Analyzing Their Specular Properties Using Epipolar-plane-image Analysis[J].Computer Vision and Image Understanding，2005，97(1)：51-85.

[10] BOLLES R C，BAKER H H，MARIMONT D H.Epipolar-plane Image Analysis：An Approach to Determining Structure from Motion[J].International Journal of Computer Vision，1987，1(1)：7-55.

[11] DANSEREAU D，BRUTON L.Gradient-based Depth Estimation from 4D Light Fields[C]∥ Proceedings of 2004 International Symposium on Circuits and Systems.Vancouver：IEEE，2004：23-26.

[12] WANNER S，GOLDLUECKE B.Variational Light Field Analysis for Disparity Estimation and Super-resolution[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36(3)：606-619.

[13] WANNER S，GOLDLUECKE B.Globally Consistent Depth Labeling of 4D Light Fields[C]∥Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence：IEEE，2012：16-21.

[14] TAO M W，HADAP S，MALIK J，et al.Depth From Combining Defocus and Correspondence Using Light-field Cameras[C]∥Proceedings of 2013 IEEE International Conference on Computer Vision.Sydney：IEEE，2013：1-8.

[15] ZHANG Shuo，SHENG Hao，LI Chao，et al.Robust Depth Estimation for Light Field via Spinning Parallelogram Operator[J].Computer Vision and Image Understanding，2016，145：148-159.

[16] JEON H G，PARK J，CHOE G，et al.Accurate Depth Map Estimation from a Lenslet Light Field Camera[C]∥ Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston：IEEE，2015：7-12.

[17] HOG M，SABATER N，VANDAME B，et al.An Image Rendering Pipeline for Focused Plenoptic Cameras[J].IEEE Transactions on Computational Imaging，2016，3(4):811-821.

[18] KANADE T，OKUTOMI M.A Stereo Matching Algorithm with An Adaptive Window：Theory and Experiment[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1994，16(9)：920-932.