楊韜, 符文星, 王民鋼, 閆杰

(西北工業(yè)大學 航天學院，陜西 西安 710072)

基于光場成像的雙目深度圖像獲取

楊韜, 符文星, 王民鋼, 閆杰

(西北工業(yè)大學 航天學院，陜西 西安 710072)

摘要：提出了一種利用Lytro相機光場圖像進行雙目立體測距的方法，首先對原始光場圖像進行重編碼獲得宏像素水平排列的光場圖像，由重編碼圖像提取出子孔徑圖像陣列并進行校正，相當于獲得了相機陣列所拍攝得到的圖像陣列。然后選取其中2個平行子孔徑圖像構(gòu)成雙目立體測距系統(tǒng)，通過matlab標定工具箱和OpenCV函數(shù)庫進行聯(lián)合標定、立體校正和立體匹配生成深度圖像，對目標物體進行距離測量。實驗結(jié)果表明，該方法的距離測量在精度范圍之內(nèi)，雙目測距方法可以應用于通過微透鏡陣列獲得的子孔徑圖像上。

關(guān)鍵詞：深度測量，光場，立體匹配，子孔徑圖像

光場概念的提出用以描述光線空間傳播的三位輻射特性。1992年,E. Adelson和J. Wang設(shè)計了全光相機,主要由主鏡頭,微透鏡陣列和成像傳感器組成[1]。2005年,R.Ng等人對全光相機進行了重新設(shè)計,在常規(guī)相機基礎(chǔ)上制成手持光場相機[2]。R.Ng于2010年博士畢業(yè)后成立Lytro光場相機公司,現(xiàn)已推出Lytro和Lytrolllum 2款針對不對需求的消費級相機,這為科研工作者對光場圖像的應用研究帶來了極大便利。

國內(nèi)中國科技大學的周志良在其博士論文中對光場的理論,光場相機設(shè)計以及數(shù)字重對焦等進行了完整的分析和探討[3]。北京航空航天大學的袁艷等在光場成像質(zhì)量、微透鏡探測器配準等方面進行了較為深入的研究[4]。西安光學機電研究所的肖相國對基于數(shù)字重對焦的對焦測距技術(shù)作了初步研究[5]。目前國內(nèi)已經(jīng)有越來越多的科研工作者展開了光場成像及其應用的相關(guān)研究工作。

由于光場相機記錄下了光線的三維傳播信息,因而具有還原所記錄圖像場景深度信息的能力。相比較傳統(tǒng)的雙目或相機陣列,光場相機由于只具有一個主鏡頭和成像傳感器,只需要一次曝光就能記錄下場景三維信息,避免了傳統(tǒng)雙目或相機陣列應用于實時深度圖像獲取時的相機信號時間同步問題簡化了立體視覺系統(tǒng)的結(jié)構(gòu)和信號處理系統(tǒng)設(shè)計,在無人航行器導航方面有著較為廣泛的應用前景。

1Lytro光場相機原理分析

根據(jù)Levoy等人的光場渲染理論[6],空間任意光線可以用輻射函數(shù)表示,其攜帶二維位置信息(u,v),以及二維方向信息(θ,φ),光場即空間中所有光線光輻射函數(shù)的總體。并且,光線所攜帶的二維位置信息及二維方向信息所表述的光線空間四維方向信息可以用2個平行平面進行參數(shù)化表示。如圖1所示一束光線通過透鏡射向傳感器,其在透鏡平面位置為(u,v),在傳感器上位置為(x,y),透鏡傳感器之間的距離為F,可用四維光場函數(shù)LF(x,y,u,v)表示。

圖1　光場的參數(shù)化描述

根據(jù)光場成像函數(shù),從透鏡射向成像平面某一點的圖像輻照度可以用來自透鏡光線的積分公式表示[2]:

(1)

Lytro光場相機將微透鏡陣列插入圖像傳感器前端以記錄下光線的(x,y,u,v)四維信息。其記錄的原始圖像如圖2所示。

圖2　Lytro相機原始圖像

在該相機中,主透鏡聚焦在微透鏡陣列上,微透鏡到圖像傳感器的距離等于微透鏡的焦距。在圖像縮小的情況下圖像與傳統(tǒng)相機所攝圖像無異,但若放大來看可以看到每個微透鏡所成的光斑,即宏像素。每個宏像素的位置確定了光線的(x,y)坐標。每個像素點在宏像素中的相對位置指示了其對應光線的(u,v)坐標。

可以看出單個微透鏡的尺寸決定了空間采樣分辨率。光場相機在傳感器像素固定的情況下,以犧牲最終圖像分辨率的方式獲得了光線的方向分辨率。

2光場圖像校正及子孔徑圖像陣列的提取

Lytro相機具有3 280*3 280分辨率的圖像傳感器,其上約安裝有六邊形蜂巢狀排列的微透鏡陣列,微透鏡陣列尺寸約為330*390,由于安裝時不能完全保證微透鏡陣列水平平行于圖像傳感器,導致得到的原始圖像宏像素有輕微傾斜角,因此光場相機原始圖像需要進行校正,以保證宏像素水平平行排列,便于后續(xù)的圖像處理。

周文暉等人利用Lytro相機圖像文件中提供的白圖像提取出了每個宏像素的圖像中心對原始圖像進行了重編碼,給出了針對Lytro相機的數(shù)據(jù)提取、解碼、顏色校正、微透鏡陣列標定和校正的完整方案[7]。Jan Kuera編寫了Lytro相機原始文件分析處理軟件[8],利用該軟件可以方便的獲得校正后的光場圖像,校正后每個宏像素大小為10*10。

如果固定(u,v)的取值,將(1)式簡單變形為:

(2)

那么(2)式即表示通過主透鏡(u,v)位置的子孔徑在圖像傳感器上各個點的輻照度。這樣就可以得到透過(u,v)位置子孔徑所成圖像。選取不同的(u,v)能得到不同觀察位置子孔徑所得到的圖像陣列。我們選取宏像素亮度較高的中心區(qū)域像素進行重排,獲得5*5的子孔徑圖像陣列。由于微透鏡的蜂巢狀排列,因此需要對圖像進行拉伸校正。校正后的光場原始圖像和子孔徑圖像陣列如圖3、圖4所示:

圖3　校正后的宏像素排列　圖4　5*5子孔徑圖像陣列

子孔徑圖像陣列相當于5*5的相機陣列所攝圖像。每幅圖像都可以看作處在不同位置的虛擬相機拍攝得到。因此其有能力構(gòu)成立體視覺系統(tǒng),傳統(tǒng)的標定和立體匹配方法理論上可以應用于子孔徑圖像。

3子孔徑的標定和深度信息獲取

3.1子孔徑的標定

相機的標定主要通過參照物圖像確定相機的內(nèi)外參數(shù),以建立起世界坐標系、相機坐標系、圖像坐標系之間的轉(zhuǎn)換關(guān)系。需要標定的參數(shù)有相機焦距,主點位置,光軸偏角,畸變系數(shù)等。利用相同標定參照物完成左右相機標定后,利用所獲得的內(nèi)外部參數(shù)可以進行立體標定確定出2個相機的旋轉(zhuǎn)角,主點距離等相互之間位置關(guān)系。

相機標定目前比較廣泛使用的是張正友標定方法,該方法靈活精確,通過至少3個不同位置獲取標定物圖像,計算出攝像機所有的內(nèi)外參數(shù)。利用基于張正友標定方法的Jean-Yves Bouguet Matlab標定工具箱,可以快速精確對相機進行標定[9]。由于子孔徑圖像可以看作虛擬相機拍攝得到,因而選用同行的2個子孔徑圖像可構(gòu)成雙目系統(tǒng),對其進行標定,輸入棋盤標定圖像,選擇角點如圖5所示:

圖5　輸入棋盤圖像

標定所得到的相機參數(shù)及立體標定參數(shù)見表1:

其中需要注意的是,標定得到的焦距、主點位置均以像素為單位,相機距離單位為mm。

表1　標定系數(shù)

3.2立體匹配及深度獲取

標定工作完成后,結(jié)合標定參數(shù)可以通過OpenCV函數(shù)庫,進行立體校正,立體匹配和深度獲取。

立體校正主要為了對2個相機進行水平平行校正,使拍攝得到的2幅圖像中,相同元素在同一行像素上,保證后續(xù)立體匹配時極線搜索的匹配精度。校正后的圖像如圖6所示,橫線用于檢查同一行像素上個元素的位置。

圖6　立體校正后的左右視圖

立體匹配采用BM算法,該算法通過滑動小窗口(SAD)利用“絕對誤差累計”來查找左右2幅立體校正圖像之間的匹配點,生成稀松匹配圖像[10]:

(3)

輸入視差圖和立體校正參數(shù)即可將視差映射到三維世界坐標系,獲得測量深度。

圖7　視差圖

可以看到得到的稀松匹配視差圖區(qū)分出了前景中景和背景圖像,但仍存在一定程度上的誤匹配和信息丟失。選取前中后景物的10個點輸出距離取去除野點后均值,測定距離/mm分別為380.18、492.78、688.07。由于無法知道Lytro相機主透鏡光學參數(shù),因而不能準確測量物體到相機主透鏡中心位置,但可以通過物體間距對測量精度進行檢驗。實際三物體間距/mm為100、220,前景中景兩物體的距離測量誤差在11.26%,中景后景物體測距誤差為11.23%,測距在精度范圍之內(nèi)。

4結(jié)論

本文分析了光場成像原理,利用Lytro相機原始圖像經(jīng)重編碼,提取了子孔徑圖像陣列,并選取其中2個平行子孔徑圖像構(gòu)成雙目立體視覺系統(tǒng)。通過標定、立體校正、立體匹配生成空間深度圖像,對于目標物體進行了距離測量。實驗結(jié)果表明,該方法測距在精度范圍之內(nèi),雙目測距方法可以應用于通過微透鏡陣列獲得的光場圖像之上,但本文只使用的子孔徑圖像陣列中2幅圖像進行測距實驗,后續(xù)應引入更多幅圖像提高立體匹配及測距精度。

參考文獻：

[1]Adelson E H, Wang J Y A. Single Lens Stereo with a Plenopticcamera[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 1992, 14(2): 99-106

[2]Ng R, Levoy M, Brédif M, et al. Light Field Photography with a Hand-Held Plenopticcamera[J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11

[3]周志良. 光場成像技術(shù)研究[D]. 合肥：中國科學技術(shù)大學,2012

Zhou Zhiliang. Reserch on Light Field Imaging Technology[D]. Hefei: University of Science and Technology of China,2012 (in Chinese)

[4]楊凡,袁艷,周志良,等. 光場相機成像質(zhì)量評價方法研究[J]. 現(xiàn)代電子技術(shù),2011,34(6):4-6

Yang Fan, Yuan Yan, Zhou Zhiliang, et al. Study on Imaging Quality Evaluation of Light Field Camera[J]. Modern Electronics Technique, 2011, 34(5): 4-6 (in Chinese)

[5]肖相國,王忠厚,孫傳東,等. 基于光場攝像技術(shù)的對焦測距方法的研究[J]. 光子學報,2008,37(12):2539-2543

Xiao Xiangguo, Wang Zhonghou, Sun Chuandong, et al. A Range Focusing Measurement Technology Based on Light Field Photography[J]. Acta Photonica Sinica, 2008,37(12): 2539-2543 (in Chinese)

[6]聶云峰,相里斌,周志良,等. 光場成像技術(shù)進展[J]. 中國科學院研究生院學報,2011,28(5):563-572

Nie Yunfeng, Xiang Libin, Zhou Zhiliang, et al. Advances in Light Field Photography Technique[J]. Journal of the Graduate School of the Chinese Academy of Sciences, 2011, 28(5): 563-572 (in Chinese)

[7]周文暉,林麗莉. Lytro相機的光場圖像校正與重對焦方法[J]. 中國圖象圖形學報,2014,19(7):1006-1011

Zhou Wenhui, Lin Lili. Light Field Image Rectification and Refocus Method for Lytrocamera[J]. Journal of Image and Graphics, 2014, 19(7):1006-1011 (in Chinese)

[8]Jan Ku?era. LYTRO Meltdown. http://optics.miloush.net/lytro/Default.aspx

[9]Jean-Yves Bouguet. Calibration Matlab Toolbox. http://www.vision.caltech.edu/bouguetj/

[10] Gary Bradski, Adrian Kaebler. Learning OpenCV[M]. O′ Reilly, Sebastopol,CA, 2009

《西北工業(yè)大學學報》第33卷第4期(2015年8月)有1篇論文被

Ei Compendex(計算機工程索引)數(shù)據(jù)庫收錄了

11個2006年以后的Ei主題詞

被Ei Compendex數(shù)據(jù)庫收錄了11個2006年以后的Ei主題詞的《西北工業(yè)大學學報》第33卷第4期的1篇的Ei編號是20153801281550，其第1作者是王科雷，其11個2006年以后的Ei主題詞(出現(xiàn)年份)是：(1)analysis of variance(ANOVA)(2006),(2)angle of attack(2006),(3)drag coefficient(2006),(4)flow fields(2006),(5)flow separation(2006),(6)lift drag ratio(2009)，(7)micro air vehicles(MAV)(2009)，(8)multiobjective optimization(2006)，(9)reliability analysis(2006)，(10)Reynolds equation(2006),(11)turbulence models(2006)。

Binocular Stereo Depth Map Acquisition

Based on Light Field Images

Yang Tao, Fu Wenxing, Wang Mingang, Yan Jie

(College of Astronautics, Northwestern Polytechnical University, Xi’an 710072,China)

Abstract:We propose a binocular stereo depth measurement method based on light field images. Firstly, the original light field image was recoded to make the macro pixel horizontal. After recoding we obtained and rectified the subaperture images, which were similar to the image array acquired from the camera array. Then we chose two horizontal subaperture images to constitute the binocular stereo distance measurement system.Through matlab toolbox and OpenCV, the calibration, stereo rectification, stereo matching were completed to create the depth map. The experimental results and their analysis showpreliminarily that the precision of distance measurement is in the theoretical range and that the method of binocular distance measurement can be used on the subaperture images obtained from light field images.

Key words:calibration, computer software,computer vision,experiments, image acquisition, image processing,mapping, MATLAB, measurement errors,navigation, pixels; depth measuring,light field,stereo matching,subaperture images

中圖分類號：TP391.41

文獻標志碼：A

文章編號:1000-2758(2015)05-0727-05

作者簡介：楊韜(1989—),西北工業(yè)大學博士研究生,主要從事導航、制導與控制的研究。

收稿日期：2015-03-12