沈陽理工大學(xué)自動(dòng)化與電氣工程學(xué)院 牛朦朦

基于光場(chǎng)相機(jī)的深度圖像獲取技術(shù)研究

沈陽理工大學(xué)自動(dòng)化與電氣工程學(xué)院 牛朦朦

光場(chǎng)相機(jī)近年來已經(jīng)引起越來越多人的關(guān)注，它采用在主透鏡的焦平面處放置一個(gè)微透鏡陣列，然后再投影到CCD上，使得圖片能夠記錄下四維光場(chǎng)，從而記錄光線的方向，使得圖片具有重聚焦和在主透鏡的子孔徑范圍轉(zhuǎn)換視角的功能，豐富的信息為獲取深度圖像提供了便利。本文從光場(chǎng)相機(jī)的結(jié)構(gòu)入手，分析和研究基于光場(chǎng)相機(jī)的深度圖像獲取技術(shù)。

光場(chǎng)相機(jī)；重聚焦；深度圖像

引言

隨著科技的發(fā)展，傳統(tǒng)機(jī)器視覺已經(jīng)不能滿足人們針對(duì)三維目標(biāo)識(shí)別的要求。獲取場(chǎng)景中各點(diǎn)相對(duì)攝象機(jī)的距離是計(jì)算機(jī)視覺的重要任務(wù)之一，深度圖像中的每一個(gè)像素值表示場(chǎng)景中某一點(diǎn)與攝像機(jī)之間的距離。深度圖像對(duì)比灰度圖像，具有物體三維特征，即深度信息，由于不受光源照射方向和物體表面發(fā)射特性的影響，且不存在陰影，所以能更準(zhǔn)確的表現(xiàn)物體表面的三維深度信息。

近年來，以光場(chǎng)相機(jī)為基礎(chǔ)的深度圖像估計(jì)理論研究取得了較大進(jìn)展。相對(duì)于傳統(tǒng)相機(jī)僅記錄場(chǎng)景二維信息，光場(chǎng)相機(jī)能夠記錄位置和方向的四維信息，由于光場(chǎng)相機(jī)提供的視點(diǎn)較多、數(shù)據(jù)集包含的光線角度采樣信息量較大，這些特點(diǎn)為高質(zhì)量的視差估計(jì)提供了數(shù)據(jù)，本文從光場(chǎng)相機(jī)的原理特性出發(fā)，分析和研究現(xiàn)有的基于光場(chǎng)相機(jī)的深度圖像獲取技術(shù)。

1.光場(chǎng)相機(jī)成像原理

1.1光場(chǎng)的定義

光場(chǎng)實(shí)際上就是空間所有光線光輻射函數(shù)的總體，空間中光線攜帶二維位置信息 （u，v）和二維方向信息（θ，φ）在光場(chǎng)中傳遞。根據(jù) Levoy 的光場(chǎng)渲染理論，空間中攜帶強(qiáng)度和方向信息的任意光線，都可以用兩個(gè)互相平行的平面來進(jìn)行參數(shù)化表示，如圖1所示，光線與這兩個(gè)平面相交于兩點(diǎn)，形成一個(gè)四維光場(chǎng)函數(shù)L（ u，v，x，y）。

圖1　光場(chǎng)四維參數(shù)化

1.2成像原理

光場(chǎng)相機(jī)與傳統(tǒng)相機(jī)相比，由三部分組成：主透鏡、微透鏡陣列與光電探測(cè)器。其中微透鏡陣列放置于主透鏡的像平面處，CCD放置在微透鏡的焦距處。具體成像過程為：物體中一點(diǎn)經(jīng)主透鏡聚焦在微透鏡陣列上，然后經(jīng)過單個(gè)微透鏡再分散出強(qiáng)度和方向分量，到達(dá)CCD的不同面元，這就是該點(diǎn)的光場(chǎng)信息。此外，為了防止光場(chǎng)的方向信息和成像目標(biāo)空間分布之間的混疊，主透鏡的像方F數(shù)和微透鏡陣列的F數(shù)必須一致。原始圖像是由一系列斑點(diǎn)組成，每個(gè)斑點(diǎn)都是微透鏡的成像。

1.3數(shù)字重聚焦

如圖1所示，根據(jù)經(jīng)典的輻射理論，在像平面上的一點(diǎn)的輻射來自鏡頭上所有輻射的權(quán)重積分，即：

其中LF（x，y，u，v）是距離目標(biāo)平面外F距離的光場(chǎng)參數(shù)，通過數(shù)字積分近似估計(jì)，即可獲得一幅數(shù)字圖像。

圖2　數(shù)字重聚焦原理圖

如圖2所示，（x，y）面表示重聚焦所在平面，接收到的光輻射量為：

其中α=F’/F為變焦倍率。將（2）式代入（1）式即可獲得重聚焦的成像。由傅里葉切片定理可得，（x，y）面上得到的光輻射量就是的一個(gè)切片的投影積分，即通過一次曝光得到的光場(chǎng)信息可用來進(jìn)行不同焦距處圖像的重建。

2.基于光場(chǎng)相機(jī)的深度圖像獲取理論現(xiàn)狀

一直以來，基于圖像的深度圖像的獲取是計(jì)算機(jī)視覺中的重點(diǎn)之一，針對(duì)人類視覺系統(tǒng)中的不同深度線索，如視差、模糊、陰影、紋理和透視等，研究人員們提出了不同的深度圖像獲取方法。光場(chǎng)相機(jī)由于之前介紹的能夠重聚焦，且由于微透鏡陣列的作用，產(chǎn)生視差角，所以光場(chǎng)相機(jī)具有進(jìn)行一次曝光成像，經(jīng)過后期處理能同時(shí)利用散焦測(cè)距原理和視差線索進(jìn)行深度圖像的獲取。

Bishop等人在 Plenoptic 1.0 光場(chǎng)采集的數(shù)據(jù)集上，提出一種深度圖估計(jì)和圖像超分辨方法，獲取了較高精度的深度圖像。在二維光場(chǎng)極平面圖像上，Wanner 和Goldluecke采用結(jié)構(gòu)張量計(jì)算像素匹配方向以實(shí)現(xiàn)對(duì)場(chǎng)景的深度圖估計(jì)。接著，該研究組又分析了光場(chǎng)圖像視差關(guān)系，進(jìn)而實(shí)現(xiàn)了光場(chǎng)圖像超分辨率。針對(duì)便攜式消費(fèi)級(jí)光場(chǎng)相機(jī)，2013年Yu等提出了對(duì)遮擋的迭代深度估計(jì)，其采用全局優(yōu)化的計(jì)算框架，對(duì)不同微透鏡后的子圖像的匹配關(guān)系進(jìn)行求解，進(jìn)而實(shí)現(xiàn)深度圖像估計(jì)；同年，Kim 等在獲取高分辨率光場(chǎng)基礎(chǔ)上，實(shí)現(xiàn)高精度場(chǎng)景深度圖估計(jì)，其特點(diǎn)在于無需全局優(yōu)化［2］。

和視差線索不同，模糊線索是指同一個(gè)相機(jī)對(duì)不同深度場(chǎng)景進(jìn)行聚焦，處在非聚焦平面的物體的模糊程度與深度具有一定函數(shù)關(guān)系，利用該關(guān)系進(jìn)行深度圖像的獲取。光場(chǎng)相機(jī)因具有先拍照，后進(jìn)行數(shù)字重聚焦的操作，所以可以利用此線索進(jìn)行深度圖像獲取。

Tao 等人利用lytro消費(fèi)級(jí)光場(chǎng)相機(jī)同時(shí)利用視差和模糊的線索，對(duì)光場(chǎng)中的EPI圖像進(jìn)行視差和模糊線索進(jìn)行運(yùn)算，最后利用馬爾科夫隨機(jī)場(chǎng)算法融合這兩種深度線索，獲得了對(duì)近景較為復(fù)雜的情況下的較高精度的深度圖像生成；Wang等人在Tao的工作的基礎(chǔ)上，提出了一種存在遮擋的深度圖像獲取技術(shù)，其利用圖片的一致性，將角度像素塊劃分為存在遮擋與非遮擋區(qū)域，并分別進(jìn)行深度圖像的求取，獲得了良好的深度圖像。

3.結(jié)語

光場(chǎng)相機(jī)由于特殊的相機(jī)結(jié)構(gòu)，相較于傳統(tǒng)相機(jī)，由于圖像具有很大的重塑性，能夠后期進(jìn)行重聚焦操作，且具有大量的視差角線索，為獲取深度圖像提供了另一種方法，基于光場(chǎng)相機(jī)進(jìn)行深度圖像的獲取的研究不斷發(fā)展，但由于相機(jī)的特殊結(jié)構(gòu)，光場(chǎng)相機(jī)多出來的二維信息是犧牲一定的空間分辨率作為代價(jià)，現(xiàn)有的光場(chǎng)相機(jī)往往在圖像的空間分辨率上不能滿足需求，二者存在一個(gè)折中，如何進(jìn)行進(jìn)一步的優(yōu)化將是后期研究的一個(gè)重點(diǎn)，此外微透鏡陣列之間的基線特別短，利用視差因素進(jìn)行深度圖像的求取中存在誤差，后續(xù)還有待進(jìn)一步研究。

［1］Levoy M， Hanrahan P. Light field rendering［C］// Conference on Computer Graphics and Interactive Techniques.ACM，1996：II-64-II-71.

［2］肖照林.基于相機(jī)陣列的光場(chǎng)成像與深度估計(jì)方法研究［D］.西安：西北工業(yè)大學(xué)，2014.