錢(qián)天磊， 周 騖， 馬原馳， 劉慧芳， 蔡小舒

（上海理工大學(xué) 能源與動(dòng)力工程學(xué)院，上海 200093）

隨著光學(xué)電子制造工藝和計(jì)算成像技術(shù)的發(fā)展，光場(chǎng)相機(jī)已逐步走入生活和科研領(lǐng)域。在功能方面，與傳統(tǒng)相機(jī)相比，光場(chǎng)相機(jī)可同時(shí)記錄光線(xiàn)的強(qiáng)度和傳播方向，實(shí)現(xiàn)空間光場(chǎng)信息的采集；獲得的數(shù)據(jù)可以用于數(shù)字重聚焦、三維重建、空間深度獲取等諸多方面。在結(jié)構(gòu)方面，與傳統(tǒng)相機(jī)相比，光場(chǎng)相機(jī)在主鏡頭和傳感器之間增加了一片微透鏡陣列，用于光線(xiàn)傳播方向的獲取。

光場(chǎng)這一概念最早由Gershun[1]在1939 年提出，用來(lái)描述光在三維空間中的輻射傳遞特征。1992 年，Andelson 等[2]設(shè)計(jì)了一臺(tái)單鏡頭的光場(chǎng)相機(jī)，其原理為在主鏡頭成像面上安裝一個(gè)透鏡陣列用以采集光線(xiàn)的角度信息，實(shí)現(xiàn)了光場(chǎng)采集和三維測(cè)量。但由于當(dāng)時(shí)制造工藝限制，微透鏡和傳感器像元較大，其測(cè)量精度很低。Ng[3]在2006 年制造了第一臺(tái)手持式的光場(chǎng)相機(jī)。Lumsdaine 等[4-5]設(shè)計(jì)了聚焦型光場(chǎng)相機(jī)，也被稱(chēng)為第二代光場(chǎng)相機(jī)。與第一代光場(chǎng)相機(jī)相比，聚焦型光場(chǎng)相機(jī)的特點(diǎn)是傳感器所在位置與主鏡頭成像面關(guān)于微透鏡陣列共軛。微透鏡陣列與傳感器組成了微型的多目視覺(jué)系統(tǒng)[6]，對(duì)主鏡頭的成像進(jìn)行了二次的采集。相同硬件條件下，這一結(jié)構(gòu)的光場(chǎng)相機(jī)空間分辨率更高。2012 年，Perwa?[7]等對(duì)聚焦型光場(chǎng)相機(jī)結(jié)構(gòu)進(jìn)行改良，用3 種不同焦距的微透鏡陣列代替?zhèn)鹘y(tǒng)單一焦距的微透鏡陣列。相比于單一焦距的微透鏡陣列，3 種焦距按規(guī)律交錯(cuò)分布的微透鏡陣列在像方的成像范圍更廣。在不同深度位置下，選擇成像最清晰的一種微透鏡進(jìn)行深度測(cè)量，可提升深度測(cè)量范圍。

為了實(shí)現(xiàn)光場(chǎng)相機(jī)的三維測(cè)量，對(duì)整套測(cè)量系統(tǒng)的標(biāo)定必不可少，即將圖像中提取的深度表征量與實(shí)際深度一一對(duì)應(yīng)。Bok 等[8]通過(guò)拍攝棋盤(pán)格標(biāo)定板，利用原始圖像中的線(xiàn)性特征對(duì)非聚焦型光場(chǎng)相機(jī)進(jìn)行了標(biāo)定。Johannsen 等[9]通過(guò)拍攝確定傾斜角度的圓點(diǎn)標(biāo)定板，利用21 個(gè)參數(shù)對(duì)每個(gè)圓點(diǎn)從物方到像方的坐標(biāo)轉(zhuǎn)換進(jìn)行了描述。在給定部分參數(shù)的理論初始值后，采用序列二次規(guī)劃（SQP）算法求解標(biāo)定模型，對(duì)裝配大景深單反鏡頭的聚焦型光場(chǎng)相機(jī)進(jìn)行了標(biāo)定。Sun 等[10]通過(guò)拍攝傾斜的棋盤(pán)格標(biāo)定板，利用共軛關(guān)系將圖像上的點(diǎn)坐標(biāo)轉(zhuǎn)換到虛擬像點(diǎn)坐標(biāo)，采用張正友標(biāo)定法[11]，對(duì)大景深的聚焦型光場(chǎng)成像系統(tǒng)進(jìn)行了標(biāo)定。

在標(biāo)定聚焦型顯微光場(chǎng)相機(jī)時(shí)，由于其主鏡頭景深淺、深度測(cè)量范圍小的特點(diǎn)，利用傾斜角度的標(biāo)定板進(jìn)行標(biāo)定時(shí)，標(biāo)定板初始位置難以確保與成像面完全平行，實(shí)際傾斜角度很難精確確定；而成像系統(tǒng)深度測(cè)量范圍小，標(biāo)定板在深度測(cè)量范圍內(nèi)可傾斜角度小，難以進(jìn)一步精確細(xì)分傾角來(lái)拍攝足夠數(shù)量的標(biāo)定圖像來(lái)進(jìn)行相機(jī)標(biāo)定。本文通過(guò)平移拍攝不同深度下的單一角點(diǎn)標(biāo)定板進(jìn)行標(biāo)定，利用圖像匹配算法，計(jì)算得到相鄰重復(fù)成像點(diǎn)的間距與虛擬深度，并將虛擬深度與實(shí)際深度進(jìn)行擬合。通過(guò)驗(yàn)證性實(shí)驗(yàn)，并與商業(yè)軟件深度測(cè)量結(jié)果對(duì)比，證明這一標(biāo)定方法的準(zhǔn)確性。

1 標(biāo)定原理

1.1 聚焦型光場(chǎng)相機(jī)成像模型

根據(jù)微透鏡陣列在主鏡頭成像面的前后位置不同，聚焦型光場(chǎng)相機(jī)又可細(xì)分為兩種結(jié)構(gòu)[12]，如圖1 所示。分析圖1（a）可知，當(dāng)測(cè)量點(diǎn)從主鏡頭工作距離逐步遠(yuǎn)離主鏡頭時(shí)，光線(xiàn)的出射孔徑角會(huì)逐漸增大，像面逐漸前移，所投射到的微透鏡則會(huì)越來(lái)越少。當(dāng)被投射的透鏡少于2 個(gè)時(shí)，無(wú)法進(jìn)行深度測(cè)量。因此，圖1（a）所示結(jié)構(gòu)的聚焦型光場(chǎng)相機(jī)測(cè)量范圍位于主鏡頭工作距離前向，圖1（b）則與之相反。采用圖1（a）結(jié)構(gòu)的聚焦型光場(chǎng)相機(jī)，對(duì)圖2（a）所示圖形在不同深度位置下拍攝，得到一系列光場(chǎng)圖像。初始位置在主鏡頭工作距離附近，所獲得的光場(chǎng)原始圖像如圖2（b）所示。當(dāng)物體遠(yuǎn)離初始位置1 mm 時(shí)，如圖2（c）所示，微透鏡下的成像無(wú)法提取出特征信息進(jìn)行深度測(cè)量。圖2（d）～（f）為從初始位置逐步靠近主鏡頭拍攝得到的光場(chǎng)原始圖像。由變化趨勢(shì)可見(jiàn)該光場(chǎng)相機(jī)的微透鏡陣列在主鏡頭成像面前，且通過(guò)微透鏡對(duì)應(yīng)的宏像素圖像可發(fā)現(xiàn)，微透鏡陣列為3 種不同焦距的透鏡規(guī)律排布而成。

圖1 兩種不同結(jié)構(gòu)聚焦型光場(chǎng)相機(jī)Fig.1 Two focused light-field cameras with different structures

圖2 同一物體在不同深度位置下的光場(chǎng)圖像Fig.2 Light-field images at different depths from the same object

1.2 虛擬深度與實(shí)際深度函數(shù)關(guān)系推導(dǎo)

為了便于虛擬深度與實(shí)際深度間關(guān)系式的推導(dǎo)，一般將主鏡頭成像簡(jiǎn)化為薄透鏡成像模型，微透鏡成像簡(jiǎn)化為針孔成像模型[13]。光場(chǎng)成像原理簡(jiǎn)圖如圖3 所示，l 為物面到主鏡頭的距離，即物體實(shí)際深度，l’為主鏡頭到虛擬清晰像面的距離，m 為主鏡頭到微透鏡陣列的距離，a 為微透鏡到傳感器的距離，b 為微透鏡到像面的距離，D 表示重復(fù)像點(diǎn)間距離，d 表示2 個(gè)重復(fù)像點(diǎn)所對(duì)應(yīng)的微透鏡中心距離。

主鏡頭成像符合高斯公式

式中，f 為主鏡頭焦距。

只要求解得到l’，即可通過(guò)式（1）計(jì)算出深度l。而l’符合等式

主鏡頭到微透鏡的距離m 為未知常量，微透鏡到像面的距離b 為未知變量，是商業(yè)相機(jī)內(nèi)部參數(shù)。引入一個(gè)無(wú)量綱參數(shù)虛擬深度v[14]。

分析圖3 中的幾何相似關(guān)系可以得到

將式（3）代入式（4），可得

圖3 聚焦型光場(chǎng)相機(jī)深度測(cè)量原理簡(jiǎn)圖Fig.3 Principle of depth estimation by the focused light-field camera

因此，通過(guò)提取原始圖像中的特征點(diǎn)，獲取其相鄰重復(fù)像點(diǎn)的間距D，即可計(jì)算得到虛擬深度v。聯(lián)立等式（1）～（3）可得

式（6）描述了虛擬深度v 與物體實(shí)際深度l 間的函數(shù)關(guān)系：l 為關(guān)于v 的含有3 個(gè)未知常量的反比例函數(shù)。通過(guò)拍攝多組深度下的圖像，得到多組（l, v）并進(jìn)行擬合，即可求解得到未知參數(shù)，完成測(cè)量系統(tǒng)的標(biāo)定?？紤]實(shí)際主鏡頭為透鏡組，設(shè)l0為物面到主鏡頭前端面距離，Δl 為主鏡頭前端面到等效主平面的距離。

將式（7）代入式（6），可得

由于Δl 與a，m，f 同樣為未知常量，將Δl 合并入分式，可以得到式（8）的函數(shù)形式為

式中：x 為自變量；f (x)為因變量；p1，p2，q1為3 個(gè)未知常量。

式（9）與式（6）的函數(shù)形式相同，為含有3 個(gè)未知常量的反比例函數(shù)。因此，主鏡頭等效主平面位置不影響實(shí)際深度與虛擬深度的函數(shù)關(guān)系形式，可以用物面到主鏡頭前端面距離l0代替實(shí)際物距l(xiāng) 進(jìn)行標(biāo)定與擬合，式（6）具有通用性。

2 標(biāo)定實(shí)驗(yàn)

2.1 實(shí)驗(yàn)裝置

圖4 聚焦型顯微光場(chǎng)相機(jī)標(biāo)定系統(tǒng)示意圖Fig.4 Schematic of the calibration system for the focused micro light-field camera

實(shí)驗(yàn)裝置如圖4 所示，采用Raytrix 公司生產(chǎn)的R12 Micro 光場(chǎng)相機(jī)，微透鏡光圈大小為F26；配合主鏡頭為型號(hào)VSZ-0745CO 的可變倍鏡頭，光圈為無(wú)級(jí)調(diào)節(jié)，調(diào)節(jié)范圍包含F(xiàn)26。選取主鏡頭的放大倍率為2.8×，光闌完全打開(kāi)，相鄰宏像素相切但不重疊，滿(mǎn)足主鏡頭與微透鏡光圈相匹配[7]的原則。在這一成像條件下，主鏡頭景深約0.2 mm，工作距離為100 mm。在工作距離附近固定標(biāo)定板，作為起始位置。分析式（6）可知，理論上只需拍攝3 個(gè)不同深度位置的標(biāo)定板圖像，即可求解得到未知參數(shù)。為了提高標(biāo)定結(jié)果的準(zhǔn)確性，本文將位移平臺(tái)在5 mm 深度范圍內(nèi)，以0.2 mm 為步長(zhǎng)朝主鏡頭方向移動(dòng)標(biāo)定板，每移動(dòng)一次標(biāo)定板，拍攝一張標(biāo)定板圖像并記錄下對(duì)應(yīng)的深度，共拍攝26 張標(biāo)定圖像。

2.2 標(biāo)定圖像處理及結(jié)果

使用的光場(chǎng)相機(jī)微透鏡陣列中存在3 種不同焦距的微透鏡，其分布規(guī)律如圖5 所示，數(shù)字1，2，3 分別標(biāo)記了這3 種微透鏡。本文選用的圖像處理軟件為MATLAB。選擇對(duì)比度較高、成像較清晰的一種透鏡，在其宏像素下選取特征區(qū)域，并記錄特征區(qū)的頂點(diǎn)坐標(biāo)（x1, y1）。利用MATLAB中基于最小距離分類(lèi)器的模板匹配算法[15]可匹配到相近同種微透鏡下的特征區(qū)，并獲得其頂點(diǎn)坐標(biāo)為（x2, y2）。通過(guò)兩者的坐標(biāo)差，可以計(jì)算得到D，并根據(jù)式（5）進(jìn)一步獲得v。

圖5 3 種不同焦距的微透鏡及特征區(qū)域匹配Fig.5 Microlens with three different focal lengths and image matching

根據(jù)式（6），在MATLAB 平臺(tái)上選用式（9）所示的反比例函數(shù)對(duì)標(biāo)定實(shí)驗(yàn)的一組（l，v）數(shù)據(jù)進(jìn)行擬合，結(jié)果如圖6 所示。實(shí)驗(yàn)標(biāo)定深度范圍為95～100 mm，擬合公式確定系數(shù)為0.984 9。

圖6 擬合曲線(xiàn)得到的虛擬深度與實(shí)際深度關(guān)系Fig. 6 Functional velation between virtual depth and real depth by curve fitting

綜上，聚焦型顯微光場(chǎng)相機(jī)的標(biāo)定步驟如下：

a. 通過(guò)在主鏡頭工作距離前后平移標(biāo)定板，分析不同深度位置下的成像，確定所要標(biāo)定的聚焦型顯微光場(chǎng)相機(jī)成像模型與深度測(cè)量區(qū)（微透鏡陣列在主鏡頭成像面前或者后，深度測(cè)量區(qū)在主鏡頭工作距離位置前向或者后向）；

b. 選擇單一角點(diǎn)的標(biāo)定板，使拍攝視場(chǎng)內(nèi)僅出現(xiàn)一個(gè)深度的特征點(diǎn)。確定標(biāo)定的深度范圍和初始位置，拍攝不同深度下的標(biāo)定板圖像；

c. 在每一幅光場(chǎng)原始圖像中，選擇成像質(zhì)量最佳的微透鏡下的特征區(qū)域，通過(guò)圖像匹配算法獲得相鄰重復(fù)像點(diǎn)的間距D，并計(jì)算虛擬深度v；

d. 將虛擬深度v 與實(shí)際深度l 一一對(duì)應(yīng)，選擇反比例函數(shù)模型進(jìn)行曲線(xiàn)擬合，獲得函數(shù)關(guān)系式；

e. 得到系統(tǒng)參數(shù)。

3 深度測(cè)量分辨率與測(cè)量誤差

3.1 深度測(cè)量分辨率分析

分析圖6 可以發(fā)現(xiàn)，對(duì)本文中的測(cè)量系統(tǒng)，在深度處于95.0～97.6 mm 范圍內(nèi)出現(xiàn)了多個(gè)實(shí)際深度l 對(duì)應(yīng)一個(gè)虛擬深度v 的現(xiàn)象，造成這一現(xiàn)象的原因是當(dāng)深度測(cè)量點(diǎn)逐漸靠近主鏡頭時(shí)，出射孔徑角的變化量越來(lái)越小，重復(fù)成像點(diǎn)間距的變化量ΔD 也隨之越來(lái)越小，當(dāng)ΔD 小于一個(gè)像素時(shí)，就無(wú)法分辨出物方深度的變化，達(dá)到了基于此標(biāo)定方法的深度測(cè)量分辨率極限。將式（5）代入標(biāo)定函數(shù)式，可得深度l 與重復(fù)像點(diǎn)間距離的關(guān)系式

由ΔD 大于等于1 個(gè)像素得到

化簡(jiǎn)后得到

圖7 為主鏡頭前端95～100 mm 范圍內(nèi)的深度測(cè)量分辨率曲線(xiàn)，Δl 為深度測(cè)量分辨率。分析圖7 曲線(xiàn)，當(dāng)l＜97.8 mm 時(shí)，Δl 超過(guò)了0.5 mm。而標(biāo)定實(shí)驗(yàn)中，選取的步長(zhǎng)為0.2 mm，小于該深度下的深度測(cè)量分辨率，從而造成了多個(gè)實(shí)際深度對(duì)應(yīng)同一虛擬深度的現(xiàn)象。

圖7 不同深度下的深度測(cè)量分辨率Fig. 7 Resolution of depth estimation at different depth positions

圖8 深度測(cè)量誤差分析實(shí)驗(yàn)系統(tǒng)示意圖Fig.8 Diagram of the experiment system for the analysis of depth measurement error

3.2 測(cè)量誤差分析實(shí)驗(yàn)

在本文的標(biāo)定實(shí)驗(yàn)中，由于實(shí)驗(yàn)中難以精確獲得物體離鏡頭前端面的實(shí)際距離，本文對(duì)深度差值的測(cè)量誤差進(jìn)行分析。如圖8 所示，采用1 mm×1 mm 的棋盤(pán)格標(biāo)定板，通過(guò)旋轉(zhuǎn)平臺(tái)將標(biāo)定板傾斜一定的角度即可獲取兩角點(diǎn)間的深度距離。由于安裝標(biāo)定板時(shí)難以確保其處于平行面，且很難通過(guò)更精確的測(cè)量方法獲取真實(shí)的初始傾斜角度，本文通過(guò)深度測(cè)量的方式確定標(biāo)定板在旋轉(zhuǎn)前的初始傾角，并依據(jù)該深度位置下的深度測(cè)量分辨率計(jì)算初始傾角的誤差。拍攝一張旋轉(zhuǎn)前的圖片，選取棋盤(pán)格上同一行間距為3 mm 兩個(gè)角點(diǎn)。通過(guò)深度計(jì)算公式，得到兩個(gè)角點(diǎn)在初始位置時(shí)深度分別為99.927 mm 與99.837 mm，深度測(cè)量分辨率分別為0.066 mm 與0.076 mm。選擇分辨率較大值0.076 mm 作為誤差，則相對(duì)深度為0.090±0.076 mm，且通過(guò)三角函數(shù)關(guān)系可以得到初始傾角θ0為1.7±1.5°。利用旋轉(zhuǎn)平臺(tái)將標(biāo)定板傾斜20°，標(biāo)定板所在平面與平行面的夾角為21.7±1.5°。旋轉(zhuǎn)后，間距3 mm 兩個(gè)角點(diǎn)的實(shí)際深度距離間隔為1.11±0.07 mm，在后續(xù)誤差分析中以1.11 mm 作為真實(shí)值進(jìn)行對(duì)比。將傾斜后的標(biāo)定板在主鏡頭工作距離附近固定，通過(guò)位移平臺(tái)在5 mm 范圍內(nèi)以0.2 mm 為步長(zhǎng)移動(dòng)標(biāo)定板，拍攝每個(gè)深度位置下的圖像。

基于圖6 中的標(biāo)定數(shù)據(jù)，測(cè)量上述拍攝圖像中兩個(gè)角點(diǎn)的相對(duì)深度，并與相對(duì)深度值1.11 mm進(jìn)行比較，得到測(cè)量誤差，如圖9 所示。將實(shí)驗(yàn)的處理結(jié)果與商業(yè)軟件的處理結(jié)果進(jìn)行了對(duì)比。在97.4～100 mm 范圍內(nèi)，兩者測(cè)量誤差隨深度變化的趨勢(shì)基本一致，且本文標(biāo)定方法的深度測(cè)量誤差略小于商業(yè)軟件的測(cè)量誤差。當(dāng)深度小于97.4 mm 時(shí)，深度測(cè)量分辨率較快下降，對(duì)相對(duì)深度測(cè)量的誤差影響較大，不適合進(jìn)行深度測(cè)量。考慮到在98～100 mm 深度范圍內(nèi)誤差小于5.35%，具有較高的深度測(cè)量精度，可認(rèn)為該范圍為系統(tǒng)的測(cè)量范圍。

圖9 不同深度位置下的深度測(cè)量誤差Fig. 9 Depth measurement error at different depth positions

4 結(jié) 論

對(duì)聚焦型顯微光場(chǎng)相機(jī)進(jìn)行了基于虛擬深度的深度測(cè)量標(biāo)定及誤差分析，得到以下結(jié)論：基于高斯光學(xué)理論，推導(dǎo)出深度表征量虛擬深度與實(shí)際深度成反比例函數(shù)關(guān)系，并證明這一函數(shù)關(guān)系對(duì)薄透鏡和透鏡組均適用?；诠鈭?chǎng)相機(jī)Raytrix R12 Micro 搭建了顯微光場(chǎng)成像系統(tǒng)，通過(guò)拍攝不同深度位置的單一角點(diǎn)標(biāo)定板，對(duì)成像系統(tǒng)進(jìn)行了深度測(cè)量的標(biāo)定。基于標(biāo)定得到的數(shù)據(jù)，對(duì)上述光場(chǎng)成像系統(tǒng)在不同深度位置下的深度分辨率進(jìn)行了分析，深度測(cè)量分辨率最小可達(dá)57.8 μm。通過(guò)拍攝已知傾斜角度的棋盤(pán)格標(biāo)定板，對(duì)不同深度位置下的深度測(cè)量誤差進(jìn)行分析，在該系統(tǒng)主鏡頭工作距離前向2 mm（10 倍景深）范圍內(nèi)，測(cè)量誤差小于5.35%，說(shuō)明本文所提出的深度測(cè)量和相應(yīng)的標(biāo)定方法可行可靠。