張琦, 王慶

(西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院, 陜西 西安 710072)

光場(chǎng)以空間光線(xiàn)為基本單元,通過(guò)對(duì)光線(xiàn)位置和角度信息的離散采樣,可實(shí)現(xiàn)重聚焦、變視點(diǎn)等新穎應(yīng)用,是計(jì)算攝像學(xué)的理論創(chuàng)新點(diǎn)和技術(shù)突破口[1]。相較于傳統(tǒng)相機(jī),光場(chǎng)相機(jī)[2]可通過(guò)單次拍攝實(shí)現(xiàn)對(duì)場(chǎng)景的多視點(diǎn)觀測(cè),有助于提高計(jì)算機(jī)視覺(jué)領(lǐng)域諸多應(yīng)用性能,例如姿態(tài)估計(jì)[3]、三維重建[4]、全景拼接[5]、視覺(jué)里程計(jì)[6]等。為了支撐上述應(yīng)用,光場(chǎng)相機(jī)參數(shù)的精確標(biāo)定至關(guān)重要,研究人員提出了多種光場(chǎng)相機(jī)標(biāo)定方法,這些方法可根據(jù)標(biāo)定板類(lèi)型(角點(diǎn)、線(xiàn)、二次曲線(xiàn))分為3類(lèi)。

Dansereau等[7]構(gòu)建了光場(chǎng)相機(jī)記錄光線(xiàn)與空間光線(xiàn)的映射關(guān)系,建立了基于點(diǎn)到光線(xiàn)距離的光線(xiàn)外投影誤差,并以此標(biāo)定光場(chǎng)相機(jī)參數(shù)。Zhang等[8]提出了六參數(shù)的光場(chǎng)相機(jī)多投影中心模型,分析了光場(chǎng)相機(jī)光線(xiàn)采樣對(duì)場(chǎng)景結(jié)構(gòu)的影響,推導(dǎo)了三維空間點(diǎn)投影變換矩陣,提出了光場(chǎng)相機(jī)標(biāo)定方法。Zhang等[9]研究了光場(chǎng)相機(jī)的光線(xiàn)采樣和變換過(guò)程,提出了光場(chǎng)相機(jī)光線(xiàn)空間投影模型,并以此標(biāo)定光場(chǎng)相機(jī)參數(shù)。與此不同,Bok等[10]利用從光場(chǎng)微透鏡圖像中提取的直線(xiàn)特征標(biāo)定光場(chǎng)相機(jī),推導(dǎo)了六參數(shù)的光場(chǎng)相機(jī)投影模型,繼而估計(jì)光場(chǎng)相機(jī)內(nèi)參數(shù)。但是由于光場(chǎng)成像存在空間與角度分辨率折衷問(wèn)題,導(dǎo)致角點(diǎn)和直線(xiàn)特征檢測(cè)不準(zhǔn)確,影響了光場(chǎng)相機(jī)標(biāo)定的精度。相較于點(diǎn)和直線(xiàn),二次曲線(xiàn)由于其簡(jiǎn)易的數(shù)學(xué)模型和豐富的邊緣點(diǎn)使得其特征提取更為穩(wěn)定。二次曲線(xiàn)作為一種特殊的幾何目標(biāo),由于其特征提取的可靠性在光場(chǎng)相機(jī)標(biāo)定中發(fā)揮了重要作用。Zhang等[11]研究了多投影中心模型對(duì)二次曲線(xiàn)和平面的映射,推導(dǎo)了共心二次曲線(xiàn)的共自配極三角形,分析其性質(zhì)并在光場(chǎng)中重建共自配極三角形,以此標(biāo)定光場(chǎng)相機(jī)。但是,該類(lèi)標(biāo)定方法由于要求二次曲線(xiàn)共心而不夠靈活。

本文旨在設(shè)計(jì)一種離心圓標(biāo)定板,并研究基于離心圓共自配極三角形的光場(chǎng)相機(jī)標(biāo)定方法。通過(guò)分析離心圓極點(diǎn)-極線(xiàn)關(guān)系,研究了離心圓共自配極三角形的性質(zhì),并重建離心圓共自配極三角形。根據(jù)光場(chǎng)相機(jī)多投影中心模型對(duì)平面及二次曲面的映射,本文提出基于離心圓的光場(chǎng)相機(jī)標(biāo)定算法。仿真和真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明了該方法可精確標(biāo)定光場(chǎng)相機(jī)。

1 背景知識(shí)介紹

1.1 共自配極三角形

在二維射影空間中,點(diǎn)x和二次曲線(xiàn)C可定義一條直線(xiàn)l=Cx,該直線(xiàn)l被稱(chēng)為x關(guān)于C的極線(xiàn),反之x為l關(guān)于C的極點(diǎn)[13]。給定一個(gè)三角形,如果它的3個(gè)頂點(diǎn)是對(duì)應(yīng)3條邊關(guān)于二次曲線(xiàn)C的極點(diǎn),則稱(chēng)這種三角形為關(guān)于C的自配極三角形。圓的自配極三角形有一重要性質(zhì):圓有無(wú)窮多個(gè)自配極三角形,且其中一個(gè)頂點(diǎn)為無(wú)窮遠(yuǎn)點(diǎn),其所對(duì)應(yīng)邊過(guò)圓心。若多個(gè)二次曲線(xiàn)所對(duì)應(yīng)的自配極三角形相同,稱(chēng)其為共自配極三角形[14]。

1.2 光場(chǎng)相機(jī)多投影中心模型

雙平行平面坐標(biāo)[15]可用于光線(xiàn)參數(shù)化及描述光線(xiàn)變換。假設(shè)r=(s,t,x,y)T為光線(xiàn)雙平行平面坐標(biāo),其中(s,t)T是視點(diǎn)平面絕對(duì)坐標(biāo),即光線(xiàn)與視點(diǎn)平面的交點(diǎn),表示光線(xiàn)的位置,(x,y)T是圖像平面相對(duì)坐標(biāo),即光線(xiàn)與圖像平面的交點(diǎn)相對(duì)于視點(diǎn)坐標(biāo)(s,t)T的偏移量,表示光線(xiàn)方向。在光場(chǎng)相機(jī)多投影中心模型下,三維空間點(diǎn)X=(X,Y,Z)T被映射到投影中心為(s,t,0)T的子孔徑圖像點(diǎn)(x,y)T[8]

(1)

式中,f為雙平行平面間距。

K是光場(chǎng)相機(jī)內(nèi)參矩陣,描述光場(chǎng)相機(jī)記錄光線(xiàn)(i,j,u,v)T與相機(jī)坐標(biāo)系下光線(xiàn)(s,t,x,y)T的變換

(2)

式中,(ki,kj,ku,kv,u0,v0)T是光場(chǎng)相機(jī)內(nèi)參數(shù)。此外,通過(guò)旋轉(zhuǎn)矩陣R=(r1,r2,r3)∈SO(3)和平移向量這t=(tx,ty,tz)T∈R3描述光場(chǎng)相機(jī)姿態(tài)變換

X=RXw+t

(3)

式中,X和Xw為空間點(diǎn)在相機(jī)標(biāo)系和世界坐標(biāo)系下坐標(biāo)。根據(jù)(1)～(3)式,多投影中心模型對(duì)平面和二次曲線(xiàn)的映射為

(4)

(5)

式中:～表示相差一個(gè)縮放因子;Hij為場(chǎng)景平面與光場(chǎng)任意視點(diǎn)(i,j)T子孔徑圖像間平面單應(yīng)。tst=(s,t,0)T指光場(chǎng)內(nèi)任意2個(gè)子孔徑圖像的平移向量,(s,t)T=Kij(i,j)T。

2 離心圓共自配極三角形

相較于棋盤(pán)格角點(diǎn)和直線(xiàn)特征提取,離心圓由于其豐富的邊緣點(diǎn)和簡(jiǎn)易數(shù)學(xué)模型,易于檢測(cè)和重建,本節(jié)將推導(dǎo)離心圓共自配極三角形的唯一性,并給出了其位置特點(diǎn)。

定理1離心圓共自配極三角形有且僅有一個(gè),該三角形的一個(gè)頂點(diǎn)為無(wú)窮遠(yuǎn)點(diǎn),其對(duì)應(yīng)邊過(guò)2個(gè)離心圓的圓心。

證明假設(shè)abc為C1的自配極三角形,其中頂點(diǎn)a和邊lbc為關(guān)于C1的極點(diǎn)-極線(xiàn)關(guān)系。若a在C1上,則lbc與C1相切于點(diǎn)a,則點(diǎn)a,b,c在同一條直線(xiàn)上,無(wú)法構(gòu)成三角形。若a在C1內(nèi),則lbc在C1外,從而,點(diǎn)b,c在C1外。若a在C1外,lbc與C1相交,則出現(xiàn)3種情況:點(diǎn)b,c在C1外、點(diǎn)b,c在C1內(nèi)或一個(gè)在內(nèi)一個(gè)在外。①若點(diǎn)b,c均在C1外,則其對(duì)應(yīng)的邊與C1必有交點(diǎn),而該條件不成立。②若點(diǎn)b,c在C1內(nèi),其所對(duì)應(yīng)的邊與C1無(wú)交點(diǎn),而點(diǎn)a在C1外,該條件不成立。因此,abc的3個(gè)頂點(diǎn)的位置特點(diǎn)為2個(gè)在C1外,1個(gè)在C1內(nèi)。

假設(shè)abc為離心圓C1和C2的共自配極三角形,則其3個(gè)頂點(diǎn)中的2個(gè)分別在C1和C2內(nèi),1個(gè)在離心圓外,如圖1所示。根據(jù)第1.1小節(jié)所述,C1與C2的自配極三角形有一頂點(diǎn)為無(wú)窮遠(yuǎn)點(diǎn),且其對(duì)邊過(guò)圓心,因此C1與C2的共自配極三角形有且僅有1個(gè),其外頂點(diǎn)c落在無(wú)窮遠(yuǎn)線(xiàn)上,其對(duì)邊lab過(guò)C1與C2的圓心。

圖1 離心圓共自配極三角形

接下來(lái)從代數(shù)角度推導(dǎo)離心圓共自配極三角形的幾何意義,給定離心圓C1和C2

(6)

(7)

式中,(x0,y0)T為C2的圓心,r為離心圓半徑。

λ1=1?l1=(-y0,x0,0)T

(8)

3 基于離心圓的光場(chǎng)相機(jī)標(biāo)定算法

首先在平面標(biāo)定板上繪制如圖1所示的離心圓并記錄圓心及半徑的參數(shù)。通常,離心圓標(biāo)定板設(shè)為世界坐標(biāo)系OXwYw平面,并設(shè)C1圓心為坐標(biāo)系原點(diǎn)。微透鏡圖像、子孔徑圖像、對(duì)極平面圖為光場(chǎng)的降維表達(dá)方法,其中子孔徑圖像是光場(chǎng)固定視點(diǎn)坐標(biāo)的二維圖像。子孔徑圖像由于其分辨率較高而易于提取標(biāo)定特征,常被用于光場(chǎng)相機(jī)標(biāo)定。根據(jù)1組離心圓和光場(chǎng)子孔徑圖像上離心圓的對(duì)應(yīng),本節(jié)提出了基于離心圓的光場(chǎng)相機(jī)標(biāo)定方法,包括基于共自配極三角形的線(xiàn)性初始化和基于光場(chǎng)Sampson誤差的非線(xiàn)性?xún)?yōu)化。

3.1 線(xiàn)性初始化

(9)

(10)

3.2 非線(xiàn)性?xún)?yōu)化

在完成光場(chǎng)內(nèi)外參的線(xiàn)性估計(jì)后,引入光場(chǎng)相機(jī)徑向畸變模型

(14)

在完成對(duì)光場(chǎng)相機(jī)徑向畸變建模后,為了能優(yōu)化光場(chǎng)相機(jī)內(nèi)參數(shù)p=(ki,kj,ku,kv,u0,v0)T,外參數(shù)Rp,tp和畸變參數(shù)d=(k1,k2,k3,k4)T,引入光場(chǎng)Sampson距離

(15)

利用Rodrigues公式[16]參數(shù)化旋轉(zhuǎn)矩陣R,并通過(guò)LM算法[17]非線(xiàn)性?xún)?yōu)化(15)式。算法1描述了基于離心圓的光場(chǎng)相機(jī)標(biāo)定方法。

算法1 基于離心圓共自配極三角形的光場(chǎng)相機(jī)標(biāo)定算法

輸入: 標(biāo)定板離心圓Cn,n=1,..,N

輸出: 光場(chǎng)相機(jī)內(nèi)參數(shù)P=(ki,kj,ku,kv,u0,v0)T

輸入: 光場(chǎng)相機(jī)外參數(shù)Rp,tp,p=1,2…,P

畸變系數(shù)d=(k1,k2,k3,k4)T

1) for 每個(gè)姿態(tài)p下的光場(chǎng) do

2) for 每個(gè)子孔徑圖像 do

3) 根據(jù)定理1和(8)式重建離心圓共自配極三角形

4) 根據(jù)(10)式計(jì)算光場(chǎng)單應(yīng)Hij

5) end for

6) end for

7) 利用旋轉(zhuǎn)向量正交性和Cholesky分解從Hij中計(jì)算光場(chǎng)相機(jī)內(nèi)參數(shù)(ku,kv,u0,v0)T

8) for 每個(gè)姿態(tài)p下的光場(chǎng)do

9) 根據(jù)(11)～(13)式計(jì)算光場(chǎng)相機(jī)內(nèi)參數(shù)(ki,kj)T和外參數(shù)Rp,tp

10) end for

11) 初始化光場(chǎng)相機(jī)畸變參數(shù)d=(0,0,0,0)T

12) 使用LM優(yōu)化算法非線(xiàn)性?xún)?yōu)化(15)式

4 實(shí)驗(yàn)結(jié)果與分析

本節(jié)通過(guò)仿真數(shù)據(jù)與真實(shí)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果及分析,驗(yàn)證本文提出的基于離心圓的光場(chǎng)相機(jī)標(biāo)定算法的準(zhǔn)確性。

4.1 仿真數(shù)據(jù)結(jié)果

本小節(jié)在仿真數(shù)據(jù)上驗(yàn)證了本文所提標(biāo)定算法,根據(jù)(3)～(5)式,利用Matlab生成仿真光場(chǎng)數(shù)據(jù),相機(jī)內(nèi)參數(shù)為ki=1.4×10-4,kj=1.5×10-4,ku=2.0×10-3,kv=1.9×10-3,u0=-0.59和v0=-0.52。在仿真實(shí)驗(yàn)中,分別使用2種離心圓標(biāo)定板,如圖2所示。此外,設(shè)置用于標(biāo)定的光場(chǎng)數(shù)量為3,每個(gè)光場(chǎng)中共有7×7個(gè)視點(diǎn),光場(chǎng)相機(jī)姿態(tài)分別是(6°,28°,-8°),(12°,-10°,15°)和(-5°,5°,-27°)。在每個(gè)子孔徑圖像的圖像點(diǎn)(u,v)T上加入均值為零標(biāo)準(zhǔn)差為σ的高斯噪聲,變化范圍是0.1至1.5像素,步進(jìn)間隔為0.1像素。對(duì)于每組噪聲數(shù)據(jù),分別重復(fù)150次實(shí)驗(yàn)。

圖2 離心圓標(biāo)定板類(lèi)型

圖3展示了內(nèi)參數(shù)估計(jì)值的相對(duì)誤差。其中,相對(duì)誤差隨著噪聲的增加而呈近線(xiàn)性增加。當(dāng)噪聲固定時(shí),相對(duì)誤差隨著離心圓數(shù)量的增加而降低。其中,高斯噪聲0.5像素是光場(chǎng)相機(jī)標(biāo)定過(guò)程中所處噪聲上限。如圖3所示,當(dāng)噪聲固定在0.5像素時(shí),內(nèi)參數(shù)(ki,kj)T的相對(duì)誤差小于0.23%,(ku,kv)T和(u0,v0)T的相對(duì)誤差小于0.12%。因此,這些結(jié)果都證明了本文所提標(biāo)定方法的魯棒性。

圖3 噪聲實(shí)驗(yàn)

4.2 真實(shí)數(shù)據(jù)結(jié)果

表1列出了光場(chǎng)相機(jī)標(biāo)定過(guò)程中離心圓投影點(diǎn)和離心圓光場(chǎng)子孔徑圖像間Sampson均方誤差,包括線(xiàn)性初始化、無(wú)畸變非線(xiàn)性?xún)?yōu)化和帶畸變非線(xiàn)性?xún)?yōu)化的結(jié)果。實(shí)驗(yàn)結(jié)果表明,本文所提標(biāo)定方法得到了較為準(zhǔn)確的初值估計(jì)結(jié)果。在無(wú)畸變非線(xiàn)性?xún)?yōu)化中,各個(gè)數(shù)據(jù)集的Sampson誤差均有明顯的下降,這展示了所定義的投影點(diǎn)到二次曲線(xiàn)Sampson距離及其代價(jià)函數(shù)(見(jiàn)(15)式)的有效性。另外,隨著畸變模型的引入,本文所提標(biāo)定方法的Sampson均方誤差有明顯下降,這證明了畸變模型(見(jiàn)(14)式)的作用。

表1 基于離心圓的光場(chǎng)相機(jī)標(biāo)定方法的Sampson均方誤差

為了與基于角點(diǎn)和直線(xiàn)特征的光場(chǎng)相機(jī)標(biāo)定基準(zhǔn)算法對(duì)比,在離心圓中尋找其與重建共自配極三角形的交點(diǎn),并計(jì)算光線(xiàn)外投影均方誤差和重投影均方誤差。表2展示了本文所提標(biāo)定算法與基準(zhǔn)算法在光線(xiàn)外投影和重投影誤差上對(duì)比結(jié)果。

表2 基于離心圓的光場(chǎng)相機(jī)標(biāo)定算法對(duì)比結(jié)果

此外,表3列出了離心圓光場(chǎng)數(shù)據(jù)集的內(nèi)參數(shù)估計(jì)結(jié)果。其中,數(shù)據(jù)集Circle-1和Circle-2的內(nèi)參數(shù)估計(jì)結(jié)果相似的原因是因?yàn)槎呤褂昧讼嗤墓鈭?chǎng)相機(jī)參數(shù)配置,數(shù)據(jù)集Circle-3和Circle-4的相機(jī)參數(shù)配置也是相同的但與數(shù)據(jù)集Circle-1和Circle-2的不同,因此前2組內(nèi)參數(shù)估計(jì)結(jié)果與后2組不同。圖4呈現(xiàn)了離心圓光場(chǎng)數(shù)據(jù)集的相機(jī)姿態(tài)估計(jì)結(jié)果。圖中的光場(chǎng)相機(jī)姿態(tài)均朝向離心圓標(biāo)定板且分布在距標(biāo)定板0.3～0.5 m范圍內(nèi),證明了相機(jī)姿態(tài)估計(jì)結(jié)果符合光場(chǎng)數(shù)據(jù)采集基本配置。根據(jù)表1和圖4所示的數(shù)據(jù)集Circle-1和Circle-2上的標(biāo)定誤差和相機(jī)姿態(tài)分布可發(fā)現(xiàn),光場(chǎng)相機(jī)均勻采集標(biāo)定板數(shù)據(jù)有助于提高標(biāo)定結(jié)果的準(zhǔn)確性。從數(shù)據(jù)集Circle-3和Circle-4上的標(biāo)定誤差和相機(jī)姿態(tài)分布可知,增加標(biāo)定光場(chǎng)數(shù)據(jù)有助于提高標(biāo)定結(jié)果的準(zhǔn)確性。此外,根據(jù)標(biāo)定算法所計(jì)算的內(nèi)外參重建了任意2個(gè)光場(chǎng)中心視點(diǎn)圖像間平面單應(yīng),圖5為光場(chǎng)中心視點(diǎn)圖像單應(yīng)校正結(jié)果。進(jìn)一步,為了驗(yàn)證光場(chǎng)中心視點(diǎn)單應(yīng)校正結(jié)果的準(zhǔn)確性,利用離心圓圖像點(diǎn)間重投影誤差對(duì)校正結(jié)果進(jìn)行評(píng)價(jià),如圖5所示。在圖5括號(hào)中列出了光場(chǎng)中心視點(diǎn)單應(yīng)校正的重投影均方根誤差結(jié)果。上述結(jié)果均驗(yàn)證了本文所提出標(biāo)定算法的準(zhǔn)確性。

圖4 光場(chǎng)相機(jī)姿態(tài)估計(jì)結(jié)果

圖5 光場(chǎng)中心視點(diǎn)圖像單位校正結(jié)果

表3 光場(chǎng)相機(jī)標(biāo)定方法的內(nèi)參數(shù)估計(jì)結(jié)果

5 結(jié) 論

根據(jù)離心圓共自配極三角形的性質(zhì),本文提出了基于離心圓共自配極三角形的光場(chǎng)相機(jī)標(biāo)定方法。通過(guò)分析關(guān)于離心圓的極點(diǎn)-極線(xiàn)關(guān)系,文章推導(dǎo)了離心圓共自配極三角形的性質(zhì)。此外,根據(jù)光場(chǎng)相機(jī)多投影中心模型對(duì)平面及二次曲面的映射,本文通過(guò)離心圓光場(chǎng)子孔徑圖像重建共自配極三角形并計(jì)算平面單應(yīng),繼而提出了基于離心圓的光場(chǎng)相機(jī)標(biāo)定算法,包括光場(chǎng)相機(jī)內(nèi)外參數(shù)的線(xiàn)性初始化和非線(xiàn)性?xún)?yōu)化方法。仿真和真實(shí)數(shù)據(jù)實(shí)驗(yàn)結(jié)果表明,離心圓標(biāo)定板可穩(wěn)定提取特征并精確標(biāo)定光場(chǎng)相機(jī)。