陸義云
(南京郵電大學(xué) 自動(dòng)化學(xué)院,江蘇 南京 210046)
多個(gè)點(diǎn)的PnP問(wèn)題已經(jīng)得到很廣泛的研究,對(duì)于所謂的PnP問(wèn)題[3],在計(jì)算機(jī)視覺(jué)一般描述為:給定一個(gè)世界坐標(biāo)系中的已知點(diǎn)集和它們?cè)谙衿矫鎸?duì)應(yīng)的投影,求在世界坐標(biāo)系和攝像機(jī)坐標(biāo)系之間的變換矩陣(3個(gè)旋轉(zhuǎn)參變量和3個(gè)平移參變量)。由于PnP問(wèn)題在目標(biāo)跟蹤、物體識(shí)別、視覺(jué)導(dǎo)航等許多領(lǐng)域有著廣泛的應(yīng)用前景,因此一直是計(jì)算機(jī)視覺(jué)中的一個(gè)重要問(wèn)題。目前,在計(jì)算機(jī)視覺(jué)方面,對(duì)于PnP問(wèn)題的研究存在許多方法,比較流行的有P3P問(wèn)題和P4P問(wèn)題,對(duì)于P3P問(wèn)題解的研究也取得了眾多的成果。在國(guó)內(nèi),2006年吳毅紅等利用正交變換下求解正解等價(jià)于求解基于變換定義下的旋轉(zhuǎn)矩陣和平移向量;不過(guò)吳毅紅等只指出了解的上限,沒(méi)有作詳細(xì)的證明;在國(guó)外,Zuzana Kekelova[15]等人對(duì)于基于未知焦距的P3P問(wèn)題也作了研究[13]。對(duì)于P4P問(wèn)題的研究,T.Pajdla[13]等人提出了基于未知焦距的P4P方法,Bujnak M[14]等人提出了基于未知焦距和徑向畸變的P4P問(wèn)題的方法。但無(wú)論是基于3點(diǎn)的PnP問(wèn)題還是基于4點(diǎn)的PnP問(wèn)題,它們有一個(gè)共同的缺點(diǎn),就是要求的計(jì)算量都比較大,運(yùn)算速度比較慢,此外還會(huì)受到各種條件的影響。本論文中提供了一種基于2點(diǎn)的PnP的方法來(lái)求解相機(jī)的旋轉(zhuǎn)矩陣和平行向量。
本文中,研究已知兩個(gè)方向下相對(duì)位姿標(biāo)定問(wèn)題的計(jì)算。它主要是受到手機(jī)重力感應(yīng)技術(shù)和裝有慣性測(cè)量單元(IMU)的智能手機(jī)(如NOKIA, iPhone)啟發(fā)。在智能手機(jī)中主要是由加速度計(jì)測(cè)量地球重力矢量測(cè)量到兩個(gè)方向角度(如在iPhone中采用的加速度計(jì)是3軸加速度計(jì),分別X,Y和Z軸,這3個(gè)軸構(gòu)成的立體空間以偵測(cè)你在iPhone上各種動(dòng)作,實(shí)際應(yīng)用時(shí)通常以這3個(gè)軸或任意兩個(gè)軸所構(gòu)成的角度來(lái)計(jì)算iPhone傾斜的角度[0])。本文中給定的P2P問(wèn)題,最終轉(zhuǎn)化為求解多項(xiàng)式方程組的問(wèn)題,通過(guò)利用Grobner基法[2,9]求解。
攝像機(jī)的基本成像模型,通常稱為基本針孔模型,由三維空間到平面的中心投影變換所給出,令空間點(diǎn)Oc是投影中心,它到像平面π的距離為f,空間點(diǎn)X在平面π上的投影(或像)u是以點(diǎn)Oc為端點(diǎn)并經(jīng)過(guò)Xw的射線與平面π的交點(diǎn)[1,11],則由空間點(diǎn)Xw到圖像點(diǎn)u的投影矩陣可以寫(xiě)成:
P是3×4投影矩陣,其可表示成 :
其中,λ為深度因子,K為攝像機(jī)內(nèi)參矩陣,t=[tx,ty,tz]T為平移向量,R是一個(gè)3×3的正交矩陣,對(duì)于攝像機(jī)內(nèi)參矩陣K,可以寫(xiě)成:
式(3)中fu為圖像橫坐標(biāo)軸尺度因子,fv為圖像縱坐標(biāo)軸尺度因子。s為歪斜因子,表示兩個(gè)坐標(biāo)軸的垂直程度,(u0,v0)表示主點(diǎn)橫坐標(biāo)和縱坐標(biāo)。
對(duì)于旋轉(zhuǎn)矩陣R,在三維空間中,可以用歐拉角(α、β、γ)來(lái)表示,其中α(也稱roll)為繞Z軸旋轉(zhuǎn)角,γ(pitch)為繞X軸旋轉(zhuǎn)角,β(yaw)為繞Y軸旋轉(zhuǎn)角,R可以寫(xiě)成:
其中:繞Z坐標(biāo)軸旋轉(zhuǎn)矩陣為:
繞X坐標(biāo)軸旋轉(zhuǎn)矩陣為:
繞Y坐標(biāo)軸旋轉(zhuǎn)矩陣為:
現(xiàn)在基于重力感應(yīng)的手機(jī)(如iphone,NOKIA等)可以利用加速度計(jì)測(cè)量地球重力矢量來(lái)測(cè)量到兩個(gè)方向角度,即可測(cè)量到繞Z坐標(biāo)軸的旋轉(zhuǎn)角α和繞X坐標(biāo)軸旋轉(zhuǎn)角γ。對(duì)于一個(gè)P2P問(wèn)題的攝像機(jī),其繞X和Z這兩個(gè)坐標(biāo)軸轉(zhuǎn)動(dòng)的角度為Roll和Pitch,即垂直方向已知,求攝像機(jī)的絕對(duì)位置。因此在式(4)中β是唯一的參數(shù)。
對(duì)于尺度因子λ的消去,通常采用反對(duì)稱矩陣[u]×與方程相乘的方法,因此可以得到:
其中反對(duì)稱矩陣為:
因此式(9)可以寫(xiě)成:
在式(10)中,由于對(duì)稱矩陣的秩為2,因此在(11)式得到的3個(gè)多項(xiàng)式方程中,其中2個(gè)是線性不相關(guān)的。在這3個(gè)多項(xiàng)式方程組中,含有q2,q,tx,ty,tz這幾個(gè)變量。在此,可以運(yùn)用Grobner基的方法求解多項(xiàng)式方程組。
代數(shù)方程組的求解是許多領(lǐng)域中經(jīng)常要處理的問(wèn)題,而當(dāng)變?cè)芏鄷r(shí),求解過(guò)程往往比較困難。為此,我們可以使用Grobner基[2-3,5]的方法求解代數(shù)方程組。
將多項(xiàng)式加上“=0”即變成方程組,所以方程組和多項(xiàng)式的關(guān)系是非常密切,為了解多元多次方程組的問(wèn)題,我們可以考慮將它轉(zhuǎn)化為多項(xiàng)式問(wèn)題。同時(shí)有必要定義個(gè)一個(gè)多元多次多項(xiàng)式中每個(gè)單項(xiàng)的排列次序,即單項(xiàng)式的大小[4,6,8-9,11]。在這方面一般定義方法為:
定義:
定義兩個(gè)單項(xiàng)式的大小順序?yàn)閤1>x2>…xn,再者,同一未知數(shù)定義xm+1>xm>…x2>x>1,我們稱α>β,這種次序大小稱為字典序(簡(jiǎn)稱lex order)。
定義:設(shè)K是一個(gè)域,k[x1,x2,…,xn]為系數(shù)屬于K的n元多次多項(xiàng)式所成集合,即:
(a)0∈I;
(b)若f,g∈I,則f+g∈I;
(c)若f,g∈I,且則。
定義:
lp(f)=X a1,即lp(f)表示f的首項(xiàng)冪積;
lc(f)=a1,即lc(f)表示f的首項(xiàng)系數(shù);
lt(f)=a1X a1,即lt(f)表示f的首項(xiàng);
假設(shè)域K上的多項(xiàng)式方程組Pi(X)=0,i=1, 2, …,m,要求解這樣一個(gè)方程組,需要解決一些問(wèn)題:該方程組有多少解,怎么求解??紤]由該方程組的多項(xiàng)式生成一組理想,計(jì)算某字典序下的Grobner基G,則上述的多項(xiàng)式方程組問(wèn)題可以通過(guò)G來(lái)求解,下面給出方程組的求解方法,設(shè)給定域K[X]中的一個(gè)方程組:
Pi(X)=0,i=1, 2, …,m;
選取字典序x1>x2>…xn,計(jì)算理想[2]<p1,p2,…pm> 的Grobner基G={G1,G2, …,Gr},對(duì)G中的多項(xiàng)式適當(dāng)排序后,存在Gi∈G,與mi使得lp(Gi)=,i=1,2,…,n,則必有n≤r,在字典序[2]x1>x2>…x下,lp(G)=,Gn的其它項(xiàng)也必含xn,即Gn是xn的一元多項(xiàng)式。同理Gn-1僅xn-1,xn類推下去,可知G包含如下多項(xiàng)式方程組:
由最后一個(gè)方程Gn=0解一組xn的解(an1,an2,…,anl),再將每個(gè)ani(i=1, 2, …,l)代入Gn-1以及其它G中僅含xn-1,xn的多項(xiàng)式Gj=(xn-1,xn)=0,…,可得xn-1的方程組Gn-1=(xn-1,ai)=0,Gj=(xn-1,anj)=0, …,仍然是一個(gè)一元多項(xiàng)式方程組,解之又可得到對(duì)應(yīng)xn-1的解,繼續(xù)下去即可得到原方程組的全部解。
本文運(yùn)用Grobner基算法,采用的圖像如圖1所示,使用iphon4手機(jī)拍攝測(cè)試圖片,在拍攝測(cè)試圖片時(shí),經(jīng)過(guò)一定計(jì)算可得,攝像機(jī)繞Z坐標(biāo)軸選擇角度約為 pitch=-139.41°,繞 X坐標(biāo)軸旋轉(zhuǎn)角度約為roll=25.83°,建立如圖1所示的三維坐標(biāo)系,選取3組2D-3D對(duì)應(yīng)點(diǎn),圖像點(diǎn) A坐標(biāo)(129.1875,634.9875)對(duì)應(yīng)空間點(diǎn)坐標(biāo)(130,0,0)。圖像 C 點(diǎn)(664.1250,350.1250)對(duì)應(yīng)空間點(diǎn)坐標(biāo)為(130,66,0),圖像 D 點(diǎn)坐標(biāo)(1424.9755,1769.3000)對(duì)應(yīng)空間點(diǎn)為(0,66,146),其中D點(diǎn)作為驗(yàn)證點(diǎn),此時(shí)已知相機(jī)的內(nèi)部參數(shù)矩陣為:
選取A點(diǎn)和C點(diǎn)作為測(cè)試點(diǎn),利用Groebner基求可得解約為:
即此時(shí)繞Y坐標(biāo)軸旋轉(zhuǎn)角度約為yaw=-25.42,此時(shí)旋轉(zhuǎn)矩陣為:
平移向量為T(mén)=[10.5492 14.4406 181.9821]
將D點(diǎn)代入到其中驗(yàn)證可得D點(diǎn)的重投影在圖像上的坐標(biāo)為(1420.9671,1768.2998),即所得點(diǎn)的坐標(biāo)在誤差允許的范圍之內(nèi)。
圖1 測(cè)試用圖
計(jì)算機(jī)視覺(jué)中,PnP問(wèn)題的應(yīng)用越來(lái)越廣泛,本文中利用一些設(shè)備來(lái)獲取兩個(gè)角度,并利用2組2D-3D的對(duì)應(yīng)點(diǎn)來(lái)解決PnP問(wèn)題,與傳統(tǒng)的PnP問(wèn)題相比,其在求解速度上有了很大的提高,而且更方便,現(xiàn)在的智能手機(jī)幾乎都安裝有慣性測(cè)量單元,其利用重力感應(yīng)能測(cè)量手機(jī)的在空間中方位,此外在一些導(dǎo)航設(shè)備(如GPS)上都有應(yīng)用。
計(jì)算機(jī)視覺(jué)中,PnP問(wèn)題的應(yīng)用越來(lái)越廣泛,因此能否快速且有效得解決PnP 問(wèn)題對(duì)計(jì)算機(jī)視覺(jué)中許多問(wèn)題起著很重要的影響(如三維重建等),本文中利用一些設(shè)備來(lái)獲取兩個(gè)角度,并利用2組2D-3D的對(duì)應(yīng)點(diǎn)來(lái)求解旋轉(zhuǎn)矩陣和平移向量,與傳統(tǒng)的求解PnP問(wèn)題相比,其在求解速度上有了很大的提高。隨著社會(huì)的發(fā)展,智能手機(jī)的運(yùn)用也越來(lái)越廣泛,現(xiàn)在的智能手機(jī)幾乎都安裝有慣性測(cè)量單元,其利用重力感應(yīng)能測(cè)量手機(jī)的在空間中方位,并且現(xiàn)在的許多手機(jī)游戲都用到了慣性測(cè)量單元,此外在一些導(dǎo)航設(shè)備(如GPS)上都有應(yīng)用。
[1]馬頌德,張正友.計(jì)算機(jī)視覺(jué)[M].北京:科學(xué)出版社,1998.
[2]劉木蘭.Grobner基理論及其應(yīng)用[M].北京:科學(xué)出版社,2000.
[3]湯建良,高小山.透視n點(diǎn)定位(PnP)問(wèn)題研究[D].中國(guó)科學(xué)院研究生院,2004.
[4]李源順.淺談多元多次方程[J].數(shù)學(xué)傳播,2003.
[5]吳福朝.計(jì)算機(jī)視覺(jué)中的數(shù)學(xué)方法[M].北京:科學(xué)出版社,2008.
[6]劉侍剛,吳成柯.高精度三維重建技術(shù)的研究[D].西安:西安電子科技大學(xué),2005.
[7]彭豐富.Grobner基與約化的研究及其應(yīng)用[D].長(zhǎng)沙:中南大學(xué),2001.
[8]D.Martinec,T.Pajdla.Robust Rotataion and Translation Estimation in Multivie Reconstruction[J].In CVPR,2007.
[9]Bruno Buchberger,Grobner Bases.A Short Introduction for Systems Theorists[J].Computer Aided Systems Theory EUROCAST,2001.
[10]Zuzana Kukelova.MartinBujnak.Tomas Pajdla.Closed-form solutions to the minimal absolute pose problems with known vertical direction.[J]. In:ACCV 2,Vol.6493Springer:216-229.
[11]Martin Byrod ,Klas Josephson.Kalle Astrom Fast and Stable Polynomial Equation Solving and Its Application to Computer Vision [J]. Int J Computer Vision,2009,84:237-256.
[12]B.Buchberger.An Algorithmical Criterion for the Solvability of Algebraic Systems of Equations (German)[C].Aequationes Mathematicae,1970,4(3):374-383.
[13]M. Bujnak,Z.Kukelova,T.Pajdla.A general solution to the P4P problem for camera with unknown focal length[C]. CVPR 2008, Anchorage, Alaska, USA, June 2008.
[14]Bujnak M,Kukelova,Z.,Pajdla,T.A general solution to the P4P problem for camera with unknown focal length[C]. In Proceedings of CVPR. 2008.
[15]Kukelova Z.,Bujnak M.,Pajdla T.Closed-form solutions to the minimal absolute pose problems with known vertical direction[C].ACCV 2010, Queenstown, NZ,2010,November:8-12.