李 肖,葛寶臻,羅其俊,3,李云鵬,田慶國(guó)

(1.天津大學(xué) 精密儀器與光電子工程學(xué)院, 天津 300072; 2.光電信息技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 天津 300072;3.中國(guó)民航大學(xué) 電子信息與自動(dòng)化學(xué)院, 天津, 300300) (*通信作者電子郵箱gebz@tju.edu.cn)

自由雙目立體視覺(jué)攝像機(jī)動(dòng)態(tài)外參數(shù)的獲取

李 肖1,2,葛寶臻1,2*,羅其俊1,2,3,李云鵬1,2,田慶國(guó)1,2

(1.天津大學(xué) 精密儀器與光電子工程學(xué)院, 天津 300072; 2.光電信息技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 天津 300072;3.中國(guó)民航大學(xué) 電子信息與自動(dòng)化學(xué)院, 天津, 300300) (*通信作者電子郵箱gebz@tju.edu.cn)

針對(duì)自由雙目立體視覺(jué)中由于攝像機(jī)旋轉(zhuǎn)導(dǎo)致的攝像機(jī)外參數(shù)變化的問(wèn)題,提出一種基于旋轉(zhuǎn)軸標(biāo)定的動(dòng)態(tài)外參數(shù)獲取方法。在多個(gè)不同位置,立體標(biāo)定得到多組旋轉(zhuǎn)平移矩陣,利用最小二乘法求解旋轉(zhuǎn)軸參數(shù);結(jié)合初始位置左右攝像機(jī)的內(nèi)、外參數(shù)及旋轉(zhuǎn)角度,實(shí)時(shí)獲取左右攝像機(jī)的外參數(shù)。利用所提方法獲取動(dòng)態(tài)外參數(shù),并對(duì)棋盤角點(diǎn)進(jìn)行三維重建,平均誤差為0.241 mm,標(biāo)準(zhǔn)差為0.156 mm;與基于多平面標(biāo)靶的標(biāo)定方法相比,精度高且操作簡(jiǎn)單。所提方法無(wú)需實(shí)時(shí)標(biāo)定,可完成攝像機(jī)旋轉(zhuǎn)情況下動(dòng)態(tài)外參數(shù)的獲取。

機(jī)器視覺(jué);自由雙目立體視覺(jué);動(dòng)態(tài)外參數(shù);旋轉(zhuǎn)軸標(biāo)定;三維重建

0 引言

傳統(tǒng)雙目立體視覺(jué)系統(tǒng)中,雙攝像機(jī)的相對(duì)位置固定不變[1-2],受成像視場(chǎng)的限制,單站點(diǎn)的測(cè)量區(qū)域較小,對(duì)大場(chǎng)景的三維重建要通過(guò)掃描的方式來(lái)實(shí)現(xiàn),通常是直線掃描或旋轉(zhuǎn)掃描。對(duì)于建筑物或近景測(cè)量的大型雙目立體視覺(jué)系統(tǒng),由于成像距離較遠(yuǎn),為達(dá)到一定分辨率,基線都較長(zhǎng),難以實(shí)現(xiàn)系統(tǒng)的整體移動(dòng)或轉(zhuǎn)動(dòng)。因此,本文搭建了自由雙目立體視覺(jué)系統(tǒng),其兩個(gè)攝像機(jī)可獨(dú)立自由旋轉(zhuǎn),不同的旋轉(zhuǎn)角度對(duì)應(yīng)空間的不同位置,通過(guò)多視場(chǎng)數(shù)據(jù)拼接,可實(shí)現(xiàn)單站點(diǎn)的大場(chǎng)景三維重建。與傳統(tǒng)雙目立體視覺(jué)系統(tǒng)相比,自由雙目立體視覺(jué)系統(tǒng)的三維重建更為復(fù)雜,由于左右攝像機(jī)的自由旋轉(zhuǎn),左右攝像機(jī)之間的幾何關(guān)系在不斷變化,即左右攝像機(jī)外參數(shù)在不斷變化,本文稱之為動(dòng)態(tài)外參數(shù)。因此,解決自由雙目立體視覺(jué)系統(tǒng)的關(guān)鍵問(wèn)題之一,就是能夠?qū)崟r(shí)獲取每一個(gè)旋轉(zhuǎn)位置的左右攝像機(jī)外參數(shù)。

動(dòng)態(tài)外參數(shù)獲取方法主要包括自標(biāo)定方法和傳統(tǒng)標(biāo)定方法。自標(biāo)定方法不依賴于標(biāo)定靶,利用場(chǎng)景中信息,對(duì)每個(gè)旋轉(zhuǎn)位置進(jìn)行在線標(biāo)定,得到動(dòng)態(tài)外參數(shù),主要包括三類:基于消失點(diǎn)的自標(biāo)定方法[3-5]、基于圖像匹配點(diǎn)的自標(biāo)定方法[6]和基于極線約束的自標(biāo)定方法[7]。傳統(tǒng)標(biāo)定方法借助精密的標(biāo)定靶,通過(guò)先驗(yàn)標(biāo)定,結(jié)合旋轉(zhuǎn)信息實(shí)時(shí)獲取動(dòng)態(tài)外參數(shù),按照旋轉(zhuǎn)軸的方位可分為兩類。一類方法僅僅適用于旋轉(zhuǎn)軸位于攝像機(jī)的特殊位置的情況,例如旋轉(zhuǎn)軸穿過(guò)攝像機(jī)光心[8-9],旋轉(zhuǎn)軸與坐標(biāo)系平行[10],但在實(shí)際應(yīng)用中,很難滿足這種假設(shè)。另一類方法對(duì)旋轉(zhuǎn)軸的方位沒(méi)有限制。其中,文獻(xiàn)[11]利用均勻分布于被測(cè)空間的立體標(biāo)定靶塊來(lái)標(biāo)定攝像機(jī)外參數(shù),該方法只能針對(duì)特殊系統(tǒng)結(jié)構(gòu)進(jìn)行;文獻(xiàn)[12]利用兩個(gè)不同大小的標(biāo)定靶和一個(gè)靜止的大視場(chǎng)攝像機(jī)標(biāo)定另一個(gè)攝像機(jī)和旋轉(zhuǎn)軸之間的相對(duì)位置關(guān)系,進(jìn)而根據(jù)旋轉(zhuǎn)角度得到攝像機(jī)旋轉(zhuǎn)前后的相對(duì)位置關(guān)系;文獻(xiàn)[13]利用機(jī)器人手眼標(biāo)定方法獲取攝像機(jī)的旋轉(zhuǎn)平移矩陣[14-15],結(jié)合攝像機(jī)初始外參數(shù),計(jì)算得到旋轉(zhuǎn)后攝像機(jī)的外參數(shù)。

針對(duì)旋轉(zhuǎn)軸方位不受限制的自由雙目立體視覺(jué)系統(tǒng),本文基于二維標(biāo)定靶,在多個(gè)位置標(biāo)定得到多組旋轉(zhuǎn)平移矩陣,利用最小二乘法求解旋轉(zhuǎn)軸參數(shù)的全局最優(yōu)解,結(jié)合攝像機(jī)初始外參數(shù)和旋轉(zhuǎn)角度,實(shí)時(shí)獲取攝像機(jī)的動(dòng)態(tài)外參數(shù)。該方法無(wú)需實(shí)時(shí)標(biāo)定,操作簡(jiǎn)單,標(biāo)定精度高。

1 自由雙目立體視覺(jué)系統(tǒng)及動(dòng)態(tài)外參數(shù)獲取

1.1 自由雙目立體視覺(jué)系統(tǒng)原理

如圖1所示,自由雙目立體視覺(jué)系統(tǒng)由兩個(gè)可獨(dú)立自由旋轉(zhuǎn)的攝像機(jī)構(gòu)成。雙目系統(tǒng)首先對(duì)區(qū)域Ω1的物體表面進(jìn)行三維重建,得到點(diǎn)云面片P1;然后左右攝像機(jī)繞各自旋轉(zhuǎn)軸Nl和Nr旋轉(zhuǎn)不同的角度,對(duì)Ω1的鄰近區(qū)域Ω2進(jìn)行三維重建,得到點(diǎn)云面片P2,繼續(xù)依次旋轉(zhuǎn)左右攝像機(jī),在其視場(chǎng)可及范圍內(nèi),可以完成多個(gè)相鄰區(qū)域Ω1,Ω2,…,Ωi的三維重建,得到多片點(diǎn)云P1,P2,…,Pi,通過(guò)對(duì)多片點(diǎn)云的拼接,可完成整個(gè)區(qū)域的三維測(cè)量。因此,在不移動(dòng)雙目立體視覺(jué)系統(tǒng)的情況下,擴(kuò)大了單站點(diǎn)的測(cè)量范圍,可以快速實(shí)現(xiàn)大區(qū)域的三維重建。

假定對(duì)應(yīng)測(cè)量區(qū)域Ω1的位置為初始位置,P1為該區(qū)域內(nèi)任意一點(diǎn),其坐標(biāo)滿足式(1):

Pr1=R1Pl1+T1

(1)

其中:Pl1和Pr1分別是P1點(diǎn)在左右攝像機(jī)坐標(biāo)系ol1xl1yl1zl1和or1xr1yr1zr1中的坐標(biāo);R1和T1分別是坐標(biāo)系ol1xl1yl1zl1和or1xr1yr1zr1之間的旋轉(zhuǎn)矩陣和平移向量,即左右攝像機(jī)的外參數(shù),代表了左右攝像機(jī)的相對(duì)位置關(guān)系。

圖1 自由雙目立體視覺(jué)系統(tǒng)原理

在已知旋轉(zhuǎn)矩陣R1、平移向量T1以及P1點(diǎn)在左右像面上的投影點(diǎn)坐標(biāo)(ul,vl)和(ur,vr)的情況下,利用式(2)可得P1點(diǎn)在坐標(biāo)系ol1xl1yl1zl1下的三維坐標(biāo)[16]。

(2)

其中:fl和fr分別為左右攝像機(jī)的焦距;R1=(rmn)4×4,rmn為常數(shù)，m,n=1,2,3,4;T1=(t1,t2,t3,0)T，t1、t2和t3為常數(shù)。

對(duì)應(yīng)測(cè)量區(qū)域Ωi的位置為第i次測(cè)量,相對(duì)于初始位置,左、右攝像機(jī)繞各自旋轉(zhuǎn)軸分別旋轉(zhuǎn)了αi和βi,左右攝像機(jī)坐標(biāo)系分別變?yōu)閛lixliylizli和orixriyrizri,它們的相對(duì)位置關(guān)系發(fā)生了變化,即外參數(shù)發(fā)生了變化。式(1)可改寫(xiě)成:

Pri=GriR1Gli-1Pli+GriT1

(3)

其中:Pi為區(qū)域Ωi內(nèi)任意一點(diǎn)；Pli和Pri分別為Pi點(diǎn)在坐標(biāo)系olixliylizli和orixriyrizri中的坐標(biāo)。Gli為坐標(biāo)系ol1xl1yl1zl1到olixliylizli的4×4坐標(biāo)變換矩陣,Gri為坐標(biāo)系or1xr1yr1zr1到orixriyrizri的4×4坐標(biāo)變換矩陣,可分別由左右攝像機(jī)的旋轉(zhuǎn)軸參數(shù)和旋轉(zhuǎn)角度得到。

根據(jù)式(2)～(3),可得Pi點(diǎn)在坐標(biāo)系olixliylizli下的三維坐標(biāo)。進(jìn)而,通過(guò)坐標(biāo)變換可將P1點(diǎn)和Pi點(diǎn)的坐標(biāo)統(tǒng)一到同一坐標(biāo)系中,實(shí)現(xiàn)點(diǎn)云拼接。

由式(3)可知,自由雙目立體視覺(jué)系統(tǒng)中,變化的外參數(shù)可在初始外參數(shù)的基礎(chǔ)上,由旋轉(zhuǎn)軸的方向、位置及旋轉(zhuǎn)角度確定。因此,通過(guò)標(biāo)定旋轉(zhuǎn)軸在攝像機(jī)坐標(biāo)系中的方位,并由運(yùn)動(dòng)控制器讀取旋轉(zhuǎn)角度,即可實(shí)時(shí)獲取自由雙目立體視覺(jué)系統(tǒng)攝像機(jī)的動(dòng)態(tài)外參數(shù)。

1.2 動(dòng)態(tài)外參數(shù)的獲取方法

旋轉(zhuǎn)軸在攝像機(jī)坐標(biāo)系中的方位可用旋轉(zhuǎn)軸的方向向量和軸上任意一點(diǎn)的坐標(biāo)表示,即旋轉(zhuǎn)軸參數(shù)[17]。假設(shè)在左攝像機(jī)坐標(biāo)系中,旋轉(zhuǎn)軸Nl的方向向量為Vl,軸上任一點(diǎn)坐標(biāo)為Al;在右攝像機(jī)坐標(biāo)系中,旋轉(zhuǎn)軸Nr的方向向量為Vr,軸上任一點(diǎn)坐標(biāo)為Ar。根據(jù)計(jì)算機(jī)圖形學(xué)中的三維旋轉(zhuǎn)變換原理[18]可得,攝像機(jī)繞軸旋轉(zhuǎn)前后,空間任意一點(diǎn)P的坐標(biāo)變換關(guān)系為:

Pli=Rli(Pl1-Al)+Al

(4)

Pri=Rri(Pr1-Ar)+Ar

(5)

其中:Rli為坐標(biāo)系ol1xl1yl1zl1到olixliylizli的旋轉(zhuǎn)矩陣,可由(Vl,αi)的羅德里格斯變換得到[19]401-403；Rri為坐標(biāo)系or1xr1yr1zr1到orixriyrizri的旋轉(zhuǎn)矩陣,可由(Vr,βi)的羅德里格斯變換得到。

將式(4)～(5)代入式(1)可得左、右攝像機(jī)分別旋轉(zhuǎn)αi和βi角度后的外參數(shù)(Ri,Ti)為:

(6)

因此,第i次測(cè)量時(shí)的外參數(shù)(Ri,Ti)可根據(jù)式(6),由初始外參數(shù)(R1,T1)、旋轉(zhuǎn)軸參數(shù)(Vl,Al,Vr,Ar)及旋轉(zhuǎn)角度(αi,βi)計(jì)算得到。

1.3 旋轉(zhuǎn)軸參數(shù)的確定

旋轉(zhuǎn)軸參數(shù)的確定是通過(guò)旋轉(zhuǎn)軸的標(biāo)定來(lái)實(shí)現(xiàn)的。常用的標(biāo)定方法是將標(biāo)定靶置于旋轉(zhuǎn)平臺(tái)上,靜止的攝像機(jī)拍攝不同位置的標(biāo)定靶圖像,獲取特征點(diǎn)的坐標(biāo),通過(guò)擬合圓得到旋轉(zhuǎn)軸上足夠多的點(diǎn),再經(jīng)過(guò)擬合直線得到旋轉(zhuǎn)軸在攝像機(jī)坐標(biāo)系中的方位[20-24]。考慮自由雙目立體視覺(jué)系統(tǒng)的特點(diǎn),本文通過(guò)固定其中一個(gè)攝像機(jī),多次轉(zhuǎn)動(dòng)另一個(gè)攝像機(jī),每轉(zhuǎn)一個(gè)位置對(duì)兩個(gè)攝像機(jī)進(jìn)行一次立體標(biāo)定,得到多組旋轉(zhuǎn)矩陣和平移向量,最后利用最小二乘法求解得到旋轉(zhuǎn)軸參數(shù)。下面以左旋轉(zhuǎn)軸為例說(shuō)明旋轉(zhuǎn)軸參數(shù)的確定方法。

如圖1所示,記初始左右攝像機(jī)坐標(biāo)系ol1xl1yl1zl1和or1xr1yr1zr1之間的旋轉(zhuǎn)矩陣和平移向量分別為R1和T1。當(dāng)左攝像機(jī)轉(zhuǎn)動(dòng)一定角度后,其坐標(biāo)系變?yōu)閛l2xl2yl2zl2,記ol2xl2yl2zl2和or1xr1yr1zr1之間的旋轉(zhuǎn)矩陣和平移向量分別為R2和T2。

空間點(diǎn)P的坐標(biāo)滿足式(7)～(8):

Pr1=R1Pl1+T1

(7)

Pr1=R2Pl2+T2

(8)

其中:Pl1、Pr1和Pl2分別為點(diǎn)P在坐標(biāo)系ol1xl1yl1zl1、or1xr1yr1zr1和ol2xl2yl2zl2中的坐標(biāo)。

式(7)～(8)消去Pr1可得:

Pl2=R2TR1Pl1+R2T(T1-T2)

(9)

式(9)是坐標(biāo)系ol1xl1yl1zl1和ol2xl2yl2zl2之間的坐標(biāo)變換關(guān)系,旋轉(zhuǎn)矩陣和平移向量分別為R2TR1和R2T(T1-T2)。以上旋轉(zhuǎn)和平移是由左攝像機(jī)繞軸Nl旋轉(zhuǎn)產(chǎn)生,根據(jù)三維旋轉(zhuǎn)變換原理,坐標(biāo)系ol1xl1yl1zl1和ol2xl2yl2zl2之間的坐標(biāo)變換關(guān)系又可以表示為式(10):

Pl2=Rl2(Pl1-Al)+Al

(10)

其中:Rl2為坐標(biāo)系ol1xl1yl1zl1到ol2xl2yl2zl2的旋轉(zhuǎn)矩陣;Al為旋轉(zhuǎn)軸Nl上任意一點(diǎn)在左攝像機(jī)坐標(biāo)系中的坐標(biāo)。

由于式(9)和式(10)對(duì)應(yīng)系數(shù)應(yīng)相等,可得軸上點(diǎn)Al滿足式(11):

(R2-R1)Al=T1-T2

(11)

式(11)是未知數(shù)為Al,系數(shù)矩陣為R2-R1,常數(shù)項(xiàng)為T1-T2的線性方程組。由于系數(shù)矩陣R2-R1的秩為2,利用最小二乘法進(jìn)行求解,得到點(diǎn)Al在左攝像機(jī)坐標(biāo)系中滿足的直線方程,即旋轉(zhuǎn)軸Nl。利用最小二乘法求解的過(guò)程如下:

(12)

由式(12)可得:

(13)

(14)

利用最小二乘法求解式(13)～(14)可得a、b、c、d的值,進(jìn)而可得旋轉(zhuǎn)軸的方向向量為(a,1,c),軸上一點(diǎn)坐標(biāo)為(b,0,d)。

通過(guò)將左攝像機(jī)轉(zhuǎn)動(dòng)多次,可得多組旋轉(zhuǎn)矩陣Ri(i=1,2,…)和平移向量Ti(i=1,2,…),根據(jù)式(11)可得:

(15)

利用最小二乘法對(duì)式(15)進(jìn)行求解,可得更加精確的點(diǎn)Al所在直線的方程,進(jìn)而可得左旋轉(zhuǎn)軸Nl的旋轉(zhuǎn)軸參數(shù)(Vl,Al)。同理,左攝像機(jī)不動(dòng),多次轉(zhuǎn)動(dòng)右攝像機(jī),利用式(15)可得右旋轉(zhuǎn)軸Nr的旋轉(zhuǎn)軸參數(shù)(Vr,Ar)。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)裝置

自由雙目立體視覺(jué)系統(tǒng)裝置如圖2所示,計(jì)算機(jī)利用運(yùn)動(dòng)控制軟件和運(yùn)動(dòng)控制器控制旋轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng),并帶動(dòng)固定在旋轉(zhuǎn)臺(tái)上的攝像機(jī)旋轉(zhuǎn),同時(shí)計(jì)算機(jī)控制圖像采集卡同步采集圖像。攝像機(jī)分辨率為1 920×1 080,鏡頭焦距為8 mm,系統(tǒng)基線長(zhǎng)度約280 mm。

圖2 自由雙目立體視覺(jué)系統(tǒng)裝置圖

實(shí)驗(yàn)中所用棋盤標(biāo)定靶如圖3所示,標(biāo)定靶長(zhǎng)400 mm,寬300 mm,單個(gè)棋盤格尺寸為30 mm×30 mm,選取標(biāo)定靶中間部分6行9列共54個(gè)角點(diǎn)作為標(biāo)志點(diǎn),如圖3中小圓圈標(biāo)記所示。

圖3 實(shí)驗(yàn)中所用棋盤標(biāo)定靶及選取的標(biāo)志點(diǎn)

2.2 旋轉(zhuǎn)軸的標(biāo)定

實(shí)驗(yàn)中,首先利用張正友方法[25]對(duì)攝像機(jī)進(jìn)行標(biāo)定,得到其內(nèi)參數(shù)和畸變系數(shù),如表1所示。旋轉(zhuǎn)軸標(biāo)定流程如圖4所示,分別對(duì)初始位置和3次旋轉(zhuǎn)后的位置進(jìn)行立體標(biāo)定[19]427-430,得到4組旋轉(zhuǎn)矩陣和平移向量,由此計(jì)算旋轉(zhuǎn)軸參數(shù)。

對(duì)初始位置的左、右攝像機(jī)進(jìn)行立體標(biāo)定,得到旋轉(zhuǎn)矩陣R1和平移向量T1。

圖4 旋轉(zhuǎn)軸標(biāo)定的流程

表1 攝像機(jī)內(nèi)參數(shù)和畸變系數(shù)標(biāo)定結(jié)果

然后,右攝像機(jī)保持不動(dòng),將左攝像機(jī)依次向右轉(zhuǎn)動(dòng)三次,每次轉(zhuǎn)動(dòng)3°,三次分別對(duì)左、右攝像機(jī)進(jìn)行立體標(biāo)定,得到旋轉(zhuǎn)矩陣R2、R3、R4和平移向量T2、T3、T4。

將R1、T1、R2、T2、R3、T3、R4、T4代入式(15),利用最小二乘法求解,得到左旋轉(zhuǎn)軸參數(shù)(Vl,A0l)。同理,保持初始位置左攝像機(jī)不動(dòng),依次轉(zhuǎn)動(dòng)右攝像機(jī),每次轉(zhuǎn)動(dòng)3°,并對(duì)左、右攝像機(jī)進(jìn)行立體標(biāo)定,得到4組旋轉(zhuǎn)矩陣和平移向量,將其代入式(15)并利用最小二乘法求解,得到右旋轉(zhuǎn)軸參數(shù)(Vr,A0r)。

2.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文所提動(dòng)態(tài)外參數(shù)獲取方法的有效性。對(duì)旋轉(zhuǎn)后的左右攝像機(jī)進(jìn)行立體標(biāo)定得到外參數(shù)標(biāo)定值,由初始外參數(shù)、旋轉(zhuǎn)軸參數(shù)和旋轉(zhuǎn)角度得到外參數(shù)計(jì)算值,分別利用這兩組外參數(shù),計(jì)算棋盤角點(diǎn)的三維坐標(biāo),比較兩組三維坐標(biāo),以平均誤差和標(biāo)準(zhǔn)差評(píng)定結(jié)果,實(shí)驗(yàn)流程如圖5所示。

圖5 實(shí)驗(yàn)流程

對(duì)初始位置的兩個(gè)攝像機(jī)進(jìn)行立體標(biāo)定,得到初始外參數(shù)(R1,T1)。

然后,左攝像機(jī)旋轉(zhuǎn)5.00°,右攝像機(jī)旋轉(zhuǎn)5.20°,兩個(gè)攝像機(jī)同時(shí)采集棋盤標(biāo)定靶圖像,如圖6所示。

對(duì)旋轉(zhuǎn)后的兩個(gè)攝像機(jī)進(jìn)行立體標(biāo)定,得到外參數(shù)標(biāo)定值(R2,T2)。

由初始外參數(shù)、旋轉(zhuǎn)軸參數(shù)和旋轉(zhuǎn)角度,根據(jù)式(6)計(jì)算得到旋轉(zhuǎn)后的外參數(shù)計(jì)算值(R2c,T2c)。

圖6 棋盤標(biāo)定靶圖像

分別利用(R2,T2)和(R2c,T2c),計(jì)算圖6中棋盤標(biāo)定靶角點(diǎn)的三維坐標(biāo)(xw,yw,zw)和(xcw,ycw,zcw),如表2所示。

表2 棋盤標(biāo)定靶角點(diǎn)三維坐標(biāo)(xw, yw,zw)和(xcw, ycw,zcw)的比較 mm

以平均誤差及其標(biāo)準(zhǔn)差作為評(píng)價(jià)指標(biāo)[26],其定義為:

(16)

由表2,根據(jù)式(16)計(jì)算可得,棋盤標(biāo)定靶角點(diǎn)的平均誤差為0.241 mm,標(biāo)準(zhǔn)差為0.156 mm。

為了進(jìn)一步說(shuō)明本文方法的標(biāo)定精度,將本文方法與文獻(xiàn)[27]的標(biāo)定方法進(jìn)行對(duì)比。文獻(xiàn)[27]提出了一種基于多平面靶標(biāo)的旋轉(zhuǎn)軸標(biāo)定方法。攝像機(jī)多次旋轉(zhuǎn)并采集標(biāo)定靶圖像,通過(guò)立體標(biāo)定獲得每次旋轉(zhuǎn)后的光心坐標(biāo),擬合空間圓計(jì)算旋轉(zhuǎn)軸參數(shù)。該方法利用多個(gè)標(biāo)定靶增大攝像機(jī)旋轉(zhuǎn)范圍以提高標(biāo)定精度。

在測(cè)量距離、攝像機(jī)焦距和基線長(zhǎng)度等系統(tǒng)參數(shù)保持不變的情況下,利用文獻(xiàn)[27]中方法對(duì)旋轉(zhuǎn)軸進(jìn)行標(biāo)定,并采用與本文方法相同的評(píng)價(jià)指標(biāo)對(duì)標(biāo)定結(jié)果進(jìn)行評(píng)價(jià),比較兩種方法的標(biāo)定精度。為了保證比較的客觀性,本文每次立體標(biāo)定采集5組圖像,進(jìn)行4次立體標(biāo)定。因此,在文獻(xiàn)[27]的旋轉(zhuǎn)軸標(biāo)定實(shí)驗(yàn)中,共采集20張圖像,利用20個(gè)圓心坐標(biāo)擬合空間圓，進(jìn)而可得旋轉(zhuǎn)軸參數(shù)(Vl,A0l,Vr,A0r)。

結(jié)合初始外參數(shù)和旋轉(zhuǎn)角度,根據(jù)式(6)計(jì)算得到旋轉(zhuǎn)后的外參數(shù)(R2f,T2f)。

利用外參數(shù)(R2f,T2f),計(jì)算圖6中棋盤標(biāo)定靶角點(diǎn)的三維坐標(biāo)(xfw,yfw,zfw),如表3所示。

根據(jù)式(16)計(jì)算可得,基于文獻(xiàn)[27]方法得到的棋盤標(biāo)定靶角點(diǎn)的平均誤差為0.721 mm,標(biāo)準(zhǔn)差為0.560 mm。而本文方法得到的棋盤標(biāo)定靶角點(diǎn)的平均誤差為0.241 mm,標(biāo)準(zhǔn)差為0.156 mm，因此本文方法的標(biāo)定精度較高。

3 結(jié)語(yǔ)

在自由雙目立體視覺(jué)系統(tǒng)中,攝像機(jī)的獨(dú)立旋轉(zhuǎn)提高了系統(tǒng)的靈活性,可以實(shí)現(xiàn)大范圍的測(cè)量,同時(shí)也導(dǎo)致左右攝像機(jī)外參數(shù)不斷變化,需要解決實(shí)時(shí)獲取問(wèn)題。本文針對(duì)自由雙目立體視覺(jué)系統(tǒng),提出了一種基于旋轉(zhuǎn)軸標(biāo)定的動(dòng)態(tài)外參數(shù)獲取方法,無(wú)需實(shí)時(shí)標(biāo)定,即可得到攝像機(jī)旋轉(zhuǎn)情況下的外參數(shù)?；诒疚姆椒▽?duì)自由雙目立體視覺(jué)系統(tǒng)進(jìn)行標(biāo)定,并利用棋盤標(biāo)定靶的角點(diǎn)對(duì)標(biāo)定結(jié)果進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,棋盤標(biāo)定靶角點(diǎn)的平均誤差為0.241 mm,標(biāo)準(zhǔn)差為0.156 mm;與文獻(xiàn)[27]中標(biāo)定方法相比,本文方法可靠有效,精度高且操作簡(jiǎn)便,可以應(yīng)用到大場(chǎng)景的實(shí)時(shí)三維重建中。

表3 棋盤標(biāo)定靶角點(diǎn)三維坐標(biāo)(xw, yw,zw)和(xfw, yfw,zfw)的比較 mm

References)

[1] JENKIN M R M, JEPSON A D. The measurement of binocular disparity[M]// CANTONI V, GESV D, LEVIALDI S. Image Analysis and Processing II. Berlin: Springer, 1988: 237-244.

[2] 張旭蘋, 汪家其, 張益昕, 等. 大尺度三維幾何尺寸立體視覺(jué)測(cè)量系統(tǒng)實(shí)現(xiàn)[J]. 光學(xué)學(xué)報(bào), 2012, 32(3): 0315002. (ZHANG X P, WANG J Q, ZHANG Y X, et al. Large-scale three-dimensional stereo vision geometric measurement system[J]. Acta Optical Sinica, 2012, 32(3): 0315002.)

[3] 馬琳, 鄭南寧, 李青, 等. 自主車輛視覺(jué)系統(tǒng)的攝像機(jī)動(dòng)態(tài)自標(biāo)定算法[J]. 西安交通大學(xué)學(xué)報(bào), 2005, 39(10): 1072-1076. (MA L, ZHENG N N, LI Q, et al. Dynamic approach of camera auto-calibration for vision system on autonomous vehicle[J]. Journal of Xi’an Jiaotong University, 2005, 39(10): 1072-1076.)

[4] WANG L L, TSAI W H. Camera calibration by vanishing lines for 3-D computer vision[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991: 370-376.

[5] LIU Y, WU Y, WU M, et al. Planar vanishing points based camera calibration[C]// ICIG 2004: Proceedings of the Third International Conference on Image and Graphics. Piscataway, NJ: IEEE, 2004: 460-463.

[6] 王濤, 謝少榮, 潘智昊, 等. 基于雙目立體視覺(jué)的攝像機(jī)外參數(shù)快速在線自標(biāo)定算法[J]. 機(jī)械工程師, 2009(1): 104-106. (WANG T, XIE S R, PAN Z H, et al. A quick and on-line self-calibration algorithm for external camera parameters based on binocular vision[J]. Mechanical Engineer, 2009(1): 104-106.)

[7] DANG T, HOFFMANN C, STILLER C. Self-calibration for active automotive stereo vision[C]// Proceedings of the 2006 IEEE Intelligent Vehicles Symposium. Piscataway, NJ: IEEE, 2006: 364-369.

[8] 尚倩, 阮秋琦, 李小利. 雙目立體視覺(jué)的目標(biāo)識(shí)別與定位[J]. 智能系統(tǒng)學(xué)報(bào), 2011, 6(4): 303-311. (SHANG Q, RUAN Q Q, LI X L. Target recognition and location based on binocular stereo vision[J]. CAAI Transactions on Intelligent Systems, 2011, 6(4): 303-311.)

[9] 曾慧, 高偉, 胡占義. 四自由度雙目視覺(jué)系統(tǒng)中的攝像機(jī)標(biāo)定方法: CN103854291A [P]. 2014- 06- 11. (ZENG H, GAO W, HU Z Y. The calibration of camera in four-freedom binocular vision system: CN103854291A [P]. 2014- 06- 11.)

[10] 祝琨, 楊唐文, 阮秋琦, 等. 基于雙目視覺(jué)的運(yùn)動(dòng)物體實(shí)時(shí)跟蹤與測(cè)距[J]. 機(jī)器人, 2009, 31(4): 327-334. (ZHU K, YANG T W, RUAN Q Q, et al. Real-time tracking and measuring of moving objects based on binocular vision[J]. Robot, 2009, 31(4): 327-334.)

[11] 孔令富, 景榮, 趙立強(qiáng). 圓軌雙鏈主動(dòng)視覺(jué)機(jī)構(gòu)標(biāo)定系統(tǒng)的設(shè)計(jì)[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2010, 31(8): 1882-1885. (KONG L F, JING R, ZHAO L Q. Design of calibration system of double-stranded active vision on circular orbit[J]. Computer Engineering and Design, 2010, 31(8): 1882-1885.)

[12] NIU Z, LIU K, WANG Y, et al. Calibration method for the relative orientation between the rotation axis and a camera using constrained global optimization[J]. Measurement Science and Technology, 2017, 28(5):055001.

[13] LI X, JIN J, LI W. Stereovision measurement technology with rotation CCD camera of multi-object[J]. Proceedings of the SPIE, 2011, 8205(4): 14.

[14] TSAI R Y, LENZ R K. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEE Transactions on Robotics amp; Automation, 1989, 5(3): 345-358.

[15] DANIILIDIS K. Hand-eye calibration using dual quaternions[J]. International Journal of Robotics Research, 1998, 18(3): 286-298.

[16] 賴小波. 機(jī)器人雙目立體視覺(jué)若干關(guān)鍵理論問(wèn)題及其技術(shù)實(shí)現(xiàn)研究[D]. 杭州: 浙江大學(xué), 2010. (LAI X B. Research on some key theoretical issues for robotic binocular stereo vision and its techniques implementation[D]. Hangzhou: Zhejiang University, 2010.)

[17] 王鵬, 孫長(zhǎng)庫(kù). 雙目視覺(jué)轉(zhuǎn)軸標(biāo)定方法: CN101216296 [P]. 2008- 07- 09. (WANG P, SUN C K. Calibration of rotation axis based on binocular vision: CN101216296 [P]. 2008- 07- 09.)

[18] 和青芳. 計(jì)算機(jī)圖形學(xué)原理及算法教程[M]. 北京: 清華大學(xué)出版社, 2010: 94-96. (HE Q F. Principles of computer graphics and algorithms[M]. Beijing: Tsinghua University Press, 2010: 94-96.)

[19] BRADSKI G, KAEBLER A. Learning OpenCV[M]. Sebastopol: O’Reilly Media, 2008: 401-403, 427-430.

[20] PARK S-Y, SUBBARAO M. A multiview 3D modeling system based on stereo vision techniques[J]. Machine Vision and Application, 2005, 16(3): 148-156.

[21] SADLO F, WEYRICH T, PEIKERT R, et al. A practical structured light acquisition system for point-based geometry and texture[C]// SPBG 2005: Proceedings of the Second Eurographics, IEEE VGTC Conference on Point-Based Graphics. Piscataway, NJ: IEEE, 2005: 1-10.

[22] 李懷澤, 沈會(huì)良, 程岳. 基于旋轉(zhuǎn)多視角深度配準(zhǔn)的三維重建方法[J]. 計(jì)算機(jī)應(yīng)用, 2012, 32(12): 3365-3368. (LI H Z, SHEN H L, CHENG Y. 3D reconstruction method based on turntable multiple-view registration[J]. Journal of Computer Applications, 2012, 32(12): 3365-3368.)

[23] 徐永安, 楊欽, 懷進(jìn)鵬. 激光旋轉(zhuǎn)掃描測(cè)量系統(tǒng)中轉(zhuǎn)軸標(biāo)定及多視拼合[J]. 中國(guó)激光, 2005, 32(5): 659-662. (XU Y A, YANG Q, HUAI J P. Calibration of the axis of the turntable in 4-axis laser measuring system and registration of multi-view[J]. Chinese Journal of Lasers, 2005, 32(5): 659-662.)

[24] 胡民政, 習(xí)俊通. 面向結(jié)構(gòu)光三維測(cè)量的兩軸轉(zhuǎn)臺(tái)標(biāo)定[J]. 上海交通大學(xué)學(xué)報(bào), 2010, 44(4): 506-511. (HU M Z, XI J T. Two-axis turntable calibration in three-dimensional structured light measurement system[J]. Journal of Shanghai Jiaotong University, 2010, 44(4): 506-511.)

[25] ZHANG Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[26] 郭濤, 達(dá)飛鵬, 方旭. 小視場(chǎng)環(huán)境下的攝像機(jī)標(biāo)定[J]. 中國(guó)激光, 2012, 39(8): 0808001. (GUO T, DA F P, FANG X. Camera calibration under small field of view[J]. Chinese Journal of Lasers, 2012, 39(8): 0808001.)

[27] 鄭圣子, 李湘旭, 孫志超. 新型移動(dòng)機(jī)器人激光測(cè)距雷達(dá)的研究[J]. 計(jì)算機(jī)測(cè)量與控制, 2011, 19(5): 1094-1097. (ZHENG S Z, LI X X, SUN Z C. Novel design of low cost moblie robot laser scanner[J]. Computer Measurement amp; Control, 2011, 19(5): 1094-1097.)

Acquisitionofcameradynamicextrinsicparametersinfreebinocularstereovisionsystem

LI Xiao1,2, GE Baozhen1,2*, LUO Qijun1,2,3, LI Yunpeng1,2, TIAN Qingguo1,2

(1.SchoolofPrecisionInstrumentandOpto-ElectronicsEngineering,TianjinUniversity,Tianjin300072,China;2.KeyLaboratoryofOpto-ElectronicsInformationTechnologyofMinistryofEducation,Tianjin300072,China;3.CollegeofElectronicInformationandAutomation,CivilAviationUniversityofChina,Tianjin300300,China)

Aiming to solve the change of the extrinsic parameters between the two cameras in free binocular stereo vision system caused by the rotation of the cameras, a method for acquiring the dynamic extrinsic parameters based on calibration of rotation axis was proposed. Multiple rotation and translation matrixes were obtained by the calibration at different positions, then the parameters of rotation axis could be calculated by using least square method. Combined with the intrinsic and extrinsic parameters at initial position and rotation angle, the dynamic extrinsic parameters between the two cameras could be calculated in real time. The chessboard corners were reconstructed with the dynamic extrinsic parameters calculated by the proposed method, the result showed that the average error was 0.241 mm and the standard deviation was 0.156 mm. Compared with the calibration method based on multiple-plane calibration target, the proposed method is easier to implement and has higher precision, where dynamic extrinsic parameters can be acquired without real-time calibration.

machine vision; free binocular stereo vision; dynamic extrinsic parameter; calibration of rotation axis; 3D reconstruction

2017- 04- 07;

2017- 06- 03。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61535008)。

李肖(1990—),女,河北石家莊人,碩士研究生,主要研究方向:雙目立體視覺(jué); 葛寶臻(1964—),男,內(nèi)蒙古卓資人,教授,博士,主要研究方向:激光三維彩色數(shù)字成像、光電檢測(cè)、激光粒子測(cè)量; 羅其俊(1982—),男,湖北云夢(mèng)人,講師,博士研究生,主要研究方向:計(jì)算機(jī)視覺(jué)、智能系統(tǒng); 李云鵬(1987—),男,天津人,博士研究生,主要研究方向:激光三維彩色數(shù)字成像; 田慶國(guó)(1973—),男,河北唐山人,講師,博士,主要研究方向:計(jì)算機(jī)可視化、圖像圖形學(xué)。

1001- 9081(2017)10- 2888- 07

10.11772/j.issn.1001- 9081.2017.10.2888

TP391.41

A

This work is partially supported by the National Natural Science Foundation of China (61535008).

LIXiao, born in 1990, M. S. candidate. Her research interests include binocular stereo vision.

GEBaozhen, born in 1964, Ph. D., professor. His research interests include three dimensional color digital imaging technology based on laser, photoelectric detection, laser particle measurement.

LUOQijun, born in 1982, Ph. D. candidate, lecturer. His research interests include computer vision, intelligent systems.

LIYunpeng, born in 1987, Ph. D. candidate. His research interests include three dimensional color digital imaging technology based on laser.

TIANQingguo, born in 1973, Ph. D., lecturer. His research interests include computer visualization, image graphics.