李 肖,葛寶臻,羅其俊,3,李云鵬,田慶國

(1.天津大學 精密儀器與光電子工程學院, 天津 300072; 2.光電信息技術教育部重點實驗室, 天津 300072;3.中國民航大學 電子信息與自動化學院, 天津, 300300) (*通信作者電子郵箱gebz@tju.edu.cn)

自由雙目立體視覺攝像機動態(tài)外參數(shù)的獲取

李 肖1,2,葛寶臻1,2*,羅其俊1,2,3,李云鵬1,2,田慶國1,2

(1.天津大學 精密儀器與光電子工程學院, 天津 300072; 2.光電信息技術教育部重點實驗室, 天津 300072;3.中國民航大學 電子信息與自動化學院, 天津, 300300) (*通信作者電子郵箱gebz@tju.edu.cn)

針對自由雙目立體視覺中由于攝像機旋轉(zhuǎn)導致的攝像機外參數(shù)變化的問題,提出一種基于旋轉(zhuǎn)軸標定的動態(tài)外參數(shù)獲取方法。在多個不同位置,立體標定得到多組旋轉(zhuǎn)平移矩陣,利用最小二乘法求解旋轉(zhuǎn)軸參數(shù);結合初始位置左右攝像機的內(nèi)、外參數(shù)及旋轉(zhuǎn)角度,實時獲取左右攝像機的外參數(shù)。利用所提方法獲取動態(tài)外參數(shù),并對棋盤角點進行三維重建,平均誤差為0.241 mm,標準差為0.156 mm;與基于多平面標靶的標定方法相比,精度高且操作簡單。所提方法無需實時標定,可完成攝像機旋轉(zhuǎn)情況下動態(tài)外參數(shù)的獲取。

機器視覺;自由雙目立體視覺;動態(tài)外參數(shù);旋轉(zhuǎn)軸標定;三維重建

0 引言

傳統(tǒng)雙目立體視覺系統(tǒng)中,雙攝像機的相對位置固定不變[1-2],受成像視場的限制,單站點的測量區(qū)域較小,對大場景的三維重建要通過掃描的方式來實現(xiàn),通常是直線掃描或旋轉(zhuǎn)掃描。對于建筑物或近景測量的大型雙目立體視覺系統(tǒng),由于成像距離較遠,為達到一定分辨率,基線都較長,難以實現(xiàn)系統(tǒng)的整體移動或轉(zhuǎn)動。因此,本文搭建了自由雙目立體視覺系統(tǒng),其兩個攝像機可獨立自由旋轉(zhuǎn),不同的旋轉(zhuǎn)角度對應空間的不同位置,通過多視場數(shù)據(jù)拼接,可實現(xiàn)單站點的大場景三維重建。與傳統(tǒng)雙目立體視覺系統(tǒng)相比,自由雙目立體視覺系統(tǒng)的三維重建更為復雜,由于左右攝像機的自由旋轉(zhuǎn),左右攝像機之間的幾何關系在不斷變化,即左右攝像機外參數(shù)在不斷變化,本文稱之為動態(tài)外參數(shù)。因此,解決自由雙目立體視覺系統(tǒng)的關鍵問題之一,就是能夠?qū)崟r獲取每一個旋轉(zhuǎn)位置的左右攝像機外參數(shù)。

動態(tài)外參數(shù)獲取方法主要包括自標定方法和傳統(tǒng)標定方法。自標定方法不依賴于標定靶,利用場景中信息,對每個旋轉(zhuǎn)位置進行在線標定,得到動態(tài)外參數(shù),主要包括三類:基于消失點的自標定方法[3-5]、基于圖像匹配點的自標定方法[6]和基于極線約束的自標定方法[7]。傳統(tǒng)標定方法借助精密的標定靶,通過先驗標定,結合旋轉(zhuǎn)信息實時獲取動態(tài)外參數(shù),按照旋轉(zhuǎn)軸的方位可分為兩類。一類方法僅僅適用于旋轉(zhuǎn)軸位于攝像機的特殊位置的情況,例如旋轉(zhuǎn)軸穿過攝像機光心[8-9],旋轉(zhuǎn)軸與坐標系平行[10],但在實際應用中,很難滿足這種假設。另一類方法對旋轉(zhuǎn)軸的方位沒有限制。其中,文獻[11]利用均勻分布于被測空間的立體標定靶塊來標定攝像機外參數(shù),該方法只能針對特殊系統(tǒng)結構進行;文獻[12]利用兩個不同大小的標定靶和一個靜止的大視場攝像機標定另一個攝像機和旋轉(zhuǎn)軸之間的相對位置關系,進而根據(jù)旋轉(zhuǎn)角度得到攝像機旋轉(zhuǎn)前后的相對位置關系;文獻[13]利用機器人手眼標定方法獲取攝像機的旋轉(zhuǎn)平移矩陣[14-15],結合攝像機初始外參數(shù),計算得到旋轉(zhuǎn)后攝像機的外參數(shù)。

針對旋轉(zhuǎn)軸方位不受限制的自由雙目立體視覺系統(tǒng),本文基于二維標定靶,在多個位置標定得到多組旋轉(zhuǎn)平移矩陣,利用最小二乘法求解旋轉(zhuǎn)軸參數(shù)的全局最優(yōu)解,結合攝像機初始外參數(shù)和旋轉(zhuǎn)角度,實時獲取攝像機的動態(tài)外參數(shù)。該方法無需實時標定,操作簡單,標定精度高。

1 自由雙目立體視覺系統(tǒng)及動態(tài)外參數(shù)獲取

1.1 自由雙目立體視覺系統(tǒng)原理

如圖1所示,自由雙目立體視覺系統(tǒng)由兩個可獨立自由旋轉(zhuǎn)的攝像機構成。雙目系統(tǒng)首先對區(qū)域Ω1的物體表面進行三維重建,得到點云面片P1;然后左右攝像機繞各自旋轉(zhuǎn)軸Nl和Nr旋轉(zhuǎn)不同的角度,對Ω1的鄰近區(qū)域Ω2進行三維重建,得到點云面片P2,繼續(xù)依次旋轉(zhuǎn)左右攝像機,在其視場可及范圍內(nèi),可以完成多個相鄰區(qū)域Ω1,Ω2,…,Ωi的三維重建,得到多片點云P1,P2,…,Pi,通過對多片點云的拼接,可完成整個區(qū)域的三維測量。因此,在不移動雙目立體視覺系統(tǒng)的情況下,擴大了單站點的測量范圍,可以快速實現(xiàn)大區(qū)域的三維重建。

假定對應測量區(qū)域Ω1的位置為初始位置,P1為該區(qū)域內(nèi)任意一點,其坐標滿足式(1):

Pr1=R1Pl1+T1

(1)

其中:Pl1和Pr1分別是P1點在左右攝像機坐標系ol1xl1yl1zl1和or1xr1yr1zr1中的坐標;R1和T1分別是坐標系ol1xl1yl1zl1和or1xr1yr1zr1之間的旋轉(zhuǎn)矩陣和平移向量,即左右攝像機的外參數(shù),代表了左右攝像機的相對位置關系。

圖1 自由雙目立體視覺系統(tǒng)原理

在已知旋轉(zhuǎn)矩陣R1、平移向量T1以及P1點在左右像面上的投影點坐標(ul,vl)和(ur,vr)的情況下,利用式(2)可得P1點在坐標系ol1xl1yl1zl1下的三維坐標[16]。

(2)

其中:fl和fr分別為左右攝像機的焦距;R1=(rmn)4×4,rmn為常數(shù)，m,n=1,2,3,4;T1=(t1,t2,t3,0)T，t1、t2和t3為常數(shù)。

對應測量區(qū)域Ωi的位置為第i次測量,相對于初始位置,左、右攝像機繞各自旋轉(zhuǎn)軸分別旋轉(zhuǎn)了αi和βi,左右攝像機坐標系分別變?yōu)閛lixliylizli和orixriyrizri,它們的相對位置關系發(fā)生了變化,即外參數(shù)發(fā)生了變化。式(1)可改寫成:

Pri=GriR1Gli-1Pli+GriT1

(3)

其中:Pi為區(qū)域Ωi內(nèi)任意一點；Pli和Pri分別為Pi點在坐標系olixliylizli和orixriyrizri中的坐標。Gli為坐標系ol1xl1yl1zl1到olixliylizli的4×4坐標變換矩陣,Gri為坐標系or1xr1yr1zr1到orixriyrizri的4×4坐標變換矩陣,可分別由左右攝像機的旋轉(zhuǎn)軸參數(shù)和旋轉(zhuǎn)角度得到。

根據(jù)式(2)～(3),可得Pi點在坐標系olixliylizli下的三維坐標。進而,通過坐標變換可將P1點和Pi點的坐標統(tǒng)一到同一坐標系中,實現(xiàn)點云拼接。

由式(3)可知,自由雙目立體視覺系統(tǒng)中,變化的外參數(shù)可在初始外參數(shù)的基礎上,由旋轉(zhuǎn)軸的方向、位置及旋轉(zhuǎn)角度確定。因此,通過標定旋轉(zhuǎn)軸在攝像機坐標系中的方位,并由運動控制器讀取旋轉(zhuǎn)角度,即可實時獲取自由雙目立體視覺系統(tǒng)攝像機的動態(tài)外參數(shù)。

1.2 動態(tài)外參數(shù)的獲取方法

旋轉(zhuǎn)軸在攝像機坐標系中的方位可用旋轉(zhuǎn)軸的方向向量和軸上任意一點的坐標表示,即旋轉(zhuǎn)軸參數(shù)[17]。假設在左攝像機坐標系中,旋轉(zhuǎn)軸Nl的方向向量為Vl,軸上任一點坐標為Al;在右攝像機坐標系中,旋轉(zhuǎn)軸Nr的方向向量為Vr,軸上任一點坐標為Ar。根據(jù)計算機圖形學中的三維旋轉(zhuǎn)變換原理[18]可得,攝像機繞軸旋轉(zhuǎn)前后,空間任意一點P的坐標變換關系為:

Pli=Rli(Pl1-Al)+Al

(4)

Pri=Rri(Pr1-Ar)+Ar

(5)

其中:Rli為坐標系ol1xl1yl1zl1到olixliylizli的旋轉(zhuǎn)矩陣,可由(Vl,αi)的羅德里格斯變換得到[19]401-403；Rri為坐標系or1xr1yr1zr1到orixriyrizri的旋轉(zhuǎn)矩陣,可由(Vr,βi)的羅德里格斯變換得到。

將式(4)～(5)代入式(1)可得左、右攝像機分別旋轉(zhuǎn)αi和βi角度后的外參數(shù)(Ri,Ti)為:

(6)

因此,第i次測量時的外參數(shù)(Ri,Ti)可根據(jù)式(6),由初始外參數(shù)(R1,T1)、旋轉(zhuǎn)軸參數(shù)(Vl,Al,Vr,Ar)及旋轉(zhuǎn)角度(αi,βi)計算得到。

1.3 旋轉(zhuǎn)軸參數(shù)的確定

旋轉(zhuǎn)軸參數(shù)的確定是通過旋轉(zhuǎn)軸的標定來實現(xiàn)的。常用的標定方法是將標定靶置于旋轉(zhuǎn)平臺上,靜止的攝像機拍攝不同位置的標定靶圖像,獲取特征點的坐標,通過擬合圓得到旋轉(zhuǎn)軸上足夠多的點,再經(jīng)過擬合直線得到旋轉(zhuǎn)軸在攝像機坐標系中的方位[20-24]?？紤]自由雙目立體視覺系統(tǒng)的特點,本文通過固定其中一個攝像機,多次轉(zhuǎn)動另一個攝像機,每轉(zhuǎn)一個位置對兩個攝像機進行一次立體標定,得到多組旋轉(zhuǎn)矩陣和平移向量,最后利用最小二乘法求解得到旋轉(zhuǎn)軸參數(shù)。下面以左旋轉(zhuǎn)軸為例說明旋轉(zhuǎn)軸參數(shù)的確定方法。

如圖1所示,記初始左右攝像機坐標系ol1xl1yl1zl1和or1xr1yr1zr1之間的旋轉(zhuǎn)矩陣和平移向量分別為R1和T1。當左攝像機轉(zhuǎn)動一定角度后,其坐標系變?yōu)閛l2xl2yl2zl2,記ol2xl2yl2zl2和or1xr1yr1zr1之間的旋轉(zhuǎn)矩陣和平移向量分別為R2和T2。

空間點P的坐標滿足式(7)～(8):

Pr1=R1Pl1+T1

(7)

Pr1=R2Pl2+T2

(8)

其中:Pl1、Pr1和Pl2分別為點P在坐標系ol1xl1yl1zl1、or1xr1yr1zr1和ol2xl2yl2zl2中的坐標。

式(7)～(8)消去Pr1可得:

Pl2=R2TR1Pl1+R2T(T1-T2)

(9)

式(9)是坐標系ol1xl1yl1zl1和ol2xl2yl2zl2之間的坐標變換關系,旋轉(zhuǎn)矩陣和平移向量分別為R2TR1和R2T(T1-T2)。以上旋轉(zhuǎn)和平移是由左攝像機繞軸Nl旋轉(zhuǎn)產(chǎn)生,根據(jù)三維旋轉(zhuǎn)變換原理,坐標系ol1xl1yl1zl1和ol2xl2yl2zl2之間的坐標變換關系又可以表示為式(10):

Pl2=Rl2(Pl1-Al)+Al

(10)

其中:Rl2為坐標系ol1xl1yl1zl1到ol2xl2yl2zl2的旋轉(zhuǎn)矩陣;Al為旋轉(zhuǎn)軸Nl上任意一點在左攝像機坐標系中的坐標。

由于式(9)和式(10)對應系數(shù)應相等,可得軸上點Al滿足式(11):

(R2-R1)Al=T1-T2

(11)

式(11)是未知數(shù)為Al,系數(shù)矩陣為R2-R1,常數(shù)項為T1-T2的線性方程組。由于系數(shù)矩陣R2-R1的秩為2,利用最小二乘法進行求解,得到點Al在左攝像機坐標系中滿足的直線方程,即旋轉(zhuǎn)軸Nl。利用最小二乘法求解的過程如下:

(12)

由式(12)可得:

(13)

(14)

利用最小二乘法求解式(13)～(14)可得a、b、c、d的值,進而可得旋轉(zhuǎn)軸的方向向量為(a,1,c),軸上一點坐標為(b,0,d)。

通過將左攝像機轉(zhuǎn)動多次,可得多組旋轉(zhuǎn)矩陣Ri(i=1,2,…)和平移向量Ti(i=1,2,…),根據(jù)式(11)可得:

(15)

利用最小二乘法對式(15)進行求解,可得更加精確的點Al所在直線的方程,進而可得左旋轉(zhuǎn)軸Nl的旋轉(zhuǎn)軸參數(shù)(Vl,Al)。同理,左攝像機不動,多次轉(zhuǎn)動右攝像機,利用式(15)可得右旋轉(zhuǎn)軸Nr的旋轉(zhuǎn)軸參數(shù)(Vr,Ar)。

2 實驗與分析

2.1 實驗裝置

自由雙目立體視覺系統(tǒng)裝置如圖2所示,計算機利用運動控制軟件和運動控制器控制旋轉(zhuǎn)臺轉(zhuǎn)動,并帶動固定在旋轉(zhuǎn)臺上的攝像機旋轉(zhuǎn),同時計算機控制圖像采集卡同步采集圖像。攝像機分辨率為1 920×1 080,鏡頭焦距為8 mm,系統(tǒng)基線長度約280 mm。

圖2 自由雙目立體視覺系統(tǒng)裝置圖

實驗中所用棋盤標定靶如圖3所示,標定靶長400 mm,寬300 mm,單個棋盤格尺寸為30 mm×30 mm,選取標定靶中間部分6行9列共54個角點作為標志點,如圖3中小圓圈標記所示。

圖3 實驗中所用棋盤標定靶及選取的標志點

2.2 旋轉(zhuǎn)軸的標定

實驗中,首先利用張正友方法[25]對攝像機進行標定,得到其內(nèi)參數(shù)和畸變系數(shù),如表1所示。旋轉(zhuǎn)軸標定流程如圖4所示,分別對初始位置和3次旋轉(zhuǎn)后的位置進行立體標定[19]427-430,得到4組旋轉(zhuǎn)矩陣和平移向量,由此計算旋轉(zhuǎn)軸參數(shù)。

對初始位置的左、右攝像機進行立體標定,得到旋轉(zhuǎn)矩陣R1和平移向量T1。

圖4 旋轉(zhuǎn)軸標定的流程

表1 攝像機內(nèi)參數(shù)和畸變系數(shù)標定結果

然后,右攝像機保持不動,將左攝像機依次向右轉(zhuǎn)動三次,每次轉(zhuǎn)動3°,三次分別對左、右攝像機進行立體標定,得到旋轉(zhuǎn)矩陣R2、R3、R4和平移向量T2、T3、T4。

將R1、T1、R2、T2、R3、T3、R4、T4代入式(15),利用最小二乘法求解,得到左旋轉(zhuǎn)軸參數(shù)(Vl,A0l)。同理,保持初始位置左攝像機不動,依次轉(zhuǎn)動右攝像機,每次轉(zhuǎn)動3°,并對左、右攝像機進行立體標定,得到4組旋轉(zhuǎn)矩陣和平移向量,將其代入式(15)并利用最小二乘法求解,得到右旋轉(zhuǎn)軸參數(shù)(Vr,A0r)。

2.3 實驗結果分析

為了驗證本文所提動態(tài)外參數(shù)獲取方法的有效性。對旋轉(zhuǎn)后的左右攝像機進行立體標定得到外參數(shù)標定值,由初始外參數(shù)、旋轉(zhuǎn)軸參數(shù)和旋轉(zhuǎn)角度得到外參數(shù)計算值,分別利用這兩組外參數(shù),計算棋盤角點的三維坐標,比較兩組三維坐標,以平均誤差和標準差評定結果,實驗流程如圖5所示。

圖5 實驗流程

對初始位置的兩個攝像機進行立體標定,得到初始外參數(shù)(R1,T1)。

然后,左攝像機旋轉(zhuǎn)5.00°,右攝像機旋轉(zhuǎn)5.20°,兩個攝像機同時采集棋盤標定靶圖像,如圖6所示。

對旋轉(zhuǎn)后的兩個攝像機進行立體標定,得到外參數(shù)標定值(R2,T2)。

由初始外參數(shù)、旋轉(zhuǎn)軸參數(shù)和旋轉(zhuǎn)角度,根據(jù)式(6)計算得到旋轉(zhuǎn)后的外參數(shù)計算值(R2c,T2c)。

圖6 棋盤標定靶圖像

分別利用(R2,T2)和(R2c,T2c),計算圖6中棋盤標定靶角點的三維坐標(xw,yw,zw)和(xcw,ycw,zcw),如表2所示。

表2 棋盤標定靶角點三維坐標(xw, yw,zw)和(xcw, ycw,zcw)的比較 mm

以平均誤差及其標準差作為評價指標[26],其定義為:

(16)

由表2,根據(jù)式(16)計算可得,棋盤標定靶角點的平均誤差為0.241 mm,標準差為0.156 mm。

為了進一步說明本文方法的標定精度,將本文方法與文獻[27]的標定方法進行對比。文獻[27]提出了一種基于多平面靶標的旋轉(zhuǎn)軸標定方法。攝像機多次旋轉(zhuǎn)并采集標定靶圖像,通過立體標定獲得每次旋轉(zhuǎn)后的光心坐標,擬合空間圓計算旋轉(zhuǎn)軸參數(shù)。該方法利用多個標定靶增大攝像機旋轉(zhuǎn)范圍以提高標定精度。

在測量距離、攝像機焦距和基線長度等系統(tǒng)參數(shù)保持不變的情況下,利用文獻[27]中方法對旋轉(zhuǎn)軸進行標定,并采用與本文方法相同的評價指標對標定結果進行評價,比較兩種方法的標定精度。為了保證比較的客觀性,本文每次立體標定采集5組圖像,進行4次立體標定。因此,在文獻[27]的旋轉(zhuǎn)軸標定實驗中,共采集20張圖像,利用20個圓心坐標擬合空間圓，進而可得旋轉(zhuǎn)軸參數(shù)(Vl,A0l,Vr,A0r)。

結合初始外參數(shù)和旋轉(zhuǎn)角度,根據(jù)式(6)計算得到旋轉(zhuǎn)后的外參數(shù)(R2f,T2f)。

利用外參數(shù)(R2f,T2f),計算圖6中棋盤標定靶角點的三維坐標(xfw,yfw,zfw),如表3所示。

根據(jù)式(16)計算可得,基于文獻[27]方法得到的棋盤標定靶角點的平均誤差為0.721 mm,標準差為0.560 mm。而本文方法得到的棋盤標定靶角點的平均誤差為0.241 mm,標準差為0.156 mm，因此本文方法的標定精度較高。

3 結語

在自由雙目立體視覺系統(tǒng)中,攝像機的獨立旋轉(zhuǎn)提高了系統(tǒng)的靈活性,可以實現(xiàn)大范圍的測量,同時也導致左右攝像機外參數(shù)不斷變化,需要解決實時獲取問題。本文針對自由雙目立體視覺系統(tǒng),提出了一種基于旋轉(zhuǎn)軸標定的動態(tài)外參數(shù)獲取方法,無需實時標定,即可得到攝像機旋轉(zhuǎn)情況下的外參數(shù)?；诒疚姆椒▽ψ杂呻p目立體視覺系統(tǒng)進行標定,并利用棋盤標定靶的角點對標定結果進行驗證,實驗結果表明,棋盤標定靶角點的平均誤差為0.241 mm,標準差為0.156 mm;與文獻[27]中標定方法相比,本文方法可靠有效,精度高且操作簡便,可以應用到大場景的實時三維重建中。

表3 棋盤標定靶角點三維坐標(xw, yw,zw)和(xfw, yfw,zfw)的比較 mm

References)

[1] JENKIN M R M, JEPSON A D. The measurement of binocular disparity[M]// CANTONI V, GESV D, LEVIALDI S. Image Analysis and Processing II. Berlin: Springer, 1988: 237-244.

[2] 張旭蘋, 汪家其, 張益昕, 等. 大尺度三維幾何尺寸立體視覺測量系統(tǒng)實現(xiàn)[J]. 光學學報, 2012, 32(3): 0315002. (ZHANG X P, WANG J Q, ZHANG Y X, et al. Large-scale three-dimensional stereo vision geometric measurement system[J]. Acta Optical Sinica, 2012, 32(3): 0315002.)

[3] 馬琳, 鄭南寧, 李青, 等. 自主車輛視覺系統(tǒng)的攝像機動態(tài)自標定算法[J]. 西安交通大學學報, 2005, 39(10): 1072-1076. (MA L, ZHENG N N, LI Q, et al. Dynamic approach of camera auto-calibration for vision system on autonomous vehicle[J]. Journal of Xi’an Jiaotong University, 2005, 39(10): 1072-1076.)

[4] WANG L L, TSAI W H. Camera calibration by vanishing lines for 3-D computer vision[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991: 370-376.

[5] LIU Y, WU Y, WU M, et al. Planar vanishing points based camera calibration[C]// ICIG 2004: Proceedings of the Third International Conference on Image and Graphics. Piscataway, NJ: IEEE, 2004: 460-463.

[6] 王濤, 謝少榮, 潘智昊, 等. 基于雙目立體視覺的攝像機外參數(shù)快速在線自標定算法[J]. 機械工程師, 2009(1): 104-106. (WANG T, XIE S R, PAN Z H, et al. A quick and on-line self-calibration algorithm for external camera parameters based on binocular vision[J]. Mechanical Engineer, 2009(1): 104-106.)

[7] DANG T, HOFFMANN C, STILLER C. Self-calibration for active automotive stereo vision[C]// Proceedings of the 2006 IEEE Intelligent Vehicles Symposium. Piscataway, NJ: IEEE, 2006: 364-369.

[8] 尚倩, 阮秋琦, 李小利. 雙目立體視覺的目標識別與定位[J]. 智能系統(tǒng)學報, 2011, 6(4): 303-311. (SHANG Q, RUAN Q Q, LI X L. Target recognition and location based on binocular stereo vision[J]. CAAI Transactions on Intelligent Systems, 2011, 6(4): 303-311.)

[9] 曾慧, 高偉, 胡占義. 四自由度雙目視覺系統(tǒng)中的攝像機標定方法: CN103854291A [P]. 2014- 06- 11. (ZENG H, GAO W, HU Z Y. The calibration of camera in four-freedom binocular vision system: CN103854291A [P]. 2014- 06- 11.)

[10] 祝琨, 楊唐文, 阮秋琦, 等. 基于雙目視覺的運動物體實時跟蹤與測距[J]. 機器人, 2009, 31(4): 327-334. (ZHU K, YANG T W, RUAN Q Q, et al. Real-time tracking and measuring of moving objects based on binocular vision[J]. Robot, 2009, 31(4): 327-334.)

[11] 孔令富, 景榮, 趙立強. 圓軌雙鏈主動視覺機構標定系統(tǒng)的設計[J]. 計算機工程與設計, 2010, 31(8): 1882-1885. (KONG L F, JING R, ZHAO L Q. Design of calibration system of double-stranded active vision on circular orbit[J]. Computer Engineering and Design, 2010, 31(8): 1882-1885.)

[12] NIU Z, LIU K, WANG Y, et al. Calibration method for the relative orientation between the rotation axis and a camera using constrained global optimization[J]. Measurement Science and Technology, 2017, 28(5):055001.

[13] LI X, JIN J, LI W. Stereovision measurement technology with rotation CCD camera of multi-object[J]. Proceedings of the SPIE, 2011, 8205(4): 14.

[14] TSAI R Y, LENZ R K. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEE Transactions on Robotics amp; Automation, 1989, 5(3): 345-358.

[15] DANIILIDIS K. Hand-eye calibration using dual quaternions[J]. International Journal of Robotics Research, 1998, 18(3): 286-298.

[16] 賴小波. 機器人雙目立體視覺若干關鍵理論問題及其技術實現(xiàn)研究[D]. 杭州: 浙江大學, 2010. (LAI X B. Research on some key theoretical issues for robotic binocular stereo vision and its techniques implementation[D]. Hangzhou: Zhejiang University, 2010.)

[17] 王鵬, 孫長庫. 雙目視覺轉(zhuǎn)軸標定方法: CN101216296 [P]. 2008- 07- 09. (WANG P, SUN C K. Calibration of rotation axis based on binocular vision: CN101216296 [P]. 2008- 07- 09.)

[18] 和青芳. 計算機圖形學原理及算法教程[M]. 北京: 清華大學出版社, 2010: 94-96. (HE Q F. Principles of computer graphics and algorithms[M]. Beijing: Tsinghua University Press, 2010: 94-96.)

[19] BRADSKI G, KAEBLER A. Learning OpenCV[M]. Sebastopol: O’Reilly Media, 2008: 401-403, 427-430.

[20] PARK S-Y, SUBBARAO M. A multiview 3D modeling system based on stereo vision techniques[J]. Machine Vision and Application, 2005, 16(3): 148-156.

[21] SADLO F, WEYRICH T, PEIKERT R, et al. A practical structured light acquisition system for point-based geometry and texture[C]// SPBG 2005: Proceedings of the Second Eurographics, IEEE VGTC Conference on Point-Based Graphics. Piscataway, NJ: IEEE, 2005: 1-10.

[22] 李懷澤, 沈會良, 程岳. 基于旋轉(zhuǎn)多視角深度配準的三維重建方法[J]. 計算機應用, 2012, 32(12): 3365-3368. (LI H Z, SHEN H L, CHENG Y. 3D reconstruction method based on turntable multiple-view registration[J]. Journal of Computer Applications, 2012, 32(12): 3365-3368.)

[23] 徐永安, 楊欽, 懷進鵬. 激光旋轉(zhuǎn)掃描測量系統(tǒng)中轉(zhuǎn)軸標定及多視拼合[J]. 中國激光, 2005, 32(5): 659-662. (XU Y A, YANG Q, HUAI J P. Calibration of the axis of the turntable in 4-axis laser measuring system and registration of multi-view[J]. Chinese Journal of Lasers, 2005, 32(5): 659-662.)

[24] 胡民政, 習俊通. 面向結構光三維測量的兩軸轉(zhuǎn)臺標定[J]. 上海交通大學學報, 2010, 44(4): 506-511. (HU M Z, XI J T. Two-axis turntable calibration in three-dimensional structured light measurement system[J]. Journal of Shanghai Jiaotong University, 2010, 44(4): 506-511.)

[25] ZHANG Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[26] 郭濤, 達飛鵬, 方旭. 小視場環(huán)境下的攝像機標定[J]. 中國激光, 2012, 39(8): 0808001. (GUO T, DA F P, FANG X. Camera calibration under small field of view[J]. Chinese Journal of Lasers, 2012, 39(8): 0808001.)

[27] 鄭圣子, 李湘旭, 孫志超. 新型移動機器人激光測距雷達的研究[J]. 計算機測量與控制, 2011, 19(5): 1094-1097. (ZHENG S Z, LI X X, SUN Z C. Novel design of low cost moblie robot laser scanner[J]. Computer Measurement amp; Control, 2011, 19(5): 1094-1097.)

Acquisitionofcameradynamicextrinsicparametersinfreebinocularstereovisionsystem

LI Xiao1,2, GE Baozhen1,2*, LUO Qijun1,2,3, LI Yunpeng1,2, TIAN Qingguo1,2

(1.SchoolofPrecisionInstrumentandOpto-ElectronicsEngineering,TianjinUniversity,Tianjin300072,China;2.KeyLaboratoryofOpto-ElectronicsInformationTechnologyofMinistryofEducation,Tianjin300072,China;3.CollegeofElectronicInformationandAutomation,CivilAviationUniversityofChina,Tianjin300300,China)

Aiming to solve the change of the extrinsic parameters between the two cameras in free binocular stereo vision system caused by the rotation of the cameras, a method for acquiring the dynamic extrinsic parameters based on calibration of rotation axis was proposed. Multiple rotation and translation matrixes were obtained by the calibration at different positions, then the parameters of rotation axis could be calculated by using least square method. Combined with the intrinsic and extrinsic parameters at initial position and rotation angle, the dynamic extrinsic parameters between the two cameras could be calculated in real time. The chessboard corners were reconstructed with the dynamic extrinsic parameters calculated by the proposed method, the result showed that the average error was 0.241 mm and the standard deviation was 0.156 mm. Compared with the calibration method based on multiple-plane calibration target, the proposed method is easier to implement and has higher precision, where dynamic extrinsic parameters can be acquired without real-time calibration.

machine vision; free binocular stereo vision; dynamic extrinsic parameter; calibration of rotation axis; 3D reconstruction

2017- 04- 07;

2017- 06- 03。

國家自然科學基金資助項目(61535008)。

李肖(1990—),女,河北石家莊人,碩士研究生,主要研究方向:雙目立體視覺; 葛寶臻(1964—),男,內(nèi)蒙古卓資人,教授,博士,主要研究方向:激光三維彩色數(shù)字成像、光電檢測、激光粒子測量; 羅其俊(1982—),男,湖北云夢人,講師,博士研究生,主要研究方向:計算機視覺、智能系統(tǒng); 李云鵬(1987—),男,天津人,博士研究生,主要研究方向:激光三維彩色數(shù)字成像; 田慶國(1973—),男,河北唐山人,講師,博士,主要研究方向:計算機可視化、圖像圖形學。

1001- 9081(2017)10- 2888- 07

10.11772/j.issn.1001- 9081.2017.10.2888

TP391.41

A

This work is partially supported by the National Natural Science Foundation of China (61535008).

LIXiao, born in 1990, M. S. candidate. Her research interests include binocular stereo vision.

GEBaozhen, born in 1964, Ph. D., professor. His research interests include three dimensional color digital imaging technology based on laser, photoelectric detection, laser particle measurement.

LUOQijun, born in 1982, Ph. D. candidate, lecturer. His research interests include computer vision, intelligent systems.

LIYunpeng, born in 1987, Ph. D. candidate. His research interests include three dimensional color digital imaging technology based on laser.

TIANQingguo, born in 1973, Ph. D., lecturer. His research interests include computer visualization, image graphics.