張文卿, 闞 艷, 陳根良, JOACHIM Seidelmann, 王 皓

(1.上海交通大學 上海市復雜薄板結構數(shù)字化制造重點實驗室,上海 200240,E-mail: zwq357@sjtu.edu.cn;2.弗勞恩霍夫制造工程與自動化研究所)

隨著工業(yè)技術的發(fā)展,二維相機的價格、精度、速度等優(yōu)勢愈發(fā)明顯,以二維相機代替經緯儀、激光測距儀、結構光相機等昂貴的測量儀器,已經成為大尺度測量、大部件調姿控制等領域的研究熱點[1-2]?？紤]到單目二維相機的測量視野有限,無法獨自完成復雜場景下的視覺測量工作,需要搭建多相機系統(tǒng)解決這一問題。

相機標定誤差是多相機系統(tǒng)測量誤差的重要來源之一,根據(jù)實際應用情況,設計合適的多相機標定方法是提高多相機系統(tǒng)標定精度必不可少的一環(huán)。根據(jù)相機的布置情況,可以將多相機標定分為有重疊視場下的多相機標定方法與無重疊視場下的多相機標定方法。

在多個相機具有共同視野的情況下,可以以重疊視野為媒介,從而得到多相機間的坐標系關系。通常情況下,可以在重疊視野出布置標定板,通過計算各個相機相對于標定板的位姿,解算出相機之間的位姿關系。學者楚圣輝等人[3]安裝多個標定板,使每個相機都可以拍到至少2個標定板,從而建立相機間的聯(lián)系,實現(xiàn)多個有重疊視野相機的坐標系的統(tǒng)一。學者王安然[4]提出了一種基于多個小標定板的多相機標定方法,他以多個小標定板代替大標定板,既提高了標定的精度與靈活性,也降低了標定的成本。

在相機間無重疊視野的情況下,由于相機間無法之間共享場景信息,需要借助硬件設備來提供額外信息。一種方法是利用反射鏡調整相機視野,學者Kumar[5]、學者Lébraly[6]等人利用平面鏡調整相機的拍攝視野,從而為原相機系統(tǒng)提供額外的重疊視野以實現(xiàn)標定。借助額外的相機也可以為相機組提供額外的位姿信息,學者Zhao Fangda[7]利用額外的輔助相機與AR標簽,通過輔助相機拍攝目標相機組的AR標簽,完成相機間的位姿計算。也有學者為多相機系統(tǒng)加入額外的固定約束,通過固連相機[8-9]或固連標定板[10],為 AX=XB方程提供額外的信息,從而實現(xiàn)方程求解,得到相機間的位姿關系,該類方法的硬件布置如圖1所示。王剛等人將兩個相機固連,多次調整相機組合的位姿,拍攝各自視野下位姿固定的標定板,根據(jù)多組拍攝結果計算出的位姿矩陣位置誤差小于0.01 m,角度誤差小于0.05°,馬瑪雙等人將標定板固連,以類似的方法實現(xiàn)無重疊視野的相機標定,經過優(yōu)化,在0.7m左右的拍攝拍攝距離內,標定的平均位移誤差約為5.45 mm。此類方法可以有效解決多相機視野不重疊的問題,但是這些固連方式難以應用于較大的拍攝場景。

▲圖1 固連相機法(上)與固連標定板法(下)

在大部件對接場景下,為了全面地觀測對接特征,通常需要在大部件末端上安裝視野不重疊的多相機系統(tǒng)。由于對接場景的復雜性,難以安裝額外的反射鏡,此外,由于大部件體積較大,大部件外部的標定板難以被相機識別,而大部件上的標定板與相機會伴隨相機同步運動,無法滿足標定板固連或相機固連的要求。

▲圖2 大部件對接場景模型圖

為了實現(xiàn)大部件對接場景下的相機系統(tǒng)標定,本文提出了一種面向大部件對接的無重疊視場視覺測量系統(tǒng)與標定方法。本方法在每個對接部件上各安裝一個相機與標定板,相機拍攝對側的標定板獲取兩組相機與標定板的位姿信息,結合同側相機與標定板的位姿相對固定的信息,多次拍攝求解AX=XB方程解算處兩個相機的位姿關系。相比于其他學者使用的無重疊視場下的多相機標定方法,本文所使用的方法無需安裝反射鏡,也無需固連標定板或固連相機,標定板可靈活地放置于對接部件上,可以適用于大部分無重疊視野的多相機視覺系統(tǒng)。

大部件對接場景的硬件布置可以如下圖3所示,相機組安裝在對接面附近,用于拍攝對接處的視覺特征,兩個相機彼此對視且無重疊視野,標定板安裝在各個相機的拍攝視野內。

▲圖3 大部件對接場景硬件布置示意圖

▲圖4 標定硬件布置示意圖

雙相機系統(tǒng)中,左側相機-標定板子系統(tǒng)為固定系統(tǒng),右側相機-標定板子系統(tǒng)固連在機器人上,可通過運動機械臂調整兩個相機-標定板系統(tǒng)的相對位姿。

在每個運動狀態(tài)下,有等式:

(1)

考慮到上式存在兩個常量,故可將等式變換為如下所示:

(2)

在多個運動狀態(tài)下(狀態(tài)i,j),可聯(lián)立得到下式方程:

(3)

略微修改方程格式,可得:

由于對位的相機-標定板位姿可以計算出,故上式可簡化為:

AX=XB

(5)

2 AX=XB方程求解方法

目前,AX=XB方程的求解方法可分為三類,包含兩步法[11]、單步法[12-13]和迭代法,其中,兩步法先求解旋轉部分,再基于旋轉矩陣求解平移部分,會造成誤差傳遞,求解方法精度較差;迭代法求解依賴初值選取,且求解過程繁瑣。本文采用基于對偶四元數(shù)的單步法求解AX=XB方程,該方法于由Daniilidis提出[14-15]。此方法利用對偶四元數(shù)可表示旋轉與平移的復合運動的特性,同時解算出旋轉部分與平移部分,引入的誤差較少,被廣泛得用于標定算法方程求解。

2.1 基于對偶四元數(shù)的位姿變換表示方法

對偶四元數(shù)可以表示三維空間中的旋轉-平移復合運動,對偶四元數(shù)形式如下:

(6)

其中,qr為實位;qd為對偶位;為對偶算子,滿足2=0。

(7)

(8)

即單位對偶四元數(shù)的積仍是對偶四元數(shù)。

(9)

(10)

(11)

計算可知,任意的旋轉或平移對偶四元數(shù)都是單位對偶四元數(shù)。

(12)

計算可得:

(13)

2.2 基于對偶四元數(shù)的AX=XB方程求解

(14)

結合單位對偶四元數(shù)的性質:

(15)

可得:

(16)

(17)

即有:

(18)

對于多組手眼關系矩陣,可得

(19)

對矩陣進行SVD分解,有:T=UΣV。

3 實驗結果與驗證

3.1 試驗臺搭建

本實驗采用的雙相機系統(tǒng)均使用Basler ace 2系列相機,型號為a2A4096-30umPRO黑白相機,相機分辨率為4 096 px×3 000 px,鏡頭選用Basler Lens C11-0824-12M鏡頭,焦距為8.5 mm,標定板采用圓點標定板,共有7*7個特征點,為了降低成本,采用打印的方式制造。

為了驗證無重疊視野標定方法的效果,本實驗設計了相機-標定板系統(tǒng),如圖5所示,標定板的一側還附帶一根高度固定的標定針,可用于后續(xù)的標定精度驗證。

▲圖5 相機-標定板系統(tǒng)實物圖

雙相機標定系統(tǒng)實物場景如圖6所示,其中,左相機系統(tǒng)固定在桌面,右相機固連在UR機器人末端,可控制機器人調整姿態(tài),使兩個相機聚焦清晰且拍攝視野完全覆蓋到標定板,在各個位姿下拍攝多組標定板圖像用于后續(xù)標定計算。

▲圖6 實驗臺示意圖(左)與雙相機拍攝效果圖(右)

3.2 標定實驗測試

在進行相機外參標定之前,需要先對相機內參進行標定,在單個相機固定情況下,多次移動標定板并拍攝識別,根據(jù)標定板在圖像中畸變情況即可解算出相機的內參。本實驗中,由于相機與同側的標定板相對固定,故只需移動一個相機-標定板系統(tǒng),即可完成兩個相機的內參標定。

標定板識別效果如圖7所示,多次拍攝后即可解出相機的內參,本次實驗相機畸變模型采用除法模型,左、右相機的內參如表1。

表1 左/右相機內參表

▲圖7 標定板識別效果圖

完成雙相機內參標定后,保持左相機-標定板系統(tǒng)固定,移動機器人多次調整右相機-標定板系統(tǒng)位姿,拍攝多組圖像,并識別標定板位姿,進行相機-標定板系統(tǒng)的標定。

▲圖8 標定板位姿識別效果圖

完成多組圖像拍攝后,按照上文所述的標定方法執(zhí)行相機間位姿標定,拍攝了二十幅圖像后,進行標定計算,得到兩組相機-標定板系統(tǒng)中,標定板相對于相機位姿關系,結果如表2所示。

表2 外參標定結果

標定的平移誤差與旋轉誤差如表3所示。

表3 標定誤差

標定算法表明,移動端與固定端的相機-標定板位姿的平移誤差平均為0.86 mm,旋轉誤差0.65°,基本滿足大部件對接系統(tǒng)中的視覺定位精度要求。

3.3 標定精度驗證

▲圖9 標定針定位

為了驗證標定實驗的精度,標定裝置還在每一個標定板外側固定了高度標定針,利用視覺算法識別標定針尖在標定板所在平面的投影點位置,再根據(jù)相機與對側標定板的位姿,結合標定針的高度,求解出針尖在相機坐標系下的位姿。精度驗證環(huán)節(jié),先利用機器人內置的工具坐標系標定方法,計算左相機-標定板的針尖在機器人坐標系下的位置參數(shù),再多次調整機器人位姿,利用相機重新識別針尖位置。本實驗所使用的UR機器人重復定位精度為±0.03 mm,故可將其視為真值與相機識別結果進行對比驗證。

機器人坐標系完成TCP標定后,可測得固定端的標定針在機器人坐標系下位置為(477.0 mm 37.6 mm, 203.2 mm)。

圖10為標定過程中拍攝到的標定針圖像以及利用Harris角點檢測算法識別的針尖圖像坐標,如圖10紅點處所示。

▲圖10 標定針圖像(左)、標定針尖端識別效果(右)

▲圖11 針尖在標定板平面坐標投影

如圖11所示,已知圖像坐標系下,針尖的像素坐標為q=(r,c)。由于標定板參數(shù)已知,可得到標定板所在平面的任意點的像素坐標與空間坐標對應關系,故可計算出針尖投影點在標定板坐標系下的空間坐標Q=(x,y,z),其中,z=0。

由于標定板坐標系與相機坐標系的位姿變換關系已知,故可求得針尖投影點在相機坐標系下的位置。已知標定針的高度,可將標定板的厚度設為負值,大小等于標定針尖的高度,即可將針尖所在平面視為標定板所在平面。此時,針尖的投影點即為針尖自身的空間坐標,如圖12所示,紅色平面即為修改厚度后的標定板所在平面。

多次拍攝并計算標定針位置,識別結果如表4所示。

表4 標定針位置誤差表

標定驗證實驗表明,以此方法標定的雙相機系統(tǒng),在對接環(huán)節(jié)下,對接誤差約為1.05 mm,基本滿足大部件視覺伺服對接的需求。

4 結論

為了解決大部件對接場景下,多相機陣列沒有重疊視野導致無法進行快速高精度的標定問題,本文提出了面向大部件對接的無重疊視場視覺測量系統(tǒng)與標定方法。根據(jù)實驗結果表面,本方法在保證精度的同時,僅需借助傳統(tǒng)二維標定板,無需其他用于定位或傳遞位姿的硬件設備,極大地簡化了視覺系統(tǒng)的安裝與標定的流程,操作簡單,效率高效,有效地降低了人工作業(yè)量,具有很高的應用前景。