張文卿, 闞 艷, 陳根良, JOACHIM Seidelmann, 王 皓

(1.上海交通大學(xué) 上海市復(fù)雜薄板結(jié)構(gòu)數(shù)字化制造重點(diǎn)實(shí)驗(yàn)室,上海 200240,E-mail: zwq357@sjtu.edu.cn;2.弗勞恩霍夫制造工程與自動(dòng)化研究所)

隨著工業(yè)技術(shù)的發(fā)展,二維相機(jī)的價(jià)格、精度、速度等優(yōu)勢愈發(fā)明顯,以二維相機(jī)代替經(jīng)緯儀、激光測距儀、結(jié)構(gòu)光相機(jī)等昂貴的測量儀器,已經(jīng)成為大尺度測量、大部件調(diào)姿控制等領(lǐng)域的研究熱點(diǎn)[1-2]。考慮到單目二維相機(jī)的測量視野有限,無法獨(dú)自完成復(fù)雜場景下的視覺測量工作,需要搭建多相機(jī)系統(tǒng)解決這一問題。

相機(jī)標(biāo)定誤差是多相機(jī)系統(tǒng)測量誤差的重要來源之一,根據(jù)實(shí)際應(yīng)用情況,設(shè)計(jì)合適的多相機(jī)標(biāo)定方法是提高多相機(jī)系統(tǒng)標(biāo)定精度必不可少的一環(huán)。根據(jù)相機(jī)的布置情況,可以將多相機(jī)標(biāo)定分為有重疊視場下的多相機(jī)標(biāo)定方法與無重疊視場下的多相機(jī)標(biāo)定方法。

在多個(gè)相機(jī)具有共同視野的情況下,可以以重疊視野為媒介,從而得到多相機(jī)間的坐標(biāo)系關(guān)系。通常情況下,可以在重疊視野出布置標(biāo)定板,通過計(jì)算各個(gè)相機(jī)相對于標(biāo)定板的位姿,解算出相機(jī)之間的位姿關(guān)系。學(xué)者楚圣輝等人[3]安裝多個(gè)標(biāo)定板,使每個(gè)相機(jī)都可以拍到至少2個(gè)標(biāo)定板,從而建立相機(jī)間的聯(lián)系,實(shí)現(xiàn)多個(gè)有重疊視野相機(jī)的坐標(biāo)系的統(tǒng)一。學(xué)者王安然[4]提出了一種基于多個(gè)小標(biāo)定板的多相機(jī)標(biāo)定方法,他以多個(gè)小標(biāo)定板代替大標(biāo)定板,既提高了標(biāo)定的精度與靈活性,也降低了標(biāo)定的成本。

在相機(jī)間無重疊視野的情況下,由于相機(jī)間無法之間共享場景信息,需要借助硬件設(shè)備來提供額外信息。一種方法是利用反射鏡調(diào)整相機(jī)視野,學(xué)者Kumar[5]、學(xué)者Lébraly[6]等人利用平面鏡調(diào)整相機(jī)的拍攝視野,從而為原相機(jī)系統(tǒng)提供額外的重疊視野以實(shí)現(xiàn)標(biāo)定。借助額外的相機(jī)也可以為相機(jī)組提供額外的位姿信息,學(xué)者Zhao Fangda[7]利用額外的輔助相機(jī)與AR標(biāo)簽,通過輔助相機(jī)拍攝目標(biāo)相機(jī)組的AR標(biāo)簽,完成相機(jī)間的位姿計(jì)算。也有學(xué)者為多相機(jī)系統(tǒng)加入額外的固定約束,通過固連相機(jī)[8-9]或固連標(biāo)定板[10],為 AX=XB方程提供額外的信息,從而實(shí)現(xiàn)方程求解,得到相機(jī)間的位姿關(guān)系,該類方法的硬件布置如圖1所示。王剛等人將兩個(gè)相機(jī)固連,多次調(diào)整相機(jī)組合的位姿,拍攝各自視野下位姿固定的標(biāo)定板,根據(jù)多組拍攝結(jié)果計(jì)算出的位姿矩陣位置誤差小于0.01 m,角度誤差小于0.05°,馬瑪雙等人將標(biāo)定板固連,以類似的方法實(shí)現(xiàn)無重疊視野的相機(jī)標(biāo)定,經(jīng)過優(yōu)化,在0.7m左右的拍攝拍攝距離內(nèi),標(biāo)定的平均位移誤差約為5.45 mm。此類方法可以有效解決多相機(jī)視野不重疊的問題,但是這些固連方式難以應(yīng)用于較大的拍攝場景。

▲圖1 固連相機(jī)法(上)與固連標(biāo)定板法(下)

在大部件對接場景下,為了全面地觀測對接特征,通常需要在大部件末端上安裝視野不重疊的多相機(jī)系統(tǒng)。由于對接場景的復(fù)雜性,難以安裝額外的反射鏡,此外,由于大部件體積較大,大部件外部的標(biāo)定板難以被相機(jī)識別,而大部件上的標(biāo)定板與相機(jī)會伴隨相機(jī)同步運(yùn)動(dòng),無法滿足標(biāo)定板固連或相機(jī)固連的要求。

▲圖2 大部件對接場景模型圖

為了實(shí)現(xiàn)大部件對接場景下的相機(jī)系統(tǒng)標(biāo)定,本文提出了一種面向大部件對接的無重疊視場視覺測量系統(tǒng)與標(biāo)定方法。本方法在每個(gè)對接部件上各安裝一個(gè)相機(jī)與標(biāo)定板,相機(jī)拍攝對側(cè)的標(biāo)定板獲取兩組相機(jī)與標(biāo)定板的位姿信息,結(jié)合同側(cè)相機(jī)與標(biāo)定板的位姿相對固定的信息,多次拍攝求解AX=XB方程解算處兩個(gè)相機(jī)的位姿關(guān)系。相比于其他學(xué)者使用的無重疊視場下的多相機(jī)標(biāo)定方法,本文所使用的方法無需安裝反射鏡,也無需固連標(biāo)定板或固連相機(jī),標(biāo)定板可靈活地放置于對接部件上,可以適用于大部分無重疊視野的多相機(jī)視覺系統(tǒng)。

大部件對接場景的硬件布置可以如下圖3所示,相機(jī)組安裝在對接面附近,用于拍攝對接處的視覺特征,兩個(gè)相機(jī)彼此對視且無重疊視野,標(biāo)定板安裝在各個(gè)相機(jī)的拍攝視野內(nèi)。

▲圖3 大部件對接場景硬件布置示意圖

▲圖4 標(biāo)定硬件布置示意圖

雙相機(jī)系統(tǒng)中,左側(cè)相機(jī)-標(biāo)定板子系統(tǒng)為固定系統(tǒng),右側(cè)相機(jī)-標(biāo)定板子系統(tǒng)固連在機(jī)器人上,可通過運(yùn)動(dòng)機(jī)械臂調(diào)整兩個(gè)相機(jī)-標(biāo)定板系統(tǒng)的相對位姿。

在每個(gè)運(yùn)動(dòng)狀態(tài)下,有等式:

(1)

考慮到上式存在兩個(gè)常量,故可將等式變換為如下所示:

(2)

在多個(gè)運(yùn)動(dòng)狀態(tài)下(狀態(tài)i,j),可聯(lián)立得到下式方程:

(3)

略微修改方程格式,可得:

由于對位的相機(jī)-標(biāo)定板位姿可以計(jì)算出,故上式可簡化為:

AX=XB

(5)

2 AX=XB方程求解方法

目前,AX=XB方程的求解方法可分為三類,包含兩步法[11]、單步法[12-13]和迭代法,其中,兩步法先求解旋轉(zhuǎn)部分,再基于旋轉(zhuǎn)矩陣求解平移部分,會造成誤差傳遞,求解方法精度較差;迭代法求解依賴初值選取,且求解過程繁瑣。本文采用基于對偶四元數(shù)的單步法求解AX=XB方程,該方法于由Daniilidis提出[14-15]。此方法利用對偶四元數(shù)可表示旋轉(zhuǎn)與平移的復(fù)合運(yùn)動(dòng)的特性,同時(shí)解算出旋轉(zhuǎn)部分與平移部分,引入的誤差較少,被廣泛得用于標(biāo)定算法方程求解。

2.1 基于對偶四元數(shù)的位姿變換表示方法

對偶四元數(shù)可以表示三維空間中的旋轉(zhuǎn)-平移復(fù)合運(yùn)動(dòng),對偶四元數(shù)形式如下:

(6)

其中,qr為實(shí)位;qd為對偶位;為對偶算子,滿足2=0。

(7)

(8)

即單位對偶四元數(shù)的積仍是對偶四元數(shù)。

(9)

(10)

(11)

計(jì)算可知,任意的旋轉(zhuǎn)或平移對偶四元數(shù)都是單位對偶四元數(shù)。

(12)

計(jì)算可得:

(13)

2.2 基于對偶四元數(shù)的AX=XB方程求解

(14)

結(jié)合單位對偶四元數(shù)的性質(zhì):

(15)

可得:

(16)

(17)

即有:

(18)

對于多組手眼關(guān)系矩陣,可得

(19)

對矩陣進(jìn)行SVD分解,有:T=UΣV。

3 實(shí)驗(yàn)結(jié)果與驗(yàn)證

3.1 試驗(yàn)臺搭建

本實(shí)驗(yàn)采用的雙相機(jī)系統(tǒng)均使用Basler ace 2系列相機(jī),型號為a2A4096-30umPRO黑白相機(jī),相機(jī)分辨率為4 096 px×3 000 px,鏡頭選用Basler Lens C11-0824-12M鏡頭,焦距為8.5 mm,標(biāo)定板采用圓點(diǎn)標(biāo)定板,共有7*7個(gè)特征點(diǎn),為了降低成本,采用打印的方式制造。

為了驗(yàn)證無重疊視野標(biāo)定方法的效果,本實(shí)驗(yàn)設(shè)計(jì)了相機(jī)-標(biāo)定板系統(tǒng),如圖5所示,標(biāo)定板的一側(cè)還附帶一根高度固定的標(biāo)定針,可用于后續(xù)的標(biāo)定精度驗(yàn)證。

▲圖5 相機(jī)-標(biāo)定板系統(tǒng)實(shí)物圖

雙相機(jī)標(biāo)定系統(tǒng)實(shí)物場景如圖6所示,其中,左相機(jī)系統(tǒng)固定在桌面,右相機(jī)固連在UR機(jī)器人末端,可控制機(jī)器人調(diào)整姿態(tài),使兩個(gè)相機(jī)聚焦清晰且拍攝視野完全覆蓋到標(biāo)定板,在各個(gè)位姿下拍攝多組標(biāo)定板圖像用于后續(xù)標(biāo)定計(jì)算。

▲圖6 實(shí)驗(yàn)臺示意圖(左)與雙相機(jī)拍攝效果圖(右)

3.2 標(biāo)定實(shí)驗(yàn)測試

在進(jìn)行相機(jī)外參標(biāo)定之前,需要先對相機(jī)內(nèi)參進(jìn)行標(biāo)定,在單個(gè)相機(jī)固定情況下,多次移動(dòng)標(biāo)定板并拍攝識別,根據(jù)標(biāo)定板在圖像中畸變情況即可解算出相機(jī)的內(nèi)參。本實(shí)驗(yàn)中,由于相機(jī)與同側(cè)的標(biāo)定板相對固定,故只需移動(dòng)一個(gè)相機(jī)-標(biāo)定板系統(tǒng),即可完成兩個(gè)相機(jī)的內(nèi)參標(biāo)定。

標(biāo)定板識別效果如圖7所示,多次拍攝后即可解出相機(jī)的內(nèi)參,本次實(shí)驗(yàn)相機(jī)畸變模型采用除法模型,左、右相機(jī)的內(nèi)參如表1。

表1 左/右相機(jī)內(nèi)參表

▲圖7 標(biāo)定板識別效果圖

完成雙相機(jī)內(nèi)參標(biāo)定后,保持左相機(jī)-標(biāo)定板系統(tǒng)固定,移動(dòng)機(jī)器人多次調(diào)整右相機(jī)-標(biāo)定板系統(tǒng)位姿,拍攝多組圖像,并識別標(biāo)定板位姿,進(jìn)行相機(jī)-標(biāo)定板系統(tǒng)的標(biāo)定。

▲圖8 標(biāo)定板位姿識別效果圖

完成多組圖像拍攝后,按照上文所述的標(biāo)定方法執(zhí)行相機(jī)間位姿標(biāo)定,拍攝了二十幅圖像后,進(jìn)行標(biāo)定計(jì)算,得到兩組相機(jī)-標(biāo)定板系統(tǒng)中,標(biāo)定板相對于相機(jī)位姿關(guān)系,結(jié)果如表2所示。

表2 外參標(biāo)定結(jié)果

標(biāo)定的平移誤差與旋轉(zhuǎn)誤差如表3所示。

表3 標(biāo)定誤差

標(biāo)定算法表明,移動(dòng)端與固定端的相機(jī)-標(biāo)定板位姿的平移誤差平均為0.86 mm,旋轉(zhuǎn)誤差0.65°,基本滿足大部件對接系統(tǒng)中的視覺定位精度要求。

3.3 標(biāo)定精度驗(yàn)證

▲圖9 標(biāo)定針定位

為了驗(yàn)證標(biāo)定實(shí)驗(yàn)的精度,標(biāo)定裝置還在每一個(gè)標(biāo)定板外側(cè)固定了高度標(biāo)定針,利用視覺算法識別標(biāo)定針尖在標(biāo)定板所在平面的投影點(diǎn)位置,再根據(jù)相機(jī)與對側(cè)標(biāo)定板的位姿,結(jié)合標(biāo)定針的高度,求解出針尖在相機(jī)坐標(biāo)系下的位姿。精度驗(yàn)證環(huán)節(jié),先利用機(jī)器人內(nèi)置的工具坐標(biāo)系標(biāo)定方法,計(jì)算左相機(jī)-標(biāo)定板的針尖在機(jī)器人坐標(biāo)系下的位置參數(shù),再多次調(diào)整機(jī)器人位姿,利用相機(jī)重新識別針尖位置。本實(shí)驗(yàn)所使用的UR機(jī)器人重復(fù)定位精度為±0.03 mm,故可將其視為真值與相機(jī)識別結(jié)果進(jìn)行對比驗(yàn)證。

機(jī)器人坐標(biāo)系完成TCP標(biāo)定后,可測得固定端的標(biāo)定針在機(jī)器人坐標(biāo)系下位置為(477.0 mm 37.6 mm, 203.2 mm)。

圖10為標(biāo)定過程中拍攝到的標(biāo)定針圖像以及利用Harris角點(diǎn)檢測算法識別的針尖圖像坐標(biāo),如圖10紅點(diǎn)處所示。

▲圖10 標(biāo)定針圖像(左)、標(biāo)定針尖端識別效果(右)

▲圖11 針尖在標(biāo)定板平面坐標(biāo)投影

如圖11所示,已知圖像坐標(biāo)系下,針尖的像素坐標(biāo)為q=(r,c)。由于標(biāo)定板參數(shù)已知,可得到標(biāo)定板所在平面的任意點(diǎn)的像素坐標(biāo)與空間坐標(biāo)對應(yīng)關(guān)系,故可計(jì)算出針尖投影點(diǎn)在標(biāo)定板坐標(biāo)系下的空間坐標(biāo)Q=(x,y,z),其中,z=0。

由于標(biāo)定板坐標(biāo)系與相機(jī)坐標(biāo)系的位姿變換關(guān)系已知,故可求得針尖投影點(diǎn)在相機(jī)坐標(biāo)系下的位置。已知標(biāo)定針的高度,可將標(biāo)定板的厚度設(shè)為負(fù)值,大小等于標(biāo)定針尖的高度,即可將針尖所在平面視為標(biāo)定板所在平面。此時(shí),針尖的投影點(diǎn)即為針尖自身的空間坐標(biāo),如圖12所示,紅色平面即為修改厚度后的標(biāo)定板所在平面。

多次拍攝并計(jì)算標(biāo)定針位置,識別結(jié)果如表4所示。

表4 標(biāo)定針位置誤差表

標(biāo)定驗(yàn)證實(shí)驗(yàn)表明,以此方法標(biāo)定的雙相機(jī)系統(tǒng),在對接環(huán)節(jié)下,對接誤差約為1.05 mm,基本滿足大部件視覺伺服對接的需求。

4 結(jié)論

為了解決大部件對接場景下,多相機(jī)陣列沒有重疊視野導(dǎo)致無法進(jìn)行快速高精度的標(biāo)定問題,本文提出了面向大部件對接的無重疊視場視覺測量系統(tǒng)與標(biāo)定方法。根據(jù)實(shí)驗(yàn)結(jié)果表面,本方法在保證精度的同時(shí),僅需借助傳統(tǒng)二維標(biāo)定板,無需其他用于定位或傳遞位姿的硬件設(shè)備,極大地簡化了視覺系統(tǒng)的安裝與標(biāo)定的流程,操作簡單,效率高效,有效地降低了人工作業(yè)量,具有很高的應(yīng)用前景。