喬赫廷，張然，王黠

（沈陽(yáng)工業(yè)大學(xué) 機(jī)械工程學(xué)院，沈陽(yáng) 110870）

0 引言

在焊接機(jī)器人焊縫檢測(cè)與焊縫識(shí)別領(lǐng)域，結(jié)構(gòu)光視覺(jué)因其結(jié)構(gòu)簡(jiǎn)單、精度高、實(shí)時(shí)性好等特點(diǎn)得到了廣泛應(yīng)用[1]，已成為重要的三維成像技術(shù)。目前，結(jié)構(gòu)光視覺(jué)測(cè)量主要有兩種結(jié)構(gòu)：立體結(jié)構(gòu)光視覺(jué)和單目結(jié)構(gòu)光視覺(jué)。立體結(jié)構(gòu)光視覺(jué)需要多臺(tái)相機(jī)同時(shí)對(duì)激光條紋拍攝，采用立體視覺(jué)匹配算法計(jì)算特征點(diǎn)的三維坐標(biāo)。這種方法雖能準(zhǔn)確獲得特征點(diǎn)的坐標(biāo)，但存在耗時(shí)長(zhǎng)、成本高、結(jié)構(gòu)復(fù)雜的缺點(diǎn)。單目結(jié)構(gòu)光視覺(jué)克服了立體結(jié)構(gòu)的不足，在焊縫檢測(cè)與焊縫識(shí)別領(lǐng)域被廣泛應(yīng)用[2-5]。

結(jié)構(gòu)光視覺(jué)系統(tǒng)對(duì)焊縫檢測(cè)的精度直接影響焊縫成形的質(zhì)量。單目線結(jié)構(gòu)光視覺(jué)系統(tǒng)標(biāo)定主要分為兩部分：一是針對(duì)工業(yè)相機(jī)的內(nèi)置參數(shù)，二是針對(duì)傳感器進(jìn)行的。如今，相機(jī)部分的研究已相對(duì)完善，其中以張正友標(biāo)定法[6]和Tisa兩步標(biāo)定法[7]的應(yīng)用最為廣泛。線結(jié)構(gòu)光標(biāo)定無(wú)法直接獲得被檢測(cè)物體的三維坐標(biāo)與光平面空間方程之間的關(guān)系。目前從標(biāo)定靶標(biāo)形式上分為二維靶標(biāo)[8-9]和三維靶標(biāo)[10-11]。解則曉等[12]提出基于共面法的高精度標(biāo)定方法。陳天飛等[13]提出一種基于共面靶標(biāo)的標(biāo)定方法，通過(guò)多次移動(dòng)靶標(biāo)計(jì)算不同方向激光條紋直線的消隱點(diǎn)，根據(jù)交比不變?cè)碛?jì)算共面靶標(biāo)上標(biāo)定點(diǎn)間的距離完成標(biāo)定。

本文提出一種基于共面靶標(biāo)的線結(jié)構(gòu)光視覺(jué)標(biāo)定方法，包括相機(jī)的內(nèi)、外參數(shù)標(biāo)定，相機(jī)坐標(biāo)系下線結(jié)構(gòu)光平面方程的標(biāo)定方法。確定棋盤格標(biāo)定板上多條激光條紋與棋盤格交點(diǎn)的世界坐標(biāo)，并將這些特征點(diǎn)轉(zhuǎn)換到相機(jī)坐標(biāo)系下，擬合出光平面方程。實(shí)現(xiàn)以CMOS工業(yè)相機(jī)、線激光發(fā)射器組成的視覺(jué)系統(tǒng)，進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

1 視覺(jué)系統(tǒng)標(biāo)定算法

1.1 工業(yè)單目相機(jī)成像模型

單目相機(jī)成像模型如圖1所示，世界坐標(biāo)系中有點(diǎn)P，經(jīng)過(guò)相機(jī)坐標(biāo)系（即鏡頭），投射在像素坐標(biāo)系上，則世界坐標(biāo)系下的齊次坐標(biāo)PW可轉(zhuǎn)換至相機(jī)坐標(biāo)系下的齊次坐標(biāo)PC。

圖1 單目相機(jī)成像模型

在成像過(guò)程中，世界坐標(biāo)系（XW，YW，ZW）上的一個(gè)三維空間點(diǎn)P，根據(jù)小孔成像原理，經(jīng)過(guò)相機(jī)坐標(biāo)系（XC，YC，ZC），反射投影在工業(yè)相機(jī)感光芯片上形成像素坐標(biāo)系uov，根據(jù)式（1）將點(diǎn)P在世界坐標(biāo)系下的PW轉(zhuǎn)換成相機(jī)坐標(biāo)系下的PC，即

通過(guò)相機(jī)與像素兩個(gè)不同參考系的轉(zhuǎn)換過(guò)程，將PC變換為二維坐標(biāo)PC′ =［x，y，1］T，即

式中，f為相機(jī)的焦距。

改寫成矩陣形式為

此時(shí)對(duì)圖像坐標(biāo)系下的成像平面上對(duì)像進(jìn)行采樣和量化，設(shè)像素坐標(biāo)在u軸上縮放了α倍，在v軸上縮放了β倍。同時(shí)，原點(diǎn)平移了［cx，cy］T，則PC′的坐標(biāo)與像素坐標(biāo)［u，v］T的關(guān)系為：

代入式（2）得：

把αf合并成fx，βf合并成fy，得：

式中：設(shè)圖像x方向每米有α個(gè)像素，y方向每米有β個(gè)像素，所以α和β的單位為pixel/m，f的單位為m，所以fx、fy和cx、cy的單位為pixel。

把式（6）寫成矩陣形式為

式中，K為內(nèi)參矩陣。

1.2 線結(jié)構(gòu)光標(biāo)定研究

結(jié)構(gòu)光立體視覺(jué)將主動(dòng)光源與相機(jī)結(jié)合，將光源映射到工件表面，利用三角測(cè)量原理對(duì)物體進(jìn)行檢測(cè)。線結(jié)構(gòu)光成像模型如圖2所示。

圖2 線結(jié)構(gòu)光成像模型

設(shè)在相機(jī)坐標(biāo)系下的光平面方程為

式中，A、B、C為光平面系數(shù)。已知有點(diǎn)P（xC，yC，zC）為相機(jī)坐標(biāo)系下的位于激光條紋上的焊縫特征點(diǎn)，該點(diǎn)P′（u，v）也出現(xiàn)在圖像中，兩點(diǎn)滿足內(nèi)參模型，將其代入得：

而P點(diǎn)也位于結(jié)構(gòu)光平面上，滿足以下光平面方程：

結(jié)合以上兩個(gè)公式，利用光平面系數(shù)與相機(jī)內(nèi)參得出P點(diǎn)相機(jī)坐標(biāo)為：

基于共面靶標(biāo)標(biāo)定原理，建立如圖3（a）所示的世界坐標(biāo)系（xw，yw，zw）。z軸沿平面方向向下。

圖3 共面靶標(biāo)標(biāo)定

本文采用的線結(jié)構(gòu)光視覺(jué)系統(tǒng)以相機(jī)參數(shù)標(biāo)定時(shí)使用的平面棋盤格標(biāo)定板作為標(biāo)定對(duì)象，將激光投射到棋盤格標(biāo)定板上，根據(jù)Otsu[14]算法對(duì)圖像二值化，利用高斯擬合法提取激光條紋中心線與棋盤格黑色部分交點(diǎn)的像素坐標(biāo)，以這些交點(diǎn)作為特征點(diǎn)，求出直線方程及這些特征點(diǎn)在相機(jī)坐標(biāo)系下的位置坐標(biāo)，如圖3（b）所示。

相機(jī)在某一姿態(tài)下拍攝到的標(biāo)定板圖像如圖4（a）所示，P1、P2、P3、P4為標(biāo)定時(shí)標(biāo)定板四周角點(diǎn)，4個(gè)點(diǎn)的像素坐標(biāo)可以在上節(jié)相機(jī)標(biāo)定的過(guò)程中得到。P1、P2、P3、P4四個(gè)點(diǎn)所在區(qū)域的寬可以確定，如圖4（b）所示，記為w。

圖4 共面靶標(biāo)標(biāo)定原理

求解P點(diǎn)yw坐標(biāo)值時(shí)，以一種微分的思路去逼近yw的真實(shí)值。首先在像素坐標(biāo)系下，將線段P1P4和P2P3等距分割成x份，并將分割的每一點(diǎn)連接，得到x條線段；然后得出特征點(diǎn)P在像素坐標(biāo)系下與每一條線段的不同距離，將距離最短的線段記為第i條線段。則P點(diǎn)yw的坐標(biāo)值計(jì)算公式為

由此可得到P點(diǎn)在世界坐標(biāo)系下的坐標(biāo)（xw，yw，0）。每一張參與標(biāo)定的圖片都可得到一系列的點(diǎn)P，記為P1…Pn，根據(jù)式（11）將這些點(diǎn)組成超定方程組，即

對(duì)上述超定方程組做最小二乘求出結(jié)構(gòu)光平面方程的參數(shù)A、B、C。

2 實(shí)驗(yàn)

2.1 相機(jī)標(biāo)定實(shí)驗(yàn)

為了驗(yàn)證標(biāo)定方法的準(zhǔn)確性，對(duì)其進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)硬件設(shè)施如圖5所示。采用ABB-1200機(jī)器人、Basler 工業(yè)相機(jī)、TZ650AL1670GD-0030線激光器。

圖5 線結(jié)構(gòu)光視覺(jué)系統(tǒng)

標(biāo)定板是帶有固定間距的黑白棋盤格，采用7×10的棋盤格標(biāo)定板，棋盤格外形為邊長(zhǎng)10 mm的正方形。標(biāo)定板如圖6所示。

圖6 標(biāo)定板

焊接機(jī)器人采用眼在手上的安裝方式，完成對(duì)標(biāo)定圖像的采集。設(shè)置5個(gè)固定點(diǎn)，位置如圖7所示。機(jī)器人依次從點(diǎn)1至點(diǎn)5開(kāi)始運(yùn)動(dòng)，在每個(gè)固定點(diǎn)做旋轉(zhuǎn)運(yùn)動(dòng)，對(duì)標(biāo)定板進(jìn)行拍攝。當(dāng)?shù)竭_(dá)固定點(diǎn)時(shí)，先繞z軸旋轉(zhuǎn)5°，繞x軸旋轉(zhuǎn)－5°，采集第1張圖像，再繞x軸旋轉(zhuǎn)5°，獲取第2張圖像，再以初始位姿為基準(zhǔn)，繞z軸旋轉(zhuǎn)－5°，繞y軸旋轉(zhuǎn)－5°，獲取第3張圖像，再繞y軸旋轉(zhuǎn)5°獲取第4張圖像。

圖7 固定點(diǎn)示意圖

然后再以初始位姿移動(dòng)到固定點(diǎn)2，重復(fù)上述運(yùn)動(dòng)方式，對(duì)標(biāo)定板圖像進(jìn)行采集。每個(gè)固定點(diǎn)采集4張圖像，得到20張不帶激光條紋的標(biāo)定圖像和20張帶有激光條紋的圖像，如圖8所示。

圖8 相機(jī)標(biāo)定圖片與線結(jié)構(gòu)光標(biāo)定圖片

基于OpenCV函數(shù)庫(kù)，對(duì)采集到的不帶激光條紋的圖像進(jìn)行標(biāo)定，求解出相機(jī)的內(nèi)參數(shù)及每張標(biāo)定圖片對(duì)應(yīng)的外參矩陣，標(biāo)定結(jié)果如表1所示。

表1 相機(jī)內(nèi)參標(biāo)定結(jié)果

2.2 線結(jié)構(gòu)光標(biāo)定實(shí)驗(yàn)

對(duì)每幅帶有激光條紋的標(biāo)定圖片進(jìn)行二值化，進(jìn)一步凸顯激光條紋與黑色棋盤格交點(diǎn)，如圖9（a）所示。

圖9 提取標(biāo)定點(diǎn)坐標(biāo)

對(duì)激光條紋部分提取中心線，進(jìn)一步確定特征點(diǎn)的像素坐標(biāo)，如圖9（b）所示?？梢缘玫教卣鼽c(diǎn)T1的像素坐標(biāo)。通過(guò)1.2節(jié)的方法得到該特征點(diǎn)在世界坐標(biāo)系下的坐標(biāo)（xw，yw，zw），首先因?yàn)榧す鈼l紋上的點(diǎn)在棋盤格標(biāo)定板所在的平面上，所以zw=0。特征點(diǎn)是與黑色棋盤格部分的交點(diǎn)，所以其xw=0。

如圖10（a）所示，確定特征點(diǎn)T1的yw的值時(shí)，在標(biāo)定過(guò)程中可以得到標(biāo)定板四周角點(diǎn)P1、P2、P3、P4的像素坐標(biāo)，沿著線段P1P4和P2P3方向?qū)D像進(jìn)行細(xì)化。

圖10 細(xì)分標(biāo)定圖像

在圖像細(xì)分過(guò)程中，理論上x(chóng)的值越大，yw越接近準(zhǔn)確，但為了節(jié)省計(jì)算資源，令圖像細(xì)分的份數(shù)x=10000，如圖10（b）所示。

根據(jù)上述已得出特征點(diǎn)T1的像素坐標(biāo)，計(jì)算特征點(diǎn)T1與細(xì)分圖像線段的距離，得出最短距離，如圖11（a）所示。計(jì)算得出i=8322時(shí)，特征點(diǎn)T1距離第8322條線段的距離最短，誤差僅為0.019 1 mm，滿足工程需求。

圖11 擬合光平面

由式（13）可得yw=41.61 mm。所以，特征點(diǎn)T1的世界坐標(biāo)為（0，41.61，0）。重復(fù)上述過(guò)程可求出T2、T3、T4、T5、T6、T7的世界坐標(biāo)，并根據(jù)外參可得到對(duì)應(yīng)相機(jī)坐標(biāo)系下的像極坐標(biāo)。結(jié)果如表2所示。

表2 image1標(biāo)定特征點(diǎn)坐標(biāo)

每張圖片至少可提取5個(gè)這樣的標(biāo)定特征點(diǎn)，按照上述方法，得到20張圖片的100個(gè)標(biāo)定特征點(diǎn)，求出其在相機(jī)坐標(biāo)系下的坐標(biāo)。圖11（b）為選取的標(biāo)定特征點(diǎn)在相機(jī)坐標(biāo)系下的位置。

通過(guò)式（1）求得每張圖片中特征點(diǎn)在相機(jī)坐標(biāo)系下特征點(diǎn)坐標(biāo)。根據(jù)式（14）構(gòu)建100×3的超定方程i組，求最小二乘解，求得光平面方程為

為驗(yàn)證得到的線結(jié)構(gòu)光平面方程的準(zhǔn)確性，將圖12中的P1、P2兩點(diǎn)的像素坐標(biāo)代入式（12）中得到P1、P2兩點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)值，并計(jì)算兩點(diǎn)之間的距離為79.884 3 mm，兩點(diǎn)之間的實(shí)際距離為80 mm，相對(duì)誤差為0.14%。

圖12 驗(yàn)證P1到P2的距離

3 結(jié)論

本文基于單目相機(jī)成像模型和結(jié)構(gòu)光平面方程，提出了一種簡(jiǎn)便、高效、高精度的線結(jié)構(gòu)光視覺(jué)系統(tǒng)標(biāo)定方法。利用微分的思想去逼近世界坐標(biāo)系下標(biāo)定特征點(diǎn)縱坐標(biāo)的實(shí)際值，實(shí)現(xiàn)了標(biāo)定特征點(diǎn)數(shù)據(jù)的高效采集，并利用最小二乘法作參數(shù)估計(jì)，得到了視覺(jué)系統(tǒng)的結(jié)構(gòu)光平面方程，并進(jìn)行試驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該標(biāo)定方法測(cè)量得出的相對(duì)誤差為0.14%，能夠滿足焊接機(jī)器人視覺(jué)測(cè)量系統(tǒng)的精度要求。