， ，

(華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院， 廣州 510641)

0 引言

機(jī)器人結(jié)合機(jī)器視覺的技術(shù)方案在國(guó)內(nèi)機(jī)械制造業(yè)中的使用越來越廣泛。在機(jī)械工件裝配過程中，二維機(jī)器視覺檢測(cè)技術(shù)存在一定的局限性，使用單一相機(jī)只能在平面上獲取工件的位置，無法獲取深度信息，需人工調(diào)整機(jī)械工件為固定的位姿，才能實(shí)現(xiàn)機(jī)器人的抓取操作。而三維機(jī)器視覺不僅能夠獲取到機(jī)械工件的平面信息，還能獲取到機(jī)械工件的深度信息和位姿[1]。

三維掃描技術(shù)在國(guó)內(nèi)制造業(yè)的模具成型、造型設(shè)計(jì)方面已經(jīng)有較廣泛的應(yīng)用，但在國(guó)內(nèi)自動(dòng)化機(jī)械工件拾取和裝配屬于起步階段。隨著三維掃描技術(shù)的應(yīng)用與發(fā)展，其精度、適應(yīng)性、可靠性等方面已經(jīng)能夠滿足自動(dòng)化機(jī)械工件拾取和裝配的要求，三維掃描技術(shù)在該領(lǐng)域的應(yīng)用研究也越發(fā)熱門[2]。

本文設(shè)計(jì)了基于面結(jié)構(gòu)光的機(jī)械工件三維掃描系統(tǒng)。標(biāo)定策略設(shè)計(jì)了40%灰度值棋盤格標(biāo)定板結(jié)合100%灰度值棋盤格標(biāo)定圖案技術(shù)對(duì)工業(yè)相機(jī)和投影儀進(jìn)行標(biāo)定；編碼解碼策略設(shè)計(jì)了100%灰度正反格雷碼結(jié)構(gòu)光柵結(jié)合相移技術(shù)對(duì)機(jī)械工件進(jìn)行掃描，機(jī)械工件調(diào)制后的光柵圖像由工業(yè)相機(jī)同步獲取，對(duì)條紋進(jìn)行亞像素精度提??；重構(gòu)策略利用標(biāo)定的系統(tǒng)內(nèi)外參數(shù)和解碼的條紋對(duì)應(yīng)的像素坐標(biāo)，設(shè)計(jì)了三角檢測(cè)算法并結(jié)合反復(fù)迭代逼近的原則獲取機(jī)械工件點(diǎn)云，并對(duì)背景平面多余點(diǎn)云隨機(jī)迭代分割，最后在計(jì)算機(jī)得到機(jī)械工件的三維點(diǎn)云模型[3-4]。

1 標(biāo)定策略

在標(biāo)定投影儀時(shí)，需要投影棋盤格圖案到標(biāo)定板上，同時(shí)標(biāo)定板上也有打印的棋盤格，可能會(huì)造成亞像素角點(diǎn)的誤檢測(cè)，導(dǎo)致標(biāo)定結(jié)果和實(shí)際值較大的偏差。解決的辦法可以采用彩色的棋盤格標(biāo)定板和投射彩色的棋盤格標(biāo)定圖案，通過研究彩色圖案疊加在彩色棋盤格標(biāo)定板上的顏色特性可以實(shí)現(xiàn)兩者的部分區(qū)分，但是仍然存在角點(diǎn)誤檢測(cè)的狀況[5-6]。

本文設(shè)計(jì)了40%灰度值棋盤格標(biāo)定板結(jié)合100%灰度值棋盤格標(biāo)定圖案的相機(jī)-投影儀標(biāo)定策略。標(biāo)定策略分為兩個(gè)部分：相機(jī)標(biāo)定和投影儀標(biāo)定。其中投影儀的標(biāo)定需要使用相機(jī)標(biāo)定的結(jié)果和參數(shù)。以相機(jī)模型和張正友標(biāo)定理論為基礎(chǔ)，把棋盤格標(biāo)定板參考坐標(biāo)系轉(zhuǎn)換到照片參考坐標(biāo)系上，通過坐標(biāo)變換和扭曲形變等計(jì)算，得到相機(jī)的模型為：

(1)

由于可以把投影儀的模型看作是相機(jī)模型的逆變換，因此投影儀的模型表示為：

(2)

設(shè)計(jì)的標(biāo)定策略的具體步驟為：調(diào)整相機(jī)、投影儀、棋盤格標(biāo)定板之間的位置關(guān)系，三者整體呈現(xiàn)一個(gè)三角形的方位，使得標(biāo)定板棋盤格上的角點(diǎn)在相機(jī)圖像上能夠清晰成像，并且投影儀投射在棋盤格標(biāo)定板上的圖案能夠完全進(jìn)入相機(jī)的視野內(nèi)。首先投影儀投射白光，相機(jī)拍攝一張棋盤格標(biāo)定板的圖像，需保證棋盤格的角點(diǎn)都在視野范圍內(nèi)；保持棋盤格標(biāo)定板的位姿不變，投影儀投射棋盤格圖案，圖案覆蓋住標(biāo)定板上面的棋盤格，此時(shí)相機(jī)同步拍攝一張疊加有棋盤格圖案的棋盤格標(biāo)定板的圖像；改變棋盤格標(biāo)定板的位姿，重復(fù)上面的步驟10次，過程要保持相機(jī)和投影儀的相對(duì)位置不變，也不能改變相機(jī)的焦距。利用拍攝的20張圖片通過尋找對(duì)應(yīng)角點(diǎn)的方式標(biāo)定出相機(jī)和投影儀的內(nèi)外參數(shù)。圖1所示為相機(jī)和投影儀標(biāo)定圖像及檢測(cè)的投射棋盤格圖案。

圖1 標(biāo)定圖像及檢測(cè)的投射棋盤格

系統(tǒng)標(biāo)定結(jié)果如下：

1)相機(jī)標(biāo)定結(jié)果：內(nèi)參:

畸變系數(shù):

kc=[-0.094 0.48 -0.00 080 -0.00 024 -1.49]

2)投影儀標(biāo)定結(jié)果：內(nèi)參:

畸變系數(shù):

kp=[0.065 -0.20 0.0 012 0.00 043 0.10]

3)投影儀-相機(jī)：旋轉(zhuǎn)角度向量:

VR=(-0.023 0.052 -0.0 050)

平移距離向量VT=(-4.607 9.682 24.18)。

標(biāo)定結(jié)果表明采用40%灰度值棋盤格標(biāo)定板結(jié)合100%灰度值棋盤格標(biāo)定圖案的相機(jī)-投影儀標(biāo)定策略能夠準(zhǔn)確地提取棋盤格的角點(diǎn)，設(shè)計(jì)合理。

2 解碼編碼策略

基于比較二進(jìn)值編碼、格雷碼編碼、相移法等編碼解碼策略的優(yōu)點(diǎn)和不足，設(shè)計(jì)了100%灰度正反格雷碼結(jié)合相移法的編碼解碼策略，該策略綜合了各編碼方案的優(yōu)點(diǎn)，互相彌補(bǔ)了各編碼方案的不足，使得投影圖案和拍攝圖像像素的誤匹配大大降低[7-8]；同時(shí)采用亞像素檢測(cè)算法優(yōu)化大大提高了像素匹配的準(zhǔn)確性[9]。

2.1 100%灰度正反格雷碼結(jié)合相移法

以5位編碼為例，二進(jìn)制編碼是采用5幅投影圖案形成25=32個(gè)條紋設(shè)計(jì)的。格雷碼由二進(jìn)制編碼改進(jìn)而來。設(shè)有一個(gè)二進(jìn)制編碼格式為BnBn-1···B1B0,對(duì)應(yīng)的格雷碼編碼格式為GnGn-1···G1G0,轉(zhuǎn)換規(guī)則為：Gn=Bn且Gi=Bi⊕Bi+1(i≠n)。圖2為5位二進(jìn)制編碼和正反格雷碼示意圖。

圖2 5位二進(jìn)制編碼和正反格雷碼示意圖

在識(shí)別編碼圖案交界處，二進(jìn)制編碼每一幅都可能造成誤識(shí)別，而格雷碼只有在第1幅可能會(huì)造成誤識(shí)別，后面投射的4幅圖案都不會(huì)有二義性的問題，因此最大限度地降低了邊緣提取和解碼的錯(cuò)誤率。

理論上格雷碼在像素對(duì)應(yīng)條紋的識(shí)別上做到了在保持特征區(qū)別的基礎(chǔ)上把錯(cuò)誤率降到了最低，但是在投影儀投射光柵條紋的過程中，格雷碼圖案會(huì)受到掃描系統(tǒng)所處環(huán)境和機(jī)械工件自身特性的影響，包括系統(tǒng)環(huán)境自然光的強(qiáng)弱、光傳播的介質(zhì)、機(jī)械工件的反射特性等，導(dǎo)致格雷碼的明暗條紋的相互滲透，使得像素的識(shí)別結(jié)果出現(xiàn)偏差。設(shè)計(jì)了100%正反灰度格雷碼的編碼方案，即向機(jī)械工件投射n幅100%正向灰度格雷碼后，緊接著向該工件投射n幅100%反向灰度格雷碼。識(shí)別時(shí)把對(duì)應(yīng)的100%正反灰度圖案作差分運(yùn)算，能夠降低環(huán)境因素導(dǎo)致的誤識(shí)別。

掃描系統(tǒng)同時(shí)投射縱向和橫向的結(jié)構(gòu)光柵，才能唯一確定二維平面的各個(gè)像素點(diǎn)。投影儀分辨率為1 024*960，若僅采用100%正反格雷碼的編碼方案，橫向結(jié)構(gòu)光柵圖案?jìng)€(gè)數(shù)為log(1 024)=10，縱向結(jié)構(gòu)光柵圖案?jìng)€(gè)數(shù)為log(960)≈10，理論上能夠區(qū)分二維平面上每一個(gè)像素點(diǎn)。但是條紋寬度只有一個(gè)像素對(duì)識(shí)別算法的實(shí)現(xiàn)比較困難，識(shí)別結(jié)果容易出錯(cuò)。因此最終設(shè)計(jì)了100%灰度正反格雷碼結(jié)合相移法的編碼解碼策略。

相移法是向機(jī)械工件表面投射一系列余弦光柵圖案，工業(yè)相機(jī)同步拍攝經(jīng)過機(jī)械工件表面深度調(diào)制后的光柵圖案，計(jì)算出調(diào)制后光柵圖案中各個(gè)像素的相位值，根據(jù)該相位值找到投影儀中未調(diào)制的余弦光柵圖案對(duì)應(yīng)的像素坐標(biāo)值。調(diào)制后的光柵圖像灰度值為：

I(x,y)=A(x,y)+B(x,y)cos[φ(x,y)+η]

(3)

其中:I(x,y)為光柵圖案像素(x,y)的灰度值，A(x,y)為光柵圖案背景灰度值，B(x,y)為光柵圖案的調(diào)制灰度值，φ(x,y)為調(diào)制后的光柵圖案像素(x,y)的相位值，η是各幅余弦光柵圖案的相位偏移值。

Ii(x,y)=A(x,y)+B(x,y)cos[φ(x,y)+π*i/2]

(i=0,1,2,3)

(4)

解得相位主值為：

(-π≤φ≤π)

(5)

為了區(qū)分整個(gè)光柵圖案的相位值，需要對(duì)相位主值展開。本文設(shè)計(jì)了100%灰度正反格雷碼結(jié)合相移法的編碼解碼策略。策略思路就是利用100%正反灰度格雷碼光柵對(duì)整個(gè)投影圖案進(jìn)行粗分，格雷碼光柵條紋的個(gè)數(shù)等于相移法周期的個(gè)數(shù)，解碼時(shí)先把格雷碼數(shù)值轉(zhuǎn)化為二進(jìn)制數(shù)值，該數(shù)值為相位主值的周期次數(shù)；在每個(gè)周期內(nèi)，像素的相位主值是唯一的，利用相移法對(duì)處于同一個(gè)周期內(nèi)的像素進(jìn)行區(qū)分。設(shè)計(jì)綜合了100%灰度正反格雷碼編碼范圍廣和相移法編碼分辨率高的優(yōu)點(diǎn)，滿足機(jī)械工件對(duì)三維掃描系統(tǒng)的精度要求。對(duì)于整個(gè)光柵圖案每個(gè)像素的絕對(duì)相位值表示為：

θ(x,y)=φ(x,y)+2π*k(k為周期次數(shù))

(6)

圖3為4位相移法示意圖、3位格雷碼結(jié)合4位相移法示意圖。

圖3 四位相移法(左)和三位格雷碼結(jié)合四位相移法(右)

圖4～6為機(jī)械工件掃描實(shí)驗(yàn)圖。

圖4 縱向正反格雷碼結(jié)構(gòu)光柵

圖5 橫向正反格雷碼結(jié)構(gòu)光柵

圖6 四位相移光柵

2.2 亞像素精度處理

圖7 亞像素精度處理

3 重構(gòu)策略

3.1 三維點(diǎn)云重構(gòu)

根據(jù)相機(jī)、投影儀、機(jī)械工件在空間中的幾何位置關(guān)系，設(shè)計(jì)了基于三角檢測(cè)算法的點(diǎn)云重構(gòu)策略[10-11]。以投射縱向的100%灰度正反格雷碼結(jié)合相移法的結(jié)構(gòu)光柵為例，三維點(diǎn)云重構(gòu)策略的設(shè)計(jì)思路如下：獲取照片坐標(biāo)系上被結(jié)構(gòu)光柵覆蓋的各點(diǎn)的像素坐標(biāo)值Ci=(ui,vi)，通過投射的縱向結(jié)構(gòu)光柵可以計(jì)算出在投影儀圖案參考坐標(biāo)系中各點(diǎn)對(duì)應(yīng)的像素橫坐標(biāo)值Pui=xi；以及計(jì)算得到相機(jī)和投影儀的內(nèi)外部標(biāo)定參數(shù)值。從像素坐標(biāo)系轉(zhuǎn)化到相機(jī)和投影儀成像坐標(biāo)系時(shí)需要進(jìn)行標(biāo)準(zhǔn)化操作，包括縮放偏移反變換、斜交反變換和畸變反變換。設(shè)fc1和fc2分別為相機(jī)模型中u軸和v軸方向上的焦距，(u0,v0)為像素坐標(biāo)系中成像中心的坐標(biāo)?？s放偏移反變換是把像素單位pixel轉(zhuǎn)化為距離單位mm，同時(shí)補(bǔ)償成像中心的偏移值?？s放偏移反變換后對(duì)應(yīng)點(diǎn)的坐標(biāo)為：

(7)

斜交反變換是補(bǔ)償光軸和成像平面斜交導(dǎo)致的坐標(biāo)偏移，設(shè)αc為斜交參數(shù)，斜交反變換后對(duì)應(yīng)后點(diǎn)的坐標(biāo)為：

(8)

畸變反變換是補(bǔ)償鏡頭成像時(shí)在徑向和切向上的坐標(biāo)偏移，設(shè)畸變系數(shù)為kc1、kc2、kc3、kc4和kc5，且：

(9)

ki=1+kc1*ri2+kc2*ri4+kc5*ri6

(10)

(11)

畸變反變換后對(duì)應(yīng)點(diǎn)在相機(jī)成像坐標(biāo)系中坐標(biāo)值為：

(12)

另外對(duì)投影儀圖案參考坐標(biāo)系中各點(diǎn)對(duì)應(yīng)的像素橫坐標(biāo)值Pui進(jìn)行縮放偏移反變換后得到的橫坐標(biāo)值為：

(13)

設(shè)相機(jī)參考坐標(biāo)系中坐標(biāo)Xci到投影儀參考坐標(biāo)系中坐標(biāo)Xpi的旋轉(zhuǎn)矩陣和平移矩陣分別為R和T，則：

Xpi=R*Xci+T

(14)

展開得：

(15)

聯(lián)立上式可得機(jī)械工件表面各個(gè)點(diǎn)在相機(jī)坐標(biāo)系中的三維坐標(biāo)為:[uoi*zcivoi*zcizci]T，其中：

(r11*uoi+r12*voi+r13)

(16)

3.2 背景點(diǎn)云去除

重構(gòu)后的機(jī)械工件的點(diǎn)云包括一部分背景平面無關(guān)點(diǎn)云[12]，需要去除此部分的點(diǎn)云。根據(jù)無關(guān)點(diǎn)云位于同一平面內(nèi)的特點(diǎn)，設(shè)計(jì)了隨機(jī)選取點(diǎn)云并反復(fù)迭代構(gòu)造背景平面實(shí)現(xiàn)分割的方法。首先從點(diǎn)云集中隨機(jī)選取部分點(diǎn)計(jì)算假定平面的參數(shù)，設(shè)置一個(gè)距離閾值，計(jì)算其余點(diǎn)與該平面的距離，大于閾值設(shè)為外點(diǎn)，小于閾值設(shè)為內(nèi)點(diǎn)；若內(nèi)點(diǎn)的個(gè)數(shù)大于期望的點(diǎn)數(shù)，則用內(nèi)點(diǎn)重新計(jì)算平面模型參數(shù)作為最終參數(shù)，所有的內(nèi)點(diǎn)即為分割的平面背景；若小于，則與先前最大內(nèi)點(diǎn)數(shù)比較，保留最大內(nèi)點(diǎn)數(shù)對(duì)應(yīng)的平面背景參數(shù)。上述步驟反復(fù)迭代，直到找到滿足條件的平面背景為止。

4 掃描結(jié)果與分析

圖8是設(shè)計(jì)的三維掃描系統(tǒng)對(duì)3個(gè)不同機(jī)械工件表面的掃描結(jié)果，以棋盤格標(biāo)定板作為背景。可以看出，掃描出的各機(jī)械工件的點(diǎn)云和背景平面點(diǎn)云實(shí)現(xiàn)了完全分割，同時(shí)能夠識(shí)別出各工件的表面紋理特征。根據(jù)機(jī)械工件的實(shí)際測(cè)量值，本系統(tǒng)重構(gòu)的點(diǎn)云密度滿足精度要求，相鄰點(diǎn)云間隔在0.05 mm以內(nèi)。同時(shí)根據(jù)點(diǎn)云的三維坐標(biāo)，可以確定各工件的空間幾何信息，包括工件在相機(jī)坐標(biāo)系的位置信息和深度信息。

圖8 機(jī)械工件點(diǎn)云重構(gòu)

5 結(jié)論

針對(duì)制造業(yè)中機(jī)械工件拾取對(duì)三維掃描技術(shù)的應(yīng)用需求，設(shè)計(jì)了能夠重構(gòu)機(jī)械工件表面點(diǎn)云的三維掃描系統(tǒng)。對(duì)系統(tǒng)的標(biāo)定、編碼解碼、重構(gòu)過程設(shè)計(jì)了有效合理的策略，檢驗(yàn)了重構(gòu)的三維點(diǎn)云數(shù)據(jù)滿足精度要求，可以作為機(jī)器人運(yùn)動(dòng)控制系統(tǒng)的輸入信息實(shí)現(xiàn)對(duì)機(jī)械工件的抓取操作。

[1] Liu MY, Tuzel O, A Veeraraghavan. Fast object localization and pose estimation in heavy clutter for robotic bin picking[J]. International Journal of Robotics Research, 2012, 31(8):951-973.

[2] 王厚勇, 張文佳, 辛磊磊.機(jī)器人與自動(dòng)化技術(shù)在生產(chǎn)線智能化改造中的應(yīng)用[J]. 汽車工藝師，2017,3:24-27.

[3] 胡愛玲, 江秀紅.基于機(jī)械手的結(jié)構(gòu)光視覺測(cè)量系統(tǒng)建模[J]. 控制工程，2016,23(3)：449-452.

[4] 胡法榮.基于結(jié)構(gòu)光的三維輪廓測(cè)量系統(tǒng)研究[D].杭州：浙江大學(xué),2013.

[5] 申心蘭，王 仲，劉常杰，等.一種基于棋盤格的高精度分區(qū)域相機(jī)標(biāo)定方法[J].測(cè)試科學(xué)與儀器，2016,7(4):342-349.

[6] Sun J, Chen X, Gong Z. Accurate camera calibration with distortion models using sphere images[J].Optics & Laser Technology, 2015, 65(65):83-87.

[7] Lilienblum E, Al-Hamadi A. A structured light approach for 3d surface reconstruction with a stereo line-scan system[A].Instrumentation &Measurement Technology Conference[C]. 2015, 64(5):1171-1176.

[8] 趙必玉. 高精度面結(jié)構(gòu)光三維測(cè)量方法研究[D].成都：電子科技大學(xué)，2015.

[9] 夏陽陽，林 菁.無粗定位亞像素邊緣檢測(cè)算法研究[J].上海師范大學(xué)學(xué)報(bào)，2016,45(4):434-440.

[10] Nagai Y, Ohtake Y, Suzuki H. Tomograghic surface reconstruction from point cloud[J]. Computers & Graphics, 2015, 46:55-63.

[11] Liu C, Yuan D, Zhao H. 3D point cloud denoising and normal estimation for 3D surface reconstruction[A]. IEEE International Conference on Robotics & Biomimetics[C]. 2015:820-825.

[12] Beksi W J, Papannikolopoulos N. 3D point cloud segmentation using topological persistence[A]. IEEE International Conference on Robotics & Automation[C]. 2016:5046-5051.