林俊義，張 舉，李龍喜，肖 棋，江開勇+

(1.華僑大學(xué) 廈門市數(shù)字化視覺測量重點(diǎn)實(shí)驗(yàn)室，福建 廈門 361021；2.華僑大學(xué) 福建省特種能場制造重點(diǎn)實(shí)驗(yàn)室，福建 廈門 361021)

1 問題的提出

目前，機(jī)器人已經(jīng)廣泛應(yīng)用于各個(gè)領(lǐng)域，成為衡量工業(yè)自動化水平的重要標(biāo)志[1]。視覺系統(tǒng)被視為機(jī)器人的眼睛，機(jī)器人與視覺系統(tǒng)的無縫集成是機(jī)器人實(shí)現(xiàn)智能化應(yīng)用的關(guān)鍵。近年來，機(jī)器人視覺系統(tǒng)在自動三維重構(gòu)[2-3]、自動導(dǎo)航[4-5]、智能抓取[6]、裝配引導(dǎo)[7-8]等方面的研究與應(yīng)用受到了國內(nèi)外學(xué)者的密切關(guān)注。

面結(jié)構(gòu)光三維視覺測量技術(shù)具有非接觸、高精度、可全場性測量等優(yōu)點(diǎn)，在實(shí)際工業(yè)生產(chǎn)中得到了廣泛應(yīng)用。然而，受限于系統(tǒng)測量范圍和物體復(fù)雜程度等因素，要獲得完整的零件或場景，需要從不同視角進(jìn)行多次測量(如圖1)，尤其是對大尺寸或形狀復(fù)雜的物體。被測物體尺寸越大，形狀越復(fù)雜，需要測量的次數(shù)就越多，有的甚至達(dá)到成百上千次，人工測量無法勝任如此繁重的測量任務(wù)，機(jī)器人自動測量技術(shù)應(yīng)運(yùn)而生，其中下一個(gè)最佳測量位姿的確定是實(shí)現(xiàn)高效自動測量的前提與關(guān)鍵[9-11]。

目前在物體自動三維測量中，下一最佳測量位姿的確定方法可以歸納為基于已知模型和基于未知模型兩大類，其中基于未知模型物體的下一最佳測量位姿確定方法為研究熱點(diǎn)，研究內(nèi)容主要集中在如何根據(jù)已測得的物體表面信息確定下一最佳測量位姿方面，例如何炳蔚等[12]提出可視空間與極限面相結(jié)合的視點(diǎn)規(guī)劃策略來確定下一最佳視點(diǎn)的位置；KHALFAOUI等[13]根據(jù)角度值和光線追蹤方法，結(jié)合能見度將采集到的數(shù)據(jù)分類，采用均值漂移聚類方法求取下一最佳測量位姿；ASQIEZ-GOMEZ等[14]通過分析每個(gè)體素的法向量和質(zhì)量，結(jié)合視點(diǎn)方向可獲得的目標(biāo)信息多少確定下一最佳視點(diǎn)位姿；POTTHAST等[15]利用當(dāng)前視點(diǎn)下已測區(qū)域和未測區(qū)域構(gòu)建隱馬爾可夫模型，評估每個(gè)可能觀測方位下的信息增益，通過概率計(jì)算的方法確定下一最優(yōu)視點(diǎn)位姿；KRIEGEL等[16]在工業(yè)機(jī)器人和激光條紋組成的自主三維建模系統(tǒng)中，提出通過估計(jì)迭代所得模型的邊界檢測和表面趨勢來確定下一最佳候選點(diǎn)的方法；DAUDELIN等[17]基于形狀和尺寸未知的三維物體局部模型，提出一種確定最優(yōu)視點(diǎn)的概率體積法，即利用目標(biāo)概率特征確定傳感器視點(diǎn)，逐步重建目標(biāo)的三維模型。以上方法充分利用已測三維點(diǎn)云確定下一最佳視點(diǎn)，雖然效果較好，但是存在計(jì)算量大、計(jì)算時(shí)間長等缺點(diǎn)。深度圖像具有2.5維信息，因此既可采用高效的圖像處理方法對其進(jìn)行分析，又可用其快速獲得對應(yīng)的三維信息，是提高效率的有效途徑，例如張世輝等[18-20]對基于深度圖像的方法進(jìn)行了深入研究，提出利用深度圖像獲得遮擋信息，然后對遮擋區(qū)域進(jìn)行建模分析，從而構(gòu)造出下一最佳觀測方位模型來確定下一最佳視點(diǎn)的方法，并進(jìn)一步將該方法擴(kuò)展到移動物體和動態(tài)遮擋規(guī)避方面[21-22]，取得了較好的效果。

受上述方法啟發(fā)，本文提出一種融合深度圖像與三維點(diǎn)云信息的下一最佳測量位姿確定方法，探索充分利用深度圖像信息進(jìn)行物體邊界識別、區(qū)域劃分、中心趨勢線提取，通過三維點(diǎn)判斷云區(qū)域復(fù)雜程度并擬合分析趨勢面的方法，快速確定系統(tǒng)下一最佳測量空間位姿。

2 整體方法與流程

在對未知模型的自動測量中，為了每次獲得盡可能多的點(diǎn)云信息，需要根據(jù)當(dāng)前信息判斷下一最佳測量位姿。文獻(xiàn)[18]重點(diǎn)利用深度圖像識別出遮擋區(qū)域，根據(jù)遮擋信息判定下一最佳測量位姿。本文利用深度圖像進(jìn)行邊緣識別、區(qū)域劃分和中心趨勢線提取等，充分融合二維深度圖像信息與三維密度聚類信息確定下一最佳測量位姿。

本文方法的主要流程如下：

(1)采用“格雷碼+四步相移”結(jié)構(gòu)光雙目視覺測量系統(tǒng)，獲得被測物體初始位置的深度圖像和三維點(diǎn)云。

(2)通過深度圖像獲取被測物體的邊緣，并結(jié)合有效測量范圍確定出判定下一最佳位姿所需的點(diǎn)云區(qū)域。

(3)對區(qū)域內(nèi)三維點(diǎn)云進(jìn)行密度聚類，根據(jù)密度與三維形貌復(fù)雜程度的關(guān)系，獲得各個(gè)子區(qū)域的復(fù)雜系數(shù)。

(4)結(jié)合視場大小優(yōu)化各個(gè)子區(qū)域權(quán)重，確定深度圖上的最佳移動方向。

(5)以測量視場為中心，結(jié)合深度圖像獲得趨勢面，分析全局區(qū)域和中心趨勢線，確定系統(tǒng)下一最佳測量位姿。整體流程圖如圖2所示。

3 最佳移動方向的確定方法

3.1 邊緣識別與區(qū)域劃分

采用結(jié)構(gòu)光雙目視覺系統(tǒng)獲得物體初始位置的測量數(shù)據(jù)，包括深度圖像與三維點(diǎn)云數(shù)據(jù)。為了獲得比較準(zhǔn)確的三維數(shù)據(jù)，測量時(shí)被測物體要盡量占據(jù)視場中間位置。因?yàn)槲矬w形狀、大小不同，在獲得的深度圖像上，物體的邊緣與視場邊緣并不相同，所以需要識別實(shí)際測量出的物體邊緣，本文在深度圖像上采用Canny算子快速識別并提取物體的邊緣。

在結(jié)構(gòu)光雙目視覺中，只有兩個(gè)相機(jī)和投影儀構(gòu)成的公共區(qū)域可以獲得三維信息，表面復(fù)雜的區(qū)域會因遮擋而丟失測量信息，表面平滑的區(qū)域則可以獲得稠密的測量信息，因此點(diǎn)云密度直接反映了該區(qū)域表面的復(fù)雜程度。下一最佳測量位姿定義為可以獲得最多測量信息的位姿，因此可以根據(jù)邊緣區(qū)域點(diǎn)云密度初步判定下一最佳測量視場的移動方向。

邊緣區(qū)域的劃分將直接影響后續(xù)處理結(jié)果，考慮到三維點(diǎn)云處理計(jì)算量的問題，邊緣區(qū)域既不能取得太大，又要能反映區(qū)域變化情況。綜合考慮視場大小、有效測量區(qū)域、物體形狀等因素，提出邊緣區(qū)域?qū)挾萾的確定方法，即

(1)

3.2 子區(qū)域復(fù)雜系數(shù)與權(quán)重確定

3.2.1 基于密度聚類的系數(shù)計(jì)算

密度聚類算法首先確定聚類中心點(diǎn)，然后將數(shù)據(jù)點(diǎn)分配到距離其最近鄰、擁有高密度值的聚類中心所在的類中。聚類中心點(diǎn)定義為局部密度最大點(diǎn)，其具有兩個(gè)特點(diǎn)：①自身局部密度較大；②與其他類中心點(diǎn)距離較大。

設(shè)待聚類的點(diǎn)集data={x1,x2,…,xn}，令I(lǐng)data={1,2,…,n}為相應(yīng)的指標(biāo)集，則點(diǎn)xi的局部密度系數(shù)ρi可用與點(diǎn)xi之間距離小于dc的數(shù)據(jù)點(diǎn)個(gè)數(shù)表示為

(2)

式中：dij為點(diǎn)xi和xj之間的歐式距離；dc為截?cái)嗑嚯x，根據(jù)3.1節(jié)的區(qū)域劃分原則，設(shè)定dc

(3)

根據(jù)式(2)求出各個(gè)聚類區(qū)域密度系數(shù)ρi，具體過程如下：將局部密度值排序，以密度值最大的點(diǎn)作為第1個(gè)聚類中心，依次整理聚類數(shù)據(jù)點(diǎn)。若某個(gè)數(shù)據(jù)點(diǎn)與之前聚類中心的距離小于2dc，則屬于該聚類中心，如此重復(fù)直到所有的點(diǎn)迭代完成，得到的邊緣聚類情況如圖4所示。

3.2.2 結(jié)合視場大小的權(quán)重確定權(quán)重與最佳移動方向

通過上述聚類密度分析獲得最佳移動方向，即將當(dāng)前視場中心與密度最大聚類中心的連線作為下一測量最佳移動方向，其移動距離根據(jù)所需的視場重疊區(qū)域比重τ決定，一般取視場大小的20%，如圖5所示。可見視場重疊區(qū)域包含了多個(gè)密度聚類區(qū)域，只依靠一個(gè)聚類區(qū)域不足以判斷最佳移動方向，需要預(yù)先估算出視場重疊區(qū)域包含的聚類區(qū)域個(gè)數(shù)，并對各個(gè)聚類區(qū)域賦予不同的權(quán)重。

設(shè)測量視場長為a，寬為b，當(dāng)前視場中心與下一視場中心的距離為R時(shí)，根據(jù)方程

y=kx，

(a-x)(b-y)=abτ，

(4)

當(dāng)視場沿著當(dāng)前視場中心與各個(gè)聚類中心連線移動特定距離R時(shí)，重疊區(qū)域?qū)鄠€(gè)聚類子區(qū)域，考慮各個(gè)區(qū)域權(quán)重引入評估值δ，

δ=∑ωiρi。

(5)

式中ωi表示子區(qū)域權(quán)重，根據(jù)li/R求得，li表示各個(gè)聚類中心離當(dāng)前視場中心在移動方向上的距離，如圖6所示。根據(jù)上述方法，逐一計(jì)算3.2.1節(jié)中所有的聚類區(qū)域，其中評估值δ最大的方向即為所求的下一最佳視場移動方向。

4 最佳測量位姿的確定

4.1 基于趨勢面擬合的未知表面預(yù)測

趨勢面分析是從已知測量數(shù)據(jù)出發(fā)估計(jì)表面的延伸趨勢[20]。表面趨勢描述了表面的一般形狀，可應(yīng)用于預(yù)測物體未知表面。由于二次多項(xiàng)式表達(dá)了光順平面特性，通常用于擬合趨勢面，其數(shù)學(xué)模型為

z=a0+a1x+a2y+a3x2+a4xy+a5y2。

(6)

式中a0,a1,a2,a3,a4,a5為待定的多項(xiàng)式系數(shù)，可以通過回歸分析，運(yùn)用最小二乘法使殘差平方和最小來確定多項(xiàng)式系數(shù)。

由于趨勢面擬合結(jié)果完全取決于參與擬合的三維數(shù)據(jù)，而物體邊緣區(qū)域存在復(fù)雜表面信息，直接采用邊緣區(qū)域數(shù)據(jù)擬合趨勢面，將與實(shí)際曲面延伸趨勢存在較大誤差。本文采用在深度圖像上基于上述最佳視場移動方向進(jìn)行分析，以當(dāng)前視場中心(即圖像中心)為原點(diǎn)，以最佳移動方向重疊視場的大小為約束，快速獲得趨勢面分析全局區(qū)域，并利用深度圖像像素與三維點(diǎn)云的對應(yīng)關(guān)系獲取趨勢面擬合所需的三維數(shù)據(jù)。

4.2 測量系統(tǒng)空間位姿的確定

在獲得趨勢面信息的基礎(chǔ)上，結(jié)合視場大小和重疊區(qū)域要求確定測量系統(tǒng)的空間位置，然后利用深度圖像信息快速獲得最佳移動方向上通過視場中心與聚類中心的三維點(diǎn)云數(shù)據(jù)，并擬合出空間平面，該平面與趨勢面相交可確定一條空間曲線——中心趨勢線，下一最佳測量位置則位于這條空間曲線上。設(shè)空間平面的方程為

Ax+By+Cz+D=0。

(7)

記當(dāng)前測量中心點(diǎn)為PA(xA,yA,zA)，下一個(gè)測量中心軸與預(yù)測趨勢面的交點(diǎn)為PB(xB,yB,zB)(即下一最佳測量視場中心)，兩者之間的三維歐式距離為Rk，Rk根據(jù)測量系統(tǒng)視場大小和需要的重疊區(qū)域確定(如圖7)，則點(diǎn)PB可由以下方程組求出：

AxB+ByB+CzB+D=0；

z=a0+a1x+a2y+a3x2+a4xy+a5y2；

(8)

最佳測量位姿的方向應(yīng)該垂直并指向待測平面，因此只要獲得PB點(diǎn)在趨勢面上的法向，其反向即為測量系統(tǒng)的位姿方向。設(shè)測量系統(tǒng)的物距為L，沿趨勢面上PB點(diǎn)的法向方向、距離PB點(diǎn)為L的點(diǎn)記為PP，PP點(diǎn)即為系統(tǒng)的下一最佳測量位置。

5 實(shí)驗(yàn)與結(jié)果分析

基于所提方法搭建機(jī)器人視覺平臺，對胡巴和海盜頭像模型進(jìn)行自動測量實(shí)驗(yàn)。實(shí)驗(yàn)平臺包括UR5機(jī)器人、視覺測量系統(tǒng)和工作轉(zhuǎn)臺等，其中測量系統(tǒng)采用本實(shí)驗(yàn)室研發(fā)的“格雷碼+四步相位移”結(jié)構(gòu)光雙目視覺系統(tǒng)，其視場大小為200 mm×150 mm×100 mm，測量精度達(dá)0.05 mm。將該測量系統(tǒng)安裝于機(jī)器人末端進(jìn)行自動測量，如圖8所示。

首先以小型胡巴和兔子模型為例，驗(yàn)證本文算法的可行性和有效性。實(shí)物如圖9所示，選擇胡巴側(cè)面的斜上方作為起始測量位置，并使模型位于測量視場中心。獲取初始位置的深度圖像和三維點(diǎn)云數(shù)據(jù)如圖10和圖11所示，可以看出在下巴和手臂下方存在遮擋區(qū)域。

基于深度圖像獲取胡巴在該視角下的邊緣，取系數(shù)c=15%，計(jì)算邊緣區(qū)域?qū)挾龋@取對應(yīng)邊緣區(qū)域?qū)挾葍?nèi)的點(diǎn)云如圖12所示。對點(diǎn)云進(jìn)行密度聚類分析，得到按密度從大到小排序的密度區(qū)域圖，如圖13所示?？梢娤噜弲^(qū)域密度分布并不相近，甚至相差較大，需要根據(jù)視場大小進(jìn)一步優(yōu)化最佳移動方向。

根據(jù)密度和權(quán)重計(jì)算各候選移動方向的評估值δ，最終的評估值δ如表1所示，可見標(biāo)號為2的聚類中心方向評估值δ最大，因此將視場中心與標(biāo)號為2的聚類中心連線方向作為下一最佳測量移動方向，如圖14所示。

表1 各方向評估值計(jì)算結(jié)果

進(jìn)一步進(jìn)行趨勢面擬合，取重疊區(qū)域比重τ=10%，確定全局趨勢面擬合范圍，獲取空間趨勢線，根據(jù)視場大小和測量物距確定下一最佳測量的最終位姿，如圖15所示。

重復(fù)上述過程，要求獲得完整的數(shù)據(jù)模型，不能留有大孔洞，最終通過6個(gè)最佳測量視點(diǎn)(斜上方和斜下方各3個(gè)，如圖16)即可獲得較為完整的胡巴模型三維點(diǎn)云數(shù)據(jù)，如圖17所示。同樣對兔子模型進(jìn)行上述測量過程，最終通過5個(gè)最佳測量視點(diǎn)即可獲得較為完整的兔子模型三維點(diǎn)云數(shù)據(jù)，整體數(shù)據(jù)和視點(diǎn)圖如圖18所示。通過上述兩個(gè)實(shí)例測量驗(yàn)證了本方法可以完成物體的自動測量。

對于小型物體，也可以直接通過工作臺360°旋轉(zhuǎn)的方法測量，而本文方法既適用于小型物體的自動測量，又可以完成大型未知模型物體的自動測量。為此，進(jìn)一步對相對大型的海盜頭像模型進(jìn)行測量，其尺寸為300 mm×300 mm×500 mm，超過測量系統(tǒng)的視場范圍，如圖19所示。首先從當(dāng)前測量位置得到深度圖像和三維點(diǎn)云圖，如圖20和圖21所示；然后通過深度圖像識別出物體邊緣，從而劃分聚類分析區(qū)域，如圖22所示；對點(diǎn)云邊緣區(qū)域進(jìn)行密度聚類分析得到密度較大的候選區(qū)域，如圖23所示；計(jì)算各個(gè)子區(qū)域最佳移動方向評估值δ(如表2)，得出下一最佳測量移動方向?yàn)闃?biāo)號4；最后根據(jù)視場大小和所需的重疊區(qū)域(取10%)，確定具體的下一最佳測量位姿，如圖24所示；將下一視點(diǎn)下測量的數(shù)據(jù)與首視點(diǎn)數(shù)據(jù)進(jìn)行拼接，結(jié)果如圖25所示；不斷重復(fù)上述步驟，最終拼接出完整的點(diǎn)云，如圖26所示?？梢钥闯?，本文方法較好地完成了物體的自動測量。

表2 各方向評估值計(jì)算結(jié)果

本文著重研究下一最佳測量位姿，目的在于對未知物體進(jìn)行自動測量，有關(guān)復(fù)雜物體由自遮擋引起的孔洞問題(如圖27)將是后續(xù)進(jìn)一步研究的內(nèi)容。

為了分析測量精度，首先采用掃描精度為0.024 mm的美國FARO關(guān)節(jié)臂掃描儀對兩個(gè)模型進(jìn)行掃描，然后對胡巴和海盜頭像整體數(shù)據(jù)進(jìn)行精度評測。胡巴完整模型的測量偏差為+0.361/-0.674 mm，標(biāo)準(zhǔn)偏差為0.675 mm，海盜頭像完整模型偏差為+0.652/-0.719 mm，標(biāo)準(zhǔn)偏差為0.891 mm，精度符合測量要求，如圖28所示。

6 結(jié)束語

為了滿足未知物體的機(jī)器人自動測量要求，本文提出一種根據(jù)當(dāng)前測量數(shù)據(jù)判定系統(tǒng)下一最佳測量位姿的方法。首先利用深度圖像具有數(shù)據(jù)量小、處理速度快的優(yōu)點(diǎn)對物體邊緣進(jìn)行識別、提取，并對密度聚類區(qū)域進(jìn)行劃分，獲得物體邊緣各子區(qū)域的復(fù)雜系數(shù)；然后結(jié)合視場大小限制，提出基于區(qū)域權(quán)重的最優(yōu)方向判別方法，獲得了最佳移動方向。進(jìn)一步提出以當(dāng)前視場中心為原點(diǎn)、結(jié)合重疊區(qū)域要求的趨勢面擬合區(qū)域劃分方法，將參與擬合的區(qū)域限制在一定范圍內(nèi)，既可避免趨勢面擬合陷入局部最優(yōu)，又可防止全部數(shù)據(jù)參與擬合造成運(yùn)算量大的問題。最后通過對實(shí)際模型的測量實(shí)驗(yàn)驗(yàn)證了方法的有效性。本文方法不僅對小型物體的自動測量有效，還可以完成大型復(fù)雜物體的自動測量，但對孔洞問題和超大型零件的自動測量精度問題還需進(jìn)一步深入研究。