崔旭東 譚 歡 王平江 余凌波 陳吉紅

(①鞍山師范學(xué)院計(jì)算中心，遼寧 鞍山 114007；②華中科技大學(xué)機(jī)械科學(xué)與工程學(xué)院，湖北 武漢430074)

機(jī)器視覺因其具有適應(yīng)性好、柔性強(qiáng)、非接觸等特點(diǎn)，被廣泛用于自動化生產(chǎn)線的工件尺寸檢測、缺陷檢測以及分揀中。使用機(jī)器視覺進(jìn)行測量并配合多關(guān)節(jié)機(jī)器人進(jìn)行工件的分揀，可以提高作業(yè)效率，降低工人作業(yè)的勞動強(qiáng)度。在自動化生產(chǎn)線中，零部件的抓取及安放，是一個(gè)非常重要的環(huán)節(jié)，也是目前自動化產(chǎn)線消耗人力最大的一個(gè)環(huán)節(jié)。有些類型的工件，若使用機(jī)械振動分揀裝置，不僅可靠性低，而且振動噪聲非常巨大，嚴(yán)重影響工人的身體健康[1]。

隨著企業(yè)越來越重視柔性化、自動化制造技術(shù)的應(yīng)用，采用基于三維視覺的機(jī)器人技術(shù)，對散亂堆放的工件進(jìn)行自動、高效的分揀，其需求越來越迫切，應(yīng)用也越來越受到重視。從散亂堆放的料框中分揀出單一工件并按照要求的姿態(tài)擺放到指定的上料工位，若使用人工的方式進(jìn)行，枯燥乏味還浪費(fèi)人工。使用機(jī)器視覺技術(shù)進(jìn)行散亂堆放工件的位置姿態(tài)檢測，再規(guī)劃機(jī)器人抓取的軌跡及抓取的位姿，具有柔性化程度高、緩解企業(yè)用工壓力、無環(huán)境影響、24小時(shí)作業(yè)的優(yōu)點(diǎn)[2-3]。

本文針對散亂堆放工件的基于機(jī)器視覺的機(jī)器人分揀技術(shù)的難點(diǎn)，進(jìn)行了有益探索，提出了切實(shí)可行的解決方案。

1 三維視覺測量原理簡介

為了能夠精確地重建料框中散亂堆放工件可視面的三維點(diǎn)云數(shù)據(jù)，本文采用雙目立體視覺加結(jié)構(gòu)光格雷碼[4-5]、相位移的方式[6]，進(jìn)行三維點(diǎn)云數(shù)據(jù)的獲取。雙目測距的基本原理[7]如圖1所示，依據(jù)圖1中的相似三角形，可以得到公式：

(1)

(2)

圖1中，OR、OT分別為左、右相機(jī)成像主光點(diǎn)。左、右相機(jī)成像感光平面到其各自光心的距離均為焦距f。若P為三維空間中某待測的目標(biāo)點(diǎn)，P在兩個(gè)相機(jī)成像平面中的成像點(diǎn)分別為p和p′；p和p′到各自成像平面左側(cè)邊緣距離分別為xR和xT；B為左右兩個(gè)相機(jī)間的基線長度，則Z為P點(diǎn)到基線的距離即為雙目3D視覺測量所得點(diǎn)的空間位置。

圖2為整個(gè)三維視覺測量系統(tǒng)硬件構(gòu)成，包括：兩個(gè)工業(yè)相機(jī)1、數(shù)字激光投影的面結(jié)構(gòu)光投影儀2、六軸機(jī)器人3以及存放工件的料框4。散亂堆放工件可視面三維測量過程為，首先用DLP投影儀依次將若干幅格雷碼圖像與4幅相位移圖像，投影于散亂堆放的工件表面。同時(shí)用相機(jī)依次采集工件可視面成像圖像，如圖3所示，即可根據(jù)格雷碼編碼規(guī)則、相位移移相規(guī)則及立體視覺的極線約束原理，確定左右相機(jī)拍攝的空間同一點(diǎn)P在左右相機(jī)圖像上點(diǎn)(p，p′)的對應(yīng)關(guān)系。

根據(jù)文獻(xiàn)[6-7]所述雙目測量原理，計(jì)算視場中眾多工件表面的三維點(diǎn)云數(shù)據(jù)。對散亂堆放的工件進(jìn)行測量所重建的三維點(diǎn)云效果如圖4所示。

2 目標(biāo)工件分割及三維匹配方法

2.1 三維匹配用模型點(diǎn)云生成

要確定散亂堆放的某工件位姿，首先須獲得用于進(jìn)行三維匹配的模板點(diǎn)云Ω0，再將Ω0與料框中已測量且已經(jīng)分割的目標(biāo)工件三維重建點(diǎn)云Ωi進(jìn)行三維匹配，最后得到散亂堆放在料框中的目標(biāo)工件的位置以及姿態(tài)信息。

獲得工件三維匹配的模板點(diǎn)云Ω0有兩種方式。如圖5所示為從生產(chǎn)單位獲得的工件的CAD理論模型，經(jīng)離散處理得到的整個(gè)工件外表面的點(diǎn)云數(shù)據(jù)；圖6為通過本文研發(fā)的三維測量系統(tǒng)對單個(gè)工件實(shí)物進(jìn)行現(xiàn)場測量、重建、拼接而形成的模板點(diǎn)云數(shù)據(jù)。雖然通過CAD模型生成的模板點(diǎn)云Ω0，具有更好的細(xì)節(jié)表現(xiàn)，但是通過現(xiàn)場測量得到模板三維點(diǎn)云Ω0的方法，具有使用簡單、操作方便的優(yōu)點(diǎn)。本文研究表明，兩者在三維匹配中的匹配精度及使用效果基本相同。

2.2 目標(biāo)工件分割算法

從一堆散亂堆放的工件的三維點(diǎn)云中進(jìn)行目標(biāo)工件的分割，目前還沒有很好的方法?？紤]到本測量系統(tǒng)采用的是雙目視覺，并通過多幅序列圖像而進(jìn)行的重建，且投影儀的投光模式是可控的，因而可以通過投射一幅均勻的、強(qiáng)度可控的照明光源，獲得散亂堆放狀態(tài)下工件的二維圖像。再通過對該二維圖像的分割，將二維圖像劃分成不同的區(qū)域，那么在三維場景中也將對應(yīng)二維圖像區(qū)域的三維點(diǎn)云進(jìn)行不同的劃分，從而可以大致區(qū)分出屬于不同工件個(gè)體的三維點(diǎn)云數(shù)據(jù)子集。從二維圖像出發(fā)，對料框中的散亂工件進(jìn)行分割，是減少三維空間分割算法復(fù)雜性、提高三維匹配效率的可行方法。

常見的二維圖像分割算法有二值化法、分水嶺法[8]、邊緣法[9-10]等。圖7所示為測試圖像采用邊緣法分割處理的結(jié)果。本文采用該方法對料框中散亂堆放的工件進(jìn)行二維圖像上的分割，以初步確定目標(biāo)工件及其所屬的三維點(diǎn)云子集。

2.3 三維匹配算法

三維點(diǎn)云之間的匹配已有多種實(shí)現(xiàn)方法，如特征點(diǎn)匹配[11-12]、ICP(iterative closest point)匹配[13-14]等。

特征點(diǎn)法主要通過三維點(diǎn)云的局部點(diǎn)云分布情況，確定該子區(qū)域的特征子。比對目標(biāo)以及模板的特征子，查找最接近的組合，進(jìn)一步求解得到目標(biāo)與模板點(diǎn)云之間的空間剛體變換矩陣。特征點(diǎn)匹配速度上較快，但是如果特征點(diǎn)較少或者特征點(diǎn)分布在無關(guān)區(qū)域(例如工件邊界處)，則容易產(chǎn)生匹配失效的情況[15]。

ICP匹配，是一種通過最近距離原則確立匹配點(diǎn)對，迭代計(jì)算出目標(biāo)點(diǎn)云與模板點(diǎn)云之間的三維剛體空間變換矩陣的算法[16]。

使用ICP算法時(shí)，通常需要使用PCA(principal component analysis)方法[14]，以獲得良好的初始位姿，從而提高ICP配準(zhǔn)的速度與準(zhǔn)確度。PCA姿態(tài)變換過程如下：

若點(diǎn)云由m個(gè)點(diǎn)構(gòu)成，設(shè)X是包含所有點(diǎn)坐標(biāo)的3×m矩陣；點(diǎn)云的重心坐標(biāo)為μ。首先，需要對點(diǎn)云進(jìn)行平移，新坐標(biāo)系的坐標(biāo)原點(diǎn)為點(diǎn)云的重心μ，平移變換后得到點(diǎn)云新的3×m矩陣Xμ。通過構(gòu)造協(xié)方差矩陣covX，并獲得covX最大特征值對應(yīng)的特征向量，進(jìn)一步構(gòu)造正交且滿足右手系規(guī)則的旋轉(zhuǎn)變換矩陣R；使用旋轉(zhuǎn)變換R對Xμ進(jìn)行旋轉(zhuǎn)變換，得到Xout。Xout為先平移再旋轉(zhuǎn)變換后包含所有點(diǎn)坐標(biāo)的3×m矩陣。如圖8所示，為PCA變換的概念及其結(jié)果，其中“·”為變換前的點(diǎn)云，“*”為變換后的點(diǎn)云。PCA變換后，點(diǎn)云的重心為新坐標(biāo)系原點(diǎn)并且主成分方向與原坐標(biāo)系X坐標(biāo)軸方向一致。

Xμ=X-μ

(3)

(4)

Xout=R×Xμ

(5)

模板點(diǎn)云Ω0及目標(biāo)點(diǎn)云Ω1，是都經(jīng)過PCA變換后的點(diǎn)云(此時(shí)模板點(diǎn)云Ω0及目標(biāo)點(diǎn)云Ω1都是在各自的重心坐標(biāo)系下進(jìn)行描述的)，再進(jìn)一步進(jìn)行ICP匹配，即可得到最終的三維點(diǎn)云位姿匹配結(jié)果。ICP匹配過程如下：

(1)采用最近距離原則得到模板點(diǎn)集M= {qi}(i=1，2，3，…，L)與目標(biāo)點(diǎn)集S= {pj}(j=1，2，3，…，K)中對應(yīng)點(diǎn)關(guān)系，得到一一配對的點(diǎn)的集合{(q1,p1);(q2,p2)；…；(qi,pi)…；(qN,pN)}。圖9中“·”為目標(biāo)點(diǎn)集S，“*”為模板點(diǎn)集M，連線表示點(diǎn)之間的配對關(guān)系。配對后N≤min(L，K)。R，T為目標(biāo)點(diǎn)集與模型點(diǎn)集之間的旋轉(zhuǎn)變換矩陣與平移變換矩陣。

(2)分別求配對后的模型點(diǎn)集M與目標(biāo)點(diǎn)集S,點(diǎn)云的重心坐標(biāo)CM、CS；pi經(jīng)過R矩陣變換后的新的位置為pi′；令I(lǐng)CP所求變換匹配中的平均配對距離為E；ICP迭代的目的是求出R使得E最小。

(6)

(7)

(8)

(9)

(3)由數(shù)學(xué)推導(dǎo)[17]可知，求旋轉(zhuǎn)變換矩陣R使得E最小，可轉(zhuǎn)換為求旋轉(zhuǎn)變換R使得R×G矩陣的跡最大；其中G=P×QT,P為第i列為pi-CS構(gòu)造的矩陣，Q為第i列為qi-CT；

P=[p1-CSp2-CS…pN-CS]

(10)

Q=[q1-CMq2-CM…qN-CM]

(11)

G=P×QT

(12)

f(R)=Tr(R×G)

(13)

通過奇異值分解得到G矩陣的U，V，W；

[U,V,W]=svd(G)

(14)

(4)使得f(R)最大的旋轉(zhuǎn)變換R為：

R=W×UT

(15)

(5)平移變換T為：

T=CM-R×CS

(16)

(6)通過上述所計(jì)算的旋轉(zhuǎn)變換R以及平移變換T，變換更新目標(biāo)點(diǎn)集S；

ρi′=R×pi+T

(17)

pi=ρi′

(18)

(7)判斷(2)中E是否小于閾值以及迭代次數(shù)是否大于設(shè)定值，否則重復(fù)以上步驟。

3 實(shí)驗(yàn)結(jié)果與分析

本試驗(yàn)的抓取對象為如圖10所示的白色包裝瓶。該目標(biāo)工件的二維圖像有著良好的邊緣特性。首先進(jìn)行雙目視覺系統(tǒng)中左相機(jī)采集圖像并進(jìn)行邊緣分割，以便能夠區(qū)分并標(biāo)記單個(gè)個(gè)體。對如圖10所示的圖像進(jìn)行邊緣處理的結(jié)果如圖11所示。

經(jīng)過圖像邊緣處理后的圖像，往往存在如圖12所示的邊緣斷裂現(xiàn)象，對于采用連通域法來進(jìn)行物體的分割是十分不利的，必須進(jìn)行有效的邊緣修補(bǔ)。

本文采用的方式為：對邊緣圖像，利用高斯模板進(jìn)行濾波，對于靠近黑色像素的白色像素會計(jì)算一個(gè)高斯值，使得白色像素灰度值降低。邊緣圖像應(yīng)用高斯模板后，再進(jìn)行二值化，增大了邊緣線的寬度，有效的填補(bǔ)了邊緣算子計(jì)算時(shí)所導(dǎo)致的局部斷裂。圖13、圖14為應(yīng)用高斯濾波模板以及二值化處理后的局部以及整體邊緣圖像。由圖14可以看出，經(jīng)過處理后的圖像已經(jīng)能較好分割不同工件二維成像區(qū)域。

邊緣分割只是將二維圖像劃分為不同的區(qū)域，并不能判定該區(qū)域是否為工件二維成像區(qū)域。在相機(jī)視野中，由于邊框、燈光、工件邊界交錯(cuò)均會產(chǎn)生局部分割區(qū)域。為了減少三維匹配運(yùn)算量，應(yīng)盡可能的刪除面積過大或者過小的連通域。通過對面積篩選后的連通域進(jìn)行標(biāo)記，得到圖15所示的圖像。

通過圖15的單個(gè)聯(lián)通區(qū)域的二維圖像，標(biāo)記雙目測量中的三維點(diǎn)云，如圖16所示。將被標(biāo)記區(qū)部分的點(diǎn)云數(shù)據(jù)單獨(dú)取出，進(jìn)行PCA變換操作。在圖17中，PCA變換將任意姿態(tài)下的點(diǎn)云數(shù)據(jù)變換為點(diǎn)云主成分方向與測量坐標(biāo)系方向一致。將PCA變換后的點(diǎn)云與模型點(diǎn)云進(jìn)行ICP運(yùn)算，得到ICP變換矩陣。圖18為對單個(gè)目標(biāo)工件進(jìn)行ICP匹配的結(jié)果。通過PCA和ICP的計(jì)算步驟，即可得到目標(biāo)相對于測量坐標(biāo)系的變換矩陣。以此類推得到其他目標(biāo)的姿態(tài)，將姿態(tài)顯示在測量點(diǎn)云中，獲得圖19的結(jié)果。

4 結(jié)語

如圖20所示，通過搭建依靠格雷碼結(jié)構(gòu)光和相位移結(jié)構(gòu)光的雙目三維測量系統(tǒng)，實(shí)現(xiàn)了對散亂堆放工件場景的三維重建。為了能夠正確的將散亂件分割、并匹配目標(biāo)工件的三維位姿，本文利用了散亂堆放工件的邊緣特性，首先在二維圖像上加以分割，得到目標(biāo)工件的圖像區(qū)域，再利用光學(xué)幾何成像原理，以二維分割圖像為基準(zhǔn)，對三維點(diǎn)云進(jìn)行分割。

在計(jì)算散亂堆放的目標(biāo)工件的姿態(tài)時(shí)，采用了PCA變換與ICP匹配的方式。通過分割后的點(diǎn)云以及模型點(diǎn)云的PCA變換與ICP匹配運(yùn)算，得到散亂工件堆中可抓取工件集的三維位姿。并應(yīng)用位姿匹配的結(jié)果，控制機(jī)器人執(zhí)行抓取動作，實(shí)現(xiàn)散亂堆放工件的分揀工作。圖21為通過散亂工件三維視覺檢測結(jié)果控制六軸機(jī)器人進(jìn)行散亂工件抓取的效果。