鄒 遇 熊禾根 陶 永③* 任 帆 陳超勇 江 山

(*武漢科技大學(xué)冶金裝備及其控制教育部重點實驗室 武漢 430081)(**武漢科技大學(xué)機械傳動與制造工程湖北省重點實驗室 武漢 430081)(***北京航空航天大學(xué)機械工程及自動化學(xué)院 北京 100191)(****北京航空航天大學(xué)生物醫(yī)學(xué)工程高精尖創(chuàng)新中心 北京 100191)

0 引 言

近幾十年來，機器人技術(shù)得到了快速的發(fā)展，機器人已經(jīng)在各行各業(yè)中得到了廣泛應(yīng)用[1]。機器人最主要的工作之一是進行搬運裝配工作，而完成這些工作的前提是需要機器人對物體進行很好的識別和抓取。隨著計算機技術(shù)和傳感器技術(shù)的發(fā)展，機器視覺成為人工智能重要的研究領(lǐng)域，其中基于視覺的機器人抓取是當前機器視覺領(lǐng)域的一個研究熱點。

目前，機器人通過視覺完成對物體的識別和跟蹤已經(jīng)有很多的研究成果，但傳統(tǒng)的視覺檢測識別技術(shù)都是基于2維圖像，2維圖像在成像的過程中會丟失物體大量的信息。隨著Kinect等廉價深度傳感器的普及，物體3維數(shù)據(jù)獲取的成本也越來越低，大量研究者開始利用深度傳感器獲取物體的3維點云，基于物體3維點云深度信息來實現(xiàn)抓取工作[2]。Hugh等人[3]針對未知抓取對象堆疊的情況下，提出了一種滿足機器人手與物體接觸約束的最優(yōu)抓取方法，計算如何從幾乎無限多的抓取可能中選擇最合適的抓取位置。Marcus等人[4]使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural metwork，CNN)來訓(xùn)練抓握部分的點云，不需要手動標記，但它在很大程度上依賴于點云的重建，這種方法不靈活且需要額外的成本。Lin 等人[5]搭建了一個RGB-D相機固定在機器人手上的系統(tǒng)，在不需要預(yù)先知道物體信息的情況下，只需要場景下的深度信息就可以確定抓取方向。Joe等人[6]利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)從視覺和深度兩方面推斷抓取坐標，該方法使用Kinect傳感器，并使用回歸推斷出視覺中的抓取點，再現(xiàn)Redmon和Angelova[7]的工作。Kensuke等人[8]提出了一種基于學(xué)習(xí)的隨機迭代視覺識別系統(tǒng)，不需要在每次挑選時都嘗試檢測堆中包含的所有物體的姿態(tài)。朱海波[9]對具有規(guī)則幾何形狀的工件提出了一種基于Hough鏈碼確定工件形狀和基于幾何不變矩來計算工件表面中心和長軸朝向的形狀識別算法，從而實現(xiàn)了工件定位，但這種方法不適合復(fù)雜環(huán)境的工件識別。

物體抓取位置的確定對物體抓取工作具有決定性作用。抓取工具分為吸盤式和夾持型，吸盤式抓取工具對物體形狀和表面特性都有要求，而夾持型抓取工具運用更廣。本文提出一種基于物體3維點云深度信息，利用物體邊界輪廓上抓取點云對所在直線與法向量的夾角、抓取點云對所在直線到物體質(zhì)心的距離結(jié)合的機器人抓取控制方法，運用二指夾持器作為抓取工具對物體進行抓取工作，該方法能夠很好地完成物體的測量、識別、定位等系統(tǒng)的物體抓取工作。

1 抓取點對初步篩選

1.1 點云前期處理

使用深度相機獲取物體表面的點云數(shù)據(jù)，受外界環(huán)境和相機自身等因素的影響，所得到的3維點云數(shù)據(jù)存在背景點、離群點等大量噪聲點，噪聲點會對目標的定位精度及識別速度產(chǎn)生影響，所以需要對獲取的場景點云進行處理；此外，為了提高目標物位姿估算的精度，需要將目標物從場景中準確地分割出來；分割后得到的點云數(shù)一般有幾萬個甚至更多，點云數(shù)太多會增大計算量，需要對物體進行降采樣，從而降低點云數(shù)量、減小計算量；一般提取的物體點云的邊界輪廓信息會發(fā)生丟失或輪廓不清晰，為了得到較好的物體點云深度信息，將分離出來的目標點云與已建立好的物體3維模型點云數(shù)據(jù)庫進行匹配[10]，采用采樣一致性初始配準算法(sample consensus initial aligment, SACIA)對分割出的點云和模型數(shù)據(jù)庫進行初始匹配，然后再通過迭代最近鄰點算法(iterative cloest point, ICP)進行精確配準，得到與目標點云對應(yīng)的深度信息清晰的點云模型[11]?？捎扇缦虏襟E確定點云前期處理。

INPUT: 深度相機獲取的初始場景點云OUTPUT: 數(shù)據(jù)庫與目標點云對應(yīng)的點云模板步驟1: 獲取目標物場景點云步驟2: 基于歐式聚類分割從場景中分割出目標物點云步驟3: 點云去噪步驟4: 點云降采樣步驟5: 物體識別與位姿估計 (1) 基于SAC-IA算法初始匹配 (2) 基于ICP算法精確配準步驟6: 輸出3維點云數(shù)據(jù)庫與目標點云相匹配的模板點云

1.2 目標物邊界點云提取

為了降低計算量，提高計算效率，將匹配好的模板點云進行邊界提取。對匹配得到與數(shù)據(jù)庫相對應(yīng)的點云模板，進行主成分分析(principal component analysis，PCA)，逼近物體的質(zhì)心和主軸，建立本地對象坐標系如圖1所示。

圖1 主平面投影

如圖2所示，提取出模板點云輪廓，模板點云首先投影到XOY主平面，以獲得目標對象的主輪廓顯示。求出投影點云的輪廓有2種方法，即凹殼輪廓和凸包輪廓，在這種情況下，凹殼輪廓可以更好地表示目標的幾何形狀。

圖2 點云邊界

1.3 獲取抓取候選點對

機器人的機械臂采用二指夾持器。在抓取目標物的過程中，要成功抓取目標物，首先必須保證夾持器所選擇的抓取點對之間的距離比夾持器的最大張開寬度還要小[12]，夾持器和物體的關(guān)系如圖3所示。

圖3 夾持器張度與目標物關(guān)系

圖中，u表示夾持器的最大張度，w表示所選擇抓取點對之間的距離。Pi、Pj為目標物點云邊界上的任意2點，其中Pi的坐標為(xi,yi,zi)、Pj的坐標為(xj,yj,zj)，則：

(1)

那么Pi、Pj2點云之間的歐式距離表示為

(2)

為了使夾持器能夠準確地夾住物體，要給夾持器留有一定空間余量，空間余量為夾持器最大張開寬度的10%(即0.1u)，經(jīng)過初步篩選把間距大于0.9u的點云對剔除掉，初步篩選方案如下。

輸入: 夾持器寬度u;目標物邊界點云集P(共有n個點云)1: for (i=1, i

2 機器人抓取單一控制方法

在抓取對象邊界點云中已經(jīng)初步篩選出可抓取候選點云對，但可抓取點對數(shù)還是過多，下一步將對可抓取候選點云對進行評價，可從2個方面入手：一方面可以考慮機器人夾持器抓取物體時物體的受力情況，決定能否抓取物體，即考慮抓取點對的法向量和抓取點對兩點云所在直線的位置關(guān)系作為一個評價方法；另一方面考慮抓取點對和目標物質(zhì)心的關(guān)系，決定能否抓穩(wěn)，作為第二個評價方法。

2.1 法向量夾角抓取控制方法

2.1.1 點云法向量

法向量是點云數(shù)據(jù)的一個基本屬性，在許多點云處理中是必不可少的信息。本文的抓取方法基于目標物邊界點云法向量的幾何關(guān)系進行求取抓取候選點對，因此邊界輪廓點云法向量的求取和定向至關(guān)重要。切平面、切線、法線都是針對連續(xù)的曲面，而點云表面特征是一個個離散點，點云數(shù)據(jù)所記錄的信息是每個獨立的3維坐標，所以為了求得每個點對應(yīng)的法向量，取一定半徑內(nèi)的點進行曲面擬合，在擬合的基礎(chǔ)上求對應(yīng)的法向量。最小二乘法平面擬合估計是求取法向量較好的方法，解決表面法線估計的問題可以最終化簡為對一個協(xié)方差矩陣的特征向量和特征值的分析(或稱PCA，主成分分析)[13]，這個協(xié)方差矩陣從查詢點的近鄰元素中產(chǎn)生，對于每一個點Pi，對應(yīng)點的協(xié)方差矩陣C如下：

(3)

2.1.2 法向量夾角評價方法

機器人夾持器夾取物體時，物體所受的力是否平衡、是否產(chǎn)生扭矩都會影響到抓取是否成功。物體抓取點的受力方向和此點的點云法向量方向在同

圖4 目標物邊界點云法向量

一直線上，所以候選抓取點處的受力方向可轉(zhuǎn)化為抓取點對應(yīng)的點云法向量方向[14，15]。為了同時兼顧抓取點力和力矩2個因素對抓取的影響，以抓取點處的點云法向量和抓取點對兩點所在直線的夾角大小為評判依據(jù)，如圖5所示。

圖5 邊界點云法向量夾角

(4)

(5)

(6)

(7)

(8)

2.2 質(zhì)心距抓取控制方法

抓取點對所在直線與目標物質(zhì)心的距離也是影響抓取質(zhì)量的一個重要因素，在滿足其他抓取要求時，抓取點對連線距離目標物質(zhì)心越近抓取質(zhì)量越好，如圖6所示。

圖6 質(zhì)心距

(9)

則質(zhì)心O(x,y,z)到Pi、Pj所在直線的質(zhì)心距為

(10)

其中，

(11)

質(zhì)心距越小越好，采用百分制打分，以候選抓取點對中質(zhì)心距最大的為0分，質(zhì)心距為0時為100分，設(shè)最大質(zhì)心距為D，通過搜索算法找出最大的質(zhì)心距。算法如下：

輸入: 質(zhì)心距dij(共有n個點云)1: D=d12;2: for (i=2, iD)5: D=dij; } }6: print D;輸出: 最大質(zhì)心距D

(12)

即：

(13)

3 基于法向量夾角和質(zhì)心距的機器人抓取綜合控制方法

第2節(jié)中提出的2個抓取點對質(zhì)量評價方法是：(1)法向量夾角評價方法；(2) 質(zhì)心距評價方法。當抓取點對確定后，這2種評價方法候選點云對的法向量夾角和質(zhì)心距也就隨之確定，法向量夾角和質(zhì)心距是同時成對出現(xiàn)的，法向量夾角越小抓取成功率越大，質(zhì)心距越小抓取后越穩(wěn)定。但法向量夾角和質(zhì)心距并不是都同時處于最優(yōu)(最小)狀態(tài)，大多數(shù)情況下法向量夾角和質(zhì)心距一個達到最優(yōu)時另一個處于欠優(yōu)狀態(tài)(甚至更差)，或者2個評價方法都不能達到最優(yōu)狀態(tài)，此時就需要一個同時兼顧2種評價方法的綜合評價方法來選取較好的抓取位置對物體實施抓取，如圖7所示。

圖7 綜合評價方法

(14)

即：

×0.25

(15)

輸入:點云對(Pi, Pj)對應(yīng)的法向量夾角Aij,質(zhì)心距 Bij,設(shè)C得分最高1:C=C12=0.75A12+0.25B12;2: for (i=2, iC)6: { C=Cij;7: a=i, b=j;} } }8: print(Pa, Pb);輸出: 最優(yōu)抓取點云對(Pa, Pb)

綜合前文所述完整的物體識別抓取過程包括目標物點云拾取、抓取候選點對初步篩選、最優(yōu)抓取點對選取、機器人執(zhí)行抓取等過程。本文所述的一個完整的物體識別抓取流程如圖8所示。

圖8 物體識別抓取流程圖

4 實驗仿真

為了驗證本文提出的基于3維點云深度信息和質(zhì)心距相結(jié)合的機器人抓取控制方法的可行性，在Linux系統(tǒng)ROS(robot operating system)環(huán)境下綜合Gazebo仿真平臺以及Moveit!運動規(guī)劃插件進行仿真實驗[16，17]。圖9說明了抓取系統(tǒng)的體系結(jié)構(gòu)，它包括3個部分：3D傳感器(Microsoft Kinect雙目相機)、機械臂和工作臺。Kinect雙目相機采取固定方式(eye to hand)配置捕獲物體3D點云數(shù)據(jù)，引導(dǎo)機器人抓取物體，工作臺模擬裝配臺，如圖9所示。

圖9 抓取系統(tǒng)的體系結(jié)構(gòu)

4.1 抓取評價方法對比實驗與分析

本文在第2節(jié)機器人抓取單一控制方法中研究了法向量夾角和質(zhì)心距2種評價方法，就其中一種單獨作為評價方法對物體進行抓取時，單獨取法向量夾角或質(zhì)心距的最優(yōu)值時無法保證可以對物體實施最佳抓取，于是在第3節(jié)中提出了點云對法向量夾角評價方法和質(zhì)心距評價方法相結(jié)合的物體抓取綜合評價方法，仿真實驗證明其可以有效地對物體實施抓取。圖10所示為抓取對象邊界點云和法向量。經(jīng)過降采樣和邊界提取，最后邊界剩余205個點云反映物體邊界信息，各點云位置3維坐標和各點云對應(yīng)的法向量分量數(shù)據(jù)如表1所示。

質(zhì)心坐標O(-0.31649, 0.0684358, 9.51443)

將實驗數(shù)據(jù)分為3組：(1) 法向量夾角單獨作為評價方法；(2) 質(zhì)心距單獨作為評價方法；(3) 綜合評價方法。

分別取3種評價方法得分最高的前5組點云對，通過對法向量夾角單獨最優(yōu)、質(zhì)心距單獨最優(yōu)、綜合評價方法最優(yōu)時3種評價方法得分數(shù)據(jù)對比分析，相關(guān)數(shù)據(jù)如表2所示。

表1 點云位置和各點云對應(yīng)法向量分量數(shù)據(jù)

表2 抓取評價表

圖11是法向量夾角最小、得分最高時前5組點云對的3種評價方法得分對比，這5組點云對法向量夾角評價方法都接近100分滿分，但此時與之相對應(yīng)的質(zhì)心距并不理想，只有1組點云對質(zhì)心距得分超過60分，另外4組點云對質(zhì)心距得分太低，這4組點云對中質(zhì)心距最小也有4.9 cm，質(zhì)心距過大意味著二指夾持器的兩指距離質(zhì)心太遠不利于抓取的穩(wěn)定，在夾取物體之后可能會發(fā)生掉落。

圖11 前5組法向量夾角最優(yōu)點云對

圖12 前5組質(zhì)心距最優(yōu)點云對

如圖13所示，法向量夾角和質(zhì)心距相結(jié)合的綜合評價方法得分最高的前5組綜合評價方法都超過90分，相對應(yīng)的點云對法向量夾角評價方法得分都有98分，最大法向量夾角只有2.73 °(0.0478×57.29 °)，可以保證機器人很好地抓取物體，與此同時相對應(yīng)質(zhì)心距都有75分，質(zhì)心距最大只有2.8 cm，距離較小，保證了成功抓取之后的穩(wěn)定，如圖14所示，選取這5組點云對中得分最高的一組(94，97)為物體的抓取位置對物體實施抓取，機器人對抓取對象成功抓取和移動。

圖13 前5組綜合評價方法最優(yōu)點云對

圖14 綜合評價機制實驗驗證

4.2 不同物體抓取實驗

本文最后通過在Linux系統(tǒng)的ROS平臺下對不同形狀的生產(chǎn)工件進行抓取仿真實驗。圖15展示了3種不同形狀工件的抓取實驗。

圖15 工件抓取實驗

仿真實驗中機器人對不同形狀的工件可以成功進行抓取并且抓取位置較好，無論對于4.1節(jié)中形狀簡單的回轉(zhuǎn)體，還是對于形狀復(fù)雜的生產(chǎn)工件該綜合評價方法都有很好的抓取效果。實驗表明，基于點云對法向量夾角和質(zhì)心距相結(jié)合的綜合評價方法可以有效地選取二指夾持器的抓取位置，從而成功地對抓取對象實施抓取工作。

5 結(jié) 論

基于視覺的物體抓取工作涉及到機器視覺、機械臂軌跡規(guī)劃等技術(shù)，依賴視覺的機器人抓取工作在工業(yè)生產(chǎn)中具有廣泛的應(yīng)用。本文基于物體3維點云深度信息，提出了一種綜合物體邊界點云對法向量夾角和質(zhì)心距兩者結(jié)合的機器人控制方法，避免單一抓取評價方法對抓取因素的判斷不足，能夠有效地對抓取對象進行識別和選取抓取位置，保證了對物體成功抓取，通過仿真實驗驗證了該方法的有效性。