李 鑫,李彩紅,張 正

(長(zhǎng)安大學(xué) 工程機(jī)械學(xué)院,陜西 西安 710064)

0 引言

近年來,在工業(yè)、農(nóng)業(yè)、軍事和家庭服務(wù)等領(lǐng)域機(jī)器人抓取技術(shù)得到了快速發(fā)展。人們期望智能機(jī)器人能與環(huán)境互動(dòng),更好地?cái)U(kuò)展機(jī)器人的應(yīng)用范圍。在大多數(shù)情況下,人們通過分析物體并觀察場(chǎng)景可以快速、準(zhǔn)確地抓取物品。然而,對(duì)于機(jī)器人而言,由于物體和場(chǎng)景的不確定性,實(shí)現(xiàn)自主抓取非常具有挑戰(zhàn)性。機(jī)器人系統(tǒng)主要包括抓取檢測(cè)、抓取規(guī)劃和抓取控制等三個(gè)模塊。抓取檢測(cè)是從機(jī)器人傳感器提供的信息或信號(hào)中確定抓取姿勢(shì)的能力。抓取檢測(cè)直接影響到隨后抓取規(guī)劃和抓取控制的具體實(shí)現(xiàn)。

本文提出一種基于點(diǎn)云的抓取位姿檢測(cè)方法,并搭建仿真平臺(tái),驗(yàn)證了該方法的可行性和穩(wěn)定性。

1 系統(tǒng)構(gòu)成

如圖1所示,本文的機(jī)器人系統(tǒng)主要由UR10機(jī)械臂、D435i RGBD深度相機(jī)、AG-95二指夾持器等組成。

圖1 機(jī)器人系統(tǒng)

通過MoveIt建立UR10機(jī)械臂的抓取規(guī)劃和控制系統(tǒng),使用KDL庫(kù)進(jìn)行正逆運(yùn)動(dòng)學(xué)求解和路徑插值。通過OMPL運(yùn)動(dòng)規(guī)劃器中的RRT算法進(jìn)行軌跡規(guī)劃,以 action 的信息形式發(fā)布,Gazebo訂閱這些軌跡信息實(shí)現(xiàn)對(duì)UR10機(jī)械臂關(guān)節(jié)的控制。

機(jī)器人抓取系統(tǒng)感知、規(guī)劃、控制等模塊和對(duì)應(yīng)實(shí)現(xiàn)的ROS節(jié)點(diǎn)如圖2所示,各個(gè)節(jié)點(diǎn)之間通過發(fā)布和訂閱話題進(jìn)行通信。Node2訂閱Topic1獲得場(chǎng)景點(diǎn)云,然后對(duì)抓取目標(biāo)識(shí)別定位,將識(shí)別結(jié)果通過Topic2發(fā)布;Node3訂閱Topic2,進(jìn)行抓取位姿檢測(cè),生成穩(wěn)定的抓取位姿,并將結(jié)果通過Topic3發(fā)布。Node4訂閱話題Topic3通過RRT算法進(jìn)行軌跡規(guī)劃,通過MoveIt 對(duì)Gazebo場(chǎng)景中UR10機(jī)械臂進(jìn)行控制。當(dāng)?shù)竭_(dá)指定的抓取點(diǎn)時(shí),反饋到位信息,然后控制二指夾持器進(jìn)行抓取。

圖2 節(jié)點(diǎn)通信機(jī)制

2 抓取位姿檢測(cè)方法

本文提出的抓取位姿檢測(cè)方法通過分析抓取場(chǎng)景中的點(diǎn)云信息,生成六自由度抓取位姿,實(shí)現(xiàn)機(jī)械手的多方位穩(wěn)定且有效的抓取。

平行夾持器可等效為圖3所示結(jié)構(gòu),幾何參數(shù)為Θ=(θl,θd,θw,θt),其中,θl為夾爪的深度,θd為夾爪兩指的最大開口寬度,θw為夾爪手指與物體接觸的夾持寬度,θt為夾爪手指的厚度,兩指閉合過程中掃過的立體空間為B(h)。

圖3 二指夾持器

圖4 末端夾持器坐標(biāo)系

圖5 目標(biāo)點(diǎn)云采樣

本文通過虛擬相機(jī)獲取Gazebo場(chǎng)景點(diǎn)云,使用均值濾波去除噪聲,然后經(jīng)RANSAC算法分割桌面點(diǎn)云。

2.1 點(diǎn)云法線計(jì)算

點(diǎn)云的法線近似于估計(jì)表面的一個(gè)相切面法線,然后轉(zhuǎn)換成一個(gè)最小二乘法平面擬合估計(jì)問題。計(jì)算點(diǎn)云每個(gè)點(diǎn)pi的法線對(duì)應(yīng)于協(xié)方差矩陣C最小特征值的特征向量。

(1)

C·Vj=λj·Vj,j∈{0,1,2}

(2)

其中,pc表示最近鄰點(diǎn)的坐標(biāo),k作為離點(diǎn)pi最近的k個(gè)點(diǎn),Vj為第j個(gè)特征向量,λj表示C的第j個(gè)特征值。

本文通過對(duì)目標(biāo)點(diǎn)云進(jìn)行均勻采樣確定初始抓取點(diǎn)集合。法線的正方向通過相機(jī)視點(diǎn)Pv確定。取滿足ni·Vi>0條件的方向?yàn)檎?/p>

2.2 抓取位姿搜索策略

在抓取位姿搜索之前,需建立夾爪坐標(biāo)系F(G)和采樣點(diǎn)局部坐標(biāo)系F(p)的位姿關(guān)系,如圖6所示。F(G)的Xg軸與F(p)的v1軸反向平行,Yg與v2軸反向平行,Zg與v3軸同向平行,且F(G)原點(diǎn)Og與F(p)原點(diǎn)Op在Xg方向上距離為θl。

圖6 坐標(biāo)系位姿關(guān)系

為獲得更多潛在可行的候選抓取位姿,在每個(gè)采樣點(diǎn)坐標(biāo)系F(p)下,沿v1旋轉(zhuǎn)方向進(jìn)行單維度搜索,v2作為起始方向,每次旋轉(zhuǎn)20°,共旋轉(zhuǎn)6次,在不與場(chǎng)景點(diǎn)云Cscene和待抓取物體點(diǎn)云Ctag發(fā)生碰撞的前提下,然后將夾持位姿沿v1負(fù)向移動(dòng)x*,確定抓取位姿后,提取夾持器內(nèi)部點(diǎn)云C(h)。

抓取位姿搜索策略如算法1所示,在每個(gè)采樣點(diǎn)處,確定初始抓取位姿F(G),如圖7所示。設(shè)z、x分別為夾持器坐標(biāo)原點(diǎn)Og和采樣點(diǎn)Op沿v3和v1方向的距離。此時(shí)抓取位姿為h(z,x,F(p)),設(shè)置單位搜索步長(zhǎng)為Δz。抓取位姿搜索需滿足以下條件。

圖7 候選位姿生成

圖8 夾爪內(nèi)部點(diǎn)云Ccls

圖9 PointNet網(wǎng)絡(luò)結(jié)構(gòu)

條件1:夾持器模型與場(chǎng)景點(diǎn)云Cscene和待抓取物體點(diǎn)云Ctag發(fā)生碰撞,即B(h)∩(Cscene,Ctag)=?;

條件2:夾持器閉合區(qū)域Ch需要存在待抓取物體的點(diǎn)云的點(diǎn),即C(hz,x*,p)∩C≠?。

算法1輸入:目標(biāo)點(diǎn)云C,采樣點(diǎn)局部坐標(biāo)系F(p),夾持器深度θl 輸出:候選抓取位姿集H,夾持器閉合區(qū)域點(diǎn)云c1:H=?,hz,x,p=B(h(z,x,F(p)))2:for0:Δθ:23π do3:Search hz,x,p4:if B(hz,x,p)∩(Cscene,Ctag)=?5:x?=maxx∈R such that B(hz,x?,p)∩(Cscene,Ctag)=?6:If C(hz,x?,p)∩C≠?7:H=H∪h(z,x?,F(p))8:end if9:end if10:end for

3 位姿質(zhì)量評(píng)估

通過位姿搜索擴(kuò)充了很多的候選抓取位姿,如果采用傳統(tǒng)分析方法對(duì)抓取位姿進(jìn)行度量的話,導(dǎo)致計(jì)算復(fù)雜且實(shí)時(shí)性較差。因此,我們通過PointNet搭建抓取質(zhì)量評(píng)估網(wǎng)絡(luò),對(duì)候選位姿進(jìn)行優(yōu)選,輸出質(zhì)量較高的多個(gè)位姿。

3.1 質(zhì)量評(píng)估網(wǎng)絡(luò)

網(wǎng)絡(luò)的輸入為候選位姿對(duì)應(yīng)的夾爪內(nèi)部點(diǎn)云Ccls,經(jīng)T-Net(3×3)網(wǎng)絡(luò)的點(diǎn)云空間變換實(shí)現(xiàn)數(shù)據(jù)對(duì)齊,通過兩層的MLP模型進(jìn)行64維特征提取,接著經(jīng)T-Net(64×64)網(wǎng)絡(luò)對(duì)提取出來的深層特征進(jìn)行對(duì)齊,解決點(diǎn)云變換不變性的問題。然后利用三層感知機(jī)(64,128,1024)提取每個(gè)點(diǎn)的1024維特征,經(jīng)過最大池化層變成1×1024的全局特征,這些全局特征輸入三層的全連接網(wǎng)絡(luò),最后經(jīng)L-SoftMax分類器輸出較高得分的抓取位姿。

3.2 抓取數(shù)據(jù)集

將YCB數(shù)據(jù)集提供的真實(shí)點(diǎn)云模型作為待抓取物體,選擇YCB數(shù)據(jù)集中的47個(gè)物體模型生成350k個(gè)樣本,樣本內(nèi)包含夾爪閉合區(qū)域內(nèi)的點(diǎn)云Ccls和對(duì)應(yīng)的抓取質(zhì)量評(píng)分Gscore。本文通過力封閉指標(biāo)和GWS指標(biāo)得到數(shù)據(jù)集中的每個(gè)抓取位姿的抓取質(zhì)量評(píng)分Gscore,以此來訓(xùn)練抓取質(zhì)量評(píng)估網(wǎng)絡(luò)。

4 機(jī)器人抓取仿真

圖10 機(jī)械手和相機(jī)之間的位姿關(guān)系

圖11 抓取檢測(cè)流程

圖12 仿真實(shí)驗(yàn)平臺(tái)

5 結(jié)語(yǔ)

針對(duì)機(jī)器人抓取中未知物體的單視角或完整點(diǎn)云,提出了一種抓取位姿檢測(cè)和抓取位姿評(píng)估兩步走的位姿檢測(cè)方法。然后基于ros在Gazebo場(chǎng)景中搭建了仿真實(shí)驗(yàn)平臺(tái),并進(jìn)行抓取實(shí)驗(yàn),可以實(shí)現(xiàn)場(chǎng)景中任意目標(biāo)的放置任務(wù),驗(yàn)證了提出的抓取位姿檢測(cè)方法的可行性。