洪誠康,楊 力,江文松,羅 哉

(中國計(jì)量大學(xué) 計(jì)量測(cè)試工程學(xué)院,浙江 杭州 310018)

0 引言

賦予機(jī)器人感知能力是計(jì)算機(jī)視覺和機(jī)器人學(xué)科的一個(gè)長期目標(biāo)。相機(jī)就是機(jī)器人的眼睛,機(jī)器人可以通過相機(jī)與環(huán)境交互進(jìn)行目標(biāo)檢測(cè)和目標(biāo)抓取,在工業(yè)上可以自動(dòng)化抓取貨品和工件,生活中可以為生活不方便的人提供幫助。

常規(guī)的機(jī)器人抓取系統(tǒng)分為抓取檢測(cè)系統(tǒng)、抓取規(guī)劃系統(tǒng)和控制系統(tǒng),本文主要圍繞抓取檢測(cè)系統(tǒng)展開。目前最廣泛的基于機(jī)器視覺的抓取檢測(cè)系統(tǒng)分為2D平面抓取和6自由度抓取。2D平面抓取[1-4]指夾爪垂直于物體自上而下抓取物體,分為預(yù)測(cè)平面內(nèi)抓取接觸點(diǎn)的方法和預(yù)測(cè)定向矩形框的方法。6自由度抓取[5]指夾爪在3D空間從不同角度抓取物體,根據(jù)輸入點(diǎn)云分為基于局部點(diǎn)云的方法和基于完整點(diǎn)云的方法,其中基于局部點(diǎn)云的抓取方法分為兩種:①評(píng)估候選抓取的抓取質(zhì)量,MOUSAVIAN等[5-6]提出一種6-DoF GraspNet算法,該算法用可變自動(dòng)編碼器對(duì)不同抓取姿態(tài)建議進(jìn)行采樣,并用抓取評(píng)估器模型對(duì)采樣的抓取姿態(tài)進(jìn)行細(xì)化;MURALI等[7]通過引入一種基于抓手信息和場景原始點(diǎn)云的學(xué)習(xí)碰撞檢測(cè)器,進(jìn)一步改進(jìn)了6-DoF GraspNet;另外,ZHAO等[8-9]提出的RegNet、FANG等[10-11]提出的GraspNet-1Billion和LIANG等[12]提出的PointnetGPD,均采用端到端的神經(jīng)網(wǎng)絡(luò)將一個(gè)單視圖點(diǎn)云作為輸入預(yù)測(cè)夾具的抓取姿態(tài)。②從已有抓取姿態(tài)中轉(zhuǎn)移抓取姿態(tài),在定位目標(biāo)對(duì)象之后,利用基于對(duì)應(yīng)模板的方法將抓取點(diǎn)從相似且完整的3D模型轉(zhuǎn)移到當(dāng)前局部點(diǎn)云視圖對(duì)象[13-14]。采用基于3D模板的抓取方法可以將部分點(diǎn)云與模板對(duì)齊,從而獲取完整的物體信息,然而模板數(shù)量較少,可能不能學(xué)習(xí)到具有區(qū)別性的特征,而且泛化能力弱,抓取數(shù)據(jù)集以外物體的成功率相對(duì)較低?；诰植奎c(diǎn)云的方法在采集數(shù)據(jù)過程中,因復(fù)雜環(huán)境下的遮擋問題使目標(biāo)物體點(diǎn)云形狀缺失或變形,導(dǎo)致預(yù)測(cè)結(jié)果不穩(wěn)定。因此,提出一種基于多深度相機(jī)融合的方法來預(yù)測(cè)抓取結(jié)果,該方法通過拼接融合不同視角下的點(diǎn)云形成完整的目標(biāo)物體形狀,從而豐富目標(biāo)物體的3D信息,使抓取預(yù)測(cè)結(jié)果更加準(zhǔn)確。

基于GraspNet-1Billion和6-DoF GraspNet,本文提出一個(gè)更具魯棒性的端到端的神經(jīng)網(wǎng)絡(luò)GraspNet-Robust,并針對(duì)神經(jīng)網(wǎng)絡(luò)的抓取質(zhì)量評(píng)估部分進(jìn)行改進(jìn)。借助神經(jīng)網(wǎng)絡(luò)分析點(diǎn)云的幾何特征,再結(jié)合力閉合度量法[15]和抓取力螺旋空間場(Grasping Force Spiral Space Field,GFSSF)對(duì)預(yù)測(cè)姿態(tài)進(jìn)行評(píng)估雖然效果良好,但是會(huì)使一些抓取點(diǎn)因點(diǎn)云形狀缺失或畸變導(dǎo)致魯棒性較差,召回率較低。因此提出GFSSF的方法,查找并統(tǒng)計(jì)預(yù)測(cè)可抓取點(diǎn)球鄰域內(nèi)的其他候選抓取點(diǎn),如果90%候選點(diǎn)的抓取置信度得分S≥0.6,則將該球鄰域的半徑作為該抓取點(diǎn)的最大擾動(dòng)范圍。通過結(jié)合GFSSF和評(píng)估抓取置信度分?jǐn)?shù)的方法,提高了抓取預(yù)測(cè)結(jié)果的魯棒性,實(shí)驗(yàn)結(jié)果顯示成功率提高了4%。

1 系統(tǒng)搭建

本文搭建了一個(gè)機(jī)械臂自動(dòng)化智能抓取系統(tǒng),主要硬件采用兩個(gè)Intel公司生產(chǎn)的RealSense D435i深度相機(jī)、平行二指柔性夾爪、爾智公司生產(chǎn)的AR5機(jī)械臂(可重復(fù)定位精度為±0.03 mm)和Windows系統(tǒng)的PC,系統(tǒng)搭建如圖1所示。

具體實(shí)現(xiàn)過程如下:

(1)用兩個(gè)固定位置的深度相機(jī)實(shí)時(shí)拍攝工作臺(tái)上的物體,兩個(gè)相機(jī)相距90 cm,距離工作面高度為70 cm,分別從物體的前上方和后上方45°左右進(jìn)行拍攝,通過將兩個(gè)相機(jī)的視錐最大化來覆蓋工作平臺(tái)上的物體。

(2)當(dāng)機(jī)械臂接收到采集物體的指令時(shí),兩個(gè)深度相機(jī)同時(shí)拍下當(dāng)前物體同一幀的彩色圖和深度圖,通過提前標(biāo)定好的相機(jī)內(nèi)參將深度圖轉(zhuǎn)化為點(diǎn)云圖,并將RGB信息賦給點(diǎn)云。

(3)將兩個(gè)相機(jī)的拍攝位姿通過立體匹配法計(jì)算求得兩個(gè)相機(jī)坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣。將相機(jī)2坐標(biāo)系下的點(diǎn)云經(jīng)過旋轉(zhuǎn)平移轉(zhuǎn)換到相機(jī)1坐標(biāo)系下,拼接成一個(gè)完整的待抓取目標(biāo)物體的點(diǎn)云圖像,再將點(diǎn)云進(jìn)行去噪和降采樣處理。

(4)將預(yù)處理過后的點(diǎn)云輸入GraspNet-Robust神經(jīng)網(wǎng)絡(luò),輸出預(yù)測(cè)執(zhí)行抓取夾爪的6D姿態(tài),其中包含夾爪的3D位置和3D方向,以及夾爪的抓取寬度。因?yàn)樵撟ト∽藨B(tài)是相機(jī)1坐標(biāo)系下的抓取姿態(tài),所以在輸入機(jī)械臂運(yùn)動(dòng)控制模塊前,先借助手眼標(biāo)定的結(jié)果將相機(jī)1坐標(biāo)系下的抓取姿態(tài)轉(zhuǎn)換到機(jī)械臂工具坐標(biāo)系中心點(diǎn)(Tool Center Point,TCP)下。

(5)機(jī)械臂將當(dāng)前的進(jìn)給坐標(biāo)系轉(zhuǎn)化到激活的TCP下,接收到上位機(jī)傳輸?shù)倪\(yùn)動(dòng)參數(shù)后,利用機(jī)械臂的運(yùn)動(dòng)控制模塊將機(jī)械臂末端夾爪沿直線運(yùn)動(dòng)到預(yù)測(cè)位置,夾爪根據(jù)預(yù)測(cè)抓取寬度閉合,抓取物體后將機(jī)械臂移動(dòng)到預(yù)先設(shè)定好的位置,放置被抓取的物體后進(jìn)入監(jiān)聽狀態(tài)等待下一次抓取指令。

抓取流程如圖2所示。

2 抓取視覺檢測(cè)

2.1 多相機(jī)標(biāo)定

本文采用兩個(gè)深度相機(jī)融合的方法,旨在將兩個(gè)深度相機(jī)獲取的深度信息融合,獲取更加完整的物體點(diǎn)云圖。然而將兩幀點(diǎn)云直接用迭代最近點(diǎn)(Iterative Closest Point,ICP)方法進(jìn)行配準(zhǔn)時(shí)因?yàn)辄c(diǎn)的個(gè)數(shù)較多,消耗時(shí)間太長,影響機(jī)械臂抓取的實(shí)時(shí)性,所以采用先標(biāo)定后拼接的辦法。將相機(jī)1和相機(jī)2固定在機(jī)械臂工作臺(tái)周圍,同時(shí)拍攝同一個(gè)標(biāo)定板棋盤格,利用雙目相機(jī)立體匹配的原理將雙相機(jī)視角下同一標(biāo)定棋盤格上的角點(diǎn)一一對(duì)應(yīng),計(jì)算兩個(gè)相機(jī)坐標(biāo)系的旋轉(zhuǎn)平移矩陣。具體方法如下:

假如世界坐標(biāo)系下有一點(diǎn)P坐標(biāo)為(Xw,Yw,Zw),P1為點(diǎn)P在相機(jī)1坐標(biāo)系下的點(diǎn),坐標(biāo)為(X1,Y1,Z1),P2為點(diǎn)P在相機(jī)2坐標(biāo)系下的點(diǎn),坐標(biāo)為(X2,Y2,Z2),(R1,T1)為世界坐標(biāo)系到相機(jī)1坐標(biāo)系下的旋轉(zhuǎn)平移矩陣,(R2,T2)為世界坐標(biāo)系到相機(jī)2坐標(biāo)系下的旋轉(zhuǎn)平移矩陣,因此根據(jù)轉(zhuǎn)換關(guān)系可以得到:

P1=R1P+T1;

(1)

P2=R2P+T2。

(2)

令(R,T)為相機(jī)2坐標(biāo)系到相機(jī)1坐標(biāo)系下的旋轉(zhuǎn)平移矩陣,則有

P2=RT(P2-T)。

(3)

將式(1)和式(2)代入式(3)并化簡可得:

(4)

T=T1-RT2。

(5)

在雙相機(jī)標(biāo)定預(yù)處理實(shí)驗(yàn)中采集16組匹配的圖像,根據(jù)每組標(biāo)定板棋盤格上多個(gè)角點(diǎn)的位置,獲得相機(jī)2到相機(jī)1坐標(biāo)系下的旋轉(zhuǎn)平移矩陣,并計(jì)算得到圖像平均重投影誤差為0.217,采集的標(biāo)定板姿態(tài)與相機(jī)視點(diǎn)如圖3所示。

2.2 點(diǎn)云預(yù)處理

2.2.1 點(diǎn)云拼接

分別用兩個(gè)相機(jī)從兩個(gè)角度拍攝待抓取物體,得到RGB-D圖像。因?yàn)橛蒙疃认鄼C(jī)拍攝獲得的點(diǎn)云比目標(biāo)物所在的工作空間更寬廣,所以先用直通濾波器設(shè)置兩個(gè)視角下的背景遮罩,濾去深度圖像中待抓取物體和機(jī)械臂工作平臺(tái)以外的背景點(diǎn)。根據(jù)深度圖和相機(jī)標(biāo)定獲得的相機(jī)內(nèi)參,將深度圖轉(zhuǎn)化為點(diǎn)云圖,并將RGB圖像中的RGB信息對(duì)齊賦值給對(duì)應(yīng)點(diǎn),然后根據(jù)2.1節(jié)兩個(gè)深度相機(jī)的標(biāo)定結(jié)果,獲得完整的待抓取物體的點(diǎn)云圖像,如圖4所示。

2.2.2 點(diǎn)云降噪

深度圖像存在噪聲,雖然3D卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)對(duì)傳感器噪聲具有魯棒性,但是抓取采樣算法仍然可能產(chǎn)生一個(gè)導(dǎo)致姿態(tài)失調(diào)的空閑抓取點(diǎn),因此對(duì)拼接后的點(diǎn)云進(jìn)行降噪處理。首先采用k鄰域去噪算法,通過k-維樹(k-dimension tree)對(duì)散亂點(diǎn)云建立拓?fù)潢P(guān)系,找到每個(gè)任意點(diǎn)附近的k個(gè)點(diǎn),計(jì)算任意點(diǎn)到k個(gè)點(diǎn)的平均距離和標(biāo)準(zhǔn)差,設(shè)置距離閾值為平均距離加兩倍標(biāo)準(zhǔn)差,視距離閾值以外的點(diǎn)為離群點(diǎn)并剔除[16-17]。

然后采用體素化降采樣的方法,保持原有物體的3D特征并輸入下一步神經(jīng)網(wǎng)絡(luò)。該方法是對(duì)輸入的目標(biāo)點(diǎn)云創(chuàng)建一個(gè)3D體素網(wǎng)格,在網(wǎng)格劃分的每個(gè)體素內(nèi),用其中點(diǎn)云數(shù)據(jù)的重心代替該體素內(nèi)的全部點(diǎn),通過提取重心點(diǎn)的方法對(duì)點(diǎn)云進(jìn)行降采樣。該方法在減少點(diǎn)云數(shù)量的同時(shí)仍能保持物體的形狀特征不被破壞,而且點(diǎn)云在空間中均勻分布。總體效果如圖5所示。

2.3 預(yù)測(cè)抓取姿態(tài)的神經(jīng)網(wǎng)絡(luò)

2.2節(jié)獲得了待抓取物體的完整點(diǎn)云圖像,將點(diǎn)云圖像輸入GraspNet-Robust的神經(jīng)網(wǎng)絡(luò),輸出結(jié)果為相機(jī)坐標(biāo)系下二指平行夾爪的6D抓取姿態(tài)估計(jì)。GraspNet-Robust實(shí)現(xiàn)了端到端的抓取預(yù)測(cè),將6D抓取姿態(tài)分為夾爪到待抓取物體的接近向量、夾爪在抓取點(diǎn)垂直于接近向量平面內(nèi)的旋轉(zhuǎn)矩陣和夾爪的抓取寬度。在預(yù)測(cè)過程中,預(yù)測(cè)接近向量為機(jī)械爪二指末端點(diǎn)到物體表面抓取點(diǎn)的接近向量,因此還需估計(jì)機(jī)械爪可行的抓取深度才能成功抓取,定義抓取姿態(tài)參數(shù)為

式中:R∈3×3表示夾爪沿著接近向量,經(jīng)過抓取點(diǎn)垂直于接近向量的平面內(nèi)的旋轉(zhuǎn)矩陣;V∈3×1表示機(jī)械爪的接近向量,即機(jī)械爪末端中心到物體表面抓取點(diǎn)的平移向量;W∈表示機(jī)械爪的抓取寬度;D∈表示機(jī)械爪的抓取深度。具體參數(shù)表示如圖6所示,其中圖6c為預(yù)測(cè)夾爪抓取姿態(tài)可視化效果,且抓取位姿在相機(jī)1坐標(biāo)系下。

2.3.1 神經(jīng)網(wǎng)絡(luò)模型

本文將GraspNet-Robust的神經(jīng)網(wǎng)絡(luò)模型分為接近網(wǎng)絡(luò)、操作網(wǎng)絡(luò)和容差網(wǎng)絡(luò)3部分,網(wǎng)絡(luò)總體模型如圖7所示。神經(jīng)網(wǎng)絡(luò)前面的主干部分采用PointNet++的編碼和解碼部分[18]。將輸入的N×3點(diǎn)云進(jìn)行4次特征提取,主要操作為在歐幾里得空間中,先通過最遠(yuǎn)采樣法下采樣點(diǎn)云數(shù)量,每次下采樣的點(diǎn)云個(gè)數(shù)為[2 048,1 024,512,256],然后經(jīng)過特征提取層,通過k鄰域球查詢的方式查找并聚合球內(nèi)固定數(shù)量的點(diǎn)云來構(gòu)建局部區(qū)域集,球查詢的半徑分別為[0.01,0.02,0.03,0.04](單位:m),對(duì)應(yīng)每次球體內(nèi)的聚合點(diǎn)云個(gè)數(shù)為[64,32,16,16]。每個(gè)局部區(qū)域集采用PointNet[16]神經(jīng)網(wǎng)絡(luò)方法進(jìn)行編碼變成特征向量,然后將這些特征向量經(jīng)過兩層特征傳播層,通過反向插值的方法將基于k個(gè)鄰域的反向距離加權(quán)平均作為點(diǎn)的特征向量,借助“跳躍連接”(skip link)與上一層特征提取層的點(diǎn)特征向量聚合,最終得到M×(3+C)的張量。簡單來說,3+C表示從k鄰域中提取相機(jī)捕捉到的目標(biāo)中精細(xì)幾何結(jié)構(gòu)的局部特征。

將M個(gè)候選點(diǎn)輸入接近網(wǎng)絡(luò),通過3層多層感知器(Multilayer Perceptron,MLP),維度分別為[256,302,302],輸出一個(gè)M×(2+V)的張量,其中:2表示一個(gè)二進(jìn)制的類別,判斷該抓取點(diǎn)是否能抓取;V為該點(diǎn)預(yù)測(cè)的接近向量,定義抓取向量Vij表示第i個(gè)抓取點(diǎn)的第j個(gè)接近向量,通過預(yù)測(cè)V個(gè)接近向量的得分,挑選得分最高的Vij作為該候選點(diǎn)的接近向量,并通過索引獲得該接近向量的3D空間位置坐標(biāo)。

通過接近網(wǎng)絡(luò)得到可抓取候選點(diǎn)以及候選點(diǎn)預(yù)測(cè)的抓取接近向量后,需要預(yù)測(cè)機(jī)械爪面內(nèi)的旋轉(zhuǎn)矩陣R、抓取深度D、抓取寬度W和抓取置信度得分S。

因?yàn)闄C(jī)械爪的抓取深度隨不同的候選點(diǎn)變化,難以直接回歸,所以將抓取深度分成K個(gè)類,本文將其設(shè)置為4類,分別為[0.01,0.02,0.03,0.04](單位:m)。在將M×(2+V)的張量輸入操作網(wǎng)絡(luò)前,先將M個(gè)點(diǎn)的特征信息與PiontNet++解碼后M個(gè)點(diǎn)的特征信息對(duì)齊,再拼接特征信息,用于篩選抓取候選點(diǎn)并豐富每個(gè)候選點(diǎn)的抓取信息。將可抓取的候選點(diǎn)調(diào)用PointNet++中的CylinderQueryAndGroup函數(shù),分割該候選點(diǎn)及其附近點(diǎn)云并聚合成半徑固定的圓柱體形點(diǎn)云簇。然后給每個(gè)候選點(diǎn)建立一個(gè)統(tǒng)一的坐標(biāo)表示,將每個(gè)候選抓取點(diǎn)設(shè)置為新的坐標(biāo)系原點(diǎn),該候選點(diǎn)的接近向量為坐標(biāo)系的Z軸方向。根據(jù)4類給定的抓取深度,按照每個(gè)抓取深度分別沿接近向量靠近該候選點(diǎn)坐標(biāo)系所在的圓柱體區(qū)域,直到在圓柱體內(nèi)采樣的點(diǎn)云數(shù)量達(dá)到固定值(設(shè)置為64個(gè)點(diǎn)),此時(shí)圓柱體的最大高度即為候選點(diǎn)預(yù)測(cè)的抓取深度。經(jīng)過維度分別為(64,128,256)的3層共享參數(shù)的MLP,將經(jīng)過對(duì)齊和聚合后的張量轉(zhuǎn)化為高維特征信息,用于后續(xù)特征處理。

將預(yù)測(cè)的抓取深度與上述M個(gè)點(diǎn)的特征信息對(duì)齊并聚合,輸入操作網(wǎng)絡(luò),經(jīng)過維度分別為(128,128,36)的3層卷積層,輸出預(yù)測(cè)的各個(gè)抓取位姿參數(shù),包括抓取平面內(nèi)的旋轉(zhuǎn)矩陣R、抓取寬度W和抓取置信度得分S。采用力閉合度量法預(yù)測(cè)抓取得分,即根據(jù)摩擦系數(shù)μ預(yù)測(cè)每個(gè)抓取姿態(tài)的抓取置信度得分。設(shè)置抓取得分

S=1.1-μ。

(6)

設(shè)置Δμ=0.1為摩擦系數(shù)的變化步長,將μ從1逐步減小到0.1,直到無法抓取物體,因此將抓取置信度得分分為10類。摩擦系數(shù)μ越低的抓取得分越高,抓取成功率也越高。抓取寬度通過抓取點(diǎn)的距離信息得出,因此采用直接回歸的方式。

與此同時(shí),將M×(2+V)的張量輸入容差網(wǎng)絡(luò),用于篩選具有魯棒性的可執(zhí)行抓取姿態(tài)。本文提出通過抓取力螺旋空間場F來提高抓取姿態(tài)預(yù)測(cè)的魯棒性,由于每個(gè)抓取候選點(diǎn)有多個(gè)可抓取的姿態(tài),需要從諸多抓取姿態(tài)中選取抓取成功率最高的抓取姿態(tài),而因?yàn)橹徊捎镁W(wǎng)絡(luò)輸出的抓取得分S排名靠前的抓取姿態(tài)作為結(jié)果,所以抓取成功率并不能達(dá)到最優(yōu)。為了提高抓取成功率,采用抓取力螺旋空間場F的方法來判斷抓取結(jié)果,對(duì)于數(shù)據(jù)集中標(biāo)記的抓取姿態(tài)中的每個(gè)可抓取點(diǎn),在其最大球鄰域內(nèi),若滿足90%的候選點(diǎn)抓取置信度得分S≥0.6,則該球體的半徑即為抓取點(diǎn)的最大可抓取擾動(dòng)范圍,表示為

Tij=radius(P(S≥0.6)>0.9)。

(7)

通過GFSSF預(yù)測(cè)的每次抓取的最大擾動(dòng)范圍,即能夠容忍可能具有錯(cuò)誤的、可抓取姿態(tài)的最大范圍,然后將操作網(wǎng)絡(luò)和容差網(wǎng)絡(luò)的信息聚合,選取抓取得分最高的K′個(gè)抓取姿態(tài)。這種通過力螺旋空間場最大擾動(dòng)范圍結(jié)合抓取得分排名進(jìn)行抓取的方法,提升了預(yù)測(cè)抓取姿態(tài)的成功率。

2.3.2 損失函數(shù)

在訓(xùn)練過程中,通過下面的目標(biāo)函數(shù),對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行更新:

L=LA({ci},{sij})+αLR(Rij,Sij,Wij)+
βLF(Tij)。

(8)

式中:LA為接近網(wǎng)絡(luò)的代價(jià)函數(shù);ci為第i個(gè)點(diǎn)預(yù)測(cè)能否抓取的二進(jìn)制數(shù);sij為視點(diǎn)j到抓取點(diǎn)i的預(yù)測(cè)置信度得分;LR為操作網(wǎng)絡(luò)的代價(jià)函數(shù);Rij為抓取點(diǎn)平面內(nèi)的旋轉(zhuǎn)矩陣,為了簡化預(yù)測(cè)回歸的值,將其轉(zhuǎn)化為抓取點(diǎn)平面內(nèi)的旋轉(zhuǎn)度數(shù),本文將平面內(nèi)的旋轉(zhuǎn)角度分為12類,因?yàn)檫x用的二指平行的機(jī)械爪是對(duì)稱的,所以預(yù)測(cè)的旋轉(zhuǎn)角度范圍在0°～180°之間;Sij,Wij分別為直接回歸的抓取置信度得分和抓取寬度;LF(Tij)表示容差網(wǎng)絡(luò)的代價(jià)函數(shù),Tij為容差網(wǎng)絡(luò)預(yù)測(cè)抓取點(diǎn)可以抵抗的最大擾動(dòng)距離。

接近網(wǎng)絡(luò)的代價(jià)函數(shù)表示為

(9)

操作網(wǎng)絡(luò)的代價(jià)函數(shù)表示為

(10)

式中:d為抓取的深度距離;因?yàn)镽ij為多分類任務(wù),所以Lcls采用softmax激活函數(shù)結(jié)合交叉熵?fù)p失函數(shù)計(jì)算損失值,Lreg采用平滑L1損失函數(shù)計(jì)算損失值。Ld為不同抓取寬度類別下的平均損失。

容差網(wǎng)絡(luò)的代價(jià)函數(shù)表示為

(11)

3 機(jī)械臂抓取控制

3.1 機(jī)械臂與相機(jī)的手眼標(biāo)定

3.1.1 手眼標(biāo)定的算法

通常深度相機(jī)與機(jī)械臂安裝分為“眼在手上”和“眼在手外”兩種,“眼在手上”指深度相機(jī)安裝在機(jī)械臂末端,使末端執(zhí)行器坐標(biāo)系和相機(jī)坐標(biāo)系相對(duì)不變;“眼在手外”指深度相機(jī)安裝在機(jī)械臂外,使機(jī)械臂基坐標(biāo)系與相機(jī)坐標(biāo)系位置固定不變,末端執(zhí)行器坐標(biāo)系和標(biāo)定板坐標(biāo)系同時(shí)移動(dòng),且保持相對(duì)位置不變[19]。本文采用“眼在手外”的標(biāo)定方法,標(biāo)定相機(jī)1與機(jī)械臂基坐標(biāo)系的位置關(guān)系。令:

根據(jù)各個(gè)部分變換關(guān)系可得:

(12)

(13)

(14)

(15)

AX=XB。

(16)

其中:A根據(jù)機(jī)械臂正向運(yùn)動(dòng)參數(shù)直接獲取,B根據(jù)深度相機(jī)標(biāo)定棋盤格位姿求得。根據(jù)傳統(tǒng)線性求解法求得X在相機(jī)1坐標(biāo)系相對(duì)于機(jī)械臂基坐標(biāo)系下的齊次變換矩陣,為后續(xù)機(jī)械臂抓取物體做準(zhǔn)備。最后得到的齊次變換矩陣可拆分為旋轉(zhuǎn)和平移矩陣。

3.1.2 手眼標(biāo)定的定位精度實(shí)驗(yàn)與分析

令機(jī)械臂末端夾持棋盤格標(biāo)定板,棋盤格與夾爪的相對(duì)位置固定不變。移動(dòng)機(jī)械臂依次到達(dá)13個(gè)不同位姿,采集相機(jī)視野內(nèi)的圖像,并記錄每次運(yùn)動(dòng)過程中機(jī)械臂末端夾爪中心在機(jī)械臂基坐標(biāo)系下的位姿,包括X,Y,Z坐標(biāo),因?yàn)锳R5機(jī)械臂的定位精度達(dá)到±0.6 mm,遠(yuǎn)小于待抓取物體尺寸和夾爪尺寸,對(duì)抓取結(jié)果沒有影響,所以將可直接讀取的機(jī)械臂末端位姿數(shù)據(jù)視為真實(shí)值。將相機(jī)坐標(biāo)系下棋盤格的坐標(biāo)通過3.1.1節(jié)中標(biāo)定的結(jié)果轉(zhuǎn)化到機(jī)械臂基坐標(biāo)系下,并與真實(shí)值進(jìn)行比對(duì)分析。因?yàn)橥ㄟ^雙相機(jī)的標(biāo)定結(jié)果將相機(jī)2的點(diǎn)云轉(zhuǎn)化到相機(jī)1坐標(biāo)系下,兩幅點(diǎn)云基本重合(如圖4),所以只要將合成后的點(diǎn)云轉(zhuǎn)換到機(jī)械臂基坐標(biāo)系下即可。通過計(jì)算13個(gè)位姿,由相機(jī)獲得的機(jī)械臂基坐標(biāo)系下沿X,Y,Z軸的運(yùn)動(dòng)變化量與真實(shí)值之間誤差的平均值分別為2.677 784 mm,2.351 656 mm,2.232 656 mm。

因?yàn)樵趯?shí)際操作中,物體尺寸和夾爪的可抓取尺寸遠(yuǎn)大于定位誤差,而且以上求得的誤差并未影響所抓取的物體,所以認(rèn)為手眼標(biāo)定的精度足夠高,能夠滿足目標(biāo)抓取任務(wù)的需求。

3.2 機(jī)械臂運(yùn)動(dòng)控制

機(jī)械臂使用爾智公司生產(chǎn)的AR5六軸機(jī)械臂,分別為基座、肩、軸、腕1、腕2、腕3。采用RJ-45連接器即雙絞線以太網(wǎng)接口,連接機(jī)械臂控制系統(tǒng)和上位機(jī),通過TCP/IP協(xié)議分配端口實(shí)現(xiàn)機(jī)械臂與上位機(jī)之間的通信,并利用與AR5機(jī)械臂配套的SDK接口對(duì)機(jī)械臂進(jìn)行編程,控制機(jī)械臂運(yùn)動(dòng)。抓取系統(tǒng)中機(jī)械臂的運(yùn)動(dòng)路徑借助機(jī)械臂自身的運(yùn)動(dòng)模塊結(jié)合運(yùn)動(dòng)學(xué)模型,通過上位機(jī)與機(jī)械臂交互,將上位機(jī)預(yù)測(cè)的機(jī)械臂基坐標(biāo)系下夾爪的3D位置和3D方向傳輸給機(jī)械臂,機(jī)械臂借助機(jī)械臂系統(tǒng)運(yùn)動(dòng)解算規(guī)劃出一條運(yùn)動(dòng)路徑,向作業(yè)空間內(nèi)的指定位置移動(dòng)。運(yùn)動(dòng)過程中,以機(jī)械臂基坐標(biāo)系作為參考坐標(biāo)系,以夾爪為機(jī)械臂末端執(zhí)行器的工具坐標(biāo)系作為進(jìn)給坐標(biāo)系,在安全模式下工作,防止機(jī)械臂與工作臺(tái)發(fā)生碰撞以及機(jī)械臂自身軸旋轉(zhuǎn)發(fā)生碰撞。

4 實(shí)驗(yàn)與分析

4.1 神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

本文GraspNet-Robust神經(jīng)網(wǎng)絡(luò)模型在GraspNet-1Billion數(shù)據(jù)集上訓(xùn)練,包括在190個(gè)復(fù)雜場景下由兩種深度相機(jī)(Kinect 4 Azure和RealSense 435)在不同視角下拍攝的512張RGB-D圖像。其中100個(gè)場景圖片用于訓(xùn)練集,90個(gè)場景圖片用于測(cè)試集。每幅圖像通過力閉合方法密集標(biāo)注6-DOF抓取姿勢(shì),數(shù)據(jù)集共有超過11億個(gè)抓握姿勢(shì)。該數(shù)據(jù)集中包括88種物體,因?yàn)檫@些物體有適合抓握的尺寸,而且在形狀、質(zhì)地、尺寸、材料等方面各不相同,所以多樣的局部幾何形狀可以為算法帶來更好的泛化能力。

網(wǎng)絡(luò)訓(xùn)練環(huán)境在Ubuntu 16.04 LTS系統(tǒng)下、單個(gè)GeForce GTX 3090 16 G顯存的GPU上訓(xùn)練,采用基于Cuda 10.1環(huán)境的Pytorch 1.6.0計(jì)算架構(gòu),并用Adam優(yōu)化器進(jìn)行優(yōu)化,用LambdaLR方法調(diào)整學(xué)習(xí)率。共訓(xùn)練18個(gè)周期,樣本數(shù)批次為4,初始學(xué)習(xí)率為0.001,第8個(gè)周期后學(xué)習(xí)率降至0.000 1,第12個(gè)周期后降至0.000 01,第16個(gè)周期后降至0.000 001。式(8)～式(10)中的超參數(shù)設(shè)置為λ1,λ2,λ3,α,β=0.5,1.0,0.2,0.5,0.1,神經(jīng)網(wǎng)絡(luò)中C=256,V=300。最后用獲取的權(quán)重文件預(yù)測(cè)實(shí)際抓取結(jié)果。圖8所示為訓(xùn)練過程中的總體損失函數(shù)下降圖(即式(8)的值),圖9所示為基于力螺旋空間場的容差網(wǎng)絡(luò)的損失函數(shù)下降圖(即式(11)的值),圖10所示為接近網(wǎng)絡(luò)預(yù)測(cè)候選抓取點(diǎn)的精確度,圖11所示為預(yù)測(cè)候選抓取點(diǎn)的召回率。

測(cè)試時(shí)將拼接后的點(diǎn)云文件輸入神經(jīng)網(wǎng)絡(luò),最后輸出一個(gè)50×17的張量,表示前50個(gè)抓取置信度得分最高的抓取姿態(tài)。其中17維的數(shù)據(jù)包括抓取置信度得分、抓取寬度、抓取深度、夾爪平面內(nèi)旋轉(zhuǎn)矩陣和夾爪的平移向量。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果如圖12所示,其中選取了前50個(gè)抓取得分最高的夾爪抓取姿態(tài)進(jìn)行可視化,不同抓取深度對(duì)應(yīng)不同的顏色。

4.2 機(jī)械臂抓取結(jié)果驗(yàn)證

本文在實(shí)際環(huán)境中搭建了完整的機(jī)械臂抓取系統(tǒng)。在Windows 10系統(tǒng)下,PC端用以太網(wǎng)接口連接機(jī)械臂,用USB 3.0接口連接機(jī)械爪,用兩個(gè)USB 3.0接口連接兩個(gè)深度相機(jī)。在機(jī)械臂工作平臺(tái)上放置多樣物體,包括數(shù)據(jù)集中的物體和數(shù)據(jù)集外未知的物體,分別進(jìn)行抓取預(yù)測(cè),然后將抓取數(shù)據(jù)傳遞給機(jī)械臂和機(jī)械爪進(jìn)行抓取,抓取成功率實(shí)驗(yàn)結(jié)果如表1所示,可見平均成功率達(dá)到了91%。

表1 已知物體和未知物體的抓取成功率對(duì)比

當(dāng)物體包含于數(shù)據(jù)集時(shí),其預(yù)測(cè)結(jié)果比預(yù)測(cè)未知物體的成功率高6%。本文提出用雙相機(jī)點(diǎn)云融合的方法對(duì)物體進(jìn)行點(diǎn)云拼接,對(duì)比多視角融合預(yù)測(cè)結(jié)果與單視角(俯視)預(yù)測(cè)結(jié)果,以及有無點(diǎn)云預(yù)處理的預(yù)測(cè)結(jié)果,結(jié)果如表2所示。可見相同抓取條件下,相比單相機(jī)視角,雙相機(jī)視角拼接點(diǎn)云方法的抓取成功率提高了4%。

表2 單相機(jī)、雙相機(jī)的抓取成功率和時(shí)間對(duì)比

本文提出的機(jī)械臂抓取系統(tǒng)旨在實(shí)時(shí)抓取,為驗(yàn)證采用多相機(jī)融合點(diǎn)云方法的機(jī)械臂抓取系統(tǒng)反應(yīng)時(shí)間的快慢,本文記錄了雙深度相機(jī)從拍攝一幀RGB-D圖像到輸出預(yù)測(cè)得分最高的前50個(gè)結(jié)果的時(shí)間,并與相同操作下的單相機(jī)進(jìn)行比對(duì)。結(jié)果表明,在采用點(diǎn)云預(yù)處理的前提下,相比單相機(jī)方法,雖然雙相機(jī)方法預(yù)測(cè)過程的平均處理時(shí)間多0.313 9 s,50次抓取實(shí)驗(yàn)即為15.695 s,但是單相機(jī)方法平均每抓取失敗一次會(huì)浪費(fèi)2 s,因此雙相機(jī)視角下的高抓取成功率更加滿足實(shí)際應(yīng)用。

為了評(píng)估容差網(wǎng)絡(luò)中改進(jìn)力螺旋空間場的有效性,本文對(duì)改進(jìn)的容差網(wǎng)絡(luò)進(jìn)行了消融實(shí)驗(yàn)。首先,用GraspNet-1Billion數(shù)據(jù)集對(duì)不包含力螺旋空間場的GraspNet-Robust神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,輸入雙相機(jī)獲取的點(diǎn)云數(shù)據(jù),直接選取得分最高的抓取姿態(tài)進(jìn)行抓取;然后,用GraspNet-1Billion數(shù)據(jù)集通過包含力螺旋空間場的GraspNet-Robust進(jìn)行預(yù)訓(xùn)練,查找并統(tǒng)計(jì)每個(gè)抓取姿態(tài)標(biāo)記的可抓取點(diǎn)最大球鄰域內(nèi)的其他候選抓取點(diǎn)的抓取得分,若抓取姿態(tài)每個(gè)抓取點(diǎn)鄰域內(nèi)90%候選點(diǎn)的抓取置信度得分S≥0.6,則認(rèn)為該抓取點(diǎn)為有效抓取點(diǎn)。對(duì)兩個(gè)預(yù)訓(xùn)練結(jié)果進(jìn)行測(cè)視,輸入相同的點(diǎn)云數(shù)據(jù),挑選S最大的抓取姿態(tài)進(jìn)行抓取。如表3所示,在相同實(shí)驗(yàn)條件下抓取100次,其中已知物體和未知物體各50次,相比直接評(píng)估回歸抓取分?jǐn)?shù),通過結(jié)合GFSSF和評(píng)估抓取分?jǐn)?shù)方法抓取的成功率提高了4%。

表3 有無力螺旋空間場消融實(shí)驗(yàn)

5 結(jié)束語

本文建立了一套機(jī)械臂自主抓取系統(tǒng),通過程序完成機(jī)械臂從目標(biāo)檢測(cè)到抓取目標(biāo)。為了解決單深度相機(jī)視角下3D特征不穩(wěn)定的問題,提出多視角點(diǎn)云融合目標(biāo)的方法,并與單視角方法分別進(jìn)行了50次抓取實(shí)驗(yàn),結(jié)果多視角點(diǎn)云融合方法的抓取成功率為92%,比單視角點(diǎn)云方法的抓取成功率高4%。同時(shí)建立了一個(gè)端到端的神經(jīng)網(wǎng)絡(luò),提出通過力螺旋空間場來評(píng)估預(yù)測(cè)結(jié)果,并與無力螺旋空間場的神經(jīng)網(wǎng)絡(luò)分別進(jìn)行了100次抓取實(shí)驗(yàn),結(jié)果表明有力螺旋空間場的神經(jīng)網(wǎng)絡(luò)的抓取成功率達(dá)到91%,相比提高4%,增加了預(yù)測(cè)結(jié)果的魯棒性?；谏疃葘W(xué)習(xí)的抓取預(yù)測(cè)還需要龐大的數(shù)據(jù)集支撐,因?yàn)橐寻跀?shù)據(jù)集中的已知物體抓取成功率比無數(shù)據(jù)集的未知物體抓取成功率高6%,所以通過豐富數(shù)據(jù)集,可以使所提方法具有更優(yōu)的泛化能力。雖然多視角點(diǎn)云融合目標(biāo)方法相比單視角點(diǎn)云的預(yù)測(cè)結(jié)果準(zhǔn)確,但是處理時(shí)間更長,其比單視角增加了0.313 9 s的預(yù)測(cè)時(shí)間,影響了機(jī)械臂的實(shí)時(shí)性,因此未來研究將提高多視角點(diǎn)云融合方法的預(yù)測(cè)速度。