雷志明,李 勇+,雙 豐,杜嘉龍,劉 熹,王瑞琛,黃瀚樟

(1.廣西大學(xué) 電氣工程學(xué)院廣西制造系統(tǒng)與先進(jìn)制造技術(shù)重點(diǎn)實(shí)驗(yàn)室,廣西 南寧 530004;2.廣西大學(xué) 電氣工程學(xué)院廣西電力裝備智能控制與運(yùn)維重點(diǎn)實(shí)驗(yàn)室,廣西 南寧 530004)

1 問(wèn)題的提出

目前大多數(shù)機(jī)械臂只是機(jī)械地完成點(diǎn)到點(diǎn)的操作,而且只能在環(huán)境固定單一和任務(wù)固定重復(fù)的情況下有效工作,一旦工作環(huán)境、目標(biāo)狀態(tài)和抓取任務(wù)發(fā)生了變化,就需要重新配置,缺少靈活性。因此,對(duì)于機(jī)械臂抓取而言,正確估計(jì)出位姿未知的目標(biāo)物體非常具有挑戰(zhàn)性。由于現(xiàn)實(shí)中對(duì)象的復(fù)雜性和多樣性,估計(jì)目標(biāo)物體的位姿會(huì)受光照變化、雜物遮擋和場(chǎng)景中各種雜波干擾等影響。得益于深度學(xué)習(xí)技術(shù)的高速發(fā)展,研究將深度學(xué)習(xí)技術(shù)與機(jī)器人操作相結(jié)合,具有很好的學(xué)術(shù)價(jià)值和現(xiàn)實(shí)意義。

深度相機(jī)的出現(xiàn)催生了許多基于RGB-D的圖像姿態(tài)估計(jì)方法,即以RGB-D圖像作為網(wǎng)絡(luò)的輸入,同時(shí)將深度圖轉(zhuǎn)為點(diǎn)云圖,并與目標(biāo)的3D點(diǎn)云模型通過(guò)迭代最近點(diǎn)(Iterative Closest Point,ICP)算法[1]匹配出位姿,整個(gè)過(guò)程繁瑣復(fù)雜,數(shù)據(jù)集也難以制作。因?yàn)樾枰疃炔拍芄ぷ?所以當(dāng)深度信息缺失或錯(cuò)誤時(shí)會(huì)導(dǎo)致失敗,雖然可以通過(guò)RGB-D數(shù)據(jù)推斷出尺度,但是缺少令人信服的方法來(lái)實(shí)現(xiàn)對(duì)平面內(nèi)視圖的旋轉(zhuǎn)[2]。經(jīng)典方法中,LINEMOD算法[3]通過(guò)模板匹配估計(jì)位姿,再通過(guò)ICP算法進(jìn)行微調(diào),其缺點(diǎn)是對(duì)目標(biāo)尺寸的變化比較敏感,出現(xiàn)遮擋時(shí)匹配度降低較多,而且深度相機(jī)的價(jià)格也限制了其應(yīng)用范圍。因此,僅使用廉價(jià)的RGB相機(jī)求解目標(biāo)物體的位姿非常具有挑戰(zhàn)性。

按照發(fā)展歷程,基于RGB圖像的位姿估計(jì)方法分為經(jīng)典法和深度學(xué)習(xí)法,經(jīng)典法主要有基于模板匹配[4-7]和基于關(guān)鍵特征點(diǎn)[8-12]兩種方法。在經(jīng)典的基于模板的方法中,每個(gè)對(duì)象都會(huì)配置一個(gè)模板,然后通過(guò)掃描、匹配和測(cè)試找到姿態(tài),該方法的優(yōu)點(diǎn)是能夠較好地響應(yīng)沒(méi)有紋理的目標(biāo),對(duì)已知3D模型不同視角的模板與輸入圖片進(jìn)行匹配,從而將匹配度最高的作為估計(jì)結(jié)果,解決了因?yàn)榧y理匱乏導(dǎo)致無(wú)法進(jìn)行特征設(shè)計(jì)的問(wèn)題;缺點(diǎn)是在有雜物遮擋目標(biāo)物體或者光照的情況下,會(huì)因匹配度過(guò)低導(dǎo)致估計(jì)失敗。在深度學(xué)習(xí)方法中,dope算法[13]先預(yù)測(cè)圖像中的9個(gè)關(guān)鍵點(diǎn),然后基于多點(diǎn)透視成像(Perspective-n-Point,PnP)[14]算法回歸到6D位姿。該算法采用合成數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)取得了較好的效果,然而對(duì)于存在部分遮擋的目標(biāo)物體,也會(huì)因匹配度過(guò)低導(dǎo)致估計(jì)精度下降甚至出現(xiàn)識(shí)別錯(cuò)誤。

本文針對(duì)存在遮擋和復(fù)雜的場(chǎng)景,研究了基于RGB圖像的目標(biāo)物體位姿估計(jì)方法,主要包括采用深度學(xué)習(xí)和PnP算法求解目標(biāo)物體的位姿,通過(guò)機(jī)器人操作系統(tǒng)(Robot Operating System,ROS)驅(qū)動(dòng)機(jī)械臂對(duì)目標(biāo)進(jìn)行抓取操作來(lái)驗(yàn)證位姿估計(jì)的實(shí)際應(yīng)用效果。本文搭建了基于ROS的機(jī)械臂抓取實(shí)驗(yàn)平臺(tái),如圖1所示。

主要硬件有UR5機(jī)械臂、RobotiQ機(jī)械爪、相機(jī)、控制器、交換機(jī)和計(jì)算機(jī),其中UR5機(jī)械臂負(fù)責(zé)將操作末端執(zhí)行器移動(dòng)到目標(biāo)位姿,RobotiQ二指機(jī)械爪負(fù)責(zé)執(zhí)行抓取操作,相機(jī)負(fù)責(zé)獲取RGB圖像信息,控制器負(fù)責(zé)控制和驅(qū)動(dòng)UR5機(jī)械臂,交換機(jī)負(fù)責(zé)計(jì)算機(jī)與控制器的信息通信,計(jì)算機(jī)負(fù)責(zé)處理相機(jī)獲取的圖像信息、求解目標(biāo)物體位姿和UR5運(yùn)動(dòng)控制中的相關(guān)參數(shù),以及發(fā)布控制信息和接收反饋信息。

本文實(shí)驗(yàn)平臺(tái)系統(tǒng)的整個(gè)算法是在ROS下運(yùn)行。ROS提供了一個(gè)操作系統(tǒng)應(yīng)有的服務(wù),包括硬件抽象、底層的設(shè)備控制、進(jìn)程之間的消息傳遞和對(duì)功能包的管理,實(shí)現(xiàn)對(duì)機(jī)器人的控制和節(jié)點(diǎn)之間的信息傳遞。本文實(shí)驗(yàn)平臺(tái)系統(tǒng)的軟件框架分為感知模塊、位姿估計(jì)模塊、坐標(biāo)轉(zhuǎn)換模塊、操作模塊和話題傳遞模塊,如圖2所示。

本文的主要貢獻(xiàn)有:

(1)提出一種用于目標(biāo)物體6D位姿估計(jì)的新型深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)。網(wǎng)絡(luò)基于Res2Net,僅以RGB圖像信息作為網(wǎng)絡(luò)的輸入,預(yù)測(cè)輸出目標(biāo)物體的投影特征點(diǎn),然后通過(guò)PnP算法求解輸出6D姿態(tài),不需要進(jìn)一步進(jìn)行姿態(tài)后處理。

(2)提出基于多級(jí)金字塔池化模塊的方法來(lái)融合多種不同尺度下的特征。通過(guò)融合不同區(qū)域的上下文信息挖掘全局和局部上下文信息,從而提取足夠的全局和局部特征,解析出被遮擋物體的特征信息,對(duì)物體之間有遮擋的情況進(jìn)行位姿估計(jì),該方法具有魯棒性。能夠解決抓取過(guò)程中的遮擋問(wèn)題。

(3)基于虛擬合成數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)能夠成功應(yīng)用在實(shí)際場(chǎng)景并抓取到目標(biāo)物體。本文采用虛擬合成數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò),所得模型在現(xiàn)實(shí)場(chǎng)景中仍能有效估計(jì)出實(shí)際目標(biāo)物體的位姿并在UR機(jī)械臂平臺(tái)實(shí)現(xiàn)抓取,具有很強(qiáng)的魯棒性。

2 3D數(shù)據(jù)集

數(shù)據(jù)集用于訓(xùn)練網(wǎng)絡(luò)模型和物體識(shí)別的測(cè)試,針對(duì)3D目標(biāo)物體位姿估計(jì)數(shù)據(jù)集難以制作的問(wèn)題,采用模擬合成數(shù)據(jù)替代真實(shí)數(shù)據(jù),這是訓(xùn)練此類深度神經(jīng)網(wǎng)絡(luò)的一種替代方法,計(jì)算機(jī)幾乎能夠自動(dòng)生成無(wú)限數(shù)量帶有標(biāo)記的此類合成數(shù)據(jù)[13]。在位姿估計(jì)中,由于提高模型精確度帶來(lái)了計(jì)算復(fù)雜和耗時(shí)問(wèn)題,合成數(shù)據(jù)采用一種通過(guò)特性簡(jiǎn)單的幾何空間體(即包圍盒)近似替代精確的3D目標(biāo)物體模型的方法。

2.1 包圍盒的構(gòu)建

包圍盒用于提供提取目標(biāo)物體位姿信息所需的特征點(diǎn),是一種求解空間中離散點(diǎn)集最優(yōu)包圍空間的方法,其基本思想是采用體積稍大且特性簡(jiǎn)單的幾何空間體近似地代替比較復(fù)雜的幾何體對(duì)象。本文合成數(shù)據(jù)采用一種軸對(duì)齊最小包圍盒的方法包圍目標(biāo)物體,根據(jù)被包圍對(duì)象的形狀特點(diǎn)使包圍盒盡可能緊密地包圍對(duì)象,并使包圍盒的邊平行于坐標(biāo)軸,如圖3所示。建立了目標(biāo)物體的包圍盒后,需要選取目標(biāo)物體的關(guān)鍵點(diǎn)作為參考點(diǎn),并建立虛擬參考坐標(biāo)系作為目標(biāo)物體的世界坐標(biāo)系。選取9個(gè)點(diǎn)作為3D-2D關(guān)鍵點(diǎn),其中8個(gè)關(guān)鍵點(diǎn)為包圍盒頂點(diǎn),1個(gè)為包圍盒質(zhì)心點(diǎn);以目標(biāo)物體包圍盒的質(zhì)心點(diǎn)作為虛擬坐標(biāo)系的原點(diǎn),各軸線與包圍盒相對(duì)應(yīng)的邊平行。如圖3所示。

2.2 數(shù)據(jù)集

本次采用的目標(biāo)對(duì)象有芥末醬瓶、紅色搪瓷杯、餅干盒和番茄湯罐頭4個(gè),如圖4所示。

相比3D目標(biāo)物體,2D目標(biāo)數(shù)據(jù)標(biāo)注的2D框相對(duì)較易注釋,3D目標(biāo)位姿數(shù)據(jù)難以手工標(biāo)注。故本文使用合成數(shù)據(jù),如圖5所示,圖像大小為960×540,目標(biāo)物體隨機(jī)放置,并隨機(jī)從各個(gè)方位對(duì)目標(biāo)物體進(jìn)行模擬拍攝。

3 基于Res2Net和PnP的位姿估計(jì)

針對(duì)2D目標(biāo)檢測(cè)在位姿估計(jì)上的局限性,提出一種基于Res2Net[15]網(wǎng)絡(luò)模型并結(jié)合PnP算法的位姿估計(jì)算法,求解RGB圖像中目標(biāo)物體的位姿信息,算法主要流程如圖6所示。相機(jī)獲取RGB圖像數(shù)據(jù)后進(jìn)行預(yù)處理,再輸入使用合成數(shù)據(jù)訓(xùn)練的深度CNN中,生成3D目標(biāo)物體的2D投影特征點(diǎn)熱力圖,并根據(jù)特征投影點(diǎn)數(shù)選取不同的PnP算法,即P3P和基于Levenberg-Marquardt[16]最優(yōu)化算法的PnP迭代算法,估計(jì)出目標(biāo)物體的位姿。

目前,大多數(shù)6D對(duì)象位姿估計(jì)方法尚不能創(chuàng)建一個(gè)魯棒的特征來(lái)解決傳感器噪聲、場(chǎng)景雜波、光照條件和對(duì)象被遮擋等問(wèn)題?；赗GB圖像的6D位姿估計(jì)方法的關(guān)鍵技術(shù)是通過(guò)提取到足夠的特征,在復(fù)雜環(huán)境和存在遮擋的情況下估計(jì)出目標(biāo)物體的位姿。本文的深度卷積網(wǎng)絡(luò)基于Res2Net特征提取網(wǎng)絡(luò)和金字塔場(chǎng)景池化解析網(wǎng)絡(luò),融合不同區(qū)域的上下文信息來(lái)提高挖掘全局和局部上下文信息的能力,從而提取足夠的全局和局部特征,解析出被遮擋物體的特征信息,同時(shí)通過(guò)建立包圍盒頂點(diǎn)和包圍盒質(zhì)心點(diǎn)之間的方向向量場(chǎng)表示,使其有效解決抓取過(guò)程中的遮擋問(wèn)題。整個(gè)網(wǎng)絡(luò)組成如圖7所示。

首先,采用Res2Net的前三層作為前饋網(wǎng)絡(luò)提取多尺度特征,從而挖掘出局部特征信息;其次,采用金字塔池化模塊融合多個(gè)不同尺度下的特征,進(jìn)一步提取因遮擋而被忽略的全局特征信息;然后,將特征提取部分的多尺度局部特征信息與金字塔池化模塊融合的多種全局特征信息融合,挖掘全局與局部上下文信息。提取前饋網(wǎng)絡(luò)特征后,采用多級(jí)架構(gòu)的CNN檢測(cè)投影關(guān)鍵點(diǎn)以及包圍盒頂點(diǎn)和包圍盒質(zhì)心點(diǎn)之間的方向向量場(chǎng)。

3.1 特征提取層

如圖7①所示,特征提取層采用Res2Net的前三層作為前饋網(wǎng)絡(luò)提取多尺度特征,相比于ResNet,Res2Net對(duì)bottleneck塊進(jìn)行了改進(jìn)。圖8所示為圖7②的bottleneck,其中左邊是最基本的原始卷積模塊,右邊是針對(duì)中間3×3卷積層進(jìn)行的改進(jìn)。

Res2Net是一種簡(jiǎn)單而有效的多尺度處理方法,與現(xiàn)有的增強(qiáng)CNN分層多尺度表示強(qiáng)度的方法不同,在不增加計(jì)算負(fù)載的情況下,其特征提取能力更強(qiáng),在更細(xì)粒度的層次上提高了多尺度表示能力。為了實(shí)現(xiàn)該目標(biāo),Res2Net將n個(gè)通道中的3×3濾波器替換為一組更小的濾波器組,每個(gè)濾波器組有w個(gè)通道。這些較小的濾波器組以類似殘差的層次化方式連接,從而增加輸出特征可以表示的尺度數(shù)量。具體而言,首先對(duì)經(jīng)過(guò)1×1輸出后的特征圖按通道數(shù)均分為s(如s=4)塊,每一塊是xi,i∈{1,2,…,s}。每一個(gè)xi對(duì)應(yīng)3×3卷積,用Ki()表達(dá),即有yi=Ki()。特征子集xi與Ki-1()的輸出相加,代入Ki()。x1的3×3卷積被省略,可以看做是對(duì)特征的重復(fù)利用,減少因s而增加的參數(shù)。因此yi可寫成

(1)

由此得到不同數(shù)量和不同感受野大小的輸出,這種先拆分后融合的策略使卷積能夠更加高效地處理特征。在Res2Net模塊中,對(duì)分片進(jìn)行多尺度處理有利于提取全局信息和局部信息,并將分割部分連接起來(lái),通過(guò)1×1的卷積進(jìn)行傳遞,以融合不同尺度的信息。

3.2 金字塔池化

對(duì)于圖7③,為進(jìn)一步減少信息丟失,尤其是多個(gè)不同區(qū)域的上下文信息,采用一種如PSPNet[17]的分層方法,該方法包含不同尺度的信息,并在不同子區(qū)域之間存在差異,被稱為金字塔池化方法。

金字塔池化模塊在深度神經(jīng)網(wǎng)絡(luò)的最終層特征圖基礎(chǔ)上進(jìn)行全局場(chǎng)景的先驗(yàn)構(gòu)建,如圖7③所示。該模塊通過(guò)聚合不同區(qū)域的上下文,提高了提取網(wǎng)絡(luò)全局上下文中信息的能力。同時(shí),該模塊融合了多種不同金字塔尺度下的特征,不同級(jí)別的輸出包括不同大小的特征圖,表示不同尺度下的信息,用1×1卷積核經(jīng)過(guò)每個(gè)金字塔級(jí)別降低通道維度后,再通過(guò)雙線性插值得到與輸入模塊相同尺寸的特征圖,不同層次特征最后融合為金字塔池全局特征。利用金字塔池化模塊,采用擴(kuò)張網(wǎng)絡(luò)策略[18-19]提取特征映射,最終特征映射圖的大小為輸入圖像的1/16。多級(jí)池化使金字塔池模塊可以收集各級(jí)信息,比全局池[20]更具代表性。

3.3 多階卷積塊

前饋網(wǎng)絡(luò)提取相關(guān)特征信息后,采用多級(jí)架構(gòu)檢測(cè)特征投影關(guān)鍵點(diǎn)以及包圍盒頂點(diǎn)和包圍盒質(zhì)心點(diǎn)之間的方向向量場(chǎng)。如圖9所示,該網(wǎng)絡(luò)分階段運(yùn)行,每一階段通過(guò)卷積生成置信熱力圖和向量場(chǎng)兩部分,而且在考慮當(dāng)前特征的同時(shí)還考慮最初始階段的輸出,最終與當(dāng)前信念熱力圖和向量場(chǎng)融合。由于所有階段都是卷積的,當(dāng)數(shù)據(jù)通過(guò)網(wǎng)絡(luò)時(shí),會(huì)經(jīng)過(guò)一個(gè)越來(lái)越大的有效接受場(chǎng),這使網(wǎng)絡(luò)能夠在早期階段解決因接受域較小而導(dǎo)致的歧義,并在后期階段結(jié)合越來(lái)越多的上下文信息。設(shè)輸入的RGB圖像寬為w,高為h,則前饋網(wǎng)絡(luò)中以尺寸為w×h×3的RGB圖像輸入特征層后的輸出作為輸入,通過(guò)此處多級(jí)卷積架構(gòu)產(chǎn)生置信熱力圖和向量場(chǎng)兩種不同的輸出,信念熱力圖共9個(gè),8個(gè)為每個(gè)目標(biāo)物體包圍盒投影的8個(gè)頂點(diǎn),1個(gè)為質(zhì)心點(diǎn)的投影。類似地,向量場(chǎng)表示頂點(diǎn)投影點(diǎn)指向質(zhì)心投影點(diǎn)的方向表示,每個(gè)向量場(chǎng)分為x分量和y分量,8個(gè)向量場(chǎng)共輸出16個(gè)分量,用于檢測(cè)同一類型對(duì)象的多個(gè)實(shí)例。

3.4 PnP算法

PnP算法根據(jù)所選參考點(diǎn)的數(shù)目被分為3≤n≤5和n≥6兩類。第1類因參考點(diǎn)數(shù)目比較少而精度低,魯棒性不高,當(dāng)存在噪聲干擾時(shí)結(jié)果會(huì)更差;第2類PnP問(wèn)題用于計(jì)算相機(jī)位姿的參考點(diǎn)數(shù)目相對(duì)較多,其算法的魯棒性、抗噪性和求解精度均優(yōu)于第1類。

(2)

(3)

q0,q1,q2,q3存在如下關(guān)系:

(4)

對(duì)于式(2),有

(5)

(6)

然而,在實(shí)際場(chǎng)景中,由于存在各種因素(如噪聲),式(6)會(huì)有一個(gè)誤差。這里構(gòu)建一個(gè)非線性最小二乘最優(yōu)化問(wèn)題的目標(biāo)函數(shù)

(7)

本文根據(jù)參考點(diǎn)數(shù)的不同采用不同的PnP算法。針對(duì)第1類3≤n≤5的情況,直接采用P3P算法求解獲得外參信息R,T的值;針對(duì)第2類n≥6的情況,給定的配對(duì)點(diǎn)較多,P3P算法很難利用更多信息,故以P3P方法求得的值作為初值,通過(guò)式(7),基于Levenberg-Marquardt最優(yōu)化算法的PnP迭代算法求解,再利用多對(duì)配對(duì)點(diǎn)不斷修正誤差,最后求出誤差最小時(shí)所對(duì)應(yīng)的參數(shù)值ξ,即可還原出相機(jī)的外參信息。

網(wǎng)絡(luò)是對(duì)關(guān)鍵點(diǎn)熱力圖和方向向量場(chǎng)的回歸預(yù)測(cè),因此采用均方誤差,即L2損失函數(shù)作為該網(wǎng)絡(luò)的損失函數(shù),即

(8)

4 實(shí)驗(yàn)結(jié)果及分析

搭建完成網(wǎng)絡(luò)模型后,采用合成數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練,因?yàn)閷W(xué)習(xí)率過(guò)小導(dǎo)致學(xué)習(xí)速度過(guò)慢,學(xué)習(xí)率過(guò)大又導(dǎo)致訓(xùn)練過(guò)程出現(xiàn)往復(fù)跳躍,無(wú)法有效收斂,所以本文在起始時(shí)設(shè)置學(xué)習(xí)率為0.01,加快初期收斂速度,然后每過(guò)20個(gè)epoch學(xué)習(xí)率乘0.1倍,使訓(xùn)練后期能夠更好地收斂。優(yōu)化器采用Adam[21]。訓(xùn)練完成后,為驗(yàn)證模型效果,設(shè)計(jì)了位姿估計(jì)和實(shí)際抓取兩個(gè)實(shí)驗(yàn)。在現(xiàn)實(shí)場(chǎng)景抓取目標(biāo)物體前,先測(cè)試位姿估計(jì)的效果,對(duì)比目標(biāo)物體的實(shí)際位置和模型預(yù)測(cè)的位置,分析預(yù)測(cè)位置是否可抓取,并可視化顯示位姿估計(jì)效果。在分析可否抓取后,將模型部署至所搭建的實(shí)驗(yàn)平臺(tái),驗(yàn)證模型在實(shí)際場(chǎng)景下的可應(yīng)用性。

4.1 位姿估計(jì)

為驗(yàn)證模型位姿估計(jì)的效果,本次實(shí)驗(yàn)將目標(biāo)物體放置在相機(jī)的可視區(qū)域內(nèi),預(yù)測(cè)目標(biāo)物體在基坐標(biāo)系下的位姿,同時(shí)測(cè)量目標(biāo)物體在UR5機(jī)械臂基坐標(biāo)系下的質(zhì)心點(diǎn)實(shí)際位置,并計(jì)算與模型預(yù)測(cè)位置的質(zhì)心偏差,質(zhì)心偏差即兩質(zhì)心點(diǎn)間的歐式距離

(9)

通過(guò)質(zhì)心偏差估計(jì)其是否可抓取,對(duì)于本次目標(biāo)物體,通常質(zhì)心偏差在2 cm內(nèi)能夠成功抓取,本文算法與dope算法的實(shí)驗(yàn)對(duì)比如表1所示。

表中黑色加粗部分為所在列的最小值和最大值,可見(jiàn)dope偏差變化大,最大質(zhì)心偏差達(dá)到9.67 cm,平均質(zhì)心偏差達(dá)到3.14 cm,而本文質(zhì)心偏差范圍在2 cm內(nèi),平均質(zhì)心偏差1.2 cm,質(zhì)心偏差除了由位姿估計(jì)誤差造成外,還有由手動(dòng)測(cè)量、手眼標(biāo)定和坐標(biāo)轉(zhuǎn)換數(shù)值計(jì)算帶來(lái)的誤差,這些誤差對(duì)于本文所抓取的目標(biāo)對(duì)象幾何體積來(lái)說(shuō)是可以接受的,因此目標(biāo)物體是可抓取的。

為驗(yàn)證模型位姿估計(jì)的實(shí)際效果,對(duì)位姿估計(jì)進(jìn)行可視化顯示。本文在復(fù)雜場(chǎng)景下,分別對(duì)4種目標(biāo)物體在無(wú)遮擋、雜物遮擋、互相遮擋和混合遮擋情況下進(jìn)行位姿估計(jì)對(duì)比實(shí)驗(yàn),如圖10所示。

圖中第1行為所要估計(jì)位姿的原始圖像信息,第2行為dope位姿估計(jì)實(shí)驗(yàn)結(jié)果,第3行為本文位姿估計(jì)實(shí)驗(yàn)結(jié)果。本次實(shí)驗(yàn)在復(fù)雜場(chǎng)景中分4組進(jìn)行對(duì)比,即無(wú)遮擋、雜無(wú)遮擋、相互遮擋和混合遮擋。無(wú)遮擋場(chǎng)景下目標(biāo)物體相互獨(dú)立且不受雜物遮擋,雜物遮擋情況僅用場(chǎng)景中雜物對(duì)目標(biāo)物體進(jìn)行部分遮擋,相互遮擋只是目標(biāo)物體間的相互遮擋,混合遮擋既有雜物的遮擋,也有目標(biāo)物體間的相互遮擋。實(shí)驗(yàn)表明,無(wú)遮擋情況下,dope因在復(fù)雜場(chǎng)景受到的雜物干擾較大而出現(xiàn)誤識(shí)別和未識(shí)別,本文算法則能不受影響地識(shí)別出目標(biāo)物體并估計(jì)出位姿;雜物遮擋情況下,dope僅識(shí)別出1個(gè)目標(biāo)物體,其余3個(gè)因被雜物遮擋而未被識(shí)別,本文算法則在被雜物嚴(yán)重遮擋的情況下仍然能夠識(shí)別目標(biāo)物體并估計(jì)位姿;在目標(biāo)物體相互遮擋的情況下,dope識(shí)別出3個(gè)目標(biāo)物體,對(duì)餅干盒出現(xiàn)了誤識(shí)別,芥末醬瓶位姿估計(jì)的包圍盒出現(xiàn)了變形,本文算法則表現(xiàn)出很強(qiáng)的魯棒性,尤其對(duì)被嚴(yán)重遮擋的深色搪瓷杯仍然能夠有效識(shí)別并較好地估計(jì)出其位姿;對(duì)于混合遮擋,dope僅對(duì)一個(gè)目標(biāo)物體進(jìn)行了有效識(shí)別并估計(jì)了位姿,對(duì)餅干盒出現(xiàn)了誤識(shí)別和估計(jì)偏移,而本文算法除了餅干盒的位姿估計(jì)包圍盒稍有偏差外,其余3個(gè)目標(biāo)物體位姿的估計(jì)效果良好。綜上所述,dope在環(huán)境復(fù)雜和有遮擋的情況下,會(huì)出現(xiàn)位姿估計(jì)失效、估計(jì)錯(cuò)誤和估計(jì)誤差偏大的情況,導(dǎo)致后續(xù)抓取實(shí)驗(yàn)無(wú)法有效抓取目標(biāo)物體。本文的位姿估計(jì)算法則表現(xiàn)出了良好的魯棒性,無(wú)論在復(fù)雜場(chǎng)景還是對(duì)目標(biāo)物體進(jìn)行部分遮擋,均能有效識(shí)別目標(biāo)物體并估計(jì)其位姿,甚至在嚴(yán)重遮擋的情況下,估計(jì)效果仍然較好。因此,對(duì)于多目標(biāo)發(fā)生遮擋的復(fù)雜場(chǎng)景下,本文所提位姿估計(jì)算法仍然具有良好的魯棒性。

4.2 抓取實(shí)驗(yàn)

前文分析中位姿估計(jì)的質(zhì)心偏差在2 cm以內(nèi),驗(yàn)證了UR5機(jī)械臂抓取目標(biāo)的可行性,為驗(yàn)證本文的位姿估計(jì)方法在真實(shí)環(huán)境中的應(yīng)用效果,將位姿估計(jì)模型部署在實(shí)驗(yàn)平臺(tái)上進(jìn)行實(shí)驗(yàn)測(cè)試。以芥末醬瓶為抓取對(duì)象,圖11所示為機(jī)械臂抓取的4個(gè)主要過(guò)程:①位姿估計(jì),估計(jì)出目標(biāo)物體的位姿;②驅(qū)動(dòng)機(jī)械臂到達(dá)抓取位置,機(jī)械爪保持待抓取姿態(tài);③驅(qū)動(dòng)機(jī)械臂到達(dá)目標(biāo)位置,并抓取目標(biāo)物體;④將目標(biāo)物體放置到指定位置;⑤返回初始姿態(tài)。路徑規(guī)劃算法采用快速搜索隨機(jī)樹(shù)(Rapidly-exploring Random Trees,RRT)算法、RRT*算法或者SAGB_RRT*(rapidly exploring random tree star algorithm for adaptive goal bias based on grid space)算法[22]等。

隨機(jī)更換目標(biāo)物體位姿的實(shí)驗(yàn)過(guò)程如圖12所示。

隨機(jī)更換目標(biāo)物體位姿后,重復(fù)圖11的步驟。重復(fù)多組實(shí)驗(yàn),記錄各環(huán)節(jié)消耗的時(shí)間,包括系統(tǒng)初始化、位姿估計(jì)、抓取目標(biāo)、放置目標(biāo)和回位初始姿態(tài),并計(jì)算其整個(gè)實(shí)驗(yàn)過(guò)程的總時(shí)間,如表2所示。

表2 多組抓取實(shí)驗(yàn)結(jié)果

在21組實(shí)驗(yàn)中,有4次抓取失敗,1次未估計(jì)出位姿;2次因位姿估計(jì)誤差,在平置目標(biāo)物體的情況下,z方向的抓取點(diǎn)估計(jì)不足,導(dǎo)致機(jī)械爪落空;1次是由于抓取過(guò)程中,機(jī)械爪卡住導(dǎo)致抓取失敗。運(yùn)行時(shí)間方面,初始化系統(tǒng)在1.383 s左右,位姿估計(jì)時(shí)間在0.345 s左右,因此能較快估計(jì)出目標(biāo)物體的位姿,這里對(duì)位姿進(jìn)行了簡(jiǎn)單濾波,獲取了30組結(jié)果并排序,去掉最小最大的5組結(jié)果后取平均值,即為估計(jì)值。抓取、放置和回位初始姿態(tài)基本在5 s以內(nèi),總時(shí)間平均為20 s。實(shí)驗(yàn)表明,在一般情況下,本文采用的基于RGB圖像的位姿估計(jì)方法在實(shí)際應(yīng)用中具有可行性,可成功抓取目標(biāo)物體。

5 結(jié)束語(yǔ)

本文僅通過(guò)普通相機(jī)獲取的RGB圖像信息,實(shí)現(xiàn)了復(fù)雜場(chǎng)景下對(duì)目標(biāo)物體的位姿估計(jì),而且無(wú)需昂貴的深度相機(jī)來(lái)額外獲取深度信息。本文算法通過(guò)多級(jí)金字塔池模塊融合了不同區(qū)域的上下文信息,進(jìn)而挖掘全局和局部上下文信息,提取足夠的全局和局部特征,解析出被遮擋物體的特征信息,在物體之間相互遮擋下仍具有魯棒性。通過(guò)實(shí)際場(chǎng)景中成功抓取位姿未知的目標(biāo)物體表明,本文使用合成數(shù)據(jù)訓(xùn)練的模型在實(shí)際抓取場(chǎng)景下具有可行性。后續(xù)研究將著力解決紋理性缺失目標(biāo)的位姿估計(jì)、被遮擋物體的抓取、目標(biāo)物體的真實(shí)質(zhì)心與包圍盒質(zhì)心偏差較大時(shí)的算法設(shè)計(jì)等問(wèn)題,同時(shí)將通過(guò)深度相機(jī)為算法引入深度信息,探討深度信息對(duì)位姿估計(jì)與機(jī)械臂抓取任務(wù)的影響。