王 勇，陳薈西

(重慶理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，重慶 400054)

E-mail：892654450@qq.com

1 引 言

在機(jī)械臂抓取任務(wù)研究中，抓取檢測仍然是一個(gè)具有挑戰(zhàn)性的問題.基于深度學(xué)習(xí)的抓取檢測方法相對于傳統(tǒng)方法的優(yōu)勢在于不再需要對物體進(jìn)行完整的三維重建，也不需要人工設(shè)計(jì)抓取規(guī)則，并且能適應(yīng)周圍環(huán)境變化，以及抓取新物體.I.Lenz等人第一次將深度學(xué)習(xí)用于抓取檢測，將抓取的本質(zhì)看作一個(gè)檢測問題[1],而抓取的關(guān)鍵在于機(jī)械臂從當(dāng)前所見的局部視圖中找到給定物體的一個(gè)最優(yōu)抓取位置，使其抓取成功的概率得到最大化，這和目標(biāo)檢測有所不同.

與簡單的二維圖像相比，RGB-D數(shù)據(jù)已被證明能顯著提高抓取檢測結(jié)果[2].在RGB-D數(shù)據(jù)處理方面，不同的多模態(tài)融合方式會(huì)決定傳感器獲取的視覺信息是否得到充分利用，從而影響最終的抓取結(jié)果.文獻(xiàn)[1]中將RGB圖像、深度圖像以及由深度信息計(jì)算的曲面法線的X、Y、Z分量融合成7個(gè)通道作為網(wǎng)絡(luò)輸入.文獻(xiàn)[3]則直接將RGB圖像與深度圖像在早期融合成RGB-D 4通道作為輸入.文獻(xiàn)[4]也采用早期融合的方式，不同的是它將深度通道D替換RGB圖像中的藍(lán)色通道B，形成RGD作為輸入.文獻(xiàn)[5]中將深度圖像轉(zhuǎn)換為3通道圖像，這類似于灰度圖到RGB圖像的轉(zhuǎn)換.然后將RGB圖像和轉(zhuǎn)換后的深度圖像作為兩個(gè)獨(dú)立的3通道輸入，分別進(jìn)行訓(xùn)練并在更深的網(wǎng)絡(luò)層次中進(jìn)行后期融合.

抓取檢測和目標(biāo)檢測都可以使用分類[6-8]或回歸[9-11]的方法解決.基于回歸的方法不利用任何滑窗或區(qū)域建議技術(shù)，也不用專門區(qū)分目標(biāo)物體與背景，省略了中間很多復(fù)雜的設(shè)計(jì)過程，其通常比基于分類的方法計(jì)算速度快得多，并且支持端到端的訓(xùn)練以及滿足實(shí)時(shí)檢測.然而其準(zhǔn)確性還有待提高.文獻(xiàn)[4]將整個(gè)圖像放入淺層網(wǎng)絡(luò)Alexnet中進(jìn)行單級回歸計(jì)算，直接預(yù)測出抓取位置；在模型輸出時(shí)固定維度，將輸出劃分成7×7的網(wǎng)格形狀，并假設(shè)每個(gè)網(wǎng)格最多輸出一個(gè)抓取位置.Park.D等人在文獻(xiàn)[4]的基礎(chǔ)上采用了兩個(gè)并行的深度卷積神經(jīng)網(wǎng)絡(luò)ResNet-50進(jìn)行抓取預(yù)測[3].S.Kumra等人在文獻(xiàn)[4]的基礎(chǔ)上設(shè)計(jì)了一種定向錨箱機(jī)制，并利用更深層次的網(wǎng)絡(luò)ResNet-101進(jìn)行回歸預(yù)測[12].Lu Chen等人在文獻(xiàn)[4]的基礎(chǔ)上構(gòu)造了一種新的抓取檢測模型，引入抓取路徑的概念[13].

本文提出一種用于抓取檢測的三流多模態(tài)融合方法，利用比ResNet更強(qiáng)大的ResNeXt進(jìn)行特征提取.然后對文獻(xiàn)[4]中的回歸算法進(jìn)行改進(jìn)：使用更密集的20×20網(wǎng)格，每個(gè)網(wǎng)格預(yù)測兩個(gè)抓取矩形以提高精度；利用全卷積層代替全連接網(wǎng)絡(luò)，防止過擬合.并且提出一種新的置信度計(jì)算方法.實(shí)驗(yàn)結(jié)果表明，該模型在滿足實(shí)時(shí)檢測的同時(shí)能更準(zhǔn)確的預(yù)測出物體的最優(yōu)抓取位置.

2 相關(guān)介紹

2.1 抓取位置表示

本文采用Y.Jiang等人提出的由五維參數(shù)(x,y,w,h,θ)組成的抓取矩形來表示物體的抓取位置[2],它同時(shí)考慮了位置，方向以及夾持器的開口寬度，適用于平行夾持器.如圖1所示，(x,y)代表矩形的中心點(diǎn)；w表示矩形長度，即夾持器張開的寬度；h表示矩形寬度，即夾持器兩邊放置的位置；θ(0°～180°)代表矩形相對于水平軸方向的順時(shí)針旋轉(zhuǎn)角度.其中w，h與夾持器的物理參數(shù)有關(guān)，w應(yīng)該小于夾持器張開的最大寬度.

最終預(yù)測出的五維參數(shù)只是抓取位置的二維平面表示，我們需要計(jì)算出該位置在真實(shí)世界坐標(biāo)系下基于機(jī)械臂末端執(zhí)行器的三維表示，并且在移動(dòng)時(shí)，應(yīng)首先考慮矩形的中心位置.抓取時(shí)，夾持器從與圖像大致垂直的方向接近抓取位置，按照角度θ進(jìn)行順時(shí)針旋轉(zhuǎn)，然后控制機(jī)械臂向垂直平面的方向移動(dòng)一些距離(視情況而定)，最后閉合夾持器，抓取物體.

圖1 抓取位置表示—抓取矩形

2.2 ResNeXt網(wǎng)絡(luò)模型

先前的研究證明，深度卷積神經(jīng)網(wǎng)絡(luò)的效果在檢測和分類問題方面明顯超越了淺層卷積神經(jīng)網(wǎng)絡(luò)，文獻(xiàn)[5]、文獻(xiàn)[14]在抓取檢測中采用了ResNet-50模型，而文獻(xiàn)[12]中則利用更深層次的ResNet-101網(wǎng)絡(luò).然而增加網(wǎng)絡(luò)的深度或?qū)挾榷紩?huì)造成參數(shù)數(shù)量過多，使網(wǎng)絡(luò)的復(fù)雜度以及計(jì)算開銷更大.

ResNeXt的結(jié)構(gòu)能夠保證在增加準(zhǔn)確率的同時(shí)不改變或降低模型的復(fù)雜度[15].與ResNet相比，其優(yōu)勢在于在相同的精度下，ResNeXt模型計(jì)算量更小，參數(shù)更少，并且ResNeXt 網(wǎng)絡(luò)模塊化設(shè)計(jì)更簡單合理，超參數(shù)量也更少.文獻(xiàn)[15]中的實(shí)驗(yàn)結(jié)果表明ResNeXt-50 已接近 ResNet-101 的準(zhǔn)確度，并且在目標(biāo)檢測任務(wù)中，ResNeXt已經(jīng)取得了最先進(jìn)的結(jié)果.

3 用于抓取檢測的三流聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)模型

3.1 模型結(jié)構(gòu)

在康奈爾抓取數(shù)據(jù)集中，獲取的點(diǎn)云數(shù)據(jù)包含三維坐標(biāo)信息和顏色信息(Color Jet).在以往的研究中僅僅使用了三維坐標(biāo)信息，而直接忽略顏色信息，這可能會(huì)導(dǎo)致?lián)p失一些有效的信息.

本文有效利用點(diǎn)云數(shù)據(jù)中常被忽略的顏色信息，并對文獻(xiàn)[16]中用于目標(biāo)識別的三流聯(lián)合網(wǎng)絡(luò)進(jìn)行改進(jìn)，設(shè)計(jì)了一種用于抓取檢測的三流聯(lián)合網(wǎng)絡(luò)框架，網(wǎng)絡(luò)由三組深度卷積神經(jīng)網(wǎng)絡(luò)ResNeXt-101和三個(gè)1×1的卷積神經(jīng)網(wǎng)絡(luò)組成，如圖2.將RGB圖像，深度圖像，Color Jet圖像分別輸入至并行的三個(gè)流中，每個(gè)流都由一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)ResNeXt-101組成.其中每個(gè)流的輸入大小都為320×320，并且每個(gè)流經(jīng)過ResNeXt-101提取特征后均輸出1024個(gè)大小為20×20的特征圖.然后將三個(gè)流的輸出按通道數(shù)進(jìn)行融合后得到3072個(gè)20×20的特征圖，再利用三個(gè)1×1的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸預(yù)測.

我們的模型直接從融合后20×20的特征圖中進(jìn)行預(yù)測抓取，要求每一個(gè)像素預(yù)測兩個(gè)抓取矩形.根據(jù)卷積的空間不變性，特征圖上每個(gè)像素與原圖中的一個(gè)小方塊一一對應(yīng)，即可以認(rèn)為將原圖劃分為20×20的網(wǎng)格，每個(gè)網(wǎng)格預(yù)測兩個(gè)矩形，并且必須保證預(yù)測矩形的中心落在每個(gè)網(wǎng)格內(nèi).網(wǎng)絡(luò)最后的輸出維度為20×20×12，即一共預(yù)測20×20×2個(gè)矩形，每個(gè)矩形的輸出為六維，其中第一維代表每個(gè)矩形的置信度(S)，即這個(gè)矩形為最優(yōu)抓取矩形的概率，而剩下的五維為矩形的參數(shù)(x,y,w,h,θ).

圖2 用于抓取檢測的三流聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu)

3.2 改進(jìn)的回歸算法

文獻(xiàn)[5]、[12]、[13]、[14]繼續(xù)使用了文獻(xiàn)[4]中的回歸框架，沒有對回歸部分有實(shí)質(zhì)性的改進(jìn).

文獻(xiàn)[4]中的模型以224×224大小的圖像作為輸入，提取特征后得到7×7的特征圖，相當(dāng)于將原始圖像劃分為7×7個(gè)網(wǎng)格；文獻(xiàn)[5]、[13]與文獻(xiàn)[4]中一樣；而文獻(xiàn)[12]以320×320作為輸入，將圖像劃分為10×10個(gè)網(wǎng)格；文獻(xiàn)[14]以227×227作為輸入，將圖像劃分為14×14個(gè)網(wǎng)格,相對提高了精度.然而它們劃分的網(wǎng)格都較為稀疏，并且每個(gè)格子只預(yù)測了一個(gè)矩形.值得注意的是，如果網(wǎng)格劃分得較為稀疏，在訓(xùn)練時(shí)，一個(gè)格子可能容納多個(gè)矩形標(biāo)簽的中心，這會(huì)導(dǎo)致訓(xùn)練數(shù)據(jù)大量減少；而在預(yù)測時(shí)，更難計(jì)算矩形中心的偏移量，導(dǎo)致預(yù)測精度較低.再者，如果每個(gè)格子只預(yù)測一個(gè)矩形，可能會(huì)遺漏一些信息，同樣會(huì)導(dǎo)致結(jié)果不夠準(zhǔn)確.

本文采用更密集的20×20網(wǎng)格，如圖3所示，(a)(b)(c)(d)分別代表文獻(xiàn)[4]、文獻(xiàn)[14]、文獻(xiàn)[12]以及我們的劃分方法，圖中黃色的點(diǎn)代表所有矩形標(biāo)簽的中心，將它們進(jìn)行對比可以看出(b)(c)的方法略優(yōu)于(a)，而我們的方法是最優(yōu)的，它可以完全區(qū)分所有矩形的中心，保留更多的標(biāo)簽用于訓(xùn)練，以及實(shí)現(xiàn)更密集的預(yù)測，從而提高精度.

對于每個(gè)流我們以320×320作為輸入，采用ResNeXt-101(32×4d)網(wǎng)絡(luò)進(jìn)行特征提取，其中我們?nèi)コ薘esNeXt-101(32×4d)網(wǎng)絡(luò)的最后一個(gè)卷積層，以保證輸出1024個(gè)20×20大小的特征圖.在回歸預(yù)測方面，文獻(xiàn)[12]中用3×3的卷積網(wǎng)絡(luò)代替文獻(xiàn)[4]中的全連接層進(jìn)行回歸計(jì)算，而我們選擇用三個(gè)1×1的卷積網(wǎng)絡(luò)代替全連接層，以減少參數(shù)數(shù)量，防止過擬合.

圖3 四種網(wǎng)格劃分的方式

3.3 置信度的計(jì)算

我們模型只考慮單個(gè)物體的抓取，其目標(biāo)并不在于要預(yù)測出給定對象所有可能抓取成功的位置，而是要找出一個(gè)最優(yōu)的抓取位置.我們引入置信度的概念，對于每個(gè)矩形預(yù)測出其置信度(0～1)大小.置信度越大，表明該矩形分值越高，越易于抓取.最終將所有矩形按照置信度從大到小進(jìn)行排序，其中置信度最大的矩形，就是我們要尋找的最優(yōu)抓取矩形.

在用于目標(biāo)檢測的YOLO V1模型[9]中，置信度的計(jì)算主要取決于根據(jù)IOU(交并比)的值，但用IOU值代表抓取檢測中矩形的置信度并不準(zhǔn)確，原因如下：

文獻(xiàn)[13]已證明IOU值大的可能不是好的抓取矩形，而IOU值很小卻可能是很好的抓取矩形.這是因?yàn)樽ト【匦蔚闹眯哦雀鼉?yōu)先取決于矩形中心的位置.

目標(biāo)檢測中的矩形邊框參數(shù)為(x,y,w,h,θ)，其IOU的計(jì)算不包括矩形的旋轉(zhuǎn)角度，而抓取檢測中還包括矩形旋轉(zhuǎn)角度的參數(shù).

對于原因(1)，我們已利用更密集的網(wǎng)格劃分方式，對于原因(2)，我們提高旋轉(zhuǎn)角度在置信度計(jì)算中的重要性.本文提出一種適用于抓取檢測的置信度計(jì)算方法，其公式如下：

(1)

根據(jù)(1)可知，矩形的置信度S由兩個(gè)子分值組成，其中Sθ代表矩形旋轉(zhuǎn)角度的分值，SIOU代表兩個(gè)矩形的IOU值.而λθ，λIOU分別代表其角度，IOU所占的權(quán)重大小.經(jīng)過多次實(shí)驗(yàn)證明，λθ，λIOU的值分別取2，1.

Sθ=1-|rectθ-rectθ′|

(2)

在公式(2)中，rectθ，rectθ′分別代表預(yù)測矩形和矩形標(biāo)簽的旋轉(zhuǎn)角度θ，此處對旋轉(zhuǎn)角度已經(jīng)進(jìn)行了歸一化.

此外將Sθ，SIOU以及S的取值范圍均按照公式(3)限制于(0,1)范圍內(nèi).

(3)

由公式(3)知，如果輸入值m小于0，那么將m賦值為0，如果m大于1，那么將m賦值為0，如果m在(0,1)之間，則保持不變.

4 實(shí)驗(yàn)及結(jié)果

本文使用康奈爾抓取數(shù)據(jù)集對我們的網(wǎng)絡(luò)模型進(jìn)行驗(yàn)證.該數(shù)據(jù)集包含885張圖像，共計(jì)240個(gè)不同的物體.每張圖像都有對應(yīng)的點(diǎn)云數(shù)據(jù)，并且對于每張圖像中的給定對象都有多個(gè)正矩形或負(fù)矩形的標(biāo)簽，如圖4所示，其中(a)為部分正矩形標(biāo)簽的例子，代表抓取成功的矩形標(biāo)簽，(b)為部分對應(yīng)負(fù)矩形標(biāo)簽的例子，代表抓取失敗的矩形標(biāo)簽.我們只保留正矩形標(biāo)簽用來訓(xùn)練，并將它們的置信度設(shè)置為1.盡管它們并不是詳盡的，但它們是幾個(gè)抓取效果特別好的多樣化例子.

圖4 數(shù)據(jù)集中部分矩形標(biāo)簽

4.1 輸入預(yù)處理

我們首先對康奈爾抓取數(shù)據(jù)集中每幅圖像對應(yīng)的點(diǎn)云數(shù)據(jù)進(jìn)行處理，得到與原圖像大小相同的深度圖像和Color Jet圖像.將它們歸一化至0到255之間，得到均為單通道的灰度圖像，如圖5(a)所示.我們根據(jù)文獻(xiàn)[17]的轉(zhuǎn)換方式，將它們分別轉(zhuǎn)換為3通道的彩色圖像，以滿足預(yù)訓(xùn)練要求，如圖5(b)所示.

為了防止過擬合，我們用水平鏡像和垂直鏡像的方法對訓(xùn)練集進(jìn)行數(shù)據(jù)增廣.然后將原RGB圖像，深度圖像，Color Jet均按照中心剪裁的方式轉(zhuǎn)換為320×320像素，注意這三種圖像的剪裁位置必須相同，因?yàn)樗鼈兊拿總€(gè)像素是一一對應(yīng)的.然后再將它們歸一化到(0,1)之間，并按照給定均值(mean)和方差(std)進(jìn)行標(biāo)準(zhǔn)化，其中mean和std是根據(jù)ResNeXt-101在Imagenet數(shù)據(jù)集上的訓(xùn)練模型輸入所決定的，mean的值為[0.485,0.456,0.406],std的值為[0.229,0.224,0.225].

圖5 轉(zhuǎn)換前后的RGB圖像，深度圖像，Color Jet圖像

4.2 訓(xùn)練過程

在訓(xùn)練我們的網(wǎng)絡(luò)模型之前，首先要對其進(jìn)行預(yù)訓(xùn)練，我們利用ResNeXt-101模型為ImageNet數(shù)據(jù)集上的對象分類而訓(xùn)練的參數(shù)作為每個(gè)流中ResNeXt-101的初始權(quán)重，然后在其基礎(chǔ)上進(jìn)行訓(xùn)練.

訓(xùn)練過程共分為兩個(gè)階段，第一階段只對最后進(jìn)行回歸預(yù)測的三個(gè)1×1的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，第二階段則是對整個(gè)三流聯(lián)合網(wǎng)絡(luò)進(jìn)行端到端的聯(lián)合訓(xùn)練.

4.3 實(shí)驗(yàn)結(jié)果

與文獻(xiàn)[3]、[4]、[5]、[12]、[13]相似，我們也使用康奈爾抓取數(shù)據(jù)集上的矩形度量標(biāo)準(zhǔn)對訓(xùn)練結(jié)果進(jìn)行評估.在矩形度量中，如果預(yù)測出的抓取矩形rect與任意一個(gè)正矩形標(biāo)簽rect’同時(shí)滿足以下兩個(gè)條件，則認(rèn)為該矩形是一個(gè)正確的抓取位置.

條件1.|rectθ-rectθ′|<300

條件1為預(yù)測矩形與矩形標(biāo)簽的角度大小相差小于300.條件2為預(yù)測的矩形與矩形標(biāo)簽的Jaccard相似系數(shù)大于25%.

我們對實(shí)驗(yàn)執(zhí)行了五倍交叉驗(yàn)證.表1顯示了我們的結(jié)果與先前的研究[1][4][5][13][19]分別在圖像分割和對象分割上的對比情況.我們避開了與文獻(xiàn)[12]、文獻(xiàn)[14]的比較是因?yàn)槲墨I(xiàn)[12]中采用了面向錨箱機(jī)制，而我們的模型相對簡單；文獻(xiàn)[14]主要討論多物體抓取，與我們討論的范圍不一致.我們給出了不同版本的抓取預(yù)測結(jié)果：

表1 正確率測試結(jié)果

Table 1 Accuracy test results

算法正確率/%圖像分割對象分割I(lǐng).Lenz等人[1]73.975.6J.Redmon等人[4]88.087.1S.Kumra等人[5]89.2188.96Lu Chen等人[13]86.484.7喻群超等人[19]94.193.3(1)RGBD,改進(jìn)的回歸算法92.494.9(2)三流聯(lián)合網(wǎng)絡(luò)模型94.993.7

1)如果僅改進(jìn)回歸算法，我們在圖像分割和對象分割上的正確率分別為92.4%，91.6%.相比I.Lenz等人的回歸模型分別提高了18.5%，16%；并且領(lǐng)先于文獻(xiàn)[4]、文獻(xiàn)[5]、文獻(xiàn)[13]，但是還無法超過文獻(xiàn)[19]中復(fù)雜的三級網(wǎng)絡(luò).

2)融合Color Jet的三級聯(lián)合網(wǎng)絡(luò)在圖像分割和對象分割上的正確率分別為94.9%，93.7%，相比(1)分別提高2.5%,2.1%.可以看出我們單級回歸模型在精度上不僅超過了先前的研究文獻(xiàn)[1][4][5][13]，并且領(lǐng)先文獻(xiàn)[19]中的三級復(fù)雜模型0.8%,0.4%.

表2 速度測試結(jié)果

Table 2 Speed test results

算法速度/fpsI.Lenz等人[1]0.02J.Redmon等人[4]3.31S.Kumra等人[5]9.71Wang等人[18]7.10(1)RGBD,改進(jìn)的回歸算法21.32(2)三流聯(lián)合網(wǎng)絡(luò)模型14.20

表2顯示了我們的模型在檢測時(shí)的速度情況，并與之前同樣滿足實(shí)時(shí)抓取的研究文獻(xiàn)[1][4][5][18]進(jìn)行對比.可以看出我們的三流聯(lián)合網(wǎng)絡(luò)利用GPU進(jìn)行加速后比以往的模型速度更快，其中比I.Lenz等人的兩階段SAE模型快近710倍，比S.Kumra等人的多模態(tài)融合網(wǎng)絡(luò)快近1.46倍.總體而言，我們的模型在精度和速度方面都取得了比先前更好效果.

如圖6所示，圖6(a)中我們對在測試集上檢測的結(jié)果進(jìn)行了部分可視化，其中邊框顏色較淺的矩形是測試集中給定對象的正矩形標(biāo)簽，而邊框顏色較深的矩形是我們檢測出置信度排名第一的抓取矩形.對應(yīng)在圖6(b)中，我們可視化出所有置信度大于0.2的矩形，其中置信度最高的矩形同樣用較深顏色的邊框表示，而剩余的矩形用較深顏色的邊框表示.可以看出置信度最高的矩形相比其他矩形具有同樣強(qiáng)或者更強(qiáng)的抓取性，因?yàn)樗鼈儙缀鹾途匦螛?biāo)簽完全重合，證明我們提出的置信度計(jì)算方法能將抓取成功的概率最大化.

5 結(jié) 論

本文提出了一種用于機(jī)械臂抓取檢測的三流聯(lián)合網(wǎng)絡(luò)模型，同時(shí)提高了檢測的速度和精度.實(shí)驗(yàn)結(jié)果表明，融合Color Jet信息的三流聯(lián)合網(wǎng)絡(luò)能更好的提取特征；改進(jìn)的回歸方法以及新的置信度計(jì)算方式能提高預(yù)測的準(zhǔn)確率.我們的模型在康奈爾抓取數(shù)據(jù)集上獲得了良好的性能，并以實(shí)時(shí)速度進(jìn)行檢測.

圖6 部分實(shí)驗(yàn)結(jié)果

在未來的工作中，我們希望在此基礎(chǔ)上繼續(xù)優(yōu)化模型，考慮將錨箱機(jī)制引入抓取檢測中并進(jìn)行改進(jìn)，從而進(jìn)一步提高模型的準(zhǔn)確率.