喬峰麗 苗鴻賓② 紀(jì)慧君 王 濤 蘇赫朋

（①中北大學(xué)機(jī)械工程學(xué)院，山西 太原 030051；②山西省深孔加工工程技術(shù)研究中心，山西 太原 030051）

目前在相關(guān)的零部件回收工廠(chǎng)中，機(jī)械臂的智能識(shí)別抓取技術(shù)憑借著高效、準(zhǔn)確及低成本等優(yōu)勢(shì)正在逐漸代替人力作業(yè)，大大提高了零件回收的智能化程度。基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法在時(shí)效性與準(zhǔn)確性方面都表現(xiàn)出了很大的優(yōu)越性，但目前國(guó)內(nèi)在機(jī)器人識(shí)別檢測(cè)領(lǐng)域的研究仍停留在對(duì)目標(biāo)物的特征匹配、邊緣檢測(cè)等，對(duì)于融合卷積神經(jīng)網(wǎng)絡(luò)的視覺(jué)算法缺乏研究，在非機(jī)構(gòu)化機(jī)械臂抓取任務(wù)難以實(shí)現(xiàn)對(duì)目標(biāo)物的分割處理[1-2]，進(jìn)而無(wú)法實(shí)現(xiàn)良好的工作效率。

1 機(jī)器人抓取參數(shù)模型

實(shí)驗(yàn)對(duì)象末端執(zhí)行器為三指氣動(dòng)夾爪，任意兩指之間成120°，三指外圓直徑范圍為148 ~170 mm，兩指最外側(cè)直線(xiàn)距離范圍在64 ~74 mm，夾具實(shí)體如圖1所示。

根據(jù)Redmon J等[3]提出的參數(shù)化表示機(jī)械臂末端執(zhí)行器以及本實(shí)驗(yàn)研究對(duì)象的特點(diǎn)，該三指機(jī)械爪的抓取區(qū)域可簡(jiǎn)化為一個(gè)三指末端所成正三角形的外接圓形區(qū)域，該模型數(shù)學(xué)形式可表示為

其中: {x,y}表示夾爪三指運(yùn)動(dòng)方向的反向交點(diǎn)（夾爪中心），D表示夾爪三指外接圓直徑，h表示夾爪距離基坐標(biāo)z軸方向直線(xiàn)距離。抓取模型參數(shù)化表示如圖2所示。

圖2 抓取模型參數(shù)

2 基于改進(jìn) Mask R-CNN 的目標(biāo)檢測(cè)方法

Mask R-CNN的主干網(wǎng)絡(luò)雖然對(duì)每一層特征都進(jìn)行了預(yù)測(cè)，但它重點(diǎn)關(guān)注相鄰特征層的融合關(guān)系，這就導(dǎo)致無(wú)法充分利用相鄰關(guān)系大于兩層的融合關(guān)系，針對(duì)這一問(wèn)題，本文結(jié)合侯俊杰的的平衡金字塔網(wǎng)絡(luò)模型[4]，提出了一種新的識(shí)別抓取方法，通過(guò)優(yōu)化特征提取層，在特征提取網(wǎng)絡(luò)中融入平衡金字塔網(wǎng)絡(luò)模型，為了更好地融合了不同層的特征圖，在損失函數(shù)中引入Distance-IoU(DIoU)，增加輸出層對(duì)目標(biāo)物抓取角度的預(yù)測(cè)分支，得到抓取參數(shù)中的抓取框位置與角度信息，然后結(jié)合相機(jī)獲取的深度信息與掩膜分割圖像，進(jìn)而確定了抓取模型中的全部參數(shù)，加強(qiáng)對(duì)機(jī)械零部件的識(shí)別預(yù)測(cè)能力。該抓取方法如圖3所示。

圖3 抓取方法模型

2.1 特征提取網(wǎng)絡(luò)

改進(jìn)后的Resnet-BFP網(wǎng)絡(luò)模型如圖4所示，首先將數(shù)據(jù)集輸入網(wǎng)絡(luò)模型提取輸出層特征圖P2、P3、P4和P5，為了融合多層次特征以及保證每層的特征信息，對(duì)P2、P3層進(jìn)行最大池化并對(duì)P5層進(jìn)行插值計(jì)算使得它們的分辨率同P4層相同，取對(duì)應(yīng)元素信息的平均值得到平衡語(yǔ)義特征M平衡公式為

圖4 Resnet-BFP 網(wǎng)絡(luò)架構(gòu)

其中：L代表累加的層數(shù)，Lmax、Lmin分別表示累加的最高層特征與最底層特征，Pl表示第l層的特征。

為了便于提取特征圖語(yǔ)義信息，選擇對(duì)M進(jìn)行3×3卷積計(jì)算得到M"，通過(guò)調(diào)整其分別率，使得它與之前的特征圖大小相等，最后將它們的特征元素對(duì)應(yīng)相加得到融合多層特征的特征圖P"2、P"3、P"4和P"5。

2.2 損失函數(shù)

Mask R-CNN使用的是一個(gè)多任務(wù)損失函數(shù)，通過(guò)對(duì)比輸出層的預(yù)測(cè)值與真實(shí)值的接近程度判斷網(wǎng)絡(luò)的魯棒性能，其邊框回歸所用的損失函數(shù)為

可以看出Mask R-CNN只考慮了回歸邊框與真實(shí)邊框?qū)?yīng)點(diǎn)坐標(biāo)之間的關(guān)系，雖然采用了交并比（intersection over union,IoU）用來(lái)預(yù)測(cè)邊框與真實(shí)邊框的重合度，但仍然存在一定的局限性。

如圖5當(dāng)兩種邊框的黑色陰影重合部分面積相同而位置不同時(shí)計(jì)算出的IoU值相同，但此時(shí)的預(yù)測(cè)效果難于判斷，同樣在情況5中兩種邊框沒(méi)有重合的前提下，此時(shí)的IoU值和目標(biāo)函數(shù)的梯度都為0，這樣就無(wú)法進(jìn)行優(yōu)化和確定兩者之間的位置關(guān)系。

圖5 交并比計(jì)算的不同情況

為了解決上述問(wèn)題，本文引入了Distance-IoU（DIoU）損失函數(shù)[5]

其中：b表示預(yù)測(cè)框的中心，bgt表示真實(shí)框的中心，ρ代表兩點(diǎn)中心之間的歐式距離，c代表預(yù)測(cè)框與真實(shí)框整體最小外接矩陣的對(duì)角點(diǎn)之間的距離。改進(jìn)后的損失函數(shù)在考慮預(yù)測(cè)框與真實(shí)框的重合度的前提下同時(shí)考慮了其相對(duì)位置關(guān)系與尺度大小，減小了預(yù)測(cè)框與真實(shí)框之間的距離，使得其收斂速度加快，能夠更加高效準(zhǔn)確地檢測(cè)定位抓取中心、分割小目標(biāo)零件。

2.3 目標(biāo)物抓取參數(shù)獲取

為了確定目標(biāo)零件的具體參數(shù)，本文將Mask RCNN網(wǎng)絡(luò)進(jìn)行上述改進(jìn)后得到更加精確的圖像掩膜與相機(jī)獲得的深度點(diǎn)云圖相結(jié)合。

為了減少環(huán)境因素的影響，提取圖像掩膜并將機(jī)器人末端執(zhí)行器夾爪其中一指作為抓取基準(zhǔn)，在數(shù)據(jù)集標(biāo)注抓取基準(zhǔn)與抓取中心，通過(guò)對(duì)比實(shí)驗(yàn)輸出結(jié)果與真實(shí)抓取基準(zhǔn)線(xiàn)，得到目標(biāo)抓取物預(yù)測(cè)抓取偏移角度α，然后利用外接圓算法得到夾爪的抓取區(qū)域半徑D，結(jié)合深度相機(jī)獲取待抓取物位姿信息，得到完整的抓取數(shù)據(jù)T={u,v,D,h,α}。

3 數(shù)據(jù)收集及目標(biāo)檢測(cè)試驗(yàn)

3.1 數(shù)據(jù)集的制作及標(biāo)注

卷積神經(jīng)網(wǎng)絡(luò)需要通過(guò)大量的數(shù)據(jù)集訓(xùn)練，通常目標(biāo)檢測(cè)算法都會(huì)調(diào)用現(xiàn)有的經(jīng)典數(shù)據(jù)集進(jìn)行訓(xùn)練，這些數(shù)據(jù)集中包括的基本都是我們?nèi)粘Ｉ钣闷?，比如COCO[6]、VOC、ImageNet[7]等。而本文提出的抓取方法主要針對(duì)于工業(yè)生產(chǎn)中零件識(shí)別檢測(cè)的應(yīng)用，所以選用了DALSA相機(jī)來(lái)進(jìn)行數(shù)據(jù)集的拍攝與收集，并對(duì)拍攝的RGB圖片進(jìn)行標(biāo)注作為訓(xùn)練集，激光線(xiàn)掃描得到的深度坐標(biāo)作為后續(xù)抓取高度的參考。

為了驗(yàn)證目標(biāo)檢測(cè)方法的有效性，對(duì)以下5種零件進(jìn)行了數(shù)據(jù)集的制作。如圖6、圖7所示，這些零件分別在圖像標(biāo)注中分別命名為法蘭（flange）、軸承（bearing）、齒輪（gear）、軸（axis）和空壓機(jī)底座（chassis）。針對(duì)網(wǎng)絡(luò)訓(xùn)練的魯棒性，對(duì)這5類(lèi)零件進(jìn)行了多種情況的散落布置，包括調(diào)整不同位姿、改變場(chǎng)景光線(xiàn)明暗、放置不相關(guān)物體進(jìn)行干擾等方法，共計(jì)獲得了600張圖片。

圖6 零件圖及類(lèi)別名稱(chēng)

圖7 部分?jǐn)?shù)據(jù)集圖片

由于樣本有限和制作成本較大的原因，自制數(shù)據(jù)集中數(shù)據(jù)量的不足會(huì)引起兩方面問(wèn)題：一是特征無(wú)法充分學(xué)習(xí)導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)中的過(guò)擬合問(wèn)題；二是網(wǎng)絡(luò)參數(shù)的調(diào)整很難對(duì)結(jié)果形成影響。為此，本文采用了圖像數(shù)據(jù)增強(qiáng)[8]的方法來(lái)擴(kuò)充數(shù)據(jù)集，數(shù)據(jù)增強(qiáng)的本質(zhì)是對(duì)圖像進(jìn)行空間、色彩方面的細(xì)小變化，在不影響圖像內(nèi)容的情況下對(duì)其特征進(jìn)行調(diào)整。如圖8為圖像數(shù)據(jù)增強(qiáng)的效果圖，具體方法有圖像旋轉(zhuǎn)、圖像翻轉(zhuǎn)、隨機(jī)裁剪、尺度變化和調(diào)整圖像色彩對(duì)比度、色溫等。最終數(shù)據(jù)集擴(kuò)展到3 000張圖，其中2 400張訓(xùn)練集，300張用于測(cè)試模型，300張用于驗(yàn)證模型。

圖8 數(shù)據(jù)集數(shù)據(jù)增強(qiáng)效果圖

本文使用Labelme標(biāo)注工具箱來(lái)進(jìn)行圖像數(shù)據(jù)的標(biāo)注。如圖9所示，把各個(gè)零件的輪廓用多邊形線(xiàn)標(biāo)注出來(lái)，并將三指機(jī)械手的抓取中心與基準(zhǔn)線(xiàn)位置標(biāo)出。在圖像標(biāo)注結(jié)束后會(huì)生成json文件，將它們批量轉(zhuǎn)換后每個(gè)圖片都可以生成如圖10所示的5個(gè)文件。

圖9 標(biāo)注過(guò)程

圖10 數(shù)據(jù)集標(biāo)注后得到的文件

3.2 網(wǎng)絡(luò)訓(xùn)練

本課題所用的實(shí)驗(yàn)計(jì)算機(jī)與環(huán)境配置如表1所示。Tensorflow[9]是一個(gè)開(kāi)源的機(jī)器學(xué)習(xí)平臺(tái)，它有全面且靈活的系統(tǒng)，在其中研究人員可以調(diào)用各種工具進(jìn)行機(jī)器學(xué)習(xí)技術(shù)的學(xué)習(xí)與應(yīng)用，構(gòu)建和部署相關(guān)應(yīng)用程序也都非常方便。

表1 實(shí)驗(yàn)配置

在進(jìn)行深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練之前，需要對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。其中，初始學(xué)習(xí)率設(shè)置為0.001，權(quán)值衰減系數(shù)為0.01，每批次訓(xùn)練兩張圖片，迭代次數(shù)設(shè)置為50 000次，最大迭代次數(shù)為60 000次，采用隨機(jī)梯度下降法（SGD）[10]對(duì)模型訓(xùn)練進(jìn)行優(yōu)化。

圖11為訓(xùn)練模型的損失函數(shù)，橫軸為訓(xùn)練次數(shù)，縱軸為總損失值，從中可以看出當(dāng)?shù)螖?shù)達(dá)到50 000次左右時(shí)，損失值趨于穩(wěn)定，證明了該模型的魯棒性良好。

圖11 損失函數(shù)圖像

使用訓(xùn)練好的目標(biāo)檢測(cè)網(wǎng)絡(luò)分別對(duì)單個(gè)零件、多個(gè)散亂布置零件和在有干擾物體的多零件圖像各100張圖片進(jìn)行測(cè)試。

以圖12、圖13的輸出結(jié)果為例，單個(gè)零件圖像與多個(gè)散亂布置零件圖像基本都能夠?qū)⒛繕?biāo)很好地識(shí)別分割出來(lái)，用預(yù)測(cè)框與彩色掩膜覆蓋目標(biāo)零件，并標(biāo)出了抓取中心與機(jī)械抓取手的基準(zhǔn)線(xiàn)。圖14是在有干擾物體和無(wú)干擾情況下檢測(cè)失敗和檢測(cè)成功的輸出結(jié)果，由于外界物體的干擾與該圖片中軸承特征不明顯的影響，未將軸承檢測(cè)出來(lái)。候選框左上角輸出了零件類(lèi)別與置信度，經(jīng)過(guò)統(tǒng)計(jì)300張圖片中被識(shí)別出的零件置信度平均在0.85以上，表現(xiàn)良好。

圖12 單個(gè)零件檢測(cè)

圖13 多個(gè)散亂布置零件檢測(cè)

圖14 有干擾物體和無(wú)干擾情況下檢測(cè)情況

3.3 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證本文提出的目標(biāo)檢測(cè)方法的有效性，基于上述方法進(jìn)行了目標(biāo)識(shí)別實(shí)驗(yàn)，實(shí)驗(yàn)分為3種情況：第一種為單個(gè)零件的檢測(cè)識(shí)別；第二種情況為多零件且互不接觸情況下的檢測(cè)識(shí)別；第三種情況為有接觸、堆疊情況下的多零件檢測(cè)識(shí)別，實(shí)驗(yàn)次數(shù)為50次。

根據(jù)表2結(jié)果可以看出，實(shí)驗(yàn)的整體識(shí)別精度達(dá)到95.3%以上，驗(yàn)證了本文提出的目標(biāo)檢測(cè)方法的有效性，隨著零件數(shù)量的增加以及堆疊情況的出現(xiàn)，圖像處理的難度會(huì)加大，使得目標(biāo)識(shí)別的準(zhǔn)確率有所下降。

表2 識(shí)別實(shí)驗(yàn)結(jié)果

4 結(jié)語(yǔ)

本文針對(duì)Mask R-CNN網(wǎng)絡(luò)在目標(biāo)檢測(cè)中存在的問(wèn)題以及實(shí)現(xiàn)機(jī)械臂對(duì)目標(biāo)物的自主檢測(cè)，提出的Mask R-CNN實(shí)例分割網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法，通過(guò)在特征網(wǎng)絡(luò)中融合多層信息以及改進(jìn)損失函數(shù)使得算法的收斂速度加快，最后通過(guò)零件檢測(cè)實(shí)驗(yàn)驗(yàn)證了該網(wǎng)絡(luò)的可靠性。