陳鑫昊 張 鎮(zhèn) 高軼晨 石 建 李佳童

（北京印刷學(xué)院，北京 102600）

0 引言

目前絕大多數(shù)工業(yè)機(jī)器人是依靠示教再現(xiàn)的方式在固定的位置完成抓取和放置作業(yè)的，如果環(huán)境或工件發(fā)生變化，抓取作業(yè)將會失敗[1]。將視覺技術(shù)與工業(yè)機(jī)器人相結(jié)合，可極大提高機(jī)器人的智能化水平。解決抓取任務(wù)的前提是目標(biāo)檢測，目前基于深度學(xué)習(xí)的目標(biāo)檢測算法主要分為雙階段檢測算法和單階段檢測算法[2]。雙階段檢測算法是以R-CNN系列為代表的基于候選區(qū)域的目標(biāo)檢測算法；單階段檢測算法是以YOLO、SSD 為代表的基于回歸分析的目標(biāo)檢測算法。其中YOLOv4[3]目標(biāo)檢測算法在速度和精度上取得了較好的平衡，可以滿足視覺工業(yè)機(jī)器人目標(biāo)檢測高精度、實時性的要求。

該文以深度可分離卷積替換YOLOv4 特征提取部分及中間層的標(biāo)準(zhǔn)卷積，來實現(xiàn)機(jī)器人的目標(biāo)快速識別；采用D-YOLOv4-grasp 網(wǎng)絡(luò)進(jìn)行特征提取，并通過五參數(shù)法實現(xiàn)目標(biāo)的抓取位姿預(yù)測；通過坐標(biāo)變換，將目標(biāo)抓取坐標(biāo)轉(zhuǎn)換到視覺工業(yè)機(jī)器人坐標(biāo)系中，以控制機(jī)器人完成抓取任務(wù)。

1 機(jī)器人識別與抓取系統(tǒng)

視覺工業(yè)機(jī)器人目標(biāo)識別與抓取系統(tǒng)主要由圖像采集、計算機(jī)處理和機(jī)械臂運動控制3 個部分組成，圖像采集部分通過相機(jī)采集目標(biāo)圖像，計算機(jī)處理部分負(fù)責(zé)識別目標(biāo)并對目標(biāo)進(jìn)行抓取預(yù)測，機(jī)械臂運動控制部分負(fù)責(zé)機(jī)械臂運動的路徑規(guī)劃并控制機(jī)械臂執(zhí)行抓取目標(biāo)的任務(wù)。系統(tǒng)總體組成如圖1 所示。

圖1 識別與抓取系統(tǒng)總體組成

該文研究的視覺工業(yè)機(jī)器人目標(biāo)識別與抓取系統(tǒng)的工作流程如圖2 所示。首先，將相機(jī)采集的圖像進(jìn)行預(yù)處理，輸入D-YOLOv4 目標(biāo)檢測網(wǎng)絡(luò)和D-YOLOv4-grasp 抓取網(wǎng)絡(luò)，以實現(xiàn)目標(biāo)識別和抓取框預(yù)測。其次，通過五參數(shù)法得到抓取目標(biāo)的五參數(shù)坐標(biāo)，同時利用坐標(biāo)變換和標(biāo)定法實現(xiàn)目標(biāo)抓取坐標(biāo)從像素坐標(biāo)系，到相機(jī)坐標(biāo)系，再到機(jī)器人坐標(biāo)系之間的轉(zhuǎn)換。最后，機(jī)械臂運動控制部分根據(jù)所得到的目標(biāo)位姿信息在ROS 平臺中進(jìn)行機(jī)械臂的逆運動學(xué)解算和路徑規(guī)劃，得出機(jī)械臂各個關(guān)節(jié)轉(zhuǎn)動角度及運動距離，并將所得到的運動指令通過Socket 通信傳輸給機(jī)械臂控制器，來控制末端機(jī)械爪實現(xiàn)抓取作業(yè)，同時控制器實時反饋機(jī)械臂在空間中的位姿，最終實現(xiàn)整個系統(tǒng)的識別與抓取。

圖2 系統(tǒng)工作流程圖

2 目標(biāo)識別網(wǎng)絡(luò)模型

YOLO（You Only Look Once）的核心思想是將目標(biāo)檢測問題轉(zhuǎn)變?yōu)橐粋€回歸問題，將整張圖像作為網(wǎng)絡(luò)的輸入，通過一個神經(jīng)網(wǎng)絡(luò)直接得到目標(biāo)邊界框的位置與所屬類別。YOLOv4 網(wǎng)絡(luò)是由CSPNet 和Darknet-53 網(wǎng)絡(luò)組合而成的CSPDarknet-53 特征提取網(wǎng)絡(luò)、空間金字塔池化模塊（Spatial Pyramid Poling，SPP）和路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PANet）組合而成的中間層部分、YOLOv3 的Head部分所組成。該文主要對YOLOv4 的骨干網(wǎng)絡(luò)、PANet 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)。針對骨干網(wǎng)絡(luò)CSPDarknet-53，將最開始的3×3標(biāo)準(zhǔn)卷積層中的第一次3×3標(biāo)準(zhǔn)卷積層均替換成深度可分離卷積層。針對PANet，將所有標(biāo)準(zhǔn)卷積層均替換為深度可分離卷積層。記改進(jìn)后的YOLOv4 算法為D-YOLOv4。和標(biāo)準(zhǔn)卷積操作相比，深度可分離卷積可以降低參數(shù)量，提高運行速度。

使用COCO數(shù)據(jù)集對原YOLOv4網(wǎng)絡(luò)與改進(jìn)的D-YOLOv4網(wǎng)絡(luò)進(jìn)行訓(xùn)練測試，得到的性能對比見表1。可以看出改進(jìn)的D-YOLOv4 網(wǎng)絡(luò)的參數(shù)量是原網(wǎng)絡(luò)的39.05%，檢測速度提高了4.6f/s，雖然mAP 減少了1.5%，但是可以滿足試驗實時性的需求，精度也在可接受范圍之內(nèi)，改進(jìn)的D-YOLOv4 算法網(wǎng)絡(luò)可以滿足該文試驗要求。

表1 不同模型性能比較

3 目標(biāo)抓取位姿預(yù)測

對于目標(biāo)抓取預(yù)測，該文采用端到端的卷積神經(jīng)網(wǎng)絡(luò)模型，與檢測識別類似，通過訓(xùn)練抓取網(wǎng)絡(luò)模型來實現(xiàn)圖像輸入網(wǎng)絡(luò)后直接輸出預(yù)測抓取位姿。物體的位姿由矩形框的位置和方向表示，該文使用的是五維參數(shù)表示法[4]，即G=（x，y，w，h，θ），其中包括預(yù)測抓取框中心點（x，y）、抓取框?qū)挾群透叨龋╳，y）以及抓取角度θ。其評價指標(biāo)通常為預(yù)測值與真實值之間的差別。該文抓取預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，將改進(jìn)的D-YOLOv4 網(wǎng)絡(luò)中的D-CSPDarknet-53 作為特征提取結(jié)構(gòu)。在D-CSPDarknet-53 進(jìn)行特征提取之后進(jìn)行SPP 模塊的最大池化操作，增強(qiáng)感受野并輸出融合的特征層。最后通過D-PANet2 模塊的2 次上采樣輸出進(jìn)行抓取預(yù)測的特征圖。記構(gòu)建的目標(biāo)抓取預(yù)測網(wǎng)絡(luò)為D-YOLOv4-grasp。

圖3 D-YOLOv4-grasp 網(wǎng)絡(luò)結(jié)構(gòu)

圖3 中的D-CSPDarknet-53 是抓取網(wǎng)絡(luò)的特征提取部分，SPP 是池化層模塊，D-PANet2 是中間層部分的路徑聚合網(wǎng)絡(luò)，DConvBNMish、DConvBNLeaky 是指改進(jìn)后的深度可分離卷積層。假設(shè)以大小為608×608×3 的RGB 圖像為輸入，經(jīng)過D-YOLOv4-grasp 抓取網(wǎng)絡(luò)生成一個維度為76×76×128的特征圖，再通過預(yù)測模塊輸出預(yù)測抓取框，最后通過坐標(biāo)回歸輸出抓取坐標(biāo)。

為了提高網(wǎng)絡(luò)普適性和調(diào)節(jié)網(wǎng)絡(luò)權(quán)重，可以采用遷移學(xué)習(xí)的方法，先利用開源數(shù)據(jù)集對D-YOLOv4-grasp 特征提取部分進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練的權(quán)重，再在Cornell grasp 抓取數(shù)據(jù)集中進(jìn)行訓(xùn)練。將訓(xùn)練數(shù)據(jù)集中抓取框的4 個頂點坐標(biāo)通過五參數(shù)表示法轉(zhuǎn)化成抓取數(shù)據(jù)集中的真實值（X0，Y0，H0，W0，θ0）。五參數(shù)表示結(jié)果如圖4 所示。

圖4 五參數(shù)抓取矩形在圖像中的描述

圖4 中，（X0，Y0）為抓取物體中心在平面坐標(biāo)系的橫、縱坐標(biāo)，（H0，W0）為抓取時機(jī)械臂末端執(zhí)行器的開合長度與寬度，θ0為執(zhí)行器與水平的夾角，[（x1，y1），（x2，y2），（x3，y3），（x4，y4）]為抓取矩形框的4 個頂點坐標(biāo)。根據(jù)圖4，（X0，Y0，H0，W0，θ0）的計算如公式（1）所示。

式中：X0為物體中心橫坐標(biāo)；Y0為物體中心縱坐標(biāo)；H0為末端執(zhí)行器的最大開合長度；W0為末端執(zhí)行器的寬度；θ0為執(zhí)行器與水平方向的夾角；[（x1，y1），（x2，y2），（x3，y3），（x4，y4）]為抓取矩形框的4 個頂點坐標(biāo)。

根據(jù)公式（1）可知，為了避免出現(xiàn)預(yù)測框與真實框重合的情況，需要將角度值限制在-80°~80°，也可避免W0絕對豎直情況的出現(xiàn)。該文采集的數(shù)據(jù)集不帶深度信息，在標(biāo)注過程中將可成功抓取的矩形框記為正樣本，不能成功抓取的矩形框記為負(fù)樣本，這些可抓取、不可抓取的標(biāo)記會受人類經(jīng)驗的影響，因此樣本越多越好。

網(wǎng)絡(luò)的訓(xùn)練過程，即權(quán)重的更新過程主要通過反向傳播實現(xiàn)。要進(jìn)行反向傳播和優(yōu)化，就要定義網(wǎng)絡(luò)的損失函數(shù)，并通過最小化損失函數(shù)找到最優(yōu)解。該文將均方差（MSE）作為損失函數(shù)，隨機(jī)梯度下降法（SGD）作為優(yōu)化器。損失函數(shù)的定義如公式（2）所示。

式中：Lgp_reg為損失函數(shù)；為坐標(biāo)預(yù)測值；Ci為坐標(biāo)真實值為角度預(yù)測值；θi為角度真實值；λ為角度加權(quán)值，該文取為10；N為樣本批量。

抓取網(wǎng)絡(luò)訓(xùn)練采用遷移學(xué)習(xí)的方法，先將D-YOLOv4-grasp 模型在公開數(shù)據(jù)集PASCAL VOC2007 和COCO 上進(jìn)行預(yù)訓(xùn)練，只訓(xùn)練網(wǎng)絡(luò)模型前面的特征提取部分。在預(yù)訓(xùn)練階段，首先訓(xùn)練20 個epoch，初始學(xué)習(xí)率設(shè)為0.001，然后訓(xùn)練50 個epoch，學(xué)習(xí)率設(shè)置為0.0001，最后完成預(yù)訓(xùn)練。在抓取訓(xùn)練階段，將預(yù)訓(xùn)練得到的權(quán)重參數(shù)作為初始值，同時開放網(wǎng)絡(luò)所有層，使用Cornell grasp 抓取數(shù)據(jù)集進(jìn)行微調(diào)訓(xùn)練，首先訓(xùn)練20 個epoch，學(xué)習(xí)率設(shè)置為0.001，然后訓(xùn)練50 個epoch，學(xué)習(xí)率設(shè)置為0.0001 并保持不變，最后完成抓取網(wǎng)絡(luò)模型的訓(xùn)練。

4 平臺搭建與結(jié)果分析

試驗物理樣機(jī)由D-YOLOv4 目標(biāo)檢測算法、D-YOLOv4-grasp 抓取網(wǎng)絡(luò)、機(jī)械臂及其控制系統(tǒng)，如圖5 所示。

圖5 試驗物理樣機(jī)

試驗測試表明，該文研究的D-YOLOv4 目標(biāo)檢測算法的檢測速度在試驗條件下可以達(dá)到0.23s，滿足實時性要求。構(gòu)建的D-YOLOv4-grasp 抓取網(wǎng)絡(luò)可以實現(xiàn)抓取預(yù)測，部分正確抓取預(yù)測結(jié)果如圖6 所示。從圖6 可以看出，無論是規(guī)則的物體（小盒子、紙巾包、噴霧瓶）還是不規(guī)則的物體（手表、牙膏、剃須刀、梳子、牙刷、護(hù)手霜），該文提出的D-YOLOv4-grasp 網(wǎng)絡(luò)都可以較好地實現(xiàn)對抓取框的預(yù)測，然后通過五參數(shù)法就可以計算出抓取框的中心坐標(biāo)（x，y）和抓取角度θ，再控制機(jī)械臂完成抓取。

圖6 部分正確抓取預(yù)測結(jié)果

無論是規(guī)則物體，還是不規(guī)則物體，實際最佳抓取中心點位置通常都位于物體的中心軸線上，因此該文將抓取預(yù)測中心點的位置與實際抓取物體的中心軸線的最短距離定義為抓取位置偏差，將抓取預(yù)測角度與實際抓取物體角度的差值定義為抓取角度偏差。圖6 所示的抓取預(yù)測結(jié)果與實際最佳抓取位置和角度的偏差見表2。

表2 抓取預(yù)測與實際抓取偏差表

根據(jù)表2 可知，對不同物體，D-YOLOv4-grasp 網(wǎng)絡(luò)預(yù)測得到的結(jié)果與實際最佳抓取位置的平均位置偏差為0.94mm，平均角度偏差為3.78°，可以滿足精度要求。

5 結(jié)語

該文改進(jìn)了YOLOv4 算法，以深度可分離卷積替換YOLOv4 特征提取部分及中間層的標(biāo)準(zhǔn)卷積，降低了參數(shù)量，提高了網(wǎng)絡(luò)速度，實現(xiàn)了視覺工業(yè)機(jī)器人的目標(biāo)快速檢測。然后構(gòu)建了D-YOLOv4-grasp 抓取預(yù)測網(wǎng)絡(luò)，并通過試驗研究和數(shù)據(jù)分析證明該網(wǎng)絡(luò)可以實現(xiàn)目標(biāo)抓取框預(yù)測。最后搭建了視覺工業(yè)機(jī)器人目標(biāo)識別與抓取系統(tǒng)試驗平臺，采用該文提出的D-YOLOv4 目標(biāo)檢測算法以及D-YOLOv4-grasp 抓取預(yù)測網(wǎng)絡(luò)，可以實現(xiàn)視覺工業(yè)機(jī)器人的目標(biāo)快速識別與抓取。