朱新龍， 崔國華， 陳賽旋， 楊琳

(上海工程技術大學機械與汽車工程學院， 上海 201620)

0 前言

隨著我國智能制造轉型升級進程不斷加快，工業(yè)機器人應用領域也不斷拓展，除了生產環(huán)節(jié)以外，在搬運、分揀、碼垛等物流環(huán)節(jié)的應用也在逐步廣泛。在倉儲物流中，多種類混合拆垛、碼垛一直是物流倉儲行業(yè)難點，多種尺寸規(guī)格的物體，傳統(tǒng)的拆垛機器人無法完成精準的檢測、識別定位。2018年視比特機器人有限公司研發(fā)了基于3D視覺引導機器人多SKU混合無序箱子拆垛、碼垛機器人。機械科學研究總院席云飛[1]基于3D視覺技術設計了紙箱拆垛方案，解決了垛型未知的自動化拆垛問題。山東大學魏卓[2]結合物流倉儲情況，提出了一個面向物流場景的拆垛機器人視覺系統(tǒng)框架。其中，物體的識別定位一直都是機器人拆垛、碼垛過程中研究的重點內容。

目標識別通常使用2D視覺，翟敬梅等[3]提出了一種基于2D圖像信息的目標物體識別與抓取方法。李志昂等[4]提出一種基于SURF算法和RGB顏色空間相結合的目標對象特征提取方法。但由于缺乏物體的深度信息，在姿態(tài)估計方面，基于2D視覺對物體的姿態(tài)估計不夠準確，而3D視覺有著較好的效果。BUCHHOLZ等[5]提出了一種激光掃描點云數據與CAD數據匹配的高度柔性bin-pick系統(tǒng)。WU等[6]提出了一種基于CAD模型的六自由度姿態(tài)估計方案。王玉等人[7]提出了一種基于三維圖像與CAD模型匹配的工業(yè)機器人視覺定位方法。然而因點云數量較多，CAD模型和場景點云匹配計算量大，且點云間尺度不一致，從而影響配準時的精度與速度[8]；同時點云的預處理比較復雜，使得3D視覺的匹配效率較低。因此，本文作者提出了一種基于改進Mask R-CNN與局部點云匹配迭代優(yōu)化相結合的方法，有效提高工業(yè)機器人的拆垛、分揀及碼垛效率。

1 系統(tǒng)平臺設計

如圖1所示，文中搭建視覺引導下的協(xié)作機器人拆垛、分揀及碼垛系統(tǒng)的實驗平臺，實驗平臺分為視覺平臺和抓取平臺。視覺平臺由RGBD相機構成，在視覺系統(tǒng)中，根據機器人與相機的相對位置不同分為eye-in-hand與eye-to-hand 兩種類型，此平臺為eye-to-hand視覺系統(tǒng)。由于相機最佳深度范圍800～1 300 mm，RGBD相機固定在工作平臺正上方的位置，距離工作平臺的高度為1 000 mm，保證視野在最佳深度范圍內。

圖1 系統(tǒng)平臺Fig.1 The system platform

抓取平臺由UR5協(xié)作機器人、末端執(zhí)行器二手指及固定支架構成，UR5的負載為50 N，安全性高，操作靈活性大且精度較高；由于此實驗平臺抓取的目標物體為方形木塊，因此選取了二手指作為末端執(zhí)行器；實驗為了抓取方便，把UR5安裝在特制的固定支架上，與實驗平臺呈45°安裝，模仿了工人工作時的手臂操作形式。

2 基于2D-3D視覺的機器人識別定位

文中將改進后的Mask R-CNN與點云的匹配迭代優(yōu)化方法結合起來，完成對堆垛物體檢測識別和位姿估計。系統(tǒng)框架分為目標檢測部分和位姿估計部分：目標檢測部分利用改進的Mask R-CNN網絡，得到目標所屬的類別、包絡框及掩膜，結合深度信息生成的場景點云；位姿估計部分通過改進的ICP(Interactive Closest Point)算法將局部點云模型和分割后的場景目標點云迭代匹配，完成對堆垛物體的位姿估計。系統(tǒng)的整體框架如圖2所示。

圖2 基于實例分割與迭代優(yōu)化方法的拆垛碼垛方法系統(tǒng)框架

2.1 基于改進Mask R-CNN網絡的目標檢測識別

2.1.1 基于Mask R-CNN的改進

Mask R-CNN[9]是基于2D視覺識別的卷積神經網絡，基于Faster R-CNN添加了掩膜分支，同時用ROIAlign替換掉ROIPooling，通過雙線性插值使Mask R-CNN能夠得到物體的像素級掩膜。另一方面，為了強化特征提取網絡，Mask R-CNN采用FPN與ResNeXt-101作為特征提取網絡，達到state-of-the-art的效果。在現實場景的抓取環(huán)境下，由于CNN提取的特征缺乏旋轉不變性，所以訓練的模型不能夠較好地識別出旋轉角度過大的物體[10]。

圖3 STN模塊Fig.3 STN module

(1)

2.1.2 Mask R-CNN模型訓練

文中以木塊作為檢測識別目標，對改進前后的Mask R-CNN模型訓練，模型訓練時使用的是TensorFlow和Keras深度學習框架。在訓練前確定合適的迭代周期與迭代次數，每當完成一次迭代周期得到對應的損失函數值。在模型參數設置中，最大的迭代周期設置為100個epoch，所有標簽在每個epoch完成一次迭代，初始學習率及學習率衰減系數均設置為0.001，動量設置為0.9。模型訓練類別系數設置為2，IMAGES_PER_GPU設置為1，RPN_ANCHOR_SCALES設置為(8×6，16×6，32×6，64×6，128×6)，比例設置為(0.5，1，2)。經過100個epoch的迭代，改進前后Loss值變化如圖4所示，Loss值在完成30次迭代后趨于穩(wěn)定。

圖4 損失函數值Fig.4 Loss function value

2.1.3 Mask R-CNN模型測試

在堆垛物體的識別檢測中，Mask R-CNN不僅可以準確地識別出物體的種類，還可以對它進行實例分割。模型訓練完后對堆垛的物流箱1和物流箱2的木塊進行檢測識別，如圖5所示。對100組樣品進行檢測，識別率超過85%判定識別正確。將改進前后Mask R-CNN的檢測識別結果對比，如表1所示，改進前后物流箱1和物流箱2的平均識別準確率分別為91%和97%，改進后的Mask R-CNN框架對物體的識別準確率有著較大提升，誤識別及未識別較低，滿足實驗對識別精度的要求。

圖5 物流箱1和物流箱2的識別結果

表1 改進前后Mask R-CNN的檢測識別結果對比

2.2 基于3D局部點云的位姿估計

2.2.1 構建物體的三維點云模型

在模板點云構建中，局部點云模型法相較三維掃描法[12]、逐幀拼接法[13]有著獨特的優(yōu)勢。三維掃描法是使用掃描儀器構建目標對象的三維點云模型，所得的點云整齊且誤差小，如圖6所示。但三維掃描法與相機所得的模型在特征和尺度上存在著較大的差異，影響著模型之間的配準。逐幀拼接法是通過相鄰幀之間的特征點，計算其轉換矩陣，把轉換矩陣運用到場景點云中[13]。逐幀拼接法對場景點云的運算量大，由于人工刪除無效點，點云模型變形較為嚴重。

圖6 FARO掃描臂(a)和掃描的三維點云(b)

針對文中的協(xié)作機器人拆垛、分揀及碼垛系統(tǒng)，利用局部點云模型法來構建模板點云模型，更有利于對目標物體的姿態(tài)估計。首先利用相機采集模板物體的圖像，通過2D視覺檢測識別，得到模板物體的ROI區(qū)域。將該區(qū)域的深度圖轉變對應的點云，通過ICP算法拼接成模板物體的局部點云，如圖7所示，獲得模板點云模型。雖獲取的模板點云模型精度不是很高，但其精度與相機采集到的場景物體點云相同，使得點云配準與姿態(tài)估計較為精準，同時也降低了由于點云尺度帶來的影響。

圖7 局部點云法構建的模板點云模型

2.2.2 ROI局部點云與模型點云的配準

將ROI局部點云與模板點云配準來進行姿態(tài)估計。首先利用改進的Mask R-CNN網絡得到目標所屬的類別、包絡框及掩膜，結合點云信息分割目標點云，得到物體場景局部點云，如圖8所示。

圖8 物體場景局部點云Fig.8 Local point cloud of object scene

ICP算法在點云配準中使用較多，在文中的協(xié)作機器人拆垛、分揀及碼垛系統(tǒng)中，對ROI場景點云與模板點云的配準關系進行計算，從而得到目標物體的姿態(tài)信息。由于利用局部點云法，場景點云與模板點云中點的數量較少，降低了ICP算法搜尋點對帶來的影響。此系統(tǒng)中點云噪聲點較少，其帶來的誤差對ICP算法影響也相對較小。因此，文中對場景點云和模板點云進行配準適合選用ICP算法。

ICP算法[14]的基本原理是在待匹配的目標點云P和源點云Q中，根據約束條件來尋找最鄰近點(pi，qi)，通過計算得到最優(yōu)匹配參數R和t，從而使誤差函數取得最小值。其中誤差函數E(R，t)為

(2)

式中：pi為目標點云中的點；qi為源點云Q中與pi對應的最近點；n為最鄰近點對的個數；R為旋轉矩陣；t為平移向量。

設文中的物體模板點云為S，場景點云為T，si和ti為點云S和T中的點。

S={s1,s2,…,sn}∈F1

(3)

T={t1,t2,…,tn}∈F2

(4)

在點云配準時，為使R和T有式(5)的關系：

?i,ti=Rsi+T

(5)

在實際配準中，通過點對間的誤差值對其配準結果進行衡量：

(6)

改進的ICP算法對ROI局部點云和模板點云配準時，主要步驟如圖9所示。

圖9 點云配準流程Fig.9 Flow of point cloud registration

2.2.3 四元數與目標物體姿態(tài)估計

在物體姿態(tài)估計中，四元數、旋轉矩陣及歐拉角都能通過旋轉來表示物體的姿態(tài)信息。其中四元數與旋轉矩陣相比，四元數僅需4個數據就能替代旋轉矩陣16個數據來表示旋轉，降低了運算的復雜性。在表示旋轉中四元數與歐拉角對比，四元數不需指定旋轉條件，同時四元數不會出現萬向節(jié)鎖現象[8],故文中選用四元數對目標物體進行姿態(tài)估計。

ICP算法最終的點云配準結果采用旋轉矩陣和平移矩陣來表示，文中通過四元數對物體和機器人末端的姿態(tài)進行描述，把旋轉矩陣轉變?yōu)橄鄳乃脑獢?，對目標物體姿態(tài)信息進行表示。其中，模板點云提前設定好其最佳抓取姿態(tài)，保證其抓取的準確率。

3 實驗及結果分析

3.1 視覺系統(tǒng)的標定實驗

視覺系統(tǒng)的標定，通過坐標系轉換關系將RGBD相機與UR5協(xié)作機器人聯系起來。機器人相機標定，構建出圖像中目標物的像素坐標位置與世界坐標系中位置坐標的變換關系，建立相機成像的幾何模型。

之后再進行eye-to-hand手眼標定，通過求解得到RGBD相機坐標系到機器人基座坐標系的轉換矩陣。將物體在相機視野下的位置坐標，轉換成機器人基坐標系下的位置坐標，從而精準地控制機器人抓取物體。

文中標定板選取的是7×5的棋盤格，每個方格大小為24 mm×24 mm。標定時，拍攝采集了機器人處于10個不同位置姿態(tài)的標定板圖像，通過標定板中黑白格子交叉角點的相對位置求解相機標定的內參矩陣和外參矩陣。

圖10所示為實驗標定過程，表2所示是手眼標定結果。

圖10 系統(tǒng)標定過程

表2 手眼標定結果Tab.2 Hand-eye calibration results

3.2 基于3D局部點云的位姿估計實驗

ICP配準算法省去了點集的特征提取與分割過程，相對于同類算法有著較好的算法收斂性且配準結果較為精確[15]。然而針對場景點云和模板點云的鄰近點的計算，每次都需進行迭代，對應點對的搜索計算量較大。文中對ICP算法改進，引入了K維樹鄰域搜索，較大程度上減少了搜索時間，提升了配準算法的速度。

點云的精匹配中ICP配準算法比較常用，它有著比較高的配準精度，但由于ICP算法有著較高的點云初始位置要求。為了確保配準的精度，一般在精配準前先通過RANSAC等粗配準算法來預匹配[16]。在文中的識別抓取環(huán)境中，由于場景ROI局部點云與模板點云都是通過局部點云法得到的，兩者特征及尺度差距不大，實驗可以省去點云粗匹配過程。

根據最近點確立關系，ICP算法迭代計算易陷入局部最優(yōu)解。但在實驗中，ROI局部點云與模板點云中點的數量較少，且在位置姿態(tài)上存在著差異，很大程度上避免了陷入局部最優(yōu)解。實驗結果表明：加入了K維樹鄰域搜索使得ICP算法在姿態(tài)估計中有著較好的表現。圖11所示為目標物體匹配過程示意。

圖11 目標物體匹配過程示意

圖12所示為ICP位置誤差與迭代次數的關系，可以看出：隨著迭代次數的增加，ROI局部點云與模板點云配準時位置誤差逐漸減小，迭代前期減少較快，后期變化逐漸緩慢。

圖12 ICP位置誤差與迭代次數的關系

在ROI局部點云與模板點云的ICP匹配中，由于點云中點的數量并不多，迭代10次ICP位置誤差就達到了0.988 mm，小于1 mm。如果進一步增加迭代次數，匹配誤差也得不到較大的改善，此時的位置誤差滿足了實驗誤差要求，迭代終止。

由ICP匹配算法所得旋轉平移矩陣為

(7)

在UR5協(xié)作機器人系統(tǒng)中，待抓取物體的位置為(x，y，z)，其姿態(tài)信息為(x1，y1，z1，w)。通過改進后ICP算法得到點云配準結果，即為式(7)所示的旋轉平移矩陣。把旋轉矩陣轉變?yōu)橄鄳乃脑獢祵δ繕宋矬w姿態(tài)信息進行表示，則待抓取物體的位置為(0.017 834，0.012 421，-0.001 717)時，姿態(tài)為(-0.001 625 12，0.009 300 71，-0.007 675 58，0.999 925 97)。將最終得到的物體姿態(tài)信息傳輸給機器人末端，使其根據目標物體的實際姿態(tài)來調整二手指抓取姿態(tài)。模板點云提前設定好其最佳抓取姿態(tài)，機器人末端的二手指通過旋轉移動來完成每次最佳姿態(tài)的抓取，保證其抓取的準確率。

3.3 機器人拆垛、分揀碼垛實驗

實驗對不同類型木塊進行拆垛，為了降低不同場景下點云分割的復雜程度，對目標物體點云進行了分層處理。深度相機拍攝時與實驗臺的工作區(qū)域垂直，采集數據后，首先確定碼垛物體點云最高點。利用2D視覺識別出最高層的物體，獲得物體表層ROI點云。計算出物體位姿，把木塊的位姿信息傳輸給機器人，完成對位置最高木塊的拆垛抓取。圖13所示為木塊識別抓取順序流程，圖14所示為UR5協(xié)作機器人抓取識別定位過程。

圖13 木塊識別抓取順序流程

圖14 機器人抓取識別定位過程

實驗拆垛、分揀及碼垛對象分為2種類型的木塊，分別標記為物流箱1、物流箱2，在相機的測量范圍及UR5協(xié)作機器人的工作空間內，把2種類型的木塊隨意碼垛在工作臺上，結合2D-3D視覺識別出目標物體的位置和姿態(tài)，引導UR5協(xié)作機器人和二手指完成對物流箱1和物流箱2的拆垛、分揀實驗。相機首先識別出碼垛堆中木塊的深度信息，完成對位置最高木塊的識別定位，然后對其進行抓取。實驗將分揀后的物流箱1和物流箱2分兩列放置，UR5抓取后對其進行分類碼垛。實驗過程如圖15所示。

圖15 機器人拆垛(a)、分揀(b)和碼垛(c)實驗

4 結束語

(1)實驗結果表明，加入STN模塊的Mask R-CNN網絡框架對物體的識別準確率達到97%，相較于改進前有著較大的提升，滿足實驗對識別精度的要求。

(2)在點云的匹配迭代優(yōu)化位姿估計中，ROI局部點云與模板點云的匹配迭代10次，位置誤差可達到1 mm以內，減少了模板點云與ROI點云配準的迭代次數，有效提升了點云匹配的效率。

(3)拆垛分揀過程為了降低不同場景下點云分割的復雜程度，對目標物體點云進行了分層處理，有效提高了工業(yè)機器人的拆垛、分揀及碼垛效率，其性能可以滿足實際應用的要求。針對復雜多變的倉儲物流環(huán)境，該系統(tǒng)的可移植性較好，可以作為倉儲物流行業(yè)的解決方案來進一步擴展。