朱 穎, 黃宇鈞, 張亞婉, 唐艷鳳, 屈?？?/p>

(廣州華立學(xué)院，廣州 511325)

0 引言

視覺感知使搬運機器人從傳統(tǒng)的不可移動的工業(yè)機器人，逐漸發(fā)展為可實現(xiàn)走向自由移動、智能分揀、往返搬運的移動機器人。利用RGB-D深度相機獲得場景的彩色圖和深度圖像，實現(xiàn)對場景的三維重建，獲取目標(biāo)位姿信息等被廣泛應(yīng)用于智能協(xié)作機器人[1-2]。精準(zhǔn)取物是搬運作業(yè)機器人的基本功能之一[3]。目標(biāo)物料的識別與定位直接決定著機器人取物精度。

目標(biāo)識別與定位主要有基于圖像處理技術(shù)、基于機器學(xué)習(xí)的圖像分割技術(shù)與分類器、基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法等[4]。文獻(xiàn)[5]提出結(jié)合CIE-Lab顏色空間和深度信息對物體進(jìn)行分割識別；文獻(xiàn)[6]通過形態(tài)學(xué)與Canny邊緣檢測相結(jié)合的算法識別目標(biāo)物體，并獲取其中心坐標(biāo)，但是缺少目標(biāo)姿態(tài)的識別；文獻(xiàn)[7]提出基于連通域Blob分析與神經(jīng)網(wǎng)絡(luò)分類器相結(jié)合的方法對隨機擺放的多類型工件進(jìn)行分類識別和定位，該算法的實效性不太理想；文獻(xiàn)[8]通過SURF與Grabcut相結(jié)合算法識別目標(biāo)物體，利用模板匹配求取目標(biāo)物體形心的世界坐標(biāo)；文獻(xiàn)[9]利用改進(jìn)遺傳算法GA與最佳直方圖(KSW)熵融合的方法對目標(biāo)識別；文獻(xiàn)[10-11]對Faster RCNN的快速神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)對小目標(biāo)物體的識別與定位有較高精度并具有時效性。這些算法大部分缺少對目標(biāo)姿態(tài)的識別，不能滿足機器人對隨機擺放的目標(biāo)進(jìn)行準(zhǔn)確作業(yè)的要求。

本文針對單目相機和雙目相機識別精度低造成目標(biāo)物料定位精度低等問題采用RGB-D相機進(jìn)行圖像的采集與深度信息獲取。目前基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法大多實時性和精確性不夠[4]，針對搬運機器人目標(biāo)檢測與定位的實時性問題，提出了基于HSV顏色空間的改進(jìn)Otsu分割算法對物料進(jìn)行識別；針對作業(yè)環(huán)境復(fù)雜，物料擺放多變等問題，提出了Graham與旋轉(zhuǎn)卡殼相結(jié)合的算法尋找最小外接矩來獲取目標(biāo)物料的準(zhǔn)確位姿。

1 目標(biāo)物料識別

目標(biāo)物料識別是物料抓取的第一步，主要包括物料信息采集與預(yù)處理、物料的識別。目標(biāo)識別步驟一般可分為：圖像采集、顏色空間選取、圖像預(yù)處理、圖像分割與識別等。本文物料目標(biāo)識別流程如圖1所示。

圖1 目標(biāo)物料識別步驟

本文采用RGB-D深度相機進(jìn)行圖像的采集，選取最接近人眼視覺的HSV顏色空間進(jìn)行目標(biāo)物料自動閾值分割，對分割后的特征集進(jìn)行高斯濾波與形態(tài)學(xué)處理，獲取更精準(zhǔn)的特征進(jìn)行識別。

1.1 圖像的采集

本系統(tǒng)采用樂視RGB-D深度相機對圖像進(jìn)行采集與獲取視覺信息，RGB-D相機由RGB鏡頭與深度鏡頭構(gòu)成，能獲得場景的紋理圖像與深度圖像。RGB鏡頭采用常見小孔成像鏡頭，深度相機是一種主動成像設(shè)備，通過紅外發(fā)射器發(fā)出預(yù)定義紅外模式，紅外接收器接收回波，根據(jù)三角測距原理計算出目標(biāo)點距離鏡頭的深度，RGB-D相機結(jié)構(gòu)如圖2所示。

圖2 樂視深度相機的結(jié)構(gòu)

結(jié)構(gòu)光測距對投射光源進(jìn)行了編碼和特征化，相機拍攝的圖像是被編碼光源投影到物體上并經(jīng)過了物體表面深度調(diào)制過的。結(jié)構(gòu)光采用三角視差測距，物體距離越遠(yuǎn)則精度越高。

1.2 HSV顏色空間

機器人環(huán)境變光強條件顯著影響拍攝圖像的RGB顏色空間像素值，從而影響物料識別算法的精確性和穩(wěn)定性，本文采用HSV(Hue，Saturation，Value)顏色空間物料進(jìn)行識別。HSV模型是根據(jù)顏色的直觀特性模型，也稱六角錐體模型，可通過調(diào)節(jié)H分量來確保物料顏色特征的識別精度，調(diào)節(jié)S分量使其適應(yīng)不同色調(diào)光照環(huán)境，調(diào)節(jié)V分量適應(yīng)不同光照強度，提升環(huán)境自適應(yīng)能力。

提出“H窄，S寬，V動態(tài)”的新雙閾值選取方式，通過H(色相)分量閾值范圍調(diào)小的方式來確保物料顏色特征的識別精度，調(diào)節(jié)S(飽和度)分量的閾值范圍擴大適應(yīng)不同色調(diào)光照環(huán)境，提高識別的精度、魯棒性以及算法能力對環(huán)境的適應(yīng)能力。通過V(亮度)變化的閾值范圍，適應(yīng)圖片中穩(wěn)定的光照，讓視覺在光照發(fā)生變化時也能進(jìn)行及時的調(diào)節(jié)，提升環(huán)境適應(yīng)能力。

1.3 目標(biāo)物料圖像分割

本文實驗物料識別對色相的精度要求較高，故不進(jìn)行濾波處理直接在HSV顏色空間進(jìn)行圖像分割，為滿足機器人實時性要求采用閾值分割算法對物料進(jìn)行分割。

本文對色相H進(jìn)行圖像分割，通過對H進(jìn)行細(xì)調(diào)使H閾值范圍變小，可精確將特定顏色特征進(jìn)行分割。亮度V相對獨立，可通過后期動態(tài)調(diào)整圖片亮度均值或者中值，使其適應(yīng)各種光照環(huán)境。本實驗系統(tǒng)物料的材質(zhì)固定，在不同環(huán)境下其飽和度變化不大，不同色系的冷暖光照射將改變局部飽和度，可通過飽和度閾值適當(dāng)加大來增強魯棒性。本文采用Otsu算法即最大類間方差法進(jìn)行自動閾值分割，最大類間方差閾值的求解過程不需要人為設(shè)定其他參數(shù)，由計算機自動選取。并對分割出來的特征集，進(jìn)行面積、形狀等特征分析獲取目標(biāo)集。

1.4 組合濾波算法

Otsu算法對直方圖具有明顯雙峰的圖像效果理想，而物料的局部亮斑和陰影很容易產(chǎn)生噪聲并影響分割目標(biāo)的完整度，需對分割出的目標(biāo)進(jìn)行去噪與斷裂補全處理。本文采用改進(jìn)組合濾波算法對噪聲進(jìn)行濾波與補全處理。

首先采用高斯濾波算法對小噪聲點進(jìn)行濾波，并保持邊緣。高斯濾波器對噪聲處理效果由濾波窗口尺寸大小決定，窗口大則會導(dǎo)致圖像變得模糊丟失信息；當(dāng)窗口較小，則去噪效果不理想。選擇3×3的濾波窗口對物塊圖像進(jìn)行實驗。在去除較小噪聲的同時，圖像邊緣輪廓也比較清晰。

為了對斷裂進(jìn)行補全、消除較大噪聲對圖像信息的干擾、同時保證圖像的完整性，本文采用對噪聲比較敏感的形態(tài)學(xué)低通濾波器OC-CO對分割后圖像進(jìn)行處理。數(shù)學(xué)形態(tài)學(xué)用腐蝕、膨脹、開運算、閉運算及其組合以及不同形狀和長度的結(jié)構(gòu)元素對信號進(jìn)行處理。

開閉和閉開運算組合并取平均可構(gòu)成形態(tài)學(xué)低通濾波器OC-CO即：

(1)

其中:變量si為濾波器的輸入信號，變量Yo為濾波器的輸出信號，變量g為濾波器的結(jié)構(gòu)元素。

2 目標(biāo)定位與姿態(tài)

機械手準(zhǔn)確抓取除了需精準(zhǔn)識別出物料，還要對物料進(jìn)行定位和姿態(tài)識別，獲取物料的準(zhǔn)確位姿。根據(jù)待抓取物料是規(guī)則對稱的特點，為避免出現(xiàn)互補角度分辨不明的情況，本文提出改進(jìn)幾何矩算法獲取物料的中心坐標(biāo)與姿態(tài)。結(jié)合目標(biāo)最小外接矩的中心坐標(biāo)與深度相機獲取目標(biāo)準(zhǔn)確的深度信息。

改進(jìn)幾何矩算法通過計算幾何矩的質(zhì)心獲取物料中心像素坐標(biāo)和區(qū)域凸包質(zhì)心形成的矢量線角度計算物料旋轉(zhuǎn)角度。本文利用“旋轉(zhuǎn)卡殼模型”和“凸包效應(yīng)”對位置識別算法進(jìn)行改進(jìn)。本文提出Graham與旋轉(zhuǎn)卡殼相結(jié)合的算法尋找最小外接矩。

2.1 Graham算法

凸包是一個計算幾何學(xué)中的概念，也稱最小凸包，是指包含集合S中所有對象的最小凸集[12]。物料的凸包是由凸多邊形包圍物料輪廓而形成的又一輪廓[13]。在二維空間中一個點集S的凸包是指包含S的最小凸集合,集合X(x1、x2、x3……xn)的凸包S為：

(2)

常見的平面凸包求法有Graham掃描法[14]、Jarvis步進(jìn)法、中心法、水平法等[15]。計算二維點集凸包的經(jīng)典算法有增量法、卡殼模型，就是凸包的最小外接矩形，四條線確定一個多邊形的外接矩形模板，如圖3所示。

圖3 卡殼模型

Graham算法步驟[16]為：

1)找出參考點P0；

2)對其他點按極角進(jìn)行排序，邏輯上形成了一個簡單多邊形；

3)刪除簡單多邊形上的凹點。

其過程如圖4所示。

圖4 Graham算法步驟

2.2 改進(jìn)幾何矩算法

基于“凸包”法能夠節(jié)省更多的計算資源，由于有些多邊性端點的獲取困難，計算量大等缺點，如當(dāng)識別物體為圓弧形時，就難以輸出凸包點，將造成程序錯誤導(dǎo)致無法運算，本文對凸包算法進(jìn)行改進(jìn)，通過兩條相互垂直的旋轉(zhuǎn)線對目標(biāo)進(jìn)行掃描，獲取上下左右的最大值和最小值(minP，xmaxP，yminP，ymaxP)形成“卡殼”集合，并根據(jù)確定的坐標(biāo)與斜率確定直線，由兩條直線相交獲取矩形的4個頂點，從而算出矩形面積，求出最小面積即為物料的最小外接矩形，通過最小外接矩形計算出中心坐標(biāo)。為了簡化計算量提高速度，掃描旋轉(zhuǎn)時不區(qū)分長寬，旋轉(zhuǎn)角度豎直方向范圍為(90°，180°)、水平方向為(0°，90°)，在姿態(tài)識別時加上長寬比進(jìn)行約束。具體步驟為：

1)起始時豎直方向以角度θ0=90°、水平方向角度為θ0-90°的兩條直線對二值圖進(jìn)行掃描，獲取minP0，xmaxP0，yminP0，ymaxP0；

2)計算由minP0、xmaxP0、yminP0、ymaxP0四個坐標(biāo)和斜率確定的四條線圍成的矩形面積，并記錄坐標(biāo)、角度和面積；

3)將2)獲取的矩形框逆時針旋轉(zhuǎn)1°，重復(fù)1)和2)直到旋轉(zhuǎn)完90°；

4)識別并輸出最小面積，確定最小外接矩形；

5)根據(jù)最小外接矩形4個頂點，確定物料的中心；

6)計算外接矩豎直方向邊長Ly與水平方向邊長Lx之比，獲取物料姿態(tài)旋轉(zhuǎn)角度。Ly：Lx>1,則物料姿態(tài)旋轉(zhuǎn)角為θ；反之，則物料姿態(tài)旋轉(zhuǎn)角為θ-90°。

2.3 目標(biāo)深度測量

當(dāng)深度相機與RGB鏡頭相融合，消除視覺漂移解決深度圖像與彩色圖像不能重合的問題。物料對紅外的遮擋將在背景上形成陰影，深度圖像將不進(jìn)行物料的二次識別，直接通過外接矩進(jìn)行深度信息的獲取。

本文取相機到物料前表面中心的距離為物料的深度D，在抓取時，對機械臂的運動坐標(biāo)進(jìn)行定值補償，簡化運算與識別。具體實現(xiàn)如圖5所示，首先獲取外接矩形框內(nèi)的深度信息，考慮到物料并非為規(guī)則的矩形其邊緣與矩形框存在空隙，該空隙對應(yīng)的深度信息不是物料的深度信息需剔除；本文在外接矩中心坐標(biāo)附近選取一個圓，以排除非物料像素的干擾，再將該圓內(nèi)的深度求均值獲得深度D。

圖5 深度信息的獲取

3 實驗驗證

本文在基于ROS的移動搬運機器人上搭載RGB-D相機，對搬運物料進(jìn)行識別與位姿定位實驗。通過與文獻(xiàn)[5]的物料識別算法對比來驗證本文識別算法的精確性；而對于物料位姿定位，通過對比傳統(tǒng)幾何矩算法來驗證該算法的精確性，并改變物料狀態(tài)和環(huán)境進(jìn)行反復(fù)實驗，驗證該算法的有效性。

3.1 物料識別實驗

對比文獻(xiàn)[5]中基于CIE-Lab顏色空間的閾值分割算法，該算法通過雙閾值選擇器，選出特定閾值的色塊。該算法能夠快速計算出色塊的位置和大小，能對目標(biāo)物料進(jìn)行快速定位。當(dāng)存在與目標(biāo)物料同材質(zhì)塊狀干擾時，分別采用基于CIE-Lab閾值分割算法和基于HSV顏色空間自動閾值分割算法進(jìn)行識別，其識別效果如圖6所示。

圖6 優(yōu)化算法對強干擾的排除

從圖6中可得原圖中存在眾多干擾，如陰影、目標(biāo)物料同顏色的小藍(lán)塊、反光等光照不均等。文獻(xiàn)[5]中算法精度比較低，需要事先取閾值，受環(huán)境影響較大，易造成誤識別或識別失敗，無法消除陰影藍(lán)斑效應(yīng)等影響，雖能分割出目標(biāo)物料，同時也分割出很多偽目標(biāo)，且對于反光部分目標(biāo)缺失?；贖SV顏色空間的最大類間方差法能有效去除陰影等影響，“H窄S寬V動態(tài)”閾值選取能夠同時解決魯棒性與精確性的問題，但與目標(biāo)物料相同的小藍(lán)塊也被分割。本文算法進(jìn)一步進(jìn)行面積和形狀處理去除小藍(lán)塊。其效果如圖5所示。

當(dāng)光照發(fā)生變化時，如圖7(a)所示，物料部分被自身陰影遮蔽，環(huán)境亮度卻很強。識別出的物料易形成高反光區(qū)形成噪聲、遮蔽處產(chǎn)生斷裂甚至容易產(chǎn)生巨大的斷裂誤判為兩個或多個不同的物體，如圖7(b)所示。本文改進(jìn)算法識別效果如圖7(c)所示，改進(jìn)后算法通過改進(jìn)組合濾波算法對噪聲進(jìn)行濾波與補全處理有效消除噪聲點的影響，同時補全陰影斷裂。

圖7 局部陰影識別效果

3.2 位姿識別實驗驗證

對實驗一識別到的物料進(jìn)行定位與姿態(tài)進(jìn)行識別，其效果對比如圖8所示。

圖8 物料姿態(tài)識別效果

由圖8可得，傳統(tǒng)幾何矩算法只能定位物料的中心坐標(biāo)，無法識別物料姿態(tài)；當(dāng)出現(xiàn)干擾時，其抗干擾能力弱，輸出的中心坐標(biāo)失真；當(dāng)無明顯干擾時，傳統(tǒng)算法得到的外接矩也不是最小矩，其中心坐標(biāo)也存在偏差。采用本文算法得到最小外接矩，對物料定位更精準(zhǔn)，并能識別其姿態(tài)。

對不同位姿的物料進(jìn)行識別，如圖9所示。

圖9 物料不同位姿識別效果

由圖9可以看出，采用本文算法可對不同位姿有效識別。該算法在不同環(huán)境下能準(zhǔn)確識別物料的大小、位置、傾斜角等，具有較高的準(zhǔn)確度和魯棒性。

4 結(jié)束語

本文采用RGB-D深度相機搭建移動機器人的視覺系統(tǒng)，對搬運物料進(jìn)行圖像采集與深度信息獲得。

結(jié)合HSV顏色空間的特點，采用改進(jìn)后的Otsu分割算法對目標(biāo)物料進(jìn)行分割，然后采用高斯濾波與形態(tài)學(xué)低通濾波器OC-CO的組合濾波器對分割的特征集進(jìn)行去噪與斷裂補全處理，最后對目標(biāo)物料進(jìn)行識別。實驗結(jié)果表明，該算法對存在與目標(biāo)物料類似材質(zhì)干擾、光照發(fā)生變化、物料部分被自身陰影遮蔽、高反光區(qū)形成噪聲、遮蔽處產(chǎn)生斷裂等復(fù)雜環(huán)境均能快速準(zhǔn)確對目標(biāo)物料進(jìn)行識別。

提出了改進(jìn)幾何矩算法對物料的位置和姿態(tài)進(jìn)行識別，RGB-D深度相機結(jié)合幾何矩獲取深度信息。實驗結(jié)果表明，該算法對物料在不同環(huán)境下均能準(zhǔn)確識別出物料的大小、位置、傾斜角、深度信息等，具有較高的準(zhǔn)確度和魯棒性。