楊 帆，李鵬飛，劉 庚，王偉斌

(西安理工大學(xué) 機(jī)械與精密儀器工程學(xué)院，陜西西安710048)

至2025年，我國水果總產(chǎn)量有望突破3億噸[1]，但我國的果蔬產(chǎn)業(yè)自動(dòng)化水平偏低，大多依賴于人工操作。同時(shí)，農(nóng)村人口老齡化以及大量農(nóng)民涌入城區(qū)務(wù)工，將使得果蔬產(chǎn)業(yè)面臨勞動(dòng)力不足的問題，所以研發(fā)采摘機(jī)器人具有重要的現(xiàn)實(shí)意義。

近年來，國內(nèi)外學(xué)者在果蔬采摘機(jī)器人的目標(biāo)識(shí)別方面已經(jīng)展開了研究，Wachs等[2]通過采集到的紅外圖像和彩色圖像對目標(biāo)進(jìn)行識(shí)別。Xiang等[3]利用目標(biāo)輪廓與遮擋部分輪廓曲率差異，過濾掉具有異常曲率的輪廓點(diǎn)，并利用剩余輪廓信息構(gòu)建新的輪廓，完成對番茄目標(biāo)的識(shí)別。王海青等[4]采用最小二乘支持向量機(jī)算法，分割溫室大棚里的黃瓜圖像。徐越等[5]提出了一種基于重疊目標(biāo)的識(shí)別算法。Nuske等[6]設(shè)計(jì)了一種可以穿梭在葡萄園中進(jìn)行葡萄產(chǎn)量預(yù)測的裝置?，F(xiàn)有文獻(xiàn)主要是針對單一果實(shí)的識(shí)別與抓取，在處理多個(gè)果實(shí)的識(shí)別與定位時(shí)，采摘機(jī)器人無法準(zhǔn)確、有效地摘取果實(shí)。

本文以復(fù)雜背景下多個(gè)橘子目標(biāo)為研究對象，針對傳統(tǒng)邊緣檢測算法的不足，提出采用K-means聚類算法與Canny邊緣檢測算法相結(jié)合的方法對橘子目標(biāo)輪廓進(jìn)行識(shí)別。運(yùn)用單目立體視覺平移測量模型對多個(gè)橘子目標(biāo)進(jìn)行定位，并進(jìn)行實(shí)驗(yàn)驗(yàn)證，為采摘機(jī)器人實(shí)時(shí)摘取多目標(biāo)技術(shù)的研究提供參考。

1 圖像分割與識(shí)別

1.1 傳統(tǒng)的邊緣檢測算法

目標(biāo)輪廓是圖像中灰度值發(fā)生劇烈變化的像素構(gòu)成的集合，包含了目標(biāo)形狀的所有信息。通過檢測目標(biāo)的輪廓，可以完成對目標(biāo)的識(shí)別。在圖像處理中，常用的微分邊緣檢測算法有Robert算子[7]、Prewitt算子[8]、Sobel算子[9]等。這些算法選擇不同的模板遍歷圖像中的每個(gè)像素點(diǎn)，對像素點(diǎn)灰度值分別沿x和y方向求偏導(dǎo)，得到偏導(dǎo)分量后，采用不同的范數(shù)計(jì)算該像素點(diǎn)梯度矢量的幅值，以該幅值作為目標(biāo)邊緣檢測的依據(jù)。

例如采用Robert算子對原始圖像圖1(a)和(c)中橘子目標(biāo)進(jìn)行邊緣檢測，其效果圖分別如圖1(b)和(d)所示。從該效果圖中可以看出，圖像中背景線條邊緣與橘子目標(biāo)邊緣糅雜在一起，無法檢測到完整的橘子輪廓。這是因?yàn)閳D像背景中含有較多的枝葉，嚴(yán)重干擾了橘子輪廓的檢測。

圖1表明傳統(tǒng)的邊緣檢測算法不能有效地檢測出所需的目標(biāo)輪廓，無法對圖像中復(fù)雜背景下橘子目標(biāo)進(jìn)行有效識(shí)別。故本文采用K-means聚類算法將目標(biāo)物從復(fù)雜背景中提取出來，再運(yùn)用Canny邊緣檢測算法進(jìn)行邊緣檢測，以獲得完整的目標(biāo)輪廓。

圖1 原始圖像及邊緣檢測效果圖Fig.1 Original images and edge detection results

1.2 圖像預(yù)處理

為提高照片質(zhì)量，降低圖像中的噪聲，凸顯感興趣區(qū)域，采用噪聲過濾措施。中值濾波是一種非線性數(shù)字平滑技術(shù)，對于處理斑點(diǎn)噪聲和椒鹽噪聲非常有效，并且能消除孤立點(diǎn)的干擾。通過對橘子果實(shí)圖像的觀察，發(fā)現(xiàn)噪聲主要為斑點(diǎn)噪聲，因此選用中值濾波為本研究去噪。

濾波窗選取可以根據(jù)目標(biāo)物的大小形狀和希望達(dá)到的效果選用線形、正方形、圓形以及十字形等。對于緩慢變化的輪廓，使用方形或者圓形窗口較為理想。橘子果實(shí)外觀輪廓具有緩慢變化且延長的特性，所以本文采用3×3的正方形窗口進(jìn)行中值濾波。從處理結(jié)果可以看出，中值濾波能有效地去除背景和果實(shí)表面的斑點(diǎn)噪聲，使果實(shí)更加凸顯[10]，如圖2所示。

圖2 中值濾波橘子果實(shí)圖像Fig.2 Median filter image of oranges

1.3 K-means聚類算法

K-means聚類算法可將復(fù)雜背景下多果圖像處理成二值區(qū)域圖像和彩色區(qū)域圖像，能夠完整、清晰地分割出目標(biāo)輪廓，為目標(biāo)輪廓的邊緣檢測提供有效保障。

K-means聚類算法的原理是通過迭代過程把原始圖像的像素?cái)?shù)據(jù)集劃分為不同的類別，使得評價(jià)聚類性能的準(zhǔn)則函數(shù)達(dá)到最優(yōu)，生成的每個(gè)聚類(又稱簇)類內(nèi)緊湊、類間獨(dú)立[11]。

平均誤差準(zhǔn)則函數(shù)是常用的聚類準(zhǔn)則函數(shù)，其定義為：

(1)

式中，E為平均誤差；P為橘子圖像中像素點(diǎn)的像素值；mj為橘子圖像中簇Cj的像素值的平均值；Cj為橘子圖像中第j個(gè)像素聚類；k為像素點(diǎn)聚類的數(shù)目。

K-means聚類算法的具體步驟為：

1) 給定大小為n的數(shù)據(jù)集，令迭代次數(shù)I=1，選取k個(gè)初始聚類中心Zj(I)，j=1，2，… ，k；

2) 計(jì)算出橘子圖像中每個(gè)像素坐標(biāo)(xi，yi)與聚類中心的距離D[(xi,yi),Zj(I)]，i=1，2，… ，n；

如果滿足：

D[(xi,yi),Zk(I)]=minD[(xi,yi)，Zj(I)]，I=1,2,…,n

(2)

則(xi,yi)∈Ck，Ck為橘子圖像中像素聚類點(diǎn)數(shù)目。

3) 計(jì)算k個(gè)新的聚類中心

(3)

4) 判斷：

若Zj(I+1)≠Zj(I)，則I=I+1，返回步驟2；否則算法結(jié)束。

針對圖1(a)和(c)，圖中主體顏色為橘黃色和綠色，經(jīng)多次試算，將圖像中的像素?cái)?shù)據(jù)劃分為兩類，聚類數(shù)目k取值為2，應(yīng)用K-means聚類算法對原始圖像進(jìn)行聚類處理。

分割后，獲得枝葉遮擋下橘子目標(biāo)的二值區(qū)域圖及彩色區(qū)域圖分別如圖3和圖4所示。

從圖3和圖4可以看出，采用K-means算法可以有效地分割出復(fù)雜背景下橘子目標(biāo)的輪廓區(qū)域。

圖3 雙果分割圖像Fig.3 Segmentation image of double oranges

圖4 多果分割圖像Fig.4 Segmentation image of multiple oranges

1.4 橘子目標(biāo)物輪廓檢測

圖3和圖4顯示，雖然對橘子的目標(biāo)區(qū)域進(jìn)行了有效分割，但并沒有提取橘子目標(biāo)的輪廓信息。

由于果實(shí)所處的自然環(huán)境是隨機(jī)、開放的，選擇一種合適的輪廓提取方法非常重要。輪廓提取方法主要有數(shù)學(xué)形態(tài)學(xué)邊緣提取法、boundaries邊緣追蹤法以及Canny邊緣檢測法等方法，其中Canny邊緣檢測算法具有較好的信噪比、較高的定位精度以及邊緣響應(yīng)次數(shù)較少的性能[12]，可以提高檢測邊緣的敏感性，且能很好地抑制圖像中的噪聲[13]。因此，本文選用Canny邊緣檢測算法對橘子圖像輪廓進(jìn)行檢測，效果如圖5所示?？梢钥闯觯瑘D像中背景邊緣線條得到有效去除，處理效果得到進(jìn)一步改善。

1.5 殘留物去除

對圖5中的圖像局部放大后，發(fā)現(xiàn)目標(biāo)輪廓內(nèi)部仍有部分孔洞存在，如圖6所示。這些細(xì)小的孔洞噪聲會(huì)影響機(jī)器視覺系統(tǒng)對目標(biāo)識(shí)別定位的精確度。

圖6 局部圖像Fig.6 Part of orange contour image

孔洞定義為由前景像素相互連接的邊界所包圍的背景圖像。針對橘子目標(biāo)物由于光照和果實(shí)本身斑點(diǎn)造成的孔洞提出利用一種膨脹、求補(bǔ)和交集的方法。令A(yù)表示一個(gè)包含子集的集合，其子集的元素是區(qū)域的8連通邊界點(diǎn)，每個(gè)邊界包圍一個(gè)背景區(qū)域(即一個(gè)孔洞)。確定出孔洞面積閾值，用8連通域模板遍歷整副圖像，尋找需要填充的孔洞。

定義圖像中第一個(gè)像素點(diǎn)X0，形成一個(gè)陣列從X0開始逐行遍歷圖像填充孔洞，其過程為：

Xl=(Xl-1⊕B)∩Acl=1,2,3,…

(4)

式中，B為膨脹結(jié)構(gòu)元；Ac為集合A的補(bǔ)集。

接下來對果實(shí)重疊部分的輪廓進(jìn)行分離，以雙果圖像為例，圖3(a)中數(shù)據(jù)所對應(yīng)的矩陣為D=(aij)mn，圖5(a)中數(shù)據(jù)所對應(yīng)的矩陣為E=(bij)mn(i=1，2，…，m，j=1，2，…，n)，其中m、n為矩陣的行數(shù)與列數(shù)。將圖3(a)和圖5(a)中的數(shù)據(jù)按式(5)進(jìn)行疊加，疊加后可得到圖7所示的圖像。

(5)

仿真結(jié)果顯示，通過以上操作有效地去除了噪聲斑點(diǎn)干擾。

對圖1(a)和(c)中原始橘子圖像若不進(jìn)行圖像分割，直接采用Canny邊緣檢測算法進(jìn)行目標(biāo)輪廓檢測，其效果如圖8所示。對比圖7與圖8的測試效果后發(fā)現(xiàn)，圖7中目標(biāo)輪廓完整，完成了復(fù)雜背景下橘子多目標(biāo)物輪廓的有效檢測。

圖7 去除橘子輪廓?dú)埩粑锖蟮膱D像Fig.7 Orange contour image removing residue

圖8 Canny邊緣檢測效果圖像Fig.8 Test effect image using the Canny edge detection method

1.6 橘子目標(biāo)物圓心和半徑的確定

本文采用Hough梯度圓變換檢測算法[14-15]對類圓形橘子果實(shí)輪廓進(jìn)行擬合重建，計(jì)算出橘子目標(biāo)物的圓心和半徑，從而為采摘機(jī)器人的機(jī)械手爪摘取果實(shí)提供依據(jù)，該方法能夠有效降低目標(biāo)自身形變等因素的干擾。

Hough梯度圓變換檢測算法步驟為：

1) 利用Canny算子，計(jì)算邊緣二值圖像中非零像素點(diǎn)的x方向?qū)?shù)和y方向?qū)?shù)，得到輸出圖像；沿著邊緣點(diǎn)梯度和梯度的反方向，對參數(shù)指定的最小半徑到最大半徑的距離范圍中的像素點(diǎn)進(jìn)行累加次數(shù)統(tǒng)計(jì);

2) 根據(jù)Hough圓變換參數(shù)設(shè)定中的累加閾值，將二維累加中不滿足大于累加閾值的元素排除，同時(shí)比較累加器中元素與其鄰域半徑值的大小，如果鄰域中不存在更大的點(diǎn)，則將對應(yīng)累加器中元素保留，反之排除;

3) 將經(jīng)過步驟2處理的候選中心按照累加次數(shù)降序排序，對候選中心中不滿足預(yù)定的圓心間距最小值的點(diǎn)進(jìn)行排除;

4) 對于每一個(gè)中心，將所有的非零像素(梯度值不為零)按照與其中心的距離排序，如果滿足最小半徑與最大半徑范圍，則將該距離值作為候選半徑從小到大排序;

5) 從候選半徑中第一個(gè)元素開始，選擇邊緣圖像中非零像素點(diǎn)支持度最高的半徑，根據(jù)參數(shù)中所設(shè)定的圓心的最小距離和半徑閾值，將滿足要求的候選圓心坐標(biāo)和半徑保存到序列，作為所檢測到圓的圓心與半徑。

圖1(a)和(c)所示復(fù)雜背景下的類圓形橘子圖像，經(jīng)過Hough梯度圓變換檢測后，確定出橘子目標(biāo)物的圓心和半徑，如圖9所示。圖中包絡(luò)橘子目標(biāo)的圓為橘子輪廓的重建圓，綠色原點(diǎn)表示重建圓的圓心。

圖9 橘子果實(shí)定位效果圖Fig.9 Location results of orange fruits

2 單目立體視覺平移測量模型

獲取空間目標(biāo)物的三維信息是實(shí)現(xiàn)采摘機(jī)器人躲避障礙物、采摘果實(shí)的前提。將單目攝像機(jī)安裝在采摘機(jī)器人手抓末端構(gòu)成手眼視覺系統(tǒng)(即眼在手系統(tǒng))，具有成本低、工作空間大、能避免自身結(jié)構(gòu)遮擋造成的視野盲區(qū)等優(yōu)勢。

2.1 目標(biāo)輪廓質(zhì)心的確定

圖像矩主要表示圖像區(qū)域的幾何特征，其中采用一階幾何矩與零階幾何矩的比值能夠計(jì)算出目標(biāo)圖像的質(zhì)心位置。該方法對噪聲不敏感，當(dāng)有外部噪聲干擾時(shí)，計(jì)算出的目標(biāo)物質(zhì)心不會(huì)有太大的偏離。

目標(biāo)輪廓的質(zhì)心坐標(biāo)(u,v)為：

(6)

(7)

式中，f(x,y)為目標(biāo)圖像的灰度值函數(shù)；M10為u方向的一階幾何矩；M01為v方向的一階幾何矩；M00為零階幾何矩；M為u方向的像素值；N為v方向的像素值。

2.2 目標(biāo)輪廓深度計(jì)算

要計(jì)算出目標(biāo)物的深度信息，僅依靠單目攝像機(jī)在一個(gè)固定點(diǎn)拍攝一副圖像是不夠的。本文建立單目立體視覺平移測量模型，完成橘子目標(biāo)物的深度測量。

如圖10所示，將攝像機(jī)沿著自身坐標(biāo)系的u軸方向從位置C移動(dòng)到D，對固定不動(dòng)的空間目標(biāo)點(diǎn)W(XW，YW，ZW)進(jìn)行拍攝，所拍攝的兩幅圖像中目標(biāo)點(diǎn)W對應(yīng)的像平面坐標(biāo)分別為W1(u1，v1)和W2(u2，v2)。由于攝像機(jī)是沿著自身u方向平移，則v1=v2，那么點(diǎn)W對應(yīng)的視差為MW=u1-u2。

圖10 單目立體視覺平移測量模型Fig.10 Translational measurement model of monocular

此時(shí)，目標(biāo)點(diǎn)W在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)值分別為：

(8)

式中，b為C和D兩位置攝像機(jī)的中心連線距離；f*為攝像機(jī)焦距，通過張氏平面法[16]獲得；u0、v0為主點(diǎn)坐標(biāo)。

3 實(shí)驗(yàn)驗(yàn)證

建立如圖11所示的系統(tǒng)實(shí)驗(yàn)臺(tái)，它由XYZ三坐標(biāo)平臺(tái)、攝像機(jī)、控制計(jì)算機(jī)等組成，其中XYZ三坐標(biāo)平臺(tái)的Z軸上安裝有KS352攝像機(jī)和手爪。

以橘子為實(shí)驗(yàn)對象，隨意抓取橘子拋灑在實(shí)驗(yàn)平臺(tái)上，并隨機(jī)在其上覆蓋樹葉，模擬自然條件下橘子所在的環(huán)境。通過單目立體攝像機(jī)采集橘子目標(biāo)物原始圖像，如圖12所示。采用本文算法對圖12所示原始圖像進(jìn)行識(shí)別與定位處理，效果如圖13所示。運(yùn)用單目立體視覺平移測量模型，計(jì)算出橘子目標(biāo)物在攝像機(jī)坐標(biāo)系下的位置坐標(biāo)，如表1所示。

圖11 系統(tǒng)實(shí)驗(yàn)臺(tái)Fig.11 Experimental platform

圖12 橘子原始圖像Fig.12 Orange original image

圖13 橘子目標(biāo)的識(shí)別與定位結(jié)果Fig.13 Identification and location results of orange targets

在實(shí)驗(yàn)中，抓取大棗目標(biāo)的場景如圖14所示，氣動(dòng)手爪抓取橘子目標(biāo)的場景如圖15所示。

圖14 氣動(dòng)手抓抓取大棗目標(biāo)場景圖Fig.14 Scenes of grasping jujube

圖15 氣動(dòng)手爪抓取橘子目標(biāo)場景圖Fig.15 Scenes of grasping orange

序號計(jì)算坐標(biāo)/mm實(shí)際坐標(biāo)/mm坐標(biāo)誤差/mmxdydzdxsyszsexeyez1238.71282.73211.35669.81378.14340.713252.135253.125252.2481185147280432502502502.2882.2682.6442.1871.8572.2872.1353.1252.248

為了證明本文所提方法的通用性，將目標(biāo)物換為果型為類圓型的大棗，對其進(jìn)行識(shí)別與定位處理并進(jìn)行抓取實(shí)驗(yàn)。將大棗隨機(jī)拋灑于實(shí)驗(yàn)平臺(tái)上，人為地使大棗間形成一定的高度差，再用葉子將其部分遮擋。橘子實(shí)驗(yàn)中每個(gè)目標(biāo)物的深度信息相同，大棗實(shí)驗(yàn)中每個(gè)目標(biāo)物的深度信息不盡相同。對大棗進(jìn)行識(shí)別定位后，攝像機(jī)坐標(biāo)系下的大棗位置坐標(biāo)如表2所示。

從表1和表2可看出，獲得的各目標(biāo)物的計(jì)算坐標(biāo)與實(shí)際坐標(biāo)基本吻合，精度較高，但還存在著一定誤差。表中顯示各目標(biāo)物的坐標(biāo)誤差基本在5 mm以下，可以滿足農(nóng)業(yè)采摘機(jī)器人對目標(biāo)的識(shí)別與抓取要求，從而驗(yàn)證了本文識(shí)別算法的有效性及可行性。

表2 大棗目標(biāo)實(shí)驗(yàn)結(jié)果

4 結(jié) 論

1) 將K-means聚類算法與Canny 邊緣檢測算法相結(jié)合，有效地將復(fù)雜背景下枝葉遮擋或重疊的橘子目標(biāo)分離出來，連續(xù)、完整地檢測出了目標(biāo)的輪廓。該方法可進(jìn)一步推廣應(yīng)用到大棗等類圓目標(biāo)物的分離與識(shí)別。

2) 通過一階幾何矩計(jì)算出目標(biāo)物的質(zhì)心坐標(biāo)，再利用Hough梯度圓變換對類圓形橘子果實(shí)輪廓進(jìn)行擬合重建，然后計(jì)算出橘子目標(biāo)物的圓心和半徑。

3) 利用單目立體視覺平移測量模型，移動(dòng)攝像頭拍攝出不同位置的兩幅圖片，計(jì)算出目標(biāo)物的深度信息，完成了對目標(biāo)物的三維重構(gòu)。

4) 將算法移植到XYZ三坐標(biāo)平臺(tái)上，對復(fù)雜背景下的橘子和大棗進(jìn)行抓取實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，所提算法可以對橘子和大棗類圓目標(biāo)進(jìn)行有效地識(shí)別、定位與抓取。