李貴賓，李長勇，陳立新

(新疆大學(xué)機械工程學(xué)院，烏魯木齊市，830049)

0 引言

葡萄含有豐富的營養(yǎng)和獨特的口感而深受消費者的喜愛，并且已經(jīng)成為新疆[1]的支柱性產(chǎn)業(yè)之一。由于葡萄在成熟時呈現(xiàn)形狀大小不一和采摘季節(jié)性強，直接導(dǎo)致采摘工作勞動強度大、效率低、人工成本高等問題[2]。因此研究自動化葡萄采摘技術(shù)對推動農(nóng)業(yè)發(fā)展具有重大意義。

近些年人工智能、深度學(xué)習(xí)等相關(guān)理論的飛速發(fā)展，使得機器視覺在多個行業(yè)取得了不錯的實際效果，因此絕大數(shù)與農(nóng)業(yè)機器人相關(guān)的新技術(shù)正在使用圖像來獲取數(shù)據(jù)[3-7]，使得國內(nèi)外學(xué)者利用機器視覺識別葡萄，研究如何正確分割背景與葡萄串。能否正確分割葡萄串與背景將直接影響葡萄采摘作業(yè)。

葡萄串與背景有效地分割是實現(xiàn)葡萄采摘的關(guān)鍵，且國內(nèi)外學(xué)者已進行多方面的研究。Ron Berenstein等[8]利用視覺對葡萄串和葉片進行分割技術(shù)研究，提出了葉片檢測算法(FDA)結(jié)合葡萄集群檢測算法(GDA)機器視覺算法，利用的是RGB和HSV顏色模型。Fernández等[9]利用CCD相機和濾波輪組成簡易光譜相機進行圖像采集，在lab空間下結(jié)合K-means 算法進行葉子、莖、枝、果實和背景分割。Reis等[10]研究利用葡萄的特定顏色把葡萄串進行分割出來。Rodrigo等[11]提出通過HOG和LBP算法結(jié)合SVM分類器提取葡萄區(qū)域。馬本學(xué)等[2]利用閥值分割、形態(tài)學(xué)處理、空洞填補等步驟進行葡萄與背景分割。田銳等[12]利用圖像平滑、閥值分割、形態(tài)學(xué)處理等基本圖像處理技術(shù)提取出葡萄串。楊慶華等[13]利用Hough圓檢測進行葡萄區(qū)域提取。羅陸鋒等[14-16]利用HSV模型中的H分量進行葡萄和背景的分割。

根據(jù)上述學(xué)者的研究現(xiàn)狀，可知部分學(xué)者利用傳統(tǒng)方法需經(jīng)過復(fù)雜的步驟才能得到正確的分割結(jié)果，部分學(xué)者利用深度學(xué)習(xí)進行分割，雖然得到較好的分割效果，但是前期須要準(zhǔn)備大量的樣本和模型的訓(xùn)練，而模型訓(xùn)練對計算機的要求較高，這無疑提高了研究成本。針對上述的缺點和葡萄所處的環(huán)境，本文將以田間環(huán)境下紅葡萄中的紅提葡萄為研究對象，選擇陰影下的、葡萄串表面有明顯反光的、葡萄串表面無明顯反光的葡萄串，研究利用圓預(yù)處理葡萄串的RGB圖像參數(shù)方法，再結(jié)合直方圖進行葡萄串與背景的分割，為葡萄采摘機器人準(zhǔn)確識別及定位葡萄串提供良好的數(shù)據(jù)支撐。

1 材料與方法

1.1 圖像采集

本文試驗對象是在烏魯木齊市三坪農(nóng)場的葡萄種植園中采集的紅提葡萄圖像，采集時間為2019年9月份下旬。采用COMS攝像頭采集樣本，采集樣本時應(yīng)使葡萄占據(jù)視野的80%～90%區(qū)域，采集的樣本有生長在葡萄藤陰影下的葡萄(即無太陽直接照射的葡萄)50張、表面有明顯反光的葡萄(即太陽直接照射且表面有明顯反光的葡萄)50張、表面無明顯反光的葡萄(即太陽直接照射且表面無明顯反光的葡萄)50張。

1.2 圖像顏色特性

葡萄圖像中含有土地、枝干、葉子和藍天4種背景信息，其中枝干和葡萄的顏色較為相近。由于葡萄是藤本植物，生長時需建立支架，而新疆多以籬架為主，如圖1所示，因此在一天中由于太陽的方位變化而引起葡萄串上面的反光不同，為了滿足葡萄采摘機器人的采摘需求，需對葡萄串表面含有不同反光的情況進行準(zhǔn)確分割，如圖2～圖4所示的葡萄串。

圖1 籬架為主的種植模式Fig. 1 Hedge-based planting

圖2 太陽直接照射且表面有明顯反光Fig. 2 Direct sunlight and obvious reflection

圖3 太陽直接照射且表面無明顯反光Fig. 3 Direct sunlight and no obvious reflection

圖4 無太陽直接照射Fig. 4 No direct sunlight

2 利用圓預(yù)處理RGB圖像算法

目前常用的兩種COMS攝像頭分別是彩色攝像頭和灰度攝像頭，由于從彩色圖像中可以獲得更多背景與葡萄串的信息量，所以本文以彩色COMS攝像頭采集的RGB圖像為基礎(chǔ)，將RGB三通道的參數(shù)(下文稱RGB參數(shù))轉(zhuǎn)換成圓的參數(shù)(半徑和圓心坐標(biāo))作為葡萄和背景分割的基礎(chǔ)數(shù)據(jù)。圓的三個參數(shù)由RGB參數(shù)計算出，只要RGB參數(shù)的其中一個參數(shù)發(fā)生變化，就會引起圓的三個參數(shù)發(fā)生變化。本文將研究圓的參數(shù)隨RGB參數(shù)變化而變化的規(guī)律。

2.1 利用圓預(yù)處理RGB圖像算法原理

首先將RGB圖像各通道參數(shù)進行歸一化處理，如式(1)所示，然后進行搜索每個像素點所含參數(shù)的最小值，如式(2)所示，再把各通道的參數(shù)減去最小值，如式(3)所示。此時得到的參數(shù)用于求圓參數(shù)的初始數(shù)據(jù)。根據(jù)二維平面內(nèi)任意不共線的三點可確定一個圓的定理，令式(3)得到的三個參數(shù)傳入三個點中，充當(dāng)縱坐標(biāo)的值，如式(4)所示。

(1)

式中：W——圖像的寬度；

H——圖像的高度；

B——RGB彩色圖像的藍色通道；

G——RGB彩色圖像的綠色通道；

R——RGB彩色圖像的紅色通道；

ck——k通道參數(shù)歸一化結(jié)果。

m[i,j]=min(cB[i,j],cG[i,j],cR[i,j])

(2)

式中：cB——藍色通道參數(shù)歸一化結(jié)果；

cG——綠色通道參數(shù)歸一化結(jié)果；

cR——紅色通道參數(shù)歸一化結(jié)果。

ek[i,j]=ck[i,j]-m[i,j]

k=B,G,R;(i,j)∈(W,H)

(3)

式中：ek——k通道參數(shù)與最小值的差值；

m——藍色、綠色、紅色三個通道中在其像素點的最小參數(shù)。

yk[i,j]=ek[i,j]

k=B,G,R;(i,j)∈(W,H)

(4)

式(3)得到新的三個參數(shù)均是小于等于1，為了避免圓的參數(shù)分布較廣，設(shè)定三個求圓所需點的橫坐標(biāo)分別為x1=0.5、x2=1、x3=1.5，此時得到一組坐標(biāo)點，即(0.5，yB[i，j])、(1，yG[i，j])、(1.5，yR[i，j])，由此組坐標(biāo)根據(jù)式(5)計算圓的參數(shù)，經(jīng)推導(dǎo)得出式(6)。

l=1,2,3;k=B,G,R;(i,j)∈(W,H)

(5)

式中：r0——圓的半徑；

x0——圓心橫坐標(biāo)；

y0——圓心縱坐標(biāo)。

(6)

利用式(6)可對RGB圖像進行參數(shù)轉(zhuǎn)換，把藍色、綠色、紅色三個通道參數(shù)轉(zhuǎn)換成半徑r0、圓心坐標(biāo)x0、y0三個參數(shù)。為了便于表述，下文均用r、x、y分別代替r0、x0、y0。

2.2 圓參數(shù)的特性

利用式(6)對彩色圖進行參數(shù)轉(zhuǎn)換，得到的r、x、y三個參數(shù)用直方圖表示出來，探討三個參數(shù)隨著顏色亮度變化的規(guī)律。

首先對單色漸變的情況下按照單通道有值、兩通道有值和三通道有值的情況進行試驗。單通道有值時試驗得出的直方圖如圖5所示。從圖5可見單通道有值且發(fā)生變化時，r和y都隨著亮度變化而變化，x參數(shù)不隨顏色的亮度變化而變化。當(dāng)目標(biāo)區(qū)域只含RGB三原色中一種顏色，對其區(qū)域分割時可利用x參數(shù)進分割處理。

圖5 單通道有值且顏色漸變Fig. 5 Single channel value gradient

兩通道有值時，利用控制變量的思想，設(shè)定兩通道的參數(shù)相同、兩通參數(shù)等比例(比例為2)變化三組試驗，試驗的結(jié)果如圖6所示。從圖6可見當(dāng)兩通道有值時，圓心的x參數(shù)最集中，其次是y參數(shù)，最后是r參數(shù)，從側(cè)面反映出x參數(shù)受顏色亮度影響更小。因此當(dāng)目標(biāo)區(qū)域中某一通道無值時可以利用x參數(shù)作為分割的基礎(chǔ)數(shù)據(jù)，并且可以結(jié)合y參數(shù)提高分割效果。

圖6 兩通道有值且顏色漸變漸變Fig. 6 Two-channel value gradient

三通道有值時，利用控制變量法，進行兩通道等值與第三通道等比變化、三通道等比變化、三通道等值三組試驗。由于三通道參數(shù)相等時，過三點的圓弧呈現(xiàn)直線，得到的圓的半徑為無窮大，因此不進行三通道等值情況的試驗。試驗結(jié)果如圖7所示。從圖7可見當(dāng)三通道都有值時，圓心y參數(shù)和x較為集中，其值受顏色亮度影響較小。當(dāng)目標(biāo)區(qū)域中三通道都有值時可以利用x和y參數(shù)作為分割的基礎(chǔ)數(shù)據(jù)。

當(dāng)圖像中有多色時，利用控制變量法，進行圖像中有兩種顏色和圖像中有多種顏色的兩組試驗，試驗結(jié)果如圖8和圖9所示。

圖7 三通道有值且顏色漸變Fig. 7 Three-channel value gradient

圖8 圖像中有兩種顏色Fig. 8 Two colors in the image

從圖8和圖9的兩組試驗結(jié)果顯示出圖像中存在多種顏色時，y參數(shù)表現(xiàn)出參數(shù)集中且有明顯的分界，x參數(shù)有參數(shù)集中且有一定的分界趨勢，r出現(xiàn)全部聚集到一定值的范圍內(nèi)，因此在圖像中含有多種顏色時，可以利用x和y兩個參數(shù)分割出感興趣區(qū)域。從圖9可見直方圖的峰的數(shù)量不等于顏色數(shù)量，因此本文提出的方法不適用對相近的幾種顏色做分割任務(wù)。

將以上幾組試驗進行對比，x和y兩個參數(shù)在顏色亮度發(fā)生變化時波動很小，尤其是當(dāng)圖像中含有多種顏且每種顏色含有多種亮度時，可以利用x和y兩個參數(shù)進行前景與背景的分割任務(wù)。從圖8和圖9的試驗結(jié)果可以看出本文提出的方法不適用對相近顏色的分析。

圖9 圖像中有三種顏色及以上Fig. 9 Three colors and above in the image

3 葡萄串分割試驗

試驗對象分別為無太陽直接照射的葡萄串、表面有明顯反光的葡萄串、表面無明顯反光的葡萄串，以上葡萄串均為紅提葡萄。

在葡萄串圖像參數(shù)轉(zhuǎn)換之前先對紅提葡萄的顏色進行分析，隨機選取4種亮度不同且圖像中只含葡萄的圖像進行通道分離，觀察紅提葡萄是否屬于三通道有值合成顏色。為了更好展示結(jié)果，從每一類圖像的通道分離結(jié)果中隨機取出一組進行展示，如圖10所示。由圖10可見紅提葡萄隨著光照強度不同時，RGB三通道沒有出現(xiàn)某個通道沒值的情況，因此紅提葡萄的顏色是由三個通道的值合成的。

將用圓的x、y參數(shù)結(jié)合直方圖進行葡萄串與背景分割試驗。由于HSV模型中的H通道由主色調(diào)組成，并且與白光源中的高光無關(guān)[17]，再者生長在自然環(huán)境下的葡萄存在高光環(huán)境，因此利用HSV模型中H參數(shù)結(jié)合直方圖進行葡萄串分割作為對照組1。Lab模型在利用視覺處理果蔬時有較好的效果，因此下文用a參數(shù)結(jié)合直方圖進行葡萄串分割作為對照組2。試驗用到的葡萄串圖像如圖11所示。

(a) 原圖圖10 對彩色圖像進行RGB顏色通道分離的結(jié)果圖Fig. 10 Result image of RGB color channelseparation of color image

(a) 葡萄串表面無明顯反光

(b) 無太陽直接照射的葡萄

(c) 葡萄串表面有明顯反光圖11 試驗圖像Fig. 11 Experimental image

3.1 對表面無明顯反光的葡萄串分割的影響

根據(jù)第1節(jié)得出的方法和葡萄顏色合成特征可知：利用x和y參數(shù)作為分割的基礎(chǔ)數(shù)據(jù)可得到較好地分割效果，因此比較x，y，H，a的四個參數(shù)的直方圖，如圖12所示。

從圖12可以看出，y、H、a三個參數(shù)都有明顯的雙峰狀態(tài)，其中x參數(shù)的雙峰效果最差，y參數(shù)的雙峰效果最好。x參數(shù)的雙峰位置較近，幾乎呈現(xiàn)單峰狀態(tài)。由于圖像中前景葡萄，顏色較為統(tǒng)一，背景主要為葉子，顏色也較為統(tǒng)一，因此圖像中主要顏色為葉子的顏色和葡萄的顏色，正是對應(yīng)多直方圖中出現(xiàn)的兩個峰，因此可利用兩峰之間的值作為葡萄串與背景分割的閾值，其分割的效果如圖13所示，圖13(a)是利用x、y兩個參數(shù)進行分割效果，圖13(b)是利用H參數(shù)進行分割效果，圖13(c)是利用a參數(shù)進行分割效果。

圖12 各參數(shù)的直方圖Fig. 12 Histogram of each parameter

(a) 用x、y參數(shù)分割結(jié)果

(b) 用H參數(shù)分割結(jié)果

(c) 用a參數(shù)分割結(jié)果圖13 葡萄串區(qū)域分割結(jié)果Fig. 13 Segmentation results of grape clusters

本文提出的方法比利用HSV模型中的H參數(shù)在色差較大的地方處理效果比較好，比如可以區(qū)分藍色分量含量較高的區(qū)域(圖14(a)～圖14(d))，可以降低噪聲區(qū)域面積。與利用Lab模型中的a參數(shù)分割結(jié)果比較，本文提出的方法在相近的顏色區(qū)域分割效果較好，比如區(qū)分枝干、枯萎葉片與葡萄串(圖14(e)～圖14(h))。將圖13分割結(jié)果利用像素點個數(shù)統(tǒng)計分割結(jié)果，如表1所示，直觀展現(xiàn)出利用x、y參數(shù)分割正確率較高，達96.7%。當(dāng)然本文提到的算法也有一定的缺點，與利用HSV模型中的H參數(shù)分割結(jié)果比較，把葡萄串中光線較暗的區(qū)域當(dāng)作非葡萄區(qū)域處理，但是在這張圖的該區(qū)域恰巧存在兩個葡萄串相貼的區(qū)域，對后期有一定的益處；與Lab模型相比較，對未熟的葡萄較為敏感，因為未熟的葡萄呈現(xiàn)的顏色中綠色通道的參數(shù)較大，易被當(dāng)作葉子處理。

(a) 用x、y參數(shù)分割結(jié)果

(b) a圖中的局部放大圖

(c) 用H參數(shù)分割結(jié)果 (d) c圖中的局部放大圖

(e) 用x、y參數(shù)分割結(jié)果

(f) e圖中的局部放大圖

(g) 用a參數(shù)分割結(jié)果

(h) g圖中的局部放大圖圖14 分割結(jié)果的細節(jié)比較圖Fig. 14 Detailed comparison chart of segmentation results

表1 圖13的像素點統(tǒng)計表Tab. 1 Pixel statistics table in Figure 13

3.2 對無太陽直接照射的葡萄串分割的影響

本節(jié)試驗依然用x、y參數(shù)結(jié)合直方圖進行葡萄串與背景分割，對照組是HSV模型中的H參數(shù)和Lab模型中的a參數(shù)結(jié)合直方圖進行葡萄串與背景分割。先把各參數(shù)顯示成直方圖，如圖15所示。

圖15 各參數(shù)的直方圖Fig. 15 Histogram of each parameter

從圖15可以看出，四個參數(shù)的雙峰效果都比較好，并且各參數(shù)較為穩(wěn)定，因此對無太陽直接照射的葡萄串分割效果比對陽光直接照射的葡萄串分割效果好。四個參數(shù)相比較時，依然是y參數(shù)表現(xiàn)的雙峰較為明顯，并且兩峰之間有明顯的分界線，其次是H參數(shù)的雙峰效果較好。利用峰與峰之間的低谷值進行圖像中的葡萄區(qū)域分割，分割結(jié)果如圖16所示，圖16(a)是利用x、y兩個參數(shù)結(jié)合直方圖的分割效果，圖16(b)是利用H參數(shù)結(jié)合直方圖的分割效果，圖16(c)是利用a參數(shù)結(jié)合直方圖的分割效果。

(a) 用x、y參數(shù)分割結(jié)果

(b) 用H參數(shù)分割結(jié)果

(c) 用a參數(shù)分割結(jié)果圖16 葡萄串區(qū)域分割結(jié)果Fig. 16 Segmentation results of grape clusters

由圖16可見利用x、y參數(shù)在顏色相差較大的區(qū)域進行葡萄串分割比H參數(shù)分割能力強，在相近的顏色區(qū)域進行葡萄串分割比a參數(shù)分割能力強。將圖16分割結(jié)果利用像素點個數(shù)統(tǒng)計分割結(jié)果，如表2所示，直觀展現(xiàn)出利用x、y參數(shù)分割正確率較高，達98.1%。

表2 圖16的像素點統(tǒng)計表Tab. 2 Pixel statistics table in Figure 16

3.3 對表面有明顯反光的葡萄串分割影響

對圖11(c)參數(shù)轉(zhuǎn)換，分別用直方圖展示x、y、H、a四個參數(shù)的分布情況，如圖17所示。

圖17 四個參數(shù)的直方圖Fig. 17 Histogram of four parameters

從圖17可以看出，各參數(shù)展現(xiàn)出的雙峰效果比上兩組試驗較差，其中a參數(shù)的雙峰效果最差，幾乎成為一個峰，根據(jù)圖17中的直方圖分割圖11(c)中的葡萄串與背景。分割效果如圖18所示。

(a) 用x、y參數(shù)分割結(jié)果

(b) 用H參數(shù)分割結(jié)果

(c) 用a參數(shù)分割結(jié)果圖18 葡萄串區(qū)域分割結(jié)果Fig. 18 Segmentation results of grape clusters

從圖18可見，無論是哪種方法分割的葡萄串區(qū)域效果都較差，用H參數(shù)分割效果相對較好，用x、y參數(shù)的分割效果最差。對圖18分割結(jié)果統(tǒng)計正確和錯誤像素點的情況，如表3所示。通過表3直觀展現(xiàn)出利用x、y參數(shù)分割正確率最低。由試驗結(jié)果可以看出本文提出的方法不適用表面有較強反光的葡萄串與背景分割。

表3 圖18的像素點統(tǒng)計表Tab. 3 Pixel statistics table in Figure 18

4 結(jié)論

1) 針對由于光照方向不同引起葡萄串表面顏色發(fā)生變化引起葡萄串分割困難的問題，從顏色合成的特征出發(fā)，利用圓轉(zhuǎn)換RGB圖像的三通道參數(shù)，并進行分割對比試驗。對葡萄串表面無明顯反光的葡萄串、無太陽直接照射的葡萄串進行分割，分割正確率分別是96.7%、98.1%，利用H參數(shù)、a參數(shù)對表面無明顯反光的葡萄串圖像的分割正確率分別為96.0%、95.1%，對無太陽直接照射的葡萄串圖像的分割正確率分別為94.1%、97.6%。結(jié)果表明對葡萄串表面無明顯反光的葡萄串圖像和無太陽直接照射的葡萄串圖像處理時，本文方法分割效果優(yōu)于HSV模型和Lab顏色模型。但是本文方法對葡萄串表面有明顯反光的葡萄串分割效果較差，本文的方法不適用葡萄串表面有明顯反光時的分割。

2) 通過本文的方法為葡萄分割提供良好的數(shù)據(jù)支撐，本研究接下來將其轉(zhuǎn)變成顏色模型，為葡萄高效率采摘提供良好基礎(chǔ)。