化春鍵，張愛榕，蔣 毅，俞建峰，陳 瑩

(1 江南大學(xué) 機(jī)械工程學(xué)院,江蘇 無錫 214122； 2 江蘇省食品先進(jìn)制造裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇 無錫 214122；3 江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)

草坪作為綠地組成的一種基本要素，對城市景觀與生態(tài)文明有著重大影響[1]。雜草與草坪爭搶生長空間，滋生病蟲害，是造成草坪退化的重要因素之一[2]。除草劑以經(jīng)濟(jì)、高效、省力的優(yōu)勢成為目前草坪雜草管理的主要方式[3]。然而除草劑的大范圍使用不僅會加劇雜草的抗藥性問題，同時也會對公園、運(yùn)動場等公共區(qū)域的人群健康帶來威脅[4]?；跈C(jī)器視覺的草坪雜草識別技術(shù)可以實(shí)現(xiàn)植保機(jī)器人的定點(diǎn)精準(zhǔn)施藥，降低除草劑的使用成本和環(huán)境危害，促進(jìn)了農(nóng)業(yè)智能化和精細(xì)化作業(yè)。近年來，專家學(xué)者圍繞雜草檢測進(jìn)行了許多相關(guān)方面的研究。Jin等[5]使用經(jīng)過訓(xùn)練的CenterNet模型檢測蔬菜作物并繪制邊界框，將邊界框外的對象視為背景，利用遺傳算法評估提出背景綠色區(qū)域檢測算子，完成對雜草的分割。針對草坪雜草的檢測，Yu等[6]利用卷積神經(jīng)網(wǎng)絡(luò)模型對草坪闊葉雜草展開研究，通過對比AlexNet、GoogLeNet和VGGNet發(fā)現(xiàn)，VGGNet網(wǎng)絡(luò)在高雜草密度和低雜草密度情況下的檢測結(jié)果均優(yōu)于AlexNet和GoogLeNet。上述方法均需要借助專家手工標(biāo)記信息訓(xùn)練分類器，完成圖像的分割任務(wù)。無監(jiān)督方法避免了訓(xùn)練時分類器的參數(shù)調(diào)節(jié)過程，有利于降低算法整體復(fù)雜度。Watchareeruetai等[7]通過提取草坪圖像的邊緣信息，統(tǒng)計(jì)雜草邊緣與草坪草葉片邊緣的紋理特征識別雜草，對闊葉雜草的識別準(zhǔn)確率達(dá)到了89%。Parra等[8]對檢測圖像進(jìn)行分塊，通過融合不同大小圖像塊的銳化濾波和拉普拉斯濾波結(jié)果擴(kuò)大草坪與雜草的特征差異，對融合后的圖像進(jìn)行閾值分割提取雜草區(qū)域，分割結(jié)果的F1值最高達(dá)到83%。上述無監(jiān)督方法多從圖像的邊緣特征與紋理特征進(jìn)行研究，且研究對象主要為草坪闊葉草，目標(biāo)識別準(zhǔn)確率較低。

模糊 C 均值 (Fuzzy C-means,FCM)聚類是一種經(jīng)典的無監(jiān)督分類方法，被廣泛應(yīng)用于圖像分割問題[9]。但傳統(tǒng)的FCM算法沒有考慮到圖像中的空間信息，對圖像中的噪聲較為敏感，難以在含噪圖像中取得較好的分割結(jié)果。對FCM算法的抗噪聲性能改進(jìn)通?？紤]圖像的局部和非局部空間信息?；诜蔷植靠臻g信息的FCM算法[10]需要計(jì)算搜索窗內(nèi)的每一個像素與當(dāng)前像素的相似度，計(jì)算復(fù)雜度較高。基于圖像局部空間信息的改進(jìn)通常只考慮區(qū)域的灰度和隸屬度的大小[11]，而忽略了區(qū)域內(nèi)的灰度分布特征。目前，草坪雜草的無監(jiān)督識別主要集中于闊葉雜草，對細(xì)葉雜草的識別研究較少；對于圖像的空間信息利用研究主要集中于像素相似性算法的研究，或僅利用鄰域內(nèi)的數(shù)值信息，忽略了鄰域內(nèi)部的分布特征。本文利用FCM算法開展能同時適用于闊葉雜草和細(xì)葉雜草識別的算法研究，提出一種基于局部灰度分布特征的改進(jìn)FCM算法，以解決雜草與草坪顏色相近導(dǎo)致雜草難以分割的問題；在預(yù)處理過程中利用超綠算子提取感興趣區(qū)域，去除枯葉土壤等無關(guān)信息，融合HSV空間的多通道信息以擴(kuò)大雜草與草坪的特征差異。使用區(qū)域面積約束濾波范圍，減少融合圖像中的草坪背景噪聲并保證了雜草目標(biāo)分割的連續(xù)性；提出一種各向灰度分布差異檢測算子，將局部灰度分布特征引入FCM聚類，完成草坪雜草分割目標(biāo)。

1 材料與方法

1.1 供試材料

試驗(yàn)環(huán)境為MATLAB 2016b、i5-9300H處理器、16 G內(nèi)存。采用索尼DSC-W830數(shù)碼相機(jī)作為圖像采集設(shè)備，分別于2020年10、11月在江南大學(xué)校園采集雜草樣本。拍攝天氣為晴天、多云或陰天，拍攝方式為手持垂直離地約30 cm。根據(jù)草坪和雜草的不同生長狀態(tài)，選擇如圖1所示的8種草坪雜草圖像樣本進(jìn)行試驗(yàn)，雜草狀態(tài)特征描述如表1所示。

圖1 不同生長狀態(tài)的草坪雜草Fig. 1 Lawn weeds in different growth states

表1 草坪和雜草樣本表型Table 1 Phenotypes of lawn and weed samples

1.2 HSV空間多通道融合預(yù)處理

超綠分割 (Extra-green segmentation，ExG)算子[12]可以有效抑制原始輸入圖像中的枯葉、土壤等非相關(guān)信息。設(shè)輸入圖像為f(x,y),利用ExG算子得到的圖像為fExG(x,y)，則圖像的超綠分割如式(1)所示：

式中，R,G,B分別為f(x,y)的RGB三通道分量，OTSU(x)表示采用最大類間方差法[13]二值化。

由于雜草顏色與草坪草葉片顏色相近，目標(biāo)與背景的差異性不明顯，因此還需要進(jìn)一步處理以擴(kuò)大雜草與草坪的灰度差異。sigmoid函數(shù)[14]是一種常用的非線性歸一化函數(shù)，利用sigmoid函數(shù)代替線性歸一化函數(shù)能有效抑制小灰度區(qū)域噪聲，同時有利于增強(qiáng)目標(biāo)區(qū)域的灰度信息，本文采用的sigmoid函數(shù)如式(2)所示。

將fExG(x,g)轉(zhuǎn)換到HSV顏色空間， 由于圖像經(jīng)過超綠分割，枯葉、土壤等相關(guān)像素已被抑制，因此在h分量上草坪與雜草響應(yīng)幾乎相同，但由于雜草和草坪并非完全相同，因此兩者在s分量和v分量上仍具有差異性。本文采用如式(3)所示的融合策略完成圖像預(yù)處理，所得預(yù)處理圖像如圖2所示。

圖2 圖像預(yù)處理結(jié)果Fig. 2 The results of preprocessed images

式中，s,h,v分別為圖像fExg(x,g)的HSV通道分量，g(x,y)為預(yù)處理后的圖像。

1.3 傳統(tǒng)FCM算法

傳統(tǒng)FCM算法將樣本對于類別的不確定度引入聚類分析過程中，能有效避免硬聚類算法易陷于局部極小值的缺陷，已成為圖像分割領(lǐng)域最常用的方法之一。FCM算法的一般目標(biāo)函數(shù)如式(4)所示：

式中，m為模糊因子，vi為聚類中心，uij表示樣本xj對聚類中心vi的隸屬度。

對于具有2個變量的目標(biāo)函數(shù)J(uij)，通過迭代交替求解聚類中心和隸屬度矩陣求解函數(shù)極小值，具體算法流程為：

步驟1：初始化隸屬度矩陣uij，選擇算法的最大迭代次數(shù)T以及迭代閾值ε，令當(dāng)前迭代次數(shù)t=1;

步驟2：由隸屬度矩陣計(jì)算聚類中心如式(5)所示：

步驟3：由聚類中心更新隸屬度矩陣如式(6)所示：

步驟4：將vi和uij代入式(4)計(jì)算第t次迭代時的目標(biāo)函數(shù)值J(t)。若||J(t+1)-J(t)||＜ε或t＞T則算法結(jié)束；否則，t=t+1，轉(zhuǎn)到步驟2。

1.4 基于各向灰度分布差異約束的FCM算法

1.4.1 面積約束下的中值濾波 經(jīng)預(yù)處理后的草坪雜草圖像雜草前景相對突出，但是由于草坪草葉片數(shù)量較多，且存在葉片邊緣、光照等偶然因素的干擾，預(yù)處理圖像中仍存在較多的噪聲干擾。因此需要對小面積噪聲區(qū)域進(jìn)行中值濾波去噪。為了盡可能保證圖像信息的完整性，引入面積特征篩選中值濾波區(qū)域。對經(jīng)OTSU算法處理的預(yù)處理圖像進(jìn)行閉運(yùn)算，以8連通域準(zhǔn)則提取圖像的區(qū)域面積，設(shè)每個像素點(diǎn)對應(yīng)的區(qū)域面積信息矩陣為A(x,y) ，則基于面積信息的中值濾波表示如式(7)所示，濾波結(jié)果如圖3所示。由圖3可以看出，引入面積約束進(jìn)行中值濾波，可以較好地保持雜草葉片的細(xì)節(jié)信息，降低中值濾波對雜草分割連續(xù)性的影響。

圖3 不同處理下的中值濾波Fig. 3 Median filter under different treatment

式中，Amean為連通域的平均面積，medfilt(x)為中值濾波函數(shù)，本文選定的中值濾波窗口為矩形3×3窗口。

1.4.2 各向灰度分布差異信息提取 常見的圖像鄰域局部信息獲取方式如局部線性加權(quán)[15]、非線性灰度擬合[16]等，有效利用了像素的鄰域灰度值信息，但是仍忽略了局部區(qū)域的不同方向灰度分布的差異性。因此本文提出一種各向灰度分布差異(Difference of gray distribution in different directions,DGD)檢測算子如圖4所示。

圖4 各向灰度分布差異檢測算子Fig. 4 The detection operator of gray distribution difference in different direction

該檢測算子大小為 9×9，在方向 1、3、5、7 上分別有9個鄰域像素點(diǎn)，在方向2、4、6、8上有5個像素，檢測時將待測像素置于檢測算子中心位置，則該像素點(diǎn)的DGD特征可以由各方向灰度和方差表示如式(8)所示。

式中，sn為檢測算子在各方向上的鄰域像素灰度和，為8個方向的灰度和均值。d(x,y)為像素點(diǎn)(x,y) 對應(yīng)的DGD特征。

無論是草坪葉片還是雜草葉片，在自然環(huán)境下，葉片表面灰度存在波動變化。當(dāng)不同像素的組內(nèi)各方向灰度和具有相同的離散系數(shù)時，采用本文預(yù)處理方法的圖像雜草區(qū)域的平均灰度級會高于背景區(qū)域，因此DGD特征可以有效地區(qū)分雜草與草坪，如圖5所示。從圖5a中可以看出，經(jīng)預(yù)處理融合策略與中值濾波處理后，草坪背景仍有部分區(qū)域具有與目標(biāo)相當(dāng)?shù)幕叶龋擃悈^(qū)域提取的DGD特征相對雜草目標(biāo)則相對較小。但是由于DGD特征通過窗口滑動提取，因此對目標(biāo)的邊緣響應(yīng)不夠靈敏，直接應(yīng)用于圖像分割會造成圖像邊緣區(qū)域的過分割。因此需要結(jié)合圖像灰度特征完成圖像的準(zhǔn)確分割。

圖5 圖像的DGD特征Fig. 5 The DGD feature of image

1.4.3 融合DGD特征的改進(jìn)FCM算法 傳統(tǒng)的FCM算法在應(yīng)用于圖像分割問題時僅考慮圖像的灰度信息。由于草坪雜草圖像中草坪和雜草顏色相近，直接進(jìn)行聚類難以有效分割出草坪雜草。因此，本文在傳統(tǒng)FCM算法的基礎(chǔ)上引入DGD特征，構(gòu)建FCM_DGD的目標(biāo)函數(shù)如式(9)所示：

利用拉格朗日乘子將限制式引入式(9)，結(jié)果如式(10)所示：

在式(10)中，分別對u、v求偏導(dǎo)，令偏導(dǎo)數(shù)等于0，得到隸屬度uij和聚類中心vj的迭代式如式(11)、(12)所示：

融合DGD特征的改進(jìn)FCM算法流程為：

步驟1：計(jì)算圖像的DGD特征信息；

步驟2：初始化隸屬度矩陣uij，選擇算法的最大迭代次數(shù)T以及迭代閾值ε，令當(dāng)前迭代次數(shù)t=1;

步驟3：分別由式(11)和式(12)更新計(jì)算隸屬度矩陣和聚類中心；

本文算法的整體流程如圖6所示。首先，利用超綠分割算子提取圖像的檢測主體與背景，在HSV顏色空間利用不同顏色通道中雜草與草坪的差異性突出雜草目標(biāo)，完成預(yù)處理；然后，根據(jù)預(yù)處理圖像提取圖像的面積特征約束中值濾波范圍，計(jì)算基于像素點(diǎn)的各向灰度分布差異性，得到基于圖像局部信息的雜草與草坪差異化特征；最后，將所得局部特征與灰度特征相結(jié)合進(jìn)行模糊聚類，完成草坪雜草圖像的分割。

圖6 本文方法流程圖Fig. 6 Flow chart of method in this paper

1.5 草坪雜草分割結(jié)果的定量評價(jià)方法

為了定量評價(jià)本文算法的分割效果，通過Photoshop手工標(biāo)記草坪雜草分割真值圖像，計(jì)算分割準(zhǔn)確率 (Segmentation accuracy,SA)、欠分割率(Under segmentation rate,UR)和過分割率 (Over segmentation rate,OR)，形成算法的客觀評價(jià)參數(shù)，其計(jì)算方法如式(13)～(15)所示：

式中，RS表示分割目標(biāo)的真值圖像像素個數(shù)，TS表示算法分割出的像素個數(shù)，US表示包含在RS中但不在TS中的像素個數(shù)，OS表示在TS中但不在RS的像素個數(shù)。SA值越大，表示算法分割結(jié)果與真值圖像越相近，分割效果越好。同理，UR和OR值越小，分別表示被誤判為背景和被誤判為前景的像素越少，算法的分割效果越好。

2 結(jié)果與分析

2.1 草坪雜草分割結(jié)果的主觀評價(jià)

為了更好地檢驗(yàn)算法的魯棒性，選擇如圖1所示的多種草坪生長狀態(tài)的不同種雜草進(jìn)行試驗(yàn)。將本文算法(DGDFCM)與傳統(tǒng)FCM、FCM-S2、FCMNLS算法以及文獻(xiàn)[17]的RSFCM算法進(jìn)行對比，結(jié)果見圖7。從圖7中可以看出，經(jīng)本文預(yù)處理后，上述5種方法都能有效地分割出雜草。FCM算法由于僅考慮圖像灰度，對圖像的空間信息利用不足，存在對草坪雜草的過分割。FCM-S2算法利用局部灰度中值將局部空間信息引入聚類目標(biāo)函數(shù)中，一定程度上優(yōu)化了傳統(tǒng)FCM算法的不足，但對灰度分布相對均勻的噪聲區(qū)域分割效果欠佳。FCMNLS算法基于像素的非局部空間信息對灰度相近的像素點(diǎn)進(jìn)行區(qū)分，對噪聲區(qū)域產(chǎn)生了較好的分割效果；然而，當(dāng)目標(biāo)邊緣灰度相對整體較暗時，目標(biāo)邊緣易被誤判為噪聲區(qū)域，造成目標(biāo)的欠分割。RSFCM算法利用圖像的空間上下文信息建立了一種新的可靠性模糊度量指標(biāo)，達(dá)到了抑制噪聲和保持邊緣的目的；但是，因?yàn)镽SFCM具有良好的邊緣保持性，當(dāng)出現(xiàn)強(qiáng)噪聲的區(qū)域面積較大的情況時，此區(qū)域易被判別為細(xì)小目標(biāo)區(qū)域，導(dǎo)致對草坪的過分割。本文算法對大多數(shù)噪聲區(qū)域抑制效果較好，實(shí)現(xiàn)了較為理想的雜草分割效果。

圖7 不同算法的分割結(jié)果 (DGDFCM為本文算法)Fig. 7 Segmentation results of different algorithms (DGDFCM is the algorithm in this paper)

2.2 草坪雜草分割結(jié)果的客觀評價(jià)

將圖7中各算法與真值圖像相比較，計(jì)算分割準(zhǔn)確率(SA)、欠分割率(UR)和過分割率(OR)，結(jié)果如表2所示。對比不同樣本間的分割準(zhǔn)確率(表2)可以發(fā)現(xiàn)，隨著雜草的形態(tài)表型復(fù)雜度提高，樣本的分割準(zhǔn)確率會有一定的下降。這是由于高復(fù)雜度表型的雜草在樣本采集時易受到光照條件的影響，使得樣本在不同區(qū)域灰度特征放大，從而導(dǎo)致在近色圖像分割中的誤差。對于樣本3而言，由于雜草目標(biāo)整體偏小，較少的分割誤差像素導(dǎo)致樣本整體的分割準(zhǔn)確率下降。從表2還可以看出，本文算法(DGDFCM)的分割準(zhǔn)確率平均為91.45%，比FCM、FCM-S2、FCMNLS和RSFCM算法分別提高16.35%、4.12%、6.80%和8.06%。由于RSFCM算法采用上下文相關(guān)性判斷像素空間信息，因此對分割結(jié)果的邊緣保持性較好，欠分割率較低。但圖中局部連續(xù)的強(qiáng)噪聲干擾易被誤判斷為目標(biāo)區(qū)域，導(dǎo)致算法的整體分割準(zhǔn)確率不高。本文算法在保持欠分割率與RSFCM算法相當(dāng)?shù)耐瑫r，降低了算法的過分割率。從過分率角度看，本文算法與FCMNLS算法的過分割率相對較低，但由于FCMNLS算法對噪聲像素的抑制過強(qiáng)，導(dǎo)致圖像的平均分割準(zhǔn)確率不高。因此，本文算法的整體表現(xiàn)優(yōu)于其他聚類算法，提高了圖像的分割準(zhǔn)確率。

表2 不同算法的圖像分割質(zhì)量評價(jià)Table 2 Quality evaluation for image segmentation of different algorithm %

3 結(jié)論

本文提出一種基于各向灰度分布差異的改進(jìn)模糊C均值聚類草坪雜草檢測算法，解決了雜草與草坪顏色相近而分割不完整的問題。利用超綠算子提取感興趣區(qū)域，結(jié)合HSV顏色空間多通道特征融合，擴(kuò)大圖像中目標(biāo)與背景的灰度差異。引入面積約束下的中值濾波代替全局中值濾波，在去噪的同時避免目標(biāo)區(qū)域灰度級的降低。提出一種各向灰度分布差異檢測算子，將像素的各向灰度分布差異引入模糊聚類過程，提高圖像分割的準(zhǔn)確率。試驗(yàn)結(jié)果表明，本文算法可有效分割自然環(huán)境中的草坪雜草，分割準(zhǔn)確率平均為91.45%，比FCM、FCM-S2、FCMNLS和RSFCM算法分別提高16.35%、4.12%、6.80%和8.06%。研究結(jié)果可以為草坪雜草精準(zhǔn)化施藥提供條件，具有實(shí)際應(yīng)用價(jià)值。但是在雜草具有較為復(fù)雜的空間結(jié)構(gòu)導(dǎo)致局部區(qū)域亮度不均時，該區(qū)域易被錯分。因此，在下一階段，我們將進(jìn)一步研究如何提高雜草復(fù)雜空間結(jié)構(gòu)區(qū)域的分割性能。