汪杰，陳曼龍, 2，李奎，丁敏，王琨

(1. 陜西理工大學(xué)機(jī)械工程學(xué)院，陜西漢中，723000；2. 陜西省工業(yè)自動(dòng)化重點(diǎn)實(shí)驗(yàn)室，陜西漢中，723000)

0 引言

農(nóng)業(yè)生產(chǎn)中，果蔬采摘工作由于勞動(dòng)強(qiáng)度大，相應(yīng)的果蔬采摘機(jī)器人研制得到密切關(guān)注。果蔬采摘機(jī)器人首先通過視覺系統(tǒng)對(duì)成熟果實(shí)現(xiàn)識(shí)別，將識(shí)別后的坐標(biāo)信息傳輸給驅(qū)動(dòng)裝置，通過驅(qū)動(dòng)裝置搭載的采摘機(jī)構(gòu)，實(shí)現(xiàn)果實(shí)的采摘和存儲(chǔ)。因此準(zhǔn)確的目標(biāo)識(shí)別是采摘機(jī)器人視覺系統(tǒng)的關(guān)鍵技術(shù)[1-3]。

當(dāng)采摘過程中環(huán)境變得復(fù)雜時(shí)[4]，花椒的識(shí)別率會(huì)降低。傳統(tǒng)花椒識(shí)別方法在順光條件下識(shí)別效果較好，但在遮陰條件下由于光照不足，導(dǎo)致部分花椒無法識(shí)別，同時(shí)識(shí)別過程中樹枝，葉片等會(huì)對(duì)識(shí)別產(chǎn)生嚴(yán)重干擾。近年來農(nóng)業(yè)生產(chǎn)現(xiàn)場果實(shí)識(shí)別技術(shù)得到了長足的進(jìn)步，在相關(guān)的圖像識(shí)別領(lǐng)域，學(xué)者們已經(jīng)做了大量研究。趙利平等[5]針對(duì)蘋果采摘機(jī)器人不能準(zhǔn)確定位夜間蘋果目標(biāo)的問題,提出一種融合GA的三點(diǎn)定位算法，可以較精確的實(shí)現(xiàn)夜間蘋果目標(biāo)的定位。熊俊濤等[6]提出了夜間荔枝采摘機(jī)器人識(shí)別算法，對(duì)夜間荔枝顏色圖像進(jìn)行特征分析，確定合適的顏色模型進(jìn)行荔枝圖像分割，實(shí)現(xiàn)了在夜視環(huán)境下荔枝的準(zhǔn)確采摘。 趙小麗設(shè)計(jì)了一套水果目標(biāo)物識(shí)別處理系統(tǒng),可以對(duì)蘋果、梨子、水蜜桃和香蕉這4種水果進(jìn)行識(shí)別與分類。劉小剛等[7]利用卷積神經(jīng)網(wǎng)絡(luò)，通過訓(xùn)練大量的草莓圖像數(shù)據(jù)集，以此提高果實(shí)的識(shí)別率。閆建偉等[8]采用帶有殘差模塊的神經(jīng)網(wǎng)絡(luò)進(jìn)行刺梨果實(shí)識(shí)別模型的訓(xùn)練，提高了刺梨的識(shí)別率。趙賢國[9]利用花粉的孔、凹凸度等結(jié)構(gòu)特征、灰度變化的特點(diǎn)，實(shí)現(xiàn)對(duì)不同花粉的識(shí)別。邱津怡等[10]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)( CNN) 的多尺度葡萄圖像識(shí)別方法，使得識(shí)別效果獲得了提升。苗中華等[11]提出了一種自然環(huán)境下重疊果實(shí)的圖像識(shí)別與邊界分割的組合優(yōu)化算法，可以從重疊物體圖像背景中識(shí)別出重疊目標(biāo)。Wang等[12]提出一種新穎的形狀描述方法多尺度弓高(March)，可以有效捕獲葉片形狀的全局特征和詳細(xì)特征,實(shí)現(xiàn)了葉片形狀的快速識(shí)別。雖然以上方法的識(shí)別效果較好，但均不能用于花椒識(shí)別，會(huì)出現(xiàn)識(shí)別率不高或者無法識(shí)別的情況。因此必須根據(jù)花椒的光照及分布特點(diǎn)進(jìn)行識(shí)別方法的研究。

花椒果實(shí)的特點(diǎn)為頂生聚傘狀、分布緊密，果實(shí)之間相互遮擋，影響識(shí)別率。當(dāng)果實(shí)和樹枝的顏色均偏暗時(shí)，僅僅通過單一特征很難準(zhǔn)確完成花椒的識(shí)別和定位，此外花椒容易受到樹枝及樹葉的遮擋，導(dǎo)致光照分布不均勻。

同態(tài)濾波常用于亮度調(diào)節(jié)，可以改善圖像光照不均勻的情況，增強(qiáng)圖像對(duì)比度[13]，因此首先通過同態(tài)濾波的方法解決了光照分布不均勻?qū)е碌淖R(shí)別率不高的問題。引入基于顏色和形狀特征相結(jié)合的方法，有效減少了單獨(dú)采用顏色特征識(shí)別后枝葉的干擾，將有助于提高花椒的識(shí)別率。

1 圖像同態(tài)濾波與花椒光線補(bǔ)償

1.1 圖像同態(tài)濾波

花椒圖像可以看作由光源入射分量i(x,y)和目標(biāo)物體反射分量r(x,y)組成。

其數(shù)學(xué)模型[14]

f(x,y)=i(x,y)·r(x,y)

(1)

首先分離i(x,y)和r(x,y)，然后分別抑制低頻照度分量i(x,y)，加強(qiáng)高頻反射分量r(x,y)，達(dá)到光線補(bǔ)償?shù)哪康?，同時(shí)圖像在暗區(qū)的細(xì)節(jié)得到增強(qiáng)，圖像的邊緣得到銳化。

因此將公式(1)兩邊取對(duì)數(shù)，將低頻i(x,y)和高頻r(x,y)分離，得到式(2)。

Inf(x,y)=Ini(x,y)+Inr(x,y)

(2)

分離后的部分進(jìn)行快速Fourier變換得到F(u,v)，得到表達(dá)式(3)。

F(u,v)=I(x,y)+R(x,y)

(3)

在頻率域范圍內(nèi)采用同態(tài)濾波函數(shù)H(u,v)處理，削弱低頻I(x,y)分量的同時(shí)增強(qiáng)了R(x,y)分量，得到式(4)。

H(u,v)F(u,v)=H(u,v)I(x,y)+H(u,v)R(x,y)

(4)

最后再經(jīng)過Fourier逆變換得到hf(u,v)和指數(shù)變換得到增強(qiáng)后的圖像g(x,y)。其變化公式[15]

hf(u,v)=hi(x,y)+hr(x,y)

(5)

g(x,y)=es(x,y)=ehi(x,y)·ehr(x,y)

(6)

1.2 濾波函數(shù)參數(shù)選擇

最終圖像的增強(qiáng)效果完全取決于濾波函數(shù)H(u,v)的效果，為了達(dá)到抑制低頻和增強(qiáng)高頻的作用，本文采用動(dòng)態(tài)巴特沃斯同態(tài)濾波傳遞函數(shù)[16]。

(7)

式中：rH——高頻增益；

rL——低頻增益；

c——常數(shù)，在rL和rH之間變化，用來控制濾波函數(shù)的斜率變化；

D0——截止頻率，若圖片的大小為M×N。

則經(jīng)過Fourier變換后中心距離

(8)

其中D0的取值取決于入射分量和反射分量，通過對(duì)D(u,v)進(jìn)行中值運(yùn)算來快速確認(rèn)。通過實(shí)驗(yàn)驗(yàn)證，遮陰狀態(tài)下的花椒圖像，當(dāng)rH取0.4，rL取0.1，D0取0.25，圖像的低頻分量減少，整體亮度更高，因此采用同態(tài)濾波進(jìn)行圖像預(yù)處理，可以改善圖像光照不均的問題。

1.3 同態(tài)濾波試驗(yàn)結(jié)果

如圖1(a)所示由于樹葉遮擋，花椒圖像邊緣處光照明顯不足,采用同態(tài)濾波可以補(bǔ)充花椒邊緣處的光照。如圖1(b)所示為遮陰條件下同態(tài)濾波圖像，經(jīng)過同態(tài)濾波后，光線不足的邊緣得到了加強(qiáng)。

(a) 原圖

(b) 同態(tài)濾波圖圖1 遮陰條件下同態(tài)濾波Fig. 1 Homomorphic filtering analysis under shading

圖2(a)，圖3(a)為逆光條件下的花椒圖像，花椒圖像整體光照不均勻。圖2(b)和圖3(b)采用同態(tài)濾波對(duì)圖像光照較強(qiáng)的部位進(jìn)行減弱，圖像光照較弱的部分進(jìn)行加強(qiáng)。

從圖2、圖3可以看出經(jīng)過同態(tài)濾波后的圖像紋理更加清晰，整幅圖像光照分布更加均勻。因此將同態(tài)濾波應(yīng)用在花椒圖像識(shí)別中，可以解決整幅圖像的光照分布不均的問題，有利于后續(xù)的圖像處理，特別是遮陰狀態(tài)下的光照分布得到了較大改善，花椒圖像的邊緣得到了銳化。

(a) 原圖

(b) 同態(tài)濾波圖圖2 逆光條件下同態(tài)濾波Fig. 2 Homomorphic filtering analysis under backlight

(a) 原圖

(b) 同態(tài)濾波圖圖3 順光條件下同態(tài)濾波Fig. 3 Homomorphic filtering under light conditions

2 花椒圖像識(shí)別過程

經(jīng)過同態(tài)濾波的花椒圖像改善了圖像的光照分布，再通過HSV和形狀特征融合進(jìn)行花椒識(shí)別，因識(shí)別后要配合機(jī)械手的采摘，當(dāng)識(shí)別區(qū)域的花椒數(shù)目不足時(shí)，重新選取其它角度的花椒圖像進(jìn)行識(shí)別。后續(xù)的識(shí)別過程主要為HSV顏色分割和結(jié)合花椒的形狀特征的識(shí)別。

整個(gè)過程流程圖如圖4所示。

圖4 花椒識(shí)別流程圖Fig. 4 Prickly ash recognition cucumber indentification

2.1 花椒圖像的HSV空間特性

HSV是常用的顏色分割的方法，在該方法中,H主要決定圖像顏色，S決定圖像的飽和度，V主要決定圖像的亮度。HSV空間的各個(gè)分量之間是相互獨(dú)立的，而H和S分量受光照的影響較小，這也是選取該空間的原因之一[17]。HSV花椒圖像的分割如圖5所示。

(a) 原圖

(b) 基于HSV的識(shí)別效果圖5 HSV花椒圖像的分割Fig. 5 Segmentation of HSV pepper image

如圖5(b)所示為背光條件下利用H分量分割的效果，其分割的閾值參數(shù)設(shè)置為175～255時(shí)，可以實(shí)現(xiàn)較理想的分割。圖像中的紅色部分即為識(shí)別出的花椒圖像。因?yàn)榛ń纷R(shí)別后往往需要配合機(jī)械手的采摘，多個(gè)目標(biāo)的存在明顯會(huì)對(duì)機(jī)械手的采摘產(chǎn)生干擾。如圖5(b)所示有少部分枝葉，花椒對(duì)整幅圖像存在較大干擾，還需要借助形狀特征提高花椒整幅圖像的識(shí)別準(zhǔn)確度。

2.2 基于形狀特征的花椒圖像識(shí)別

花椒的果實(shí)特點(diǎn)為頂生聚傘狀，如圖4紅色區(qū)域面積最大的部分即為需要識(shí)別的采摘區(qū)域。如圖6所示有多個(gè)花椒區(qū)域，顯然幾個(gè)面積較小的區(qū)域并非采摘區(qū)域。由于遮擋非采摘區(qū)域圓度特征受到了影響，而采摘區(qū)域的花椒果實(shí)外邊緣都近似圓形，因此分別提取圖像每個(gè)區(qū)域的面積及其外接圓面積，再利用花椒圓形度特征準(zhǔn)確識(shí)別目標(biāo)區(qū)域。花椒圖像每個(gè)區(qū)域的圓形度計(jì)算公式[18]

(9)

式中：A——區(qū)域面積；

A′——區(qū)域最小外接圓面積。

(a) 基于HSV的識(shí)別效果

(b) HSV和形狀特征融合的效果圖6 HSV和形狀特征融合的花椒識(shí)別Fig. 6 Prickly ash recognition based onHSV and shape features

該指標(biāo)同樣認(rèn)為圓形區(qū)域最緊湊，其緊湊度為1。在計(jì)算中采用最小外接圓面積作為衡量區(qū)域形狀的標(biāo)準(zhǔn)。通過大量實(shí)驗(yàn)表明，花椒識(shí)別過程中將圓形度值設(shè)置為0.85，可以較好的區(qū)分花椒區(qū)域。

因?yàn)闄C(jī)械手每次采摘只能針對(duì)一個(gè)目標(biāo)，因此在圖像處理過程中必須排除非采摘區(qū)域花椒的干擾。如上圖6(a)所示，通過HSV特性分割的圖像，圖像存在部分非采摘區(qū)域的干擾。借助HSV和形狀特征融合的方法tong-Y，如圖6(b)所示去掉了非采摘區(qū)域花椒的影響，可以較好的識(shí)別出采摘的目標(biāo)區(qū)域。

3 試驗(yàn)結(jié)果及分析

本文按順光、背光、遮陰3種條件下進(jìn)行試驗(yàn)，對(duì)比分析傳統(tǒng)的HSV顏色空間算法與本文基于HSV顏色空間和形狀特征識(shí)別結(jié)果的差異性。本實(shí)驗(yàn)在漢中某花椒種植基地，采集235幅花椒圖進(jìn)行圖像處理，圖像格式為JPG格式，圖像處理計(jì)算機(jī)是Lenovo筆記本，WIN7操作系統(tǒng)，matlab2012b分析軟件。表1為不同情況下的分割識(shí)別率，采用本文方法Tong-Y的分割效果如圖7～圖9所示。

(a) 陰天順光原圖

(b) 陰天順光識(shí)別

(c) 晴天順光原圖

(d) 晴天順光識(shí)別圖7 順光條件下Tong-Y花椒識(shí)別Fig. 7 Tong-Y pepper identification under light conditions

(a) 陰天逆光原圖

(b) 陰天逆光識(shí)別

(c) 晴天逆光原圖

如表1所示，在不同光照條件下，本論文對(duì)每幅圖像上的實(shí)際花椒數(shù)目和識(shí)別出的花椒數(shù)目進(jìn)行統(tǒng)計(jì)。通過計(jì)算得出，Tong-Y方法對(duì)各種光照條件的花椒識(shí)別率有不同程度的提高。在順光狀態(tài)下兩者的識(shí)別率差異不大，而在背光狀態(tài)下提高13%，在遮陰狀態(tài)下提高21%。此外Tong-Y方法的平均召回率為94%，相對(duì)于HSV分割圖像法提高14%。通過表2可以看出Tong-Y在順光條件下效率僅提高了2.5%，主要是由于順光條件下Tong-Y方法對(duì)光照的補(bǔ)償作用不明顯，在背光條件下識(shí)別速率提高3.7%。而在遮陰條件下識(shí)別速率提升最為明顯，速率提高14.6%。

(a) 陰天遮擋原圖

(b) 陰天遮擋識(shí)別

(c) 晴天遮擋原圖

(d) 晴天遮擋識(shí)別圖9 遮陰條件下Tong-Y花椒識(shí)別Fig. 9 Tong-Y pepper identification under shading conditions

表1 花椒識(shí)別數(shù)量統(tǒng)計(jì)Tab. 1 Recognition rate statistics of pepper

表2 HSV分割同Tong-Y運(yùn)行時(shí)間對(duì)比Tab. 2 HSV segmentation and Tong-Y running time comparison

4 結(jié)論

為使花椒采摘機(jī)器人能達(dá)到快速準(zhǔn)確識(shí)別花椒的目的，提出一種HSV顏色空間與形狀特征融合的方法對(duì)花椒圖像進(jìn)行分割。在順光、背光、遮陰3種條件下，先對(duì)原圖像進(jìn)行同態(tài)濾波，解決了光照分布不均勻的問題。用圖像的H分量對(duì)圖像進(jìn)行初步分割，再使用本論文的方法進(jìn)行識(shí)別。試驗(yàn)結(jié)果表明：Tong-Y方法平均識(shí)別率達(dá)94%，其中順光、背光、遮陰下的識(shí)別率分別為96%，96%和91%；與傳統(tǒng)的HSV顏色空間算法相比，識(shí)別率均有所提高，特別是在遮陰下的識(shí)別率得到了較大提高。同時(shí)在遮陰條件下該方法的運(yùn)行效率提高14.6%，有了一定提升。此外對(duì)于花椒之間相互遮擋導(dǎo)致識(shí)別率不高的問題，還需要進(jìn)一步的研究。