張桂寧（陜西省行政學(xué)院，陜西寶雞710068）

顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測算法

張桂寧
（陜西省行政學(xué)院，陜西寶雞710068）

機(jī)器人在采摘果樹桃子果實時，需要從復(fù)雜的果樹背景中識別出桃子，以此為依據(jù)計算出桃子的圓心坐標(biāo)與半徑，傳送給機(jī)器人系統(tǒng)進(jìn)行作業(yè)，其中果樹桃子的準(zhǔn)確檢測是機(jī)器人采摘作業(yè)的關(guān)鍵步驟。對此，提出了顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測算法。首先利用顏色差信息提取桃子區(qū)域；然后基于邊界跟蹤處理與匹配膨脹處理得到桃子的完整區(qū)域；再分別用圓擬合方法計算出桃子的圓心，完成定位檢測。該算法的性能測試結(jié)果表明：與當(dāng)前水果檢測算法相比，該算法具有更好的檢測效果，可準(zhǔn)確定位出桃子的目標(biāo)位置。

桃子檢測；顏色差信息；邊界跟蹤處理；匹配膨脹處理；圓擬合

隨著計算機(jī)科學(xué)、圖像處理算法研究的蓬勃發(fā)展，機(jī)器人作業(yè)、機(jī)器視覺檢測等技術(shù)在相關(guān)社會領(lǐng)域內(nèi)得到廣泛應(yīng)用，已在很大程度上推動了社會生產(chǎn)力的發(fā)展［1-3］。其中，在農(nóng)業(yè)自動化領(lǐng)域，圖像處理與機(jī)器視覺技術(shù)也起到了越來越重要的作用，主要是引導(dǎo)機(jī)器人抓取果實和對果實表面進(jìn)行質(zhì)量檢測等［4-6］。因此，果實定位與檢測的準(zhǔn)確度顯得尤為重要［7-8］。但是，現(xiàn)在很多地區(qū)的果實采集仍然依靠人力，如果采用機(jī)器人，既減少了人力成本，同時也提高了采摘準(zhǔn)確度和效率［9-11］。實現(xiàn)農(nóng)業(yè)果實的機(jī)器人自動采摘既能夠避免人眼的主觀性，又能發(fā)揮機(jī)器視覺的客觀性。部分專家利用果樹圖像中果實顏色差異進(jìn)行果實識別，取得了一定的識別效果［10］，但當(dāng)背景復(fù)雜時識別效果不佳，因為單純依靠顏色差異的閾值分割很難區(qū)分果實和背景。

為了實現(xiàn)基于機(jī)器視覺與圖像處理的桃子檢測，本文提出了顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測算法。本研究的對象是果樹桃子，主要實現(xiàn)對果樹桃子的識別、定位、檢測，把位置坐標(biāo)（即圓心位置）傳遞給機(jī)器人完成采摘。通過實驗驗證了本文算法的定位檢測性能。

1　本文算法設(shè)計

本文檢測算法的流程見圖1。從圖中可知，該算法包括3個步驟：①利用顏色差信息提取桃子區(qū)域；②基于邊界跟蹤處理與匹配膨脹處理得到桃子的完整區(qū)域；③用本文的圓擬合方法計算出桃子的圓心。

1.1基于顏色差信息的桃子區(qū)域分割

由于成熟桃子顏色一般以紅色為主，如圖2～4所示，因此對原彩色圖像f，首先利用紅、綠色差信息提取圖像中桃子紅色區(qū)域，然后再采用與原圖進(jìn)行匹配膨脹［12-13］的方法獲取桃子完整區(qū)域。

圖1　本文檢測算法流程

對圖像中的像素點（xi，yi），設(shè)其紅色分量和綠色分量的像素值分別為R（xi，yi），G（xi，yi），其差值為Ci=R（xi，yi）-G（xi，yi），由此獲得一個灰度圖（RG圖像）。然后計算RG圖像中所有非零像素點的均值a。逐像素掃描RG圖像，如果Ci＞a則將該點像素值設(shè)為255（白色），否則設(shè)為0（黑色），得到二值圖像fb，并對其進(jìn)行補(bǔ)洞和面積小于200像素的處理。

式（1）中k為RG圖像中非零像素點的個數(shù)。

圖5～7分別為圖2～4采用R-G色差均值為閾值提取桃子紅色區(qū)域的二值圖像。由圖可見，該方法在各種光照條件和不同背景情況都能較好地提取出桃子的紅色區(qū)域。

圖2　待檢測的桃子1

圖3　待檢測的桃子2

圖4　待檢測的桃子3

圖5　桃子紅色區(qū)域分割結(jié)果1

圖6　桃子紅色區(qū)域分割結(jié)果2

圖7　桃子紅色區(qū)域分割結(jié)果3

1.2基于邊界跟蹤處理與匹配膨脹的桃子分割

復(fù)制二值圖像fb為fc，設(shè)圖像中白色區(qū)域的個數(shù)為m，白色區(qū)域的邊界點總數(shù)為n，存放在各白色區(qū)域邊界點個數(shù)的數(shù)組為length［］，存放邊界點坐標(biāo)（x、y結(jié)構(gòu)體）的數(shù)組為lst［］。初始化m=0，n=0，以fb上的白色區(qū)域為目標(biāo)進(jìn)行下述邊界追蹤處理。

1）設(shè)length［0］=0，從上到下、從左到右逐像素掃描fb。遇到?jīng)]有標(biāo)記的白色像素時，查看其左側(cè)像素，若為黑色則停止該掃描（主掃描）。

2）將檢測過程中的白色像素視為邊界起始點b（b=255），并設(shè)其為目標(biāo)像素，坐標(biāo)存入lst［n］，n值增加1，則lengh［m］值加1。

3）設(shè)標(biāo)記值p=1，從目標(biāo)像素的右側(cè)開始，順時針掃描目標(biāo)像素的8領(lǐng)域像素，若遇到白色像素，將其值設(shè)為標(biāo)記值p，并將其作為目標(biāo)像素，坐標(biāo)存入lst［n］，n值增加1，則lengh［m］值加1。

4）以上一個邊界像素為起始點，在當(dāng)前目標(biāo)像素的8領(lǐng)域中按順時針方向搜索，遇到白色像素時，將其設(shè)定為標(biāo)記值p，并將其作為目標(biāo)像素，坐標(biāo)存入lst［n］，n值增加1，則lengh［m］值加1。

5）反復(fù)執(zhí)行步驟4），當(dāng)遇到邊界初始點b時，表示當(dāng)前的白色區(qū)域邊界追蹤完畢，m的值增加1。

6）從步驟1）的主掃描停止位置重新執(zhí)行步驟1）～5），對圖像中其他白色區(qū)域進(jìn)行邊界追蹤處理［14］，直到掃描完整副圖像為止，然后進(jìn)行后續(xù)的匹配膨脹處理。

隨后，設(shè)區(qū)域號為j（0＜j＜m），膨脹后邊界點總數(shù)為n2，存放膨脹后邊界點個數(shù)的數(shù)組為length2［］，存放膨脹后邊界點坐標(biāo)的數(shù)組為lst2［］。

1）設(shè)j=0，n2=0。

2）設(shè)length2［j］=0。

3）依次從lst［］中讀取區(qū)域j的邊界坐標(biāo)點Pi（0＜i＜length［j］），分別對其進(jìn)行后續(xù)處理。

4）順時針掃描圖像fc和原圖像f上點Pi的24領(lǐng)域Nk，計算fc上為白色所對應(yīng)原圖像f上R分量值的最大值Rmax和最小值Rmin。

5）在圖像fc上順時針掃描Pi的8領(lǐng)域Nk，若遇到黑色像素，則讀取原圖像f上相同位置的R分量值和G分量值。如果R＞G，則認(rèn)為該黑色像素點屬于桃子上的點，將圖像fc上該點變?yōu)榘咨⒃擖c坐標(biāo)存入lst2［］，n2增加1，length2［j］值增加1，當(dāng)區(qū)域jd的所有邊界坐標(biāo)點Pi完成上述處理后，j值加1。

6）循環(huán)步驟2）～5），直到j(luò)=m時，表示一次匹配膨脹結(jié)束。

7）拷貝lst2［］到lst［］，拷貝length2［］到length［］，令n=n2，重復(fù)步驟1）～6），進(jìn)行下一次匹配膨脹處理。在某次匹配膨脹處理中，如果在步驟5）中，沒有滿足條件的黑色像素出現(xiàn)，則表示匹配膨脹完成，退出匹配膨脹處理。之后對圖像進(jìn)行fc補(bǔ)洞，3次膨脹和腐蝕的修復(fù)處理。

圖8～10為圖5～7與彩色原圖進(jìn)行匹配膨脹后的二值圖像。因為同一個桃子上相鄰像素的R分量值不會發(fā)生劇烈變化，而桃子邊緣相鄰像素的R分量值則會出現(xiàn)較大變化，據(jù)此將目標(biāo)像素24領(lǐng)域內(nèi)桃子像素點的R分量值的最大、最小值作為無顯著變動的閾值范圍。該方法可以自動確定閾值，能夠準(zhǔn)確、快速地將本屬于桃子的像素重新找回。結(jié)果表明桃子區(qū)域分割中黑色像素都被很好地匹配膨脹成了白色像素。

圖8　桃子完整區(qū)域分割結(jié)果1

圖9　桃子完整區(qū)域分割結(jié)果2

圖10　桃子完整區(qū)域分割結(jié)果3

結(jié)果表明：本文提出的分割提取算法能夠適應(yīng)桃子顏色的非均一性和圖像光照的復(fù)雜性，很好地去除了天空、枝葉等復(fù)雜背景，而且?guī)缀跬旰玫乇４媪宋幢恢θ~遮擋的桃子區(qū)域，取得了較好的分割效果。

1.3基于圓擬合方法的圓心計算

對于每個分割出的桃子區(qū)域很容易求得中心區(qū)域，但是進(jìn)一步求得圓心坐標(biāo)有一定的難度，本文對這個點展開研究。首先中心區(qū)域內(nèi)點為可能圓心點群，（Ox，iOyi）為可能圓心點，0＜i＜m，m表示可能圓心點個數(shù)。由式（2）～（5）分別計算圓心x和y坐標(biāo)的平均值和標(biāo)準(zhǔn)偏差。

式中：Dx為可能圓心點橫坐標(biāo)的標(biāo)準(zhǔn)偏差；為可能圓心點橫坐標(biāo)的平均值；Oxi為第i個可能圓心點的橫坐標(biāo)；Dy為可能圓心點縱坐標(biāo)的標(biāo)準(zhǔn)偏差；O-y為可能圓心點縱坐標(biāo)的平均值；Oyi為第i個可能圓心點的縱坐標(biāo)。按照式（4）逐個判斷每個可能圓心點。

將滿足式（6）的所有可能圓心點坐標(biāo)存入數(shù)組S中，之后對S中所有點重新求平均值，將其作為擬合圓的圓心記為O。計算數(shù)組S中所有可能圓心點坐標(biāo)與圓心O的距離，找出距離最小的可能圓心點的坐標(biāo)。

本文檢測算法部分關(guān)鍵代碼：

2　實驗與討論

本文實驗平臺基于windows7系統(tǒng)、VS2010環(huán)境和C++語言編程實現(xiàn)。對照組依據(jù)文獻(xiàn)［15］的基于依靠顏色差異閾值分割來識別果實。

圖11～13是擬合結(jié)果圖像，可見圓擬合結(jié)果非常準(zhǔn)確，表明該擬合算法能夠適應(yīng)桃子單個果實、多個果實相互分離以及多個果實相互接觸等多種生長狀態(tài)，并且對于部分遮擋的果實也能夠很好地擬合。

圖14～16是對照組的識別效果，可見存在明顯定位識別偏差。因此，單純依靠顏色差異進(jìn)行閾值分割時，如背景較復(fù)雜，則識別效果弱于本文算法。

圖11　單個桃子檢測結(jié)果

圖12　兩個桃子相互接觸的檢測結(jié)果

圖13　多個桃子相互分離的檢測結(jié)果

圖14　基于傳統(tǒng)算法的單個桃子檢測結(jié)果

圖15　基于傳統(tǒng)算法的兩個桃子相互接觸的檢測結(jié)果

圖16　基于傳統(tǒng)算法的多個桃子相互分離的檢測結(jié)果

3　結(jié)束語

為了提高桃子的檢測精度，本文提出了顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測算法。首先利用顏色差信息提取桃子區(qū)域；然后基于邊界跟蹤處理與匹配膨脹處理得到桃子的完整區(qū)域；再分別用本文的圓擬合方法計算出桃子的圓心，完成定位檢測。實驗證明：本文檢測算法的檢測性能較好。

［1］楊惠，楊會成，王曉薇倩.改進(jìn)Harris角點檢測算法的零件形狀識別［J］.重慶理工大學(xué)學(xué)報：自然科學(xué)版，2013，27（12）：64-68.

［2］崔紅光.圖像處理技術(shù)在農(nóng)業(yè)機(jī)器人中的應(yīng)用［J］.農(nóng)機(jī)化研究，2013，18（11）：383-387.

［3］李少昆.作物株型信息多媒體圖像處理技術(shù)的研究［J］.作物學(xué)報，2013，36（4）：181-185.

［4］李輝.數(shù)字圖像處理技術(shù)及其在農(nóng)業(yè)中的應(yīng)用研究［J］.安徽農(nóng)業(yè)科學(xué)，2013，21（7）：1906-1913.

［5］王兆文.基于Matlab/GUI的汽油機(jī)缸內(nèi)直接噴霧圖像處理方法［J］.農(nóng)業(yè)機(jī)械學(xué)報，2013，33（10）：2886 -2890.

［6］肖德琴.基于嵌入式應(yīng)用的高分辨率農(nóng)業(yè)圖像采集節(jié)點設(shè)計［J］.農(nóng)業(yè)機(jī)械學(xué)報，2011，23（2）：371-376.

［7］Noori H，Saryazdi S.A bilateral image inpainting［J］. IJST Trans Electr Eng，2011，25（E2）：95-108.

［8］Kuang Y，Zhang L，Yi Z.An Adaptive Rank-sparsity KSVD Algorithm for Image Sequence Denoising［J］.Pattern Recognition Letters，2014，33（17）：1021-1032.

［9］耿楠.基于水平集和先驗信息的農(nóng)業(yè)圖像分割方法［J］.農(nóng)業(yè)機(jī)械學(xué)報，2014，18（15）：482-4387.

［10］貴慧宏，張錦，陳永劍.基于GTS901A的測量機(jī)器人變形監(jiān)測自動化軟件的開發(fā)［J］.測繪科學(xué)，2010（4）：166-168.

［11］馮娟，劉剛，司永勝.蘋果采摘機(jī)器人激光視覺系統(tǒng)的構(gòu)建［J］.農(nóng)業(yè)機(jī)械學(xué)報，2013，29（1）：32-36.

［12］趙曉霞，張鐵中，陳兵旗.自然環(huán)境下桃子圖像分割算法［J］.農(nóng)機(jī)化研究，2009（2）：107-111.

［13］賈永紅，鄒勤，付修軍.于數(shù)學(xué)形態(tài)學(xué)的掃描地圖點狀符號識別方法［J］.武漢大學(xué)學(xué)報：信息科學(xué)版，2008，33（7）：673-675.

［14］郭常有，曹廣斌，韓世成.基于圖像處理技術(shù)的扇貝尺寸及位置自動識別［J］.大連海洋大學(xué)學(xué)報：自然科學(xué)版，2012，27（6）：578-582.

［15］Ehmann J，Pappas T，Neuhoff D.Structure Texture similaritymetrics for image analysis and retrieval［J］.IEEE Transactions，2013，22（7）：2545-2258.

（責(zé)任編輯何杰玲）

Peach Detection Algorithm Based on Information Extraction of Color Difference Coup led Circle Fitting Technique

ZHANG Gui-ning
（Shaanxi Academy of Governance，Baoji710068，China）

When robot is picking peach，robotneeds to identify it from the complicated background of fruit trees，and on this basis to calculate the peach center coordinates and radius and transmit to the robot system for operation.Due to the work environment that tends to have interference such as strong light，insufficient light or shade leaves，and the fruit trees peach accurate detection is the key step in the robot's picking operation.To this，this paper proposed a fruit peach detection mechanism based on extraction information of color difference coupled circle fitting technique.First using color difference information extraction peach area，and then treatmentwith matching expansion based on boundary tracing，complete area of peach was got，and again with this circle fittingmethod，the center of the circle of peach to finish the fruit detection was calculated.The results of the tested performance ofmechanism show that compared with other fruit detection mechanism，thismechanism has better detection effect and can accurately pinpoint the peach target location.

peach detection；color difference information；processing of boundary tracking；matching expansion treatment；circle fitting

TP391

A

1674-8425（2015）05-0093-06

10.3969/j.issn.1674-8425（z）.2015.05.017

2015-02-02

陜西省自然科學(xué)基金資助項目（2011F47）；陜西省行政學(xué)院科研立項項目（YKT010）

張桂寧（1984—），女，陜西寶雞人，助理工程師，主要從事目標(biāo)檢測定位、計算機(jī)網(wǎng)絡(luò)與信息安全研究。

張桂寧.顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測算法［J］.重慶理工大學(xué)學(xué)報：自然科學(xué)版，2015（5）：93-98.

format：ZHANG Gui-ning.Peach Detection Algorithm Based on Information Extraction of Color Difference Coupled Circle Fitting Technique［J］.Journal of Chongqing University of Technology：Natural Science，2015（5）：93 -98.