李宏利，劉全中

(西北農(nóng)林科技大學(xué) 信息工程學(xué)院，陜西 楊凌　712100)

?

圖像中成熟蘋果果實(shí)定位方法研究

李宏利，劉全中

(西北農(nóng)林科技大學(xué) 信息工程學(xué)院，陜西 楊凌712100)

摘要：針對(duì)目前蘋果果實(shí)圖像定位中存在的準(zhǔn)確度較低、速度較慢等問(wèn)題，在分析比較的基礎(chǔ)上，對(duì)蘋果果實(shí)定位方法進(jìn)行了進(jìn)一步的思考和研究。以3點(diǎn)確定圓算法為中心，配合圖像中樹枝樹葉部分的分割、果實(shí)邊緣的檢測(cè)及去除圖像的噪聲等技術(shù)，以使處理速度滿足實(shí)時(shí)要求，并使果實(shí)定位結(jié)果準(zhǔn)確。經(jīng)測(cè)試，本方法對(duì)成熟蘋果果實(shí)具有較好的定位效果。

關(guān)鍵詞：蘋果圖像；果實(shí)定位；圓檢測(cè)

0引言

機(jī)器人采摘蘋果是我國(guó)果蔬業(yè)自動(dòng)化程度的重要體現(xiàn)。隨著科學(xué)技術(shù)的快速發(fā)展，機(jī)器人采摘蘋果已經(jīng)成為蘋果采摘技術(shù)的熱點(diǎn)；但快速準(zhǔn)確識(shí)別定位成熟果實(shí)既是機(jī)器人采摘蘋果的技術(shù)難點(diǎn)，又是研究的熱點(diǎn)。

文獻(xiàn)[1]～[6]采用Hough進(jìn)行目標(biāo)定位研究，文獻(xiàn)[7]～[8]通過(guò)曲率對(duì)蘋果果實(shí)進(jìn)行識(shí)別和定位。但是已有研究表明：通過(guò)Hough變換、圓曲率等方法進(jìn)行目標(biāo)輪廓提取及定位時(shí), 輪廓像素點(diǎn)過(guò)多會(huì)產(chǎn)生較多冗余圓，定位效率低下。

為此，本文主要以成熟蘋果圖像為研究目標(biāo)。首先，對(duì)果實(shí)圖像進(jìn)行分割去噪處理；其次，對(duì)目標(biāo)輪廓進(jìn)行提取，并對(duì)輪廓邊緣進(jìn)行了細(xì)化處理，對(duì)細(xì)化后的邊緣進(jìn)行無(wú)效點(diǎn)合并處理，減少了無(wú)效像素點(diǎn)對(duì)算法的影響；最后，采用3點(diǎn)確定圓的方法獲得蘋果果實(shí)的幾何參數(shù)。

1圖像預(yù)處理

本文以處于收獲期的紅富士蘋果為研究對(duì)象。在蘋果成熟季節(jié)，使用Nikon COOLPIX S6150型號(hào)數(shù)碼相機(jī)，在陜西楊凌農(nóng)民果園實(shí)地拍攝200幅圖像。其中，順光圖像120幅，逆光圖像80幅；圖像格式為jpg，圖像大小為1 024×768像素。

1.1果實(shí)圖像分割

針對(duì)紅色蘋果果實(shí)、綠色樹葉和棕色樹干，常用比較像素點(diǎn)中R、G這兩個(gè)值大小的方法進(jìn)行果實(shí)圖像分割；但RGB色彩空間中的顏色數(shù)量多，直接比較R和G的值所獲得的效果與要求誤差較大。在測(cè)試中用從R/1到R/2之間的值分別與G的值進(jìn)行比較，發(fā)現(xiàn)R/1.7與G的值進(jìn)行比較時(shí)的效果最好。若R/1.7>G，則保留該像素；否則，將該像素點(diǎn)置換為白色。當(dāng)樹葉等其它背景遮擋果實(shí)時(shí)，會(huì)對(duì)定位效果產(chǎn)生一定的誤差，一般情況下，只要遮擋面積不大于50%時(shí)，誤差較小，定位效果可以滿足要求。測(cè)試效果如圖1所示。

圖1　圖像分割前后對(duì)比

1.2圖像去噪

自然場(chǎng)景下獲取的蘋果果實(shí)圖像有噪聲，會(huì)降低圖像的質(zhì)量，影響目標(biāo)的識(shí)別和提取。因此，必須對(duì)圖像進(jìn)行降噪處理。

通過(guò)對(duì)比分析最小值濾波、中值濾波和最大值濾波3種方法，經(jīng)過(guò)多次測(cè)試本實(shí)驗(yàn)所用蘋果果實(shí)圖像并比較處理效果，最終采用的中值濾波的方法來(lái)進(jìn)行圖像去噪，效果如圖2所示。

圖2　去噪后蘋果果實(shí)圖像

1.3邊緣檢測(cè)

經(jīng)過(guò)前期處理所得到的圖像雖然在很大程度上保留了所需要信息，但要提高圖像定位和幾何參數(shù)的獲取效果，還需對(duì)圖像進(jìn)行邊緣檢測(cè)及二值化處理。綜合比較Sobel算子、Prewitt算子和Laplacian算子，并對(duì)以上算子測(cè)試結(jié)果進(jìn)行分析后，采用Laplacian算子進(jìn)行邊緣檢測(cè)，確定閾值為0.5。當(dāng)像素點(diǎn)的灰度值大于0.5時(shí)，像素點(diǎn)顏色替換為白色；否則，替換為黑色。所得效果如圖3所示。

圖3　邊緣檢測(cè)及二值化處理后圖像

2定位蘋果果實(shí)

蘋果果實(shí)輪廓圖像近似圓，可以用圓的幾何參數(shù)表示果實(shí)在圖像中的位置及大小。

2.1邊緣上點(diǎn)的選取

經(jīng)過(guò)前期處理獲取的果實(shí)邊緣實(shí)際上是由塊狀的像素點(diǎn)聚集而成的，因此要較好地獲取輪廓的圓參數(shù)，還需對(duì)果實(shí)邊緣作進(jìn)一步處理。

2.1.1細(xì)化邊緣

將果實(shí)邊緣轉(zhuǎn)化成一系列單獨(dú)的像素點(diǎn)，細(xì)化果實(shí)邊緣，為后期取獲取像素點(diǎn)及定位等操作做準(zhǔn)備。

算法的設(shè)計(jì)思路：將圖像中每3×3大小模塊的像素點(diǎn)轉(zhuǎn)換為1個(gè)像素點(diǎn)。經(jīng)前期處理的圖像是由黑色和白色兩種像素點(diǎn)組成，若當(dāng)前像素點(diǎn)為白色，則該像素點(diǎn)的值g(x，y)為0,；若為黑色，則g(x，y)的值為1。像素點(diǎn)計(jì)算式為

g(x，y)=∑g(x+k，y+n)k，n∈(-1，0，1)

(1)

若像素點(diǎn)的值g(x，y)>4，則像素點(diǎn)顯示為黑色；否則，顯示為白色。邊緣細(xì)化后可以提高算法效率，降低無(wú)效像素點(diǎn)對(duì)后續(xù)處理的影響。邊緣細(xì)化處理效果如圖4所示。

圖4　細(xì)化邊緣后圖像

2.1.2合并無(wú)效點(diǎn)

細(xì)化后果實(shí)邊緣較平滑的部分，有很多像素點(diǎn)在一條直線上，會(huì)影響圓參數(shù)的獲取。因此，為了在果實(shí)邊緣上提取有效的特征點(diǎn)，需對(duì)無(wú)效點(diǎn)進(jìn)行合并。

合并無(wú)效點(diǎn)包括合并垂直方向無(wú)效點(diǎn)和水平方向上無(wú)效點(diǎn)，這兩個(gè)方向上處理方式類似。因此，主要討論垂直方向無(wú)效點(diǎn)合并方法。

從左向右掃描細(xì)化后果實(shí)邊緣圖像，如果在垂直方向上出現(xiàn)若干個(gè)連續(xù)的點(diǎn)(由于在細(xì)化邊緣部分，是將每3×3大小的模塊的像素點(diǎn)轉(zhuǎn)換為1個(gè)像素點(diǎn)，因此垂直方向距離為3，即認(rèn)為是連續(xù)的點(diǎn))，則將這些點(diǎn)合并為1個(gè)點(diǎn)。方法是將使合并點(diǎn)的位置置于該線段的中間，該像素點(diǎn)位置(x，y)的計(jì)算公式為

(2)

其中，i為垂直方向上若干個(gè)連續(xù)點(diǎn)中檢測(cè)到的第1個(gè)點(diǎn)的水平坐標(biāo)；j為該點(diǎn)垂直坐標(biāo)。

當(dāng)該段連續(xù)點(diǎn)合并完成后，繼續(xù)沿著該垂直線向下檢測(cè)，若有連續(xù)的像素點(diǎn)則按照前述方法進(jìn)行合并，直到該垂直方向上的所有點(diǎn)都檢測(cè)完；再將掃描線向右移動(dòng)3個(gè)像素距離，繼續(xù)上述操作，將整副圖像掃描完成為止。垂直方向上去除無(wú)效點(diǎn)效果如圖5所示。

圖5　垂直方向合并

2.2根據(jù)3點(diǎn)畫圓

根據(jù)3個(gè)點(diǎn)確定圓的方法，在前期處理的基礎(chǔ)上，在圖像中每取3個(gè)點(diǎn)可以確定出1個(gè)標(biāo)準(zhǔn)圓，從而得到果實(shí)圓參數(shù)。圓心位置和半徑如圖6所示。

圖6　三點(diǎn)確定圓示意圖

(3)

當(dāng)y1≠y2且y2≠y3時(shí)，L1的斜率k1和L2的斜率k2都存在，此時(shí)圓心O的坐標(biāo)為

(4)

當(dāng)y1=y2時(shí)，L1的斜率k1不存在，此時(shí)圓心O的坐標(biāo)為

(5)

當(dāng)y2=y3時(shí)，L2的斜率k2不存在，此時(shí)圓心O的坐標(biāo)為

(6)

若已知圓心和圓上任意一點(diǎn)的坐標(biāo)，則可以計(jì)算得到圓的半徑r，即

(7)

由圓心和半徑可以確定一個(gè)標(biāo)準(zhǔn)圓，用以以描述果實(shí)位置和大小。在本文中，根據(jù)圓心和半徑確定圓如圖7所示。

圖7　根據(jù)圓心半徑畫圓

在圖7中，O為已求出的圓心，L1和L2為圓的兩條垂直平分線，A為圓上任意一點(diǎn)，B為過(guò)A點(diǎn)的垂線與圓的水平方向上的直徑的交點(diǎn)。設(shè)點(diǎn)O的坐標(biāo)為(X，Y)、點(diǎn)A的坐標(biāo)為(i，j)、圓的半徑為r，首先計(jì)算L1和L2這兩條直線水平方向上的位置，則

(8)

水平方向的坐標(biāo)在L1_x到L2_x之間的任意一個(gè)值都有兩個(gè)垂直方向的值與它對(duì)應(yīng)，所以算法可以在L1_x到L2_x之間進(jìn)行循環(huán)并進(jìn)行判斷，即遞增圓上點(diǎn)的水平坐標(biāo)的同時(shí)可以計(jì)算得到該點(diǎn)的縱坐標(biāo)，則

(9)

由此可以得出圓上任意一點(diǎn)的縱坐標(biāo)與該點(diǎn)的橫坐標(biāo)、圓的半徑和圓心位置的關(guān)系，從而畫出圓心和半徑確定出的整個(gè)圓形。將3個(gè)間隔10個(gè)距離單位的像素點(diǎn)作為1個(gè)圓組合，這3個(gè)點(diǎn)可以確定一個(gè)圓，所得效果如圖8所示。

圖8　根據(jù)邊緣確定圓

2.3選擇特征圓

由3點(diǎn)確定圓方法可知：從圓上選取的若干組3點(diǎn)得到若干個(gè)圓，而最后標(biāo)識(shí)果實(shí)位置和大小特性的標(biāo)準(zhǔn)圓只要1個(gè)，因此必須選擇出符合要求的標(biāo)準(zhǔn)圓作為最后的目標(biāo)定位結(jié)果。本研究用邊緣重合法。

邊緣重合法是在所有確定的標(biāo)準(zhǔn)圓中選擇出與目標(biāo)邊緣點(diǎn)重合率最高的圓，需要將標(biāo)準(zhǔn)圓與細(xì)化邊緣處理后果實(shí)的邊緣比較，使比較得出的標(biāo)準(zhǔn)圓更加準(zhǔn)確。在處理過(guò)程中，將所有標(biāo)準(zhǔn)圓中的像素點(diǎn)逐個(gè)和蘋果果實(shí)邊緣進(jìn)行比較，找出像素點(diǎn)重合數(shù)最多的標(biāo)準(zhǔn)圓，并記錄該圓圓心坐標(biāo)和半徑，最后將特征圓參數(shù)作為蘋果果實(shí)定位結(jié)果。邊緣重合法選擇特征圓的效果如圖9所示。

圖9　邊緣重合法選擇特征圓

3結(jié)果與分析

VisualC#編程實(shí)現(xiàn)上述算法，分別對(duì)不同條件下獲得的目標(biāo)圖像進(jìn)行測(cè)試，圖10為蘋果果實(shí)圖像的識(shí)別及定位結(jié)果。

圖10　實(shí)果實(shí)定位示意圖

選取50幅圖像中40個(gè)蘋果果實(shí)圖像進(jìn)行測(cè)試，選擇目標(biāo)面積作為測(cè)試點(diǎn)。其中，S為目標(biāo)真實(shí)面積，S1為本文方法獲取面積。為獲取目標(biāo)真實(shí)面積，用photoshop軟件對(duì)蘋果果實(shí)圖像進(jìn)行了預(yù)處理。用式(10)計(jì)算實(shí)測(cè)值S與本文方法獲取面積S1的相對(duì)誤差E。測(cè)試結(jié)果表明：最大誤差為13.2%，最小誤差為1.70%，平均誤差為6.16%。相對(duì)誤差公式為

(10)

蘋果果實(shí)圖像邊緣細(xì)化和無(wú)效點(diǎn)合并時(shí)有一定的誤差，對(duì)定位結(jié)果影響較大，且經(jīng)過(guò)預(yù)處理后二值圖像中目標(biāo)面積與真實(shí)真實(shí)場(chǎng)景中目標(biāo)面積有誤差，這一點(diǎn)可以通過(guò)修訂圓半徑的方法進(jìn)行改進(jìn)。

4結(jié)論

1)色差R/1.7-G特征值能夠很好實(shí)現(xiàn)紅色蘋果與背景的分離，較好地提取了目標(biāo)圖像。

2)本文邊緣細(xì)化方法及無(wú)效像素點(diǎn)合并法可大大減小算法復(fù)雜度。

3)提出的邊緣重合法較好地去除了冗余圓，所用3點(diǎn)確定圓參數(shù)及定位蘋果果實(shí)圖像的方法平均誤差為6.16%，定位精度基本滿足收獲機(jī)器人定位要求。

參考文獻(xiàn)：

[1]井利民.基于ARM的蘋果圖像果實(shí)識(shí)別與定位關(guān)鍵技術(shù)[D].楊凌:西北農(nóng)林科技大學(xué),2009.

[2]尚璐，李銳,宋信玉.改進(jìn)的Hough變換圓檢測(cè)算法[J].電子設(shè)計(jì)工程,2011,19(14):168-171.

[3]司永勝,喬軍,劉剛，等.蘋果采摘機(jī)器人果實(shí)識(shí)別與定位方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2010,41(9):148-153.

[4]謝忠紅,姬長(zhǎng)英,郭小清,等.基于改進(jìn)Hough變換的類果實(shí)目標(biāo)檢測(cè)[J].農(nóng)業(yè)工程學(xué)報(bào),2010,26(7):157-162.

[5]夏磊,蔡超,周成平,等.一種用Hough變換檢測(cè)圓的快速算法[J].計(jì)算機(jī)應(yīng)用研究,2007,24(10):197-210.

[6]劉明艷,趙景秀,孫寧.用Prewitt算子細(xì)化邊緣[J]. 光電子技術(shù),2006，356(4):259-263.

[7]李宏利,何東健.圖像中被遮擋蘋果的還原及定位技術(shù)研究[J].農(nóng)機(jī)化研究,2013,35(4):259-263.

[8]荀一,陳曉,李偉,等.基于輪廓曲率的樹上蘋果果實(shí)自動(dòng)識(shí)別[J].江蘇大學(xué)學(xué)報(bào)：自然科學(xué)版, 2007,28(6):461-464.

Abstract ID:1003-188X(2016)02-0054-EA

Study on Technology of Location of Apples

Li Hongli, Liu Quanzhong

(College of Information Engineering,Northwest Agriculture and Forestry University, Yangling 712100,China)

Abstract：Aimed at the low accuracy, slow speed problems existing in apple fruit image positioning ,this paper made a further thinking and research on the methods of apple fruit’s location . This research used three points to define a circle to make the processing speed meeting the demand of real-time and fruit being positioned precisely after division of leaves and branches in the image and detection of the edge of fruit and technology of getting rid of noise of image.After testing, the method had better effect on localization of mature apple fruit.

Key words：apple image; fruit positioning; round detection

文章編號(hào)：1003-188X(2016)02-0054-04

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

作者簡(jiǎn)介：李宏利(1974-)，男，陜西藍(lán)田人，講師，(E-mail)hl_lee_5@163.com。通訊作者：劉全中(1978-)，男，河南駐馬店人，副教授,(E-mail)lqz@nwsuaf.edu.cn。

基金項(xiàng)目：中國(guó)高?？蒲袠I(yè)務(wù)基金項(xiàng)目(QN2013053)

收稿日期：2015-01-14