陳乾輝

吳德剛

(商丘工學(xué)院，河南 商丘 476000)

蘋(píng)果果實(shí)的分級(jí)效果直接影響中國(guó)蘋(píng)果在國(guó)際市場(chǎng)上的競(jìng)爭(zhēng)力，而分級(jí)的智能化亦將具有巨大的經(jīng)濟(jì)效益和市場(chǎng)前景，因此，為解決蘋(píng)果果實(shí)分級(jí)過(guò)程中存在的勞動(dòng)強(qiáng)度大、精度要求高及實(shí)時(shí)性強(qiáng)等問(wèn)題，用于蘋(píng)果果實(shí)分級(jí)的機(jī)器人開(kāi)始出現(xiàn)在人們的視野[1]。目前，基于計(jì)算機(jī)視覺(jué)的蘋(píng)果果實(shí)分級(jí)是通過(guò)提取蘋(píng)果果實(shí)的特征來(lái)實(shí)現(xiàn)的，Paulus I等[2]通過(guò)蘋(píng)果直徑、表面積及體積的特征提取實(shí)現(xiàn)對(duì)蘋(píng)果果實(shí)的大小分級(jí)；Leemans等[3]研究了一種基于蘋(píng)果缺陷實(shí)時(shí)檢測(cè)的分級(jí)系統(tǒng)，該系統(tǒng)采用順序前進(jìn)法對(duì)蘋(píng)果花萼和果柄特征提取以實(shí)現(xiàn)果實(shí)的分級(jí)，分級(jí)準(zhǔn)確率可達(dá)93.5%；馮斌等[4]將水果表面顏色分布的分形維數(shù)作為特征對(duì)水果進(jìn)行分級(jí)，精確度可達(dá)95%。蘋(píng)果果實(shí)的分級(jí)主要是對(duì)蘋(píng)果的果形和顏色特征進(jìn)行有效的提取，其特征參數(shù)的精確提取是決定蘋(píng)果分級(jí)能否正確識(shí)別果實(shí)的關(guān)鍵。

目前，蘋(píng)果果實(shí)的特征提取方法主要有Hough算法、隨機(jī)Hough算法，但這些特征提取算法存在運(yùn)算復(fù)雜、實(shí)時(shí)性差等缺陷[5-6]。本文擬提出利用一個(gè)滑動(dòng)高斯模板和蘋(píng)果圖像進(jìn)行卷積運(yùn)算提取蘋(píng)果圓形的特征提取方法，以期達(dá)到蘋(píng)果快速分級(jí)的目的。

1 Hough算法

傳統(tǒng)的Hough算法是通過(guò)變換，將被檢測(cè)圖像空間上的點(diǎn)映射到參數(shù)空間，并在參數(shù)空間完成對(duì)被檢測(cè)蘋(píng)果圖像的特征提取，Hough算法常用來(lái)對(duì)圖像空間中的圓形和直線(xiàn)進(jìn)行檢測(cè)[7-8]。

1.1 直線(xiàn)檢測(cè)

在被檢測(cè)二維圖像空間x-y中，直線(xiàn)上的任何一點(diǎn)(xi,yi)都可用斜截式方程表示，見(jiàn)式(1)：

yi=axi+b，

(1)

式中：

a——斜率；

b——截距。

對(duì)式(1)變換，得到以a、b為變量的等式方程，即

b=-xia+yi。

(2)

對(duì)比式(1)可以看出，式(2)同樣構(gòu)成了一個(gè)二維圖像空間a-b，將該二維圖像空間a-b稱(chēng)為參數(shù)空間。由式(1)和式(2)可知，被檢測(cè)二維圖像空間x-y中的任何一點(diǎn)(x,y)與參數(shù)空間a-b中的一條直線(xiàn)是對(duì)應(yīng)的，同理，被檢測(cè)二維圖像空間中的任意直線(xiàn)的方程取決于參數(shù)空間中的點(diǎn)(a,b)，由此可表示出被檢測(cè)二維圖像空間和參數(shù)空間的映射關(guān)系：被檢測(cè)二維圖像空間中的任意一點(diǎn)可映射為參數(shù)空間中的一條由(a,b)決定的直線(xiàn)，見(jiàn)圖1；而被檢測(cè)二維圖像空間中的任意一條直線(xiàn)上的點(diǎn)可映射為參數(shù)空間中通過(guò)同一點(diǎn)的一簇直線(xiàn)，見(jiàn)圖2。

若用數(shù)組表示出參數(shù)空間(a,b)中的所有取值，即可以通過(guò)式(2)求出對(duì)應(yīng)于a的所有b值，通過(guò)Hough算法對(duì)已知(a,b)值進(jìn)行累加運(yùn)算，根據(jù)累加結(jié)果獲得峰值點(diǎn)，即為較多線(xiàn)的公共點(diǎn)，由圖2可知，參數(shù)空間中的這些共點(diǎn)的線(xiàn)可認(rèn)為在某個(gè)平面是共線(xiàn)的，即被檢測(cè)圖像空間共線(xiàn)，且直線(xiàn)方程滿(mǎn)足式(1)。

圖1 被檢測(cè)二維圖像到參數(shù)空間的映射Figure 1 Mapping of two-dimensional image to parameter space

圖2 被檢測(cè)圖像上的直線(xiàn)到參數(shù)空間的映射Figure 2 Mapping from a straight line of the detected image to a parameter space

為準(zhǔn)確識(shí)別、檢測(cè)任意直線(xiàn)方程，避免出現(xiàn)斜率無(wú)窮大時(shí)，無(wú)法完成直線(xiàn)檢測(cè)的情況，可以用三角函數(shù)式代替式(1)，即

ρ=xcosφ+ysinφ。

(3)

由式(3)可以看出，參數(shù)空間由(a,b)空間變?yōu)榱?ρ,φ)空間，而被檢測(cè)二維圖像空間和參數(shù)空間之間的映射關(guān)系保持不變。

1.2 圓形檢測(cè)

在被檢測(cè)二維圖像空間(x,y)中，圓方程為

(x-a0)2+(y-b0)2=r2，

(4)

式中：

r——半徑，m；

(a0,b0)——圓心。

若將被檢測(cè)二維圖像空間x-y中的圓映射到參數(shù)空間x-y-r可知，在被檢測(cè)圖像空間x-y中，圓上任何一點(diǎn)與x-y-r參數(shù)空間中的一個(gè)圓是相對(duì)應(yīng)的，且x-y-r參數(shù)空間的所有圓應(yīng)交于(a0,b0,r)點(diǎn)，即被檢測(cè)二維圖像空間中的任何一點(diǎn)對(duì)應(yīng)參數(shù)空間的一個(gè)錐面，見(jiàn)圖3。

根據(jù)Hough算法建立數(shù)組，通過(guò)累加運(yùn)算找到錐面的公共點(diǎn)，即x-y-r參數(shù)空間的(a0,b0,r)點(diǎn)，進(jìn)而檢測(cè)出被檢測(cè)二維圖像x-y中的圓。

圖3 圓參數(shù)空間圖像Figure 3 Space image of circle parameter

2 新型特征提取算法

由于傳統(tǒng)Hough算法存在運(yùn)算復(fù)雜、實(shí)時(shí)性差等缺陷，難于精確提取不規(guī)則蘋(píng)果果實(shí)的特征，尤其是當(dāng)蘋(píng)果果實(shí)重疊和相鄰2種情況時(shí)的提取效果更差，進(jìn)而影響蘋(píng)果果實(shí)的分級(jí)效果。本文提出了一種新型蘋(píng)果果實(shí)特征提取算法，該算法利用滑動(dòng)的高斯模板和蘋(píng)果圖像進(jìn)行卷積運(yùn)算提取蘋(píng)果的圓形。

高斯濾波器是根據(jù)高斯分布函數(shù)確定各位置權(quán)重的一種平滑線(xiàn)性濾波模板，一維、二維高斯濾波函數(shù)分別見(jiàn)式(5)和式(6)。

(5)

(6)

式中：

δ——尺度因子,由實(shí)際情況確定。

利用濾波模板領(lǐng)域內(nèi)像素的加權(quán)平均值代替被檢測(cè)圖像中的像素點(diǎn)，并將其作為高斯模板的輸出，會(huì)使圖像的平滑效果更好。由于加權(quán)均值是利用不同系數(shù)和像素進(jìn)行的積運(yùn)算，這樣會(huì)使處于模板中心的像素具有較大的權(quán)值，而處于模板邊緣的像素具有較小的權(quán)值，即像素點(diǎn)的權(quán)值隨與中心點(diǎn)距離的減小而增加。也就是說(shuō)高斯模板的中心具有最大的響應(yīng)值，邊緣處則具有較小的響應(yīng)值，因而可以利用滑動(dòng)的高斯模板與被檢測(cè)蘋(píng)果圖像進(jìn)行卷積運(yùn)算以提取果實(shí)的圓形。

因此，將高斯模板與分割的被檢測(cè)蘋(píng)果圖像進(jìn)行卷積運(yùn)算，最大響應(yīng)值應(yīng)處于蘋(píng)果的中心，而階躍點(diǎn)或零點(diǎn)則在灰度變化較為明顯的邊緣。若對(duì)平滑后的被檢測(cè)蘋(píng)果圖像進(jìn)行最大響應(yīng)值運(yùn)算，則最大響應(yīng)值處即是蘋(píng)果的中心。

假設(shè)I為被檢測(cè)二維圖像，g為高斯模板響應(yīng)值，則高斯模板與被檢測(cè)蘋(píng)果圖像進(jìn)行卷積運(yùn)算后的響應(yīng)值h為：

h(x,y)=I(x,y)×g(x,y)。

(7)

設(shè)高斯模板：x=[-128∶1∶128]；y=[-128∶1∶128]，原點(diǎn)為模板中心，則模板中任意一點(diǎn)的g(i,j)為：

(8)

獲得任意一點(diǎn)的g(i,j)后，需根據(jù)式(7)對(duì)被檢測(cè)圖像做卷積運(yùn)算，而后利用新型特征提取算法進(jìn)行最大響應(yīng)值檢測(cè)。

最大響應(yīng)值檢測(cè)：利用半徑為σ的正方形在被檢測(cè)圖像上滑動(dòng)，用于對(duì)蘋(píng)果果實(shí)最大響應(yīng)值的檢測(cè)，可設(shè)σ=3，即在一個(gè)3×3窗口對(duì)被檢測(cè)蘋(píng)果圖像的灰度最大值進(jìn)行檢測(cè)，根據(jù)新型蘋(píng)果果實(shí)特征提取算法，可將該正方向窗口放于被檢測(cè)圖像中蘋(píng)果果實(shí)所處的位置，可知最大響應(yīng)值應(yīng)位于蘋(píng)果的中心，從而獲得蘋(píng)果的中心點(diǎn)。

2.1 單一果實(shí)特征提取

單一蘋(píng)果中心點(diǎn)檢測(cè)見(jiàn)圖4。

圖4 單一蘋(píng)果中心檢測(cè)Figure 4 Center detection of single apple

由圖4(c)可知，曲線(xiàn)的峰值點(diǎn)僅有1個(gè)，正好對(duì)應(yīng)被檢測(cè)蘋(píng)果圖像中的1個(gè)圓形的果實(shí)，即蘋(píng)果所在的圓處具有較大響應(yīng)值，而蘋(píng)果果實(shí)之外的其他區(qū)域，具有較低的響應(yīng)值，根據(jù)該方法，不僅可以獲得處于最大響應(yīng)值點(diǎn)的蘋(píng)果的圓心，亦可以根據(jù)局部最大響應(yīng)值方法獲取蘋(píng)果果實(shí)的圓形。

2.2 相鄰果實(shí)特征提取

相鄰蘋(píng)果中心點(diǎn)檢測(cè)見(jiàn)圖5。由圖5(c)可以看出，曲線(xiàn)的峰值點(diǎn)有2個(gè)，正好對(duì)應(yīng)被檢測(cè)蘋(píng)果圖像中的2個(gè)圓形的果實(shí)，而蘋(píng)果所在的圓處也具有較大響應(yīng)值，而蘋(píng)果果實(shí)之外的其他區(qū)域，具有較低的響應(yīng)值，且最大響應(yīng)值點(diǎn)位于蘋(píng)果的圓心。

2.3 相鄰且重疊果實(shí)特征提取

實(shí)際蘋(píng)果果實(shí)不僅僅是以單一或相鄰存在的，還有一些蘋(píng)果果實(shí)是以多個(gè)堆在一起的，雖然在被檢測(cè)蘋(píng)果圖像上也是以相鄰方式存在的，但還存在重疊的現(xiàn)象，其蘋(píng)果中心點(diǎn)的檢測(cè)見(jiàn)圖6。

圖5 相鄰蘋(píng)果中心點(diǎn)檢測(cè)Figure 5 Detection of adjacent apple center points

圖6 相鄰、重疊中心點(diǎn)檢測(cè)Figure 6 Detection of adjacent and overlapping center points

由圖6(c)可以看出，曲線(xiàn)的峰值點(diǎn)有3個(gè)，正好對(duì)應(yīng)被檢測(cè)蘋(píng)果圖像中的3個(gè)圓形果實(shí)，同樣，蘋(píng)果所在的圓處也具有較大響應(yīng)值，而蘋(píng)果果實(shí)之外的其他區(qū)域，具有較低的響應(yīng)值，且最大響應(yīng)值點(diǎn)位于蘋(píng)果的圓心。

2.4 果實(shí)半徑獲取

半徑獲取方法：根據(jù)上述獲得的蘋(píng)果近似圓心，求取其到所在連通域內(nèi)邊緣的距離，并通過(guò)對(duì)該距離值進(jìn)行取整計(jì)算，獲得一些整數(shù)距ri，進(jìn)而統(tǒng)計(jì)出與各個(gè)ri的距離在2個(gè)像素內(nèi)的ri的數(shù)量，最后取數(shù)量最多的ri作為蘋(píng)果果實(shí)的半徑。

2.4.1 存在的問(wèn)題

(1) 顏色分布不均：蘋(píng)果果實(shí)顏色存在偏黃、偏青的現(xiàn)象，比如圖7(a)中右邊的蘋(píng)果，若檢測(cè)中將其誤認(rèn)為背景色，則會(huì)使圖7(a)中右邊的蘋(píng)果的提取偏離果實(shí)圓形的現(xiàn)象。根據(jù)上述半徑獲取方法可知，半徑的獲取依賴(lài)于所檢測(cè)的蘋(píng)果邊緣的精確度，即被檢測(cè)蘋(píng)果圖像的顏色分布不均，使得獲取的半徑不合格。

(2) 果實(shí)分布重疊：自然放置的蘋(píng)果果實(shí)容易受其他果實(shí)的遮擋，使得被檢測(cè)蘋(píng)果圖像的果實(shí)表面出現(xiàn)不完整和凹陷的現(xiàn)象，見(jiàn)圖8(a)。根據(jù)半徑獲取方法，將獲取不合格的果實(shí)半徑。

圖8 果實(shí)分布重疊時(shí)的蘋(píng)果果實(shí)半徑獲取Figure 8 Acquisition of apple fruit radius with overlapping fruit distribution

2.4.2 方法改進(jìn) 使用被檢測(cè)蘋(píng)果圖像所在連通區(qū)域的最小包絡(luò)矩陣，通過(guò)計(jì)算獲取矩形框邊長(zhǎng)的最大值，并以此最大值限制被檢測(cè)蘋(píng)果圖像中果實(shí)的最大半徑。同理，計(jì)算出矩形框邊長(zhǎng)的最小值，并以此最小值限制被檢測(cè)蘋(píng)果圖像中果實(shí)的最小半徑，試驗(yàn)結(jié)果見(jiàn)圖9，進(jìn)而避免獲取的半徑過(guò)大、過(guò)小的現(xiàn)象。

圖9 改進(jìn)蘋(píng)果果實(shí)半徑獲取Figure 9 Improved algorithm of apple fruit radius acquisition

3 試驗(yàn)分析

選用200幅光照強(qiáng)度不同條件下拍攝的蘋(píng)果圖像作為被檢測(cè)圖像，其中共含有蘋(píng)果果實(shí)401個(gè)。根據(jù)蘋(píng)果果實(shí)的特點(diǎn)，將本次試驗(yàn)分為3類(lèi)：

①A1：?jiǎn)我粻顟B(tài)下蘋(píng)果；

②A2：相鄰且不重疊狀態(tài)下的蘋(píng)果；

③A3：相鄰且重疊狀態(tài)下的蘋(píng)果。

在Hough算法和新型特征提取算法下，對(duì)3種不同狀態(tài)下的被檢測(cè)蘋(píng)果果實(shí)進(jìn)行特征提取。

3.1 單一蘋(píng)果果實(shí)的特征提取

單一蘋(píng)果果實(shí)的圓形特征提取見(jiàn)圖10。

圖10 單個(gè)蘋(píng)果果實(shí)圓形特征提取對(duì)比Figure 10 Comparison of circular feature extraction from single apple fruit

3.2 相鄰不重疊蘋(píng)果果實(shí)的特征提取

相鄰且不重疊情況下，蘋(píng)果果實(shí)的圓形特征提取見(jiàn)圖11。

圖11 相鄰不重疊蘋(píng)果果實(shí)圓形特征提取對(duì)比Figure 11 Extraction and comparison for circular features of adjacent apple fruits

3.3 相鄰和重疊蘋(píng)果果實(shí)的圓形檢測(cè)

相鄰且重疊情況下，蘋(píng)果果實(shí)的圓形特征提取見(jiàn)圖12。

圖12 相鄰且重疊蘋(píng)果果實(shí)圓形特征提取對(duì)比Figure 12 Extraction and comparison of circular features between adjacent and overlapping apple fruits

3.4 結(jié)果分析

若用準(zhǔn)確率的高低作為此次試驗(yàn)的評(píng)價(jià)，則可表示為：

(9)

式中：

p——準(zhǔn)確率，%；

M——試驗(yàn)圖像總數(shù)；

NR——能準(zhǔn)確檢測(cè)和識(shí)別的蘋(píng)果果實(shí)圖像。

根據(jù)式(9)，3類(lèi)蘋(píng)果的準(zhǔn)確率見(jiàn)表1。

由表1可知，在新型特征提取算法下，A1果實(shí)識(shí)別的準(zhǔn)確率可高達(dá)96.6%。A3果實(shí)的識(shí)別率較低，也可達(dá)94.1%。

表1 蘋(píng)果果實(shí)準(zhǔn)確率Table 1 Accuracy of apple fruit

在被檢測(cè)蘋(píng)果圖像中，無(wú)相鄰、遮擋及重疊的蘋(píng)果屬于A1。由于沒(méi)有遮擋和重疊的現(xiàn)象，A1果實(shí)的新型特征提取算法下的檢測(cè)最準(zhǔn)確，因而識(shí)別準(zhǔn)確率最高。

在被檢測(cè)蘋(píng)果圖像中，相鄰、不重疊的蘋(píng)果屬于A2。A2果實(shí)可以在通過(guò)去除小面積噪聲后，使用新型特征提取算法獲取蘋(píng)果的圓形特征，識(shí)別率亦較高。

在被檢測(cè)蘋(píng)果圖像中，相鄰、重疊的蘋(píng)果屬于A3。由于A3果實(shí)受外界條件的影響，蘋(píng)果果實(shí)表面將有大面積噪聲產(chǎn)生，在小面積遮擋情況下，新型特征提取算法具有較高的準(zhǔn)確率，若被檢測(cè)蘋(píng)果圖像中有大面積遮擋的現(xiàn)象，則會(huì)影響蘋(píng)果果實(shí)識(shí)別的準(zhǔn)確率，此種情況下蘋(píng)果的識(shí)別準(zhǔn)確率較低，但也能達(dá)到94.1%。

Hough算法僅僅在邊緣平滑的情況下，對(duì)近似圓形果實(shí)的識(shí)別率較高，若被檢測(cè)圖像的邊緣出現(xiàn)殘缺，則就難以檢測(cè)出相應(yīng)的圓形，見(jiàn)圖12(c)。另外，Hough算法具有較大的計(jì)算量，過(guò)多的資源占用率，若被檢測(cè)圖像的背景復(fù)雜，其檢測(cè)圓形的能力相當(dāng)差，見(jiàn)圖11(c)。

由圖10～12可知，A1、A2、A33類(lèi)不同狀態(tài)的蘋(píng)果果實(shí)，在新型蘋(píng)果果實(shí)特征提取算法下都能有較高的果實(shí)識(shí)別率，而利用Hough算法僅僅對(duì)A1果實(shí)有較高的準(zhǔn)確率，A2、A3果實(shí)的識(shí)別率較低，因此，本試驗(yàn)提出的新型蘋(píng)果果實(shí)提取算法的魯棒性更強(qiáng)，即使在A3情況下也能有較好的果實(shí)識(shí)別率。

4 結(jié)論

針對(duì)傳統(tǒng)Hough算法在蘋(píng)果相鄰及重疊檢測(cè)中準(zhǔn)確度低、實(shí)時(shí)性不強(qiáng)的缺陷，提出了一種新型的果實(shí)提取算法，該算法利用一個(gè)滑動(dòng)的高斯模板和蘋(píng)果圖像進(jìn)行卷積運(yùn)算提取圓形，使用被檢測(cè)蘋(píng)果圖像所在的連通區(qū)域的最小包絡(luò)矩陣，獲取果實(shí)的半徑。通過(guò)試驗(yàn)發(fā)現(xiàn)，該圓形檢測(cè)算法比傳統(tǒng)圓形檢測(cè)算法的效果更好，且果實(shí)的檢測(cè)準(zhǔn)確率可達(dá)96.6%，能夠滿(mǎn)足果實(shí)分級(jí)的要求。然而，該算法對(duì)于復(fù)雜場(chǎng)景的蘋(píng)果檢測(cè)還存在實(shí)時(shí)性提高的空間，需要加以改進(jìn)。

[1] 王丹丹, 宋懷波, 何東健.蘋(píng)果分級(jí)機(jī)器人視覺(jué)系統(tǒng)研究進(jìn)展[J].農(nóng)業(yè)工程學(xué)報(bào), 2017, 33(10): 59-69.

[2] PAULUS I, DE BUSSCHER P, SCHREVENS E.Use of image analysis to investigate human quality classification of apples[J].J.Agric.Engng Res., 1997, 68(4): 341-353.

[3] LEEMANS V, MAGEIN H, DESTAIN M F.Defects segmentation on ‘Golden Delicious’ apple by using colour machine vision[J].Computer Electron Agric., 1998, 20(2): 117-130.

[4] 馮斌, 汪懋華.基于計(jì)算機(jī)視覺(jué)的水果大小檢測(cè)方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2003, 34(1): 73-75.

[5] 付鵬.基于機(jī)器視覺(jué)的蘋(píng)果檢測(cè)與識(shí)別關(guān)鍵技術(shù)研究[D].楊凌: 西北農(nóng)林科技大學(xué), 2012: 24-35.

[6] 徐凱.基于圖像識(shí)別的蘋(píng)果果實(shí)檢測(cè)技術(shù)[J].實(shí)驗(yàn)室研究與探索, 2016, 35(10): 36-39.

[7] 張健, 張莉華.基于改進(jìn)二進(jìn)制粒子群算法的蘋(píng)果多特征提取分級(jí)研究[J].浙江農(nóng)業(yè)學(xué)報(bào), 2016, 28(9): 1 609-1 615.

[8] 談?dòng)?蘋(píng)果采摘機(jī)器人在線(xiàn)分級(jí)系統(tǒng)設(shè)計(jì)[D].南京: 南京農(nóng)業(yè)大學(xué), 2014: 7-28.