唐栩超
(上海郵電設(shè)計(jì)咨詢研究院有限公司,上海 200082)
隨著我國農(nóng)業(yè)自動(dòng)化的快速發(fā)展,果實(shí)采摘機(jī)器人技術(shù)也得到了深入研究和廣泛應(yīng)用,例如基于區(qū)域特征的番茄果實(shí)識(shí)別技術(shù)主要利用像素灰度值的突變對(duì)圖像進(jìn)行分割,再對(duì)分割后的區(qū)域進(jìn)行分析,從而識(shí)別果實(shí)。該技術(shù)還可以以圖斑為特征變量,從不同的方向提取果實(shí)的特征,通過數(shù)據(jù)建模來估算單株果樹的產(chǎn)量。這些方法的缺點(diǎn)是只能對(duì)單個(gè)果實(shí)進(jìn)行識(shí)別,如果存在覆蓋或者被遮擋的情況,就會(huì)導(dǎo)致識(shí)別率變低,從而導(dǎo)致出現(xiàn)漏摘的情況[1]。為了解決這類問題,該文提出了一種新的果實(shí)圖像識(shí)別方法,將極大值作為特征進(jìn)行提取和檢測(cè),通過高斯濾波原理可以確定果實(shí)的位置并提取果實(shí)的圖像顏色特征[2]。為了驗(yàn)證該文提出的方法的正確性,該文以蘋果采摘機(jī)器人為例進(jìn)行一系列的測(cè)試,并與傳統(tǒng)的Hough 變換檢測(cè)效果進(jìn)行對(duì)比。測(cè)試結(jié)果表明,該文提出的方法對(duì)果實(shí)的識(shí)別率更高,特別是在存在遮擋的情況下,其優(yōu)勢(shì)更明顯。
在進(jìn)行圖像識(shí)別的過程中,噪聲的干擾是實(shí)時(shí)存在的,因此圖像特征參數(shù)就會(huì)被改變和破壞,從而對(duì)果實(shí)特征的識(shí)別和提取造成很大的影響,為了保證圖像的質(zhì)量,必須對(duì)圖像進(jìn)行降噪處理。去噪方法種類很多,常用的有中值濾波和矢量中值濾波等[3]。
該方法實(shí)際上就是一個(gè)順序統(tǒng)計(jì)濾波器,其基本原理是首先在圖像中確定一個(gè)小窗口。其次,按大小的順序?qū)Υ翱谥械南袼鼗叶戎颠M(jìn)行排列。最后,通過奇偶條件得到一個(gè)中間值,這個(gè)中間值就是窗口中心位置的像素值,如公式(1)所示。
式中:Y為中值濾波結(jié)果;f1~fn為一維序列。
該方法的去噪效果由區(qū)域像素點(diǎn)的排序決定,不需要考慮圖像的整體特性,這樣可以很好地保護(hù)圖像的邊緣區(qū)域,問題是選取的窗口越大,處理的速度就會(huì)越慢,實(shí)時(shí)性很差[4]。
均值濾波的基本原理如下:首先,在待識(shí)別的圖像上確定一個(gè)區(qū)域,這個(gè)區(qū)域的特點(diǎn)是不但包括待處理的像素,而且還包括其相鄰的像素。其次,計(jì)算該區(qū)域中所有像素的平均值,計(jì)算的結(jié)果就是待處理像素的值。因此,均值濾波是常見的線性濾波算法,該方法的優(yōu)點(diǎn)是可以對(duì)圖像進(jìn)行平滑處理且速度快,缺點(diǎn)是經(jīng)處理后的圖像比較模糊,其原因是處理時(shí)是同時(shí)對(duì)圖像上所有像素進(jìn)行處理。該方法在一定程度上可以削弱噪聲,但是并不能完全消除噪聲。
其基本原理是通過中值濾波處理彩色圖像中的矢量,1幅彩色圖像如公式(2)所示。
式中:Ci為待處理圖像;Ri、Gi和Bi分別為3 個(gè)灰度分量。
如果{WK}為某個(gè)區(qū)域中第K個(gè)矢量集合,就可以把輸出的中值向量表示出來,也就是各矢量間最小距離所對(duì)應(yīng)的向量,如公式(3)所示。
式中:Wj為第j個(gè)區(qū)域的矢量合集;Wi為第i個(gè)區(qū)域的矢量合集。
該方法的優(yōu)點(diǎn)是計(jì)算簡單、處理速度快且去噪效果好。因此,該文選用該方法對(duì)蘋果圖像進(jìn)行去噪處理。
圖像分割技術(shù)是圖像處理的重要組成部分,其原理就是根據(jù)一些重要參數(shù)(例如灰度、色彩以及紋理等)科學(xué)、有效地將圖像分割成不同的區(qū)域,再提取具體的特征[5]。應(yīng)用最廣泛的圖像分割方法是Otsu 閾值法,該方法是利用最小二乘法的原理確定合適的閾值,再與各像素點(diǎn)的灰度值進(jìn)行比較,最終得到像素點(diǎn)所在的區(qū)域,如果出現(xiàn)閾值大于灰度值的情況,就表明像素點(diǎn)屬于背景區(qū)域;如果相反,就表明屬于興趣區(qū)域。該方法的優(yōu)點(diǎn)是分割效果好,基本不受光照強(qiáng)度等條件的影響,以蘋果圖像為例,分割的效果如圖1 所示。
圖1 蘋果圖像分割效果圖
邊緣檢測(cè)的效果直接決定圖像識(shí)別的結(jié)果,邊緣檢測(cè)點(diǎn)像素的強(qiáng)度值可以很好地區(qū)分邊緣點(diǎn)和普通像素點(diǎn)。在實(shí)際的應(yīng)用中,經(jīng)常會(huì)出現(xiàn)2 種情況,一是顏色分量會(huì)出現(xiàn)突變,二是灰度值會(huì)出現(xiàn)階躍變化,這2 種情況都會(huì)影響邊緣提取的效果,因此邊緣檢測(cè)方法的選擇非常重要。
常用的邊緣檢測(cè)方法主要包括Sobel 算法、Prewitt 算法以及Canny 算法。在3 種算法里,Sobel 算法的優(yōu)點(diǎn)比較明顯,主要體現(xiàn)在邊緣輪廓連續(xù)、清晰,同時(shí)去噪效果也比較明顯[6]。蘋果圖像檢測(cè)效果如圖2 所示。
圖2 Sobel 算法的檢測(cè)效果
該算法的基本原理如下:對(duì)1 個(gè)3×3 的模板和需要檢測(cè)的圖像中的每個(gè)像素點(diǎn)進(jìn)行卷積運(yùn)算,可以得到2 個(gè)重要的參數(shù)(水平邊緣和垂直邊緣),通過確定的閾值就可以對(duì)需要檢測(cè)圖像的邊緣進(jìn)行提取,如公式(4)所示。
式中:a'x(x,y)為水平邊緣的值;ay'x(x,y)為垂直邊緣的值。
如果a(x,y)是灰度值函數(shù),那么梯度如公式(5)所示。
要提高蘋果采摘機(jī)器人的工作效率,關(guān)鍵就在于能夠準(zhǔn)確地提取蘋果圖像特征。應(yīng)用較多的方法是 Hough 變換法,該方法的缺點(diǎn)是運(yùn)算速度慢、時(shí)效性差,特別是在有遮擋的情況下,其果實(shí)識(shí)別率更低[7]。
因此,該文提出了一種新的果實(shí)圖像識(shí)別方法,即基于局部極大值進(jìn)行蘋果圖像特征提取,該方法充分利用了高斯濾波器的原理,首先,對(duì)滑動(dòng)的高斯模板和需要識(shí)別的蘋果圖像進(jìn)行卷積運(yùn)算,同時(shí)在高斯濾波器的輸出端輸出得到的加權(quán)平均值,從而提取蘋果的形狀[8]。通常情況下,一維和二維高斯濾波函數(shù)如公式(6)、公式(7)所示。
式中:δ為尺度因子。
在提取蘋果圖像特征的過程中,需要確定一個(gè)零點(diǎn),該零點(diǎn)的確定必須要滿足2 個(gè)條件,一個(gè)是圖像中心響應(yīng)值最大,另外一個(gè)是灰度值突變較大的邊緣的響應(yīng)值最小。檢測(cè)的過程分為2 步:1) 對(duì)蘋果圖像進(jìn)行高斯濾波。2) 進(jìn)行局部極大值檢測(cè),出現(xiàn)極大值的位置就是蘋果的中心位置[9]。
如果用Q為原始圖像,P為高斯響應(yīng)值,那么高斯卷積相應(yīng)如公式(8)所示。
高斯濾波后需要把局部極大值檢測(cè)出來,選擇一個(gè)合適的正方形窗口在蘋果圖像上滑動(dòng),滑動(dòng)的目的就是檢測(cè)窗口中的圖像像素的灰度值,這樣就可以很好地確定局部極大值的具體位置,通過公式(8)可以計(jì)算高斯卷積響應(yīng)值最大的地方就是蘋果的中心。確定圓心后就可以通過圓心到邊緣的距離判斷蘋果的半徑和大小。通過該方法對(duì)蘋果進(jìn)行檢測(cè)的結(jié)果如圖3 所示。
圖3 局部極大值法檢測(cè)結(jié)果
該方法使用編程語言C++實(shí)現(xiàn),因?yàn)镃++代碼運(yùn)行效率比較高,所以可以提高圖像識(shí)別的速度,具體的方法流程如圖4 所示。
圖4 實(shí)現(xiàn)流程圖
整個(gè)方法的實(shí)現(xiàn)流程總共分5 個(gè)步驟(第三步、第四步和第五步是核心步驟):1) 選擇需要識(shí)別的蘋果圖像,初始化主要參數(shù)。2) 選擇使用矢量中值濾波對(duì)待處理的蘋果圖像進(jìn)行降噪處理。3) 通過Otsu 閾值法對(duì)待處理蘋果圖像進(jìn)行分割,并判斷像素點(diǎn)屬于背景區(qū)域還是屬于目標(biāo)區(qū)域,如果屬于背景區(qū)域,就重復(fù)操作,直到像素點(diǎn)屬于目標(biāo)區(qū)域再進(jìn)行下一步操作。4) 通過Sobel 算法、公式(4)和公式(5)進(jìn)行邊緣檢測(cè),并清晰、連續(xù)地展現(xiàn)待檢測(cè)圖像目標(biāo)區(qū)域的輪廓。5) 通過公式(6)和公式(7)進(jìn)行局部極大值檢測(cè),并定位待檢測(cè)目標(biāo)區(qū)域的中心位置,通過公式(8)判斷蘋果的半徑和大小,最后輸出檢測(cè)結(jié)果。
為了驗(yàn)證該文提出的方法的正確性,須進(jìn)行一系列對(duì)比測(cè)試。
使用蘋果采摘機(jī)器人對(duì)隨機(jī)選取的288 個(gè)蘋果進(jìn)行測(cè)試,假設(shè)B1為無遮擋的蘋果數(shù)量,B2為有遮擋的蘋果數(shù)量,Z為測(cè)試的準(zhǔn)確率;J為測(cè)試蘋果的總數(shù)量;K為機(jī)器人識(shí)別出的蘋果數(shù)量,那么識(shí)別準(zhǔn)確率如公式(8)所示。
由測(cè)試數(shù)據(jù)可知,與Hough 變換法相比,該文提出的方法的采摘準(zhǔn)確率更高,對(duì)無遮擋的蘋果來說,這種方法采摘準(zhǔn)確率差別不大,但是對(duì)有遮擋的蘋果來說,該文提出的方法的優(yōu)勢(shì)更明顯。
隨著果實(shí)采摘機(jī)器人的廣泛應(yīng)用,對(duì)采摘準(zhǔn)確率的要求也越來越高,如果要提高采摘準(zhǔn)確率,就要求機(jī)器人必須能準(zhǔn)確識(shí)別果實(shí)圖像。因此,該文提出了一種果實(shí)圖像識(shí)別新方法,該方法主要通過局部最大值進(jìn)行特征提取,從而確定果實(shí)的中心位置,同時(shí)還能夠確定果實(shí)的直徑和大小。為了驗(yàn)證該文提出的方法的正確性,將傳統(tǒng)的Hough 變換法與該文提出的方法應(yīng)用到蘋果采摘機(jī)器人中進(jìn)行對(duì)比測(cè)試,由測(cè)試數(shù)據(jù)可知,該文提出的方法對(duì)蘋果的識(shí)別率更高,可以廣泛地應(yīng)用到果實(shí)采摘機(jī)器人中。