郭艾俠，鄒湘軍，鄒海鑫

（1.華南農(nóng)業(yè)大學(xué) 南方農(nóng)業(yè)機(jī)械與裝備關(guān)鍵技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，廣東 廣州510642；2.華南農(nóng)業(yè)大學(xué) 信息學(xué)院，廣東 廣州510642）

0 引 言

果蔬采摘機(jī)器人的視覺(jué)關(guān)鍵技術(shù)研究在于如何檢測(cè)和識(shí)別目標(biāo)，以確定其精確的三維空間位置，從而為機(jī)械手的運(yùn)動(dòng)提供參數(shù)［1－4］。通常采用圖像分割技術(shù)把自然環(huán)境下所采集的圖片劃分為一系列互不重疊的獨(dú)特區(qū)域來(lái)識(shí)別成熟采摘目標(biāo)。由于自然光源、果實(shí)的晃動(dòng)、果實(shí)與枝葉之間以及果實(shí)與果實(shí)之間的遮擋等問(wèn)題，造成采摘機(jī)器人視覺(jué)識(shí)別與定位的工作效率仍較低，采摘目標(biāo)的識(shí)別問(wèn)題還需要進(jìn)行更深入的研究［5］。而且由于單果類與串型水果在大小、顏色和紋理等特征上存在差異性，很難找到一種適合各類采摘目標(biāo)的通用圖像分割方法。因此，針對(duì)特定的采摘對(duì)象需要選擇合適的圖像分割方法，才能把待采摘的水果目標(biāo)從復(fù)雜的背景中快速、準(zhǔn)確、無(wú)遺漏地分割出來(lái)。

成熟的荔枝串中含有多個(gè)荔枝果、一個(gè)主桿的結(jié)果母枝和一些葉子，對(duì)于荔枝串的識(shí)別尤其是串中結(jié)果母枝的識(shí)別較難。文獻(xiàn) ［6］以荔枝各部位圖像顏色特征分析結(jié)果為基礎(chǔ)，把已獲取的RGB （red green blue）圖像轉(zhuǎn)換到HSV （hue saturation value）色彩空間，采用了稀疏水平集的方法對(duì)其H 通道圖進(jìn)行分割處理從而識(shí)別出荔枝果。但是該方法并未給出識(shí)別結(jié)果母枝的方法，不利于后續(xù)采摘點(diǎn)的進(jìn)一步選取與定位研究。文獻(xiàn) ［7］使用了較為寬松的閾值對(duì)荔枝圖像在L＊a＊b＊ （L＊is lightness，a＊and b＊are the color－opponent dimensions）色彩空間的a＊分量圖進(jìn)行初次閾值分割，去除了葉子、天空和地表等復(fù)雜背景。進(jìn)而采用蟻群與帶空間約束的FCM （fuzzy c－means clustering）算法識(shí)別出了荔枝果。但是此研究未給出識(shí)別荔枝串與結(jié)果母枝的方法，而且對(duì)寬松閾值的設(shè)定途徑也沒(méi)有具體描述。文獻(xiàn) ［8，9］通過(guò)經(jīng)驗(yàn)閾值對(duì)荔枝圖像的YCbCr色彩空間的Cr分量圖進(jìn)行分割處理以去除大部分的復(fù)雜背景，然后再采用FCM 的分割方法實(shí)現(xiàn)了荔枝果與果梗的識(shí)別。但此研究并未提出荔枝串、荔枝果與結(jié)果母枝分類識(shí)別的概念。

在前人研究的基礎(chǔ)上，首先對(duì)采集荔枝圖像進(jìn)行荔枝串、荔枝果與結(jié)果母枝的分類，特別進(jìn)行了荔枝串在強(qiáng)光、逆光和普通光照條件下的分類，并基于文獻(xiàn) ［10］的結(jié)論進(jìn)行彩色荔枝圖像的灰度化處理。然后，采用實(shí)驗(yàn)獲取的固定經(jīng)驗(yàn)閾值分割處理荔枝圖像的Cr通道圖以識(shí)別出荔枝串，并對(duì)已識(shí)別荔枝串的Cr通道圖進(jìn)行Otsu的二次閾值分割識(shí)別出荔枝果。進(jìn)而通過(guò)對(duì)已識(shí)別荔枝串與荔枝果的二值圖像進(jìn)行相減運(yùn)算，最終識(shí)別出結(jié)果母枝。最后對(duì)本文與文獻(xiàn) ［8］在荔枝果與結(jié)果母枝的識(shí)別時(shí)間和面積特征提取的實(shí)驗(yàn)數(shù)據(jù)對(duì)比分析。本文的研究結(jié)果將為荔枝采摘點(diǎn)的計(jì)算與視覺(jué)定位提供研究基礎(chǔ)。

1 彩色荔枝圖像各部位分類與灰度化處理

1.1 采集圖像中荔枝各部位的分類

復(fù)雜自然環(huán)境下所采集的荔枝圖像區(qū)域主要有：荔枝果、葉子和一些細(xì)小枝條、各類結(jié)果母枝和其他一些細(xì)縫所產(chǎn)生的淺黑色。其中荔枝串、荔枝果與結(jié)果母枝的分類如圖1所示，文中的荔枝圖像指的是自然環(huán)境下采集的含有成熟荔枝串和復(fù)雜背景的圖像。

1.2 彩色荔枝圖像的灰度化處理

圖1 荔枝各部位圖像

如果直接對(duì)自然環(huán)境下所采集的荔枝RGB彩色圖像進(jìn)行分割，難度較大。而且采用K－Means、C－Means等模糊聚類的圖像分割方法直接對(duì)彩色荔枝圖像進(jìn)行圖像處理時(shí)，對(duì)顏色差異較小的亮綠色葉子與偏綠色結(jié)果母枝情況，在給定聚類種數(shù)為3 （葉子等背景、果實(shí)和、結(jié)果母枝3類）時(shí)，該方法會(huì)視亮綠色葉子與偏綠色結(jié)果母枝二者為同類，從而導(dǎo)致結(jié)果母枝的誤分類［11］。而對(duì)彩色圖像中的單通道分量圖進(jìn)行分割處理不僅可以縮短圖像處理時(shí)間，而且能提高目標(biāo)識(shí)別效率［12］。為解決荔枝圖像各部位的分類識(shí)別問(wèn)題，文獻(xiàn) ［10］通過(guò)對(duì)采集荔枝圖像中的強(qiáng)光、普通光和逆光條件的荔枝果，顏色為偏紅、偏綠和偏褐等情況的結(jié)果母枝與葉子各類圖像的顏色特征進(jìn)行探索性數(shù)據(jù)分析，得出了YCbCr色彩空間的Cr單通道圖是適合荔枝圖像分割的最佳色彩模型，并進(jìn)一步給出在0.5～0.54區(qū)間范圍內(nèi)選擇合理的閾值對(duì)荔枝圖像的YCbCr色彩空間的Cr單通道圖進(jìn)行分割，能有效去除葉子和側(cè)枝等復(fù)雜大背景信息。基于該研究結(jié)論，本文對(duì)彩色荔枝RGB 圖像進(jìn)行YCbCr色彩空間的Cr分量圖的灰度化處理。

1.3 彩色荔枝圖像的灰度化處理過(guò)程與效果

彩色荔枝圖像的灰度化的過(guò)程是：將YCbCr色彩模型下的彩色荔枝圖像的每一像素點(diǎn)值采用選定的Cr顏色分量的值代替。該過(guò)程將彩色荔枝圖像轉(zhuǎn)化為灰度圖像，完成彩色圖像的灰度化。彩色荔枝圖像的灰度化轉(zhuǎn)換能夠較好地保留原彩色圖像中各顏色分量差異的信息，且有利于使用灰度圖像的分割方法進(jìn)行圖像分割，減少圖像處理的計(jì)算量和對(duì)計(jì)算機(jī)的內(nèi)存的占用，以提高識(shí)別荔枝各部位的速度。

在Matlab軟件的編輯環(huán)境下對(duì)彩色荔枝圖像進(jìn)行灰度化的轉(zhuǎn)換。具體實(shí)現(xiàn)過(guò)程如下：

（1）讀入已采集的彩色荔枝圖片文件Litchi＿Img.jpg，該文件為RGB色彩模型下的彩色圖像。

（2）通過(guò)編程處理將RGB圖像Litchi＿rgb.jpg轉(zhuǎn)化為其在YCbCr色彩模型下的彩色圖像Litchi＿ycbcr。

（3）通過(guò)提取顏色分量命令把圖像Litchi＿ycbcr的Cr顏色分量圖提取出來(lái)，該顏色分量值即為彩色圖像中每一像素點(diǎn)的灰度值。

隨機(jī)選取一組自然環(huán)境下所采集荔枝圖像，采用本文選用的Cr顏色分量圖對(duì)其進(jìn)行灰度化并顯示灰度圖像的直方圖，效果如圖2所示。

圖2 彩色荔枝圖像組的灰度圖及其直方圖

從圖2 （c）可以看出，荔枝圖像的Cr灰度直方圖呈現(xiàn)雙峰特性，此特性也能為荔枝各部位圖像分割策略提供依據(jù)。

2 荔枝各部位圖像分割策略

基于彩色荔枝圖像灰度處理的基礎(chǔ)上，荔枝串、荔枝果與結(jié)果母枝的圖像分割策略為：采用Otsu和最大熵法獲得閾值區(qū)間，通過(guò)實(shí)驗(yàn)獲取固定經(jīng)驗(yàn)閾值。利用此閾值對(duì)荔枝圖像的Cr分量圖進(jìn)行圖像分割處理，再結(jié)合形態(tài)學(xué)、最大區(qū)域標(biāo)記與色彩還原等處理后識(shí)別出荔枝串。對(duì)已識(shí)別荔枝串的Cr灰度圖采用Otsu閾值圖像分割、形態(tài)學(xué)運(yùn)算及最大區(qū)域標(biāo)記等處理方式識(shí)別出荔枝果。最后把荔枝串與荔枝果的二值圖像進(jìn)行減法運(yùn)算最終識(shí)別出結(jié)果母枝。為得到各類識(shí)別目標(biāo)的彩色效果圖，需要把每次分割處理得到的二值圖像與原圖進(jìn)行疊加。荔枝各部位識(shí)別流程如圖3所示。

圖3 荔枝各部位分類識(shí)別流程

3 荔枝各部位識(shí)別實(shí)驗(yàn)

3.1 實(shí)驗(yàn)材料及環(huán)境

實(shí)驗(yàn)的荔枝圖片是在自然環(huán)境下從廣州市南沙區(qū)和番禺區(qū)的荔枝園所采集的200 幅中隨機(jī)選出的90 幅，大小均處理為456＊342 。實(shí)驗(yàn)的測(cè)試環(huán)境為Windows XP，主頻2.9GHz、內(nèi)存2G 的PC 機(jī)，后臺(tái)測(cè)試軟件為MATLAB 7.10。

3.2 實(shí)驗(yàn)過(guò)程與實(shí)驗(yàn)結(jié)果

把選取的荔枝圖像分別按照強(qiáng)光、逆光、普通光照條件分成3類 （每類圖片30幅，共90幅），對(duì)每類圖片分別采用Otsu與最大熵閾值計(jì)算方法獲取了適合各類荔枝串圖像分割的閾值區(qū)間，分別為 ［0.4902，0.5294］、［0.5098，0.5333］和 ［0.5020，0.5412］。在每類閾值區(qū)間范圍內(nèi)通過(guò)實(shí)驗(yàn)獲取固定經(jīng)驗(yàn)閾值，分別 為0.5020、0.5300 和0.5108。采用各類固定閾值分別對(duì)90幅各類光照條件的荔枝圖像進(jìn)行荔枝各部位分類識(shí)別的實(shí)驗(yàn)測(cè)試 （實(shí)驗(yàn)流程如圖3所示），荔枝串、荔枝果與結(jié)果母枝的識(shí)別率如表1所示。

表1 荔枝各部位識(shí)別率

以其中的一組不同光照條件下的3 幅荔枝圖像為例，所識(shí)別的荔枝串與荔枝果的效果如圖4 （b）、圖4 （c）所示。把已識(shí)別的荔枝串、荔枝果的二值圖像進(jìn)行圖像相減運(yùn)算后實(shí)現(xiàn)了結(jié)果母枝的識(shí)別，效果如圖4 （d）所示。

通過(guò)提取本文方法識(shí)別的荔枝果與結(jié)果母枝的面積特征、運(yùn)行時(shí)間的數(shù)據(jù)，與文獻(xiàn) ［8］中采用方法獲取的對(duì)應(yīng)數(shù)據(jù)進(jìn)行對(duì)比，對(duì)比結(jié)果見(jiàn)表2－表4。

3.3 實(shí)驗(yàn)結(jié)果分析

從分割效果上看，采用本文選定閾值對(duì)荔枝串的分割效果較好，結(jié)果母枝分割結(jié)果也無(wú)地面、葉子等背景殘留。而對(duì)強(qiáng)光條件下的荔枝果的分割均會(huì)產(chǎn)生凹陷或者空洞，造成果實(shí)無(wú)法完整恢復(fù)。

從表2～4可以看出：在運(yùn)行時(shí)間及面積特征提取上，兩次閾值的分割方法對(duì)強(qiáng)光和正常光照條件下的荔枝果的識(shí)別效果良好，時(shí)間上也有明顯優(yōu)勢(shì)。雖然部分結(jié)果母枝的面積特征信息可能會(huì)略小于文獻(xiàn) ［8］的方法，但由于荔枝串的采摘只需在結(jié)果母枝上選擇一個(gè)采摘點(diǎn)進(jìn)行定位即可實(shí)現(xiàn)，因此本文提出的基于二次閾值的荔枝各部位識(shí)別方法是一種較實(shí)用的分割算法。

圖4 本文方法識(shí)別荔枝各部位圖片組（從左到右依次是強(qiáng)光、逆光和普通光照）

4 結(jié)束語(yǔ)

本文以串型生長(zhǎng)的荔枝果為研究對(duì)象，對(duì)視覺(jué)機(jī)器人的荔枝各部位圖像分類識(shí)別進(jìn)行研究，主要包括：

（1）給出了荔枝圖像中荔枝串、荔枝果與結(jié)果母枝的分類，并進(jìn)行了彩色荔枝圖像基于YCbCr色彩空間的Cr通道圖的灰度化處理。

（2）提出了固定閾值的荔枝串與二次閾值的荔枝果及結(jié)果母枝的圖像分割策略，并對(duì)強(qiáng)光、逆光及正常光3種光照條件下拍攝的90幅荔枝圖片進(jìn)行了荔枝串、荔枝果與結(jié)果母枝分類識(shí)別的實(shí)驗(yàn)，各部位的圖像分割效果較好。

（3）進(jìn)行了荔枝果與結(jié)果母枝的識(shí)別時(shí)間、面積特征的實(shí)驗(yàn)數(shù)據(jù)的對(duì)比分析，分析結(jié)果表明：采用二次閾值分割方法可實(shí)現(xiàn)荔枝串、荔枝果與結(jié)果母枝的分類分割的目的，且在運(yùn)行時(shí)間上能否滿足實(shí)時(shí)的采摘需求。

而對(duì)強(qiáng)光條件下的荔枝果的分割所產(chǎn)生的凹陷或者空洞，造成果實(shí)無(wú)法完整恢復(fù)的問(wèn)題還需做進(jìn)一步的研究。

表2 兩種方法對(duì)正常光照條件下的結(jié)果母枝分割對(duì)比

表3 兩種方法強(qiáng)光照條件下的結(jié)果母枝分割對(duì)比

表4 兩種方法對(duì)逆光照條件下的結(jié)果母枝分割對(duì)比

［1］Bulanon D M，Kataoka T.Fruit detection system and an end－effector for robotic harvesting of Fuji apples［J］.Agricultural Engineering International：CIGR Journal，2010，12 （1）：203－210.

［2］WANG Yong，SHEN Mingxia，JI Changying.Model and analysis of color for different parts of ripe cotton in picking period［J］.Transactions of the Chinese Society of Agricultural Engineering，2007，23 （4）：183－185 （in Chinese）. ［王勇，沈明霞，姬長(zhǎng)英.采摘期成熟棉花不同部位顏色識(shí)別分析 ［J］.農(nóng)業(yè)工程學(xué)報(bào)，2007，23 （4）：183－185.］

［3］ZOU Xiangjun，ZOU Haixin，LU Jun.Virtual manipulator－based binocular stereo vision positioning system and errors modeling ［J］.Machine Vision and Applications，2012，23 （1）：43－63.

［4］LV Jidong，ZHAO De'an，JI Wei，et al.Fast positioning method of apple harvesting robot for oscillating fruit［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （13）：48－53 （in Chinese）.［呂繼東，趙德安，姬偉，等.蘋果采摘機(jī)器人對(duì)振蕩果實(shí)的快速定位采摘方法 ［J］.農(nóng)業(yè)工程學(xué)報(bào)，2012，28 （3）：48－53.］

［5］LIU Jian，ZHANG Yunwei.Segmentation methods of eggplant images in the growth state based on HSI space［J］.Journal of Anhui Agriculture Science，2010，38 （14）：7554－7556 （in Chinese）.［劉健，張?jiān)苽?基于HIS空間的生長(zhǎng)狀態(tài)下茄子圖像 的 分 割 方 法 ［J］.安 徽 農(nóng) 業(yè) 科 學(xué)，2010，38 （14）：7554－7556.］

［6］MAO Liang，XUE Yueju，KONG Deyun，et al.Litchi image segmentation algorithm based on sparse field level set ［J］.Transactions of the Chinese Society of Agricultural Engineering，2011，27 （4）：345－349 （in Chinese）.［毛亮，薛 月 菊，孔 德運(yùn)，等.基于稀疏場(chǎng)水平集的荔枝圖像分割算法 ［J］.農(nóng)業(yè)工程學(xué)報(bào)，2011，27 （4）：345－349.］

［7］KONG Deyun，XUN Yueju，MAO Liang，et al.Litchi image segmentation algorithm based on ant colony and space constraints FCM ［J／OL］.［2011－12－09］.http：／／www.cnki.net／kcms／detail／11.2127.TP.20111209.1001.043.html（in Chinese）.［孔德運(yùn)，薛月菊，毛亮，等.基于蟻群和帶空間約束FCM 的 荔 枝 圖 像 分 割 算 法 ［J／OL］.［2011－12－09］.http：／／www.cnki.net／kcms／detail／11.2127.TP.20111209.1001.043.html.］

［8］XIONG Juntao，ZOU Xiangjun，CHEN Lijuan，et al.Recognition of mature litchi in natural environment based on machine vision ［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，42 （9）：162－166 （in Chinese）.［熊俊濤，鄒湘軍，陳麗娟，等.基于機(jī)器視覺(jué)的自然環(huán)境中成熟荔枝識(shí)別［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42 （9）：162－166.］

［9］XIONG Juntao，ZOU Xiangjun，CHEN Lijuan，et al.Visual position of picking manipulator for disturbed litchi［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （14）：36－40 （in Chinese）.［熊俊濤，鄒湘軍，陳麗娟，等.采摘機(jī)械手對(duì)擾動(dòng)荔枝的視覺(jué)定位 ［J］.農(nóng)業(yè)工程學(xué)報(bào)，2012，28 （14）：36－40.］

［10］GUO Aixia，ZOU Xiangjun，ZHU Mengsi，et al.Color feature analysis and recognition for litchi fruits and their main fruit bearing branch based on exploratory analysis［J］.Transactions of the Chinese Society of Agricultural Engineering，2013，29 （4）：191－198 （in Chinese）.［郭艾俠，鄒湘軍，朱夢(mèng)思，等.基于探索性分析的荔枝果與結(jié)果母枝顏色特征分析與識(shí)別 ［J］.農(nóng)業(yè)工程學(xué)報(bào)，2013，29 （4）：191－198.］

［11］CHEN Lijuan.Research on targets locating in nature environment based on machine vision ［D］.Guangzhou：South China Agricultural University，2012：36－48 （in Chinese）.［陳 麗娟.基于機(jī)器視覺(jué)的自然環(huán)境下的目標(biāo)定于研究 ［D］.廣州：華南農(nóng)業(yè)大學(xué)，2012：36－48.］

［12］ZHAO Jinying，ZHANG Tiezhong，YANG Li.Object pickingup with machine vision of tomato picking robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2006，37（10）：200－203 （in Chinese）.［趙金英，張鐵中，楊麗.西紅柿采摘機(jī)器人視覺(jué)系統(tǒng)的目標(biāo)提取 ［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2006，37 （10）：200－203.］