王丹丹，宋懷波，何東健

（西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院，楊凌 712100）

蘋果采摘機(jī)器人視覺系統(tǒng)研究進(jìn)展

王丹丹，宋懷波，何東健※

（西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院，楊凌 712100）

視覺系統(tǒng)是蘋果采摘機(jī)器人最重要的組成部分之一，它在一定程度上決定了蘋果采摘機(jī)器人完成采摘任務(wù)的質(zhì)量及速度。為明確蘋果采摘機(jī)器人視覺系統(tǒng)所面臨的挑戰(zhàn)及未來研究方向，該文首先對世界各國現(xiàn)有蘋果采摘機(jī)器人的研究情況從視覺傳感器類型、視覺系統(tǒng)硬件組成、采摘成功率及作業(yè)時(shí)間等方面進(jìn)行了概述，然后分別對現(xiàn)有蘋果采摘機(jī)器人視覺系統(tǒng)中蘋果圖像分割方法、受著色度、光照、表面陰影、振蕩、重疊及遮擋等影響下的蘋果目標(biāo)的識別與定位方法、蘋果采摘機(jī)器人視覺系統(tǒng)對枝干等障礙物的識別方法以及視覺系統(tǒng)中雙目視覺技術(shù)立體匹配問題進(jìn)行了綜述，進(jìn)一步分析了蘋果采摘機(jī)器人視覺系統(tǒng)中存在的問題，指出視覺系統(tǒng)結(jié)構(gòu)的優(yōu)化、視覺系統(tǒng)中智能算法的優(yōu)化、提高視覺系統(tǒng)的實(shí)時(shí)性、振蕩蘋果目標(biāo)的識別與定位、視覺系統(tǒng)受振動影響時(shí)蘋果目標(biāo)的識別與定位及提高視覺系統(tǒng)的性價(jià)比等方面將成為未來重點(diǎn)研究方向，為深入研究蘋果采摘機(jī)器人視覺系統(tǒng)提供參考。

機(jī)器人；圖像識別；機(jī)械化；蘋果；果實(shí)識別；目標(biāo)定位；視覺系統(tǒng)

王丹丹，宋懷波，何東健. 蘋果采摘機(jī)器人視覺系統(tǒng)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(10)：59－69.

doi：10.11975/j.issn.1002-6819.2017.10.008 http://www.tcsae.org

Wang Dandan, Song Huaibo, He Dongjian. Research advance on vision system of apple picking robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(10): 59－69. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.10.008 http://www.tcsae.org

0 引 言

蘋果是中國第一大經(jīng)濟(jì)水果，也是中國為數(shù)不多的幾種具有國際競爭力的果品之一。據(jù)統(tǒng)計(jì)，2015年中國蘋果種植面積達(dá)233萬hm2，總產(chǎn)量約4 000萬t，約占世界蘋果總產(chǎn)量的 55%。在整個(gè)蘋果生產(chǎn)作業(yè)中，成熟果實(shí)的及時(shí)、無損、高效采收是關(guān)鍵，直接影響蘋果的儲藏、運(yùn)輸、加工以及銷售等后續(xù)環(huán)節(jié)[1]，然而由于采摘作業(yè)進(jìn)行時(shí)所處生態(tài)環(huán)境的復(fù)雜性，導(dǎo)致迄今尚無可用于生產(chǎn)實(shí)際的蘋果采摘智能裝備。目前中國蘋果采摘依然依靠人工作業(yè)，隨著中國城鎮(zhèn)化的快速發(fā)展，農(nóng)業(yè)從業(yè)人口急劇減少，人工成本大大增加，給蘋果產(chǎn)業(yè)的快速發(fā)展帶來了不利影響。實(shí)現(xiàn)蘋果的自動化采摘，對于解決蘋果產(chǎn)業(yè)中的勞動力不足、人工勞動強(qiáng)度大、生產(chǎn)成本高、生產(chǎn)效率低等問題以及保證蘋果的適時(shí)采收、保證采摘品質(zhì)、提高蘋果的市場競爭力等方面均具有重要的意義[2-6]。

視覺系統(tǒng)是蘋果采摘機(jī)器人的重要組成部分[7]，機(jī)器人進(jìn)行采摘任務(wù)過程中最關(guān)鍵環(huán)節(jié)之一是蘋果目標(biāo)的識別與定位。因此，蘋果采摘機(jī)器人必須解決蘋果目標(biāo)的快速識別和準(zhǔn)確定位兩大難題。該文在論述蘋果采摘機(jī)器人視覺系統(tǒng)的基礎(chǔ)上，重點(diǎn)對視覺系統(tǒng)中蘋果圖像分割及蘋果目標(biāo)的識別與定位方法進(jìn)行總結(jié)，分析了視覺系統(tǒng)中存在的問題，并指出蘋果采摘機(jī)器人視覺系統(tǒng)未來重點(diǎn)研究方向。

1 蘋果采摘機(jī)器人研究現(xiàn)狀

蘋果采摘機(jī)器人一般由移動機(jī)構(gòu)、機(jī)械手、控制系統(tǒng)、視覺系統(tǒng)、末端執(zhí)行器等組成，主要用于采摘成熟蘋果。圖1為Zhao等[8]設(shè)計(jì)的蘋果采摘機(jī)器人，主要由機(jī)械手、末端執(zhí)行器、視覺系統(tǒng)及由工業(yè)計(jì)算機(jī)和交流伺服電機(jī)組成的控制系統(tǒng)等構(gòu)成，其視覺傳感器和光電位置傳感器安裝于末端執(zhí)行器上。部分國家開發(fā)的蘋果采摘機(jī)器人現(xiàn)狀如表1所示。

圖1 蘋果采摘機(jī)器人Fig.1 Apple picking robot

蘋果采摘機(jī)器人是集機(jī)械、電子、信息、智能技術(shù)、計(jì)算機(jī)科學(xué)、農(nóng)業(yè)和生物等學(xué)科技術(shù)于一體的交叉科學(xué)[1]，部分學(xué)者專門針對蘋果采摘機(jī)器人的各組成部分進(jìn)行了研究，如采摘機(jī)器人的末端執(zhí)行器、機(jī)械手、視覺系統(tǒng)等。蘋果采摘機(jī)器人進(jìn)行采摘作業(yè)時(shí)，首先要利用其視覺系統(tǒng)獲取蘋果目標(biāo)的數(shù)字化圖像，然后將圖像中蘋果目標(biāo)與枝、葉、土壤、天空等背景區(qū)域分開，并對蘋果目標(biāo)的顏色、紋理、形狀等特征進(jìn)行分析，在識別出蘋果目標(biāo)后確定果實(shí)在機(jī)器人坐標(biāo)系中的位置，然后由機(jī)器人驅(qū)動其機(jī)械手及末端執(zhí)行器進(jìn)行采摘。由此可見，采摘機(jī)器人的首要任務(wù)是利用視覺系統(tǒng)進(jìn)行成熟蘋果目標(biāo)的識別與定位。

表1 部分國家開發(fā)蘋果采摘機(jī)器人現(xiàn)狀Table 1 Current situation of apple picking robot

2 蘋果采摘機(jī)器人中的視覺系統(tǒng)

蘋果采摘機(jī)器人視覺系統(tǒng)一般由圖像獲取部分、圖像處理分析部分以及輸出或顯示部分組成，其主要任務(wù)是獲取蘋果的數(shù)字化圖像、對獲取的圖像進(jìn)行圖像處理、蘋果目標(biāo)的識別與定位及枝干等障礙物的識別與定位等。

蘋果采摘機(jī)器人的機(jī)器視覺技術(shù)可以分為一維成像視覺技術(shù)、二維成像視覺技術(shù)和三維成像視覺技術(shù)[17]。視覺系統(tǒng)中根據(jù)所使用圖像傳感器個(gè)數(shù)的不同可分為單目視覺技術(shù)、雙目視覺技術(shù)和多目視覺技術(shù)[18]。視覺檢測技術(shù)往往結(jié)合人工光源或光學(xué)濾波器一起使用，以避免自然光在果實(shí)目標(biāo)表面產(chǎn)生陰影而導(dǎo)致的目標(biāo)識別不準(zhǔn)確等問題。

2.1 蘋果采摘機(jī)器人中視覺系統(tǒng)硬件研究

自1968年美國學(xué)者Schertz和Brown[19]將機(jī)器視覺引入到果實(shí)目標(biāo)的識別以來，眾多學(xué)者開展了基于機(jī)器視覺技術(shù)的果蔬目標(biāo)識別與定位研究。1977年，Parrish[20]建立了第一個(gè)用于識別蘋果的視覺系統(tǒng)，由此開啟了各種識別方法的研究及系統(tǒng)的建立[21]。

現(xiàn)有蘋果采摘機(jī)器人視覺系統(tǒng)一般由攝像機(jī)及 PC機(jī)構(gòu)成。Bulanon等[22]開發(fā)了一套采摘紅富士蘋果的實(shí)時(shí)視覺系統(tǒng)，該視覺系統(tǒng)中使用一個(gè)彩色CCD攝像機(jī)拍攝蘋果圖像，并利用PC進(jìn)行圖像處理。Zhao等[8]、Baeten等[9]、Kennedy[23]、呂繼東[24]同樣利用一個(gè)攝像機(jī)及 PC機(jī)構(gòu)建了蘋果采摘機(jī)器人的單目視覺系統(tǒng)。Mao等[25]利用2個(gè)佳能數(shù)碼相機(jī)和PC機(jī)設(shè)計(jì)了應(yīng)用于蘋果采摘機(jī)器人的雙目立體視覺系統(tǒng)，該系統(tǒng)比常用的數(shù)字視頻視覺系統(tǒng)具有更高的分辨率及更好的性能。Si等[26]、高瑞等[27]及 Wang等[28]都相繼開發(fā)了基于雙目立體視覺技術(shù)的蘋果采摘機(jī)器人視覺系統(tǒng)。

為了精確地獲得圖像中目標(biāo)的位置，一些學(xué)者在使用攝像機(jī)獲取目標(biāo)圖像的同時(shí)采集其深度圖像。王輝等[29]利用單目、雙目視覺組合傳感器構(gòu)建了蘋果采摘機(jī)器人的視覺系統(tǒng)，其中單目視覺傳感器使用CCD攝像頭，雙目視覺傳感器由彩色視覺傳感器和紅外視覺傳感器組成，紅外視覺傳感器采集與彩色圖像對應(yīng)的深度圖像。Nguyen等[30]利用CMOS攝像頭、紅外圖像傳感器和用于深度測量的紅外光源構(gòu)建了蘋果采摘機(jī)器人視覺系統(tǒng)；Silwal等[31]設(shè)計(jì)了安裝在拖拉機(jī)上的用于獲得蘋果圖像的隧道結(jié)構(gòu)傳感器平臺，位于平臺縱向中心的CCD相機(jī)采集的圖像可覆蓋整個(gè)植株，平臺上還裝有遮光裝置及白色LED燈。周薇等[32]利用彩色相機(jī)和深度相機(jī)設(shè)計(jì)了蘋果采摘機(jī)器人視覺系統(tǒng)，該系統(tǒng)中利用多源傳感器信息融合與互補(bǔ)方法，實(shí)現(xiàn)多目標(biāo)圖像的精確配準(zhǔn)。

除了機(jī)器視覺系統(tǒng)，激光視覺系統(tǒng)、三維視覺系統(tǒng)以及機(jī)器視覺與其它視覺相結(jié)合的視覺系統(tǒng)也用于蘋果識別定位。Bulanon等[11]設(shè)計(jì)了機(jī)器和激光結(jié)合的視覺系統(tǒng)，機(jī)器視覺系統(tǒng)主要完成蘋果二維坐標(biāo)獲取任務(wù)，激光視覺系統(tǒng)用來測量執(zhí)行末端與蘋果目標(biāo)的距離。Silwal等[16]利用二維相機(jī)和三維相機(jī)實(shí)現(xiàn)了蘋果目標(biāo)的識別與定位。劉兆祥等[33]設(shè)計(jì)了由信號發(fā)射單元、信號接收單元、垂直掃描電機(jī)、水平掃描電機(jī)和PC機(jī)組成的三維視覺傳感器，通過利用果樹對激光的反射差異實(shí)現(xiàn)蘋果目標(biāo)的識別，并利用三角測量原理實(shí)現(xiàn)果實(shí)定位。馮娟等[34]構(gòu)建了由數(shù)據(jù)采集、運(yùn)動控制及數(shù)據(jù)處理等單元構(gòu)成的蘋果采摘機(jī)器人激光視覺系統(tǒng)，該系統(tǒng)具有對目標(biāo)的定位不受光線變化的影響等優(yōu)點(diǎn)。

上述蘋果采摘機(jī)器人視覺系統(tǒng)大多由CCD（或CMOS）攝像機(jī)構(gòu)成，然而該種視覺系統(tǒng)易受光照條件的影響。此外，對于某些品種的蘋果，如澳洲青蘋，由于其顏色與背景中葉片顏色相近，利用該視覺系統(tǒng)識別與定位蘋果目標(biāo)存在一定的困難。對于完成蘋果目標(biāo)的三維定位，利用單個(gè)攝像機(jī)定位蘋果目標(biāo)，一般攝像機(jī)安裝在末端執(zhí)行器上，因此定位過程中要不斷更新距離信息，這將影響機(jī)器人的采摘效率；利用雙目視覺技術(shù)定位，相機(jī)的標(biāo)定及匹配較為復(fù)雜，尤其是在遮擋場景下，準(zhǔn)確性略低，在室外環(huán)境下存在一定的問題；利用激光測距傳感器定位，成本較高且系統(tǒng)的響應(yīng)較慢；利用三維相機(jī)定位相對準(zhǔn)確，但其成本較高。因此，綜合利用多種傳感器有望成為視覺系統(tǒng)的發(fā)展方向。

2.2 蘋果目標(biāo)的識別

2.2.1 蘋果目標(biāo)的分割與識別方法

采摘機(jī)器人執(zhí)行采摘任務(wù)首先要對獲得的蘋果圖像進(jìn)行分割識別，以提取圖像中的蘋果目標(biāo)。目前常用的分割識別算法主要有閾值分割法、色差法、K-means聚類算法、區(qū)域生長法、人工神經(jīng)網(wǎng)絡(luò)（ANN）、支持向量機(jī)（SVM）、K最近鄰法（KNN）以及多種算法結(jié)合的方法等，其中閾值分割法一般要配合其他方法一起使用，為了更準(zhǔn)確地識別出圖像中的蘋果目標(biāo)，有時(shí)在使用這些算法的同時(shí)會結(jié)合圖像的紋理、形狀屬性等特征。徐越等[35]利用1.5R-G超紅圖像進(jìn)行閾值分割提取圖像中的蘋果目標(biāo)。Jiang等[36]利用2R-G-B色差法和自適應(yīng)閾值分割算法進(jìn)行蘋果圖像的分割。Bulanon等[37]先對蘋果圖像利用紅色差進(jìn)行增強(qiáng)處理，然后利用閾值分割算法提取蘋果目標(biāo)，其成功識別率為88.0%，然而在逆光條件下誤識別率高達(dá)18.0%。Lü等[38]利用動態(tài)閾值分割算法提取圖像中的蘋果目標(biāo)。Wang等[39]對原始圖像進(jìn)行形態(tài)學(xué)開運(yùn)算處理后，將圖像從RGB（red，green and blue）轉(zhuǎn)換到Lab顏色空間，然后用K-means聚類算法分割圖像提取蘋果目標(biāo)。Linker等[40]基于顏色和紋理特征，利用KNN及區(qū)域生長法實(shí)現(xiàn)綠色蘋果目標(biāo)的識別，在陽光直射條件下，可準(zhǔn)確識別85.0% 的綠色蘋果目標(biāo)，在非陽光直射條件下，可準(zhǔn)確識別95.0%的綠色蘋果目標(biāo)。Lak等[41]利用蘋果的顏色和形狀屬性識別圖像中的蘋果目標(biāo)。司永勝等[42]綜合使用了K-means算法、R-B顏色特征和紋理特征進(jìn)行綠色蘋果目標(biāo)的識別。Bulanon[43]設(shè)計(jì)了具有2個(gè)輸入節(jié)點(diǎn)和一個(gè)輸出節(jié)點(diǎn)的ANN進(jìn)行蘋果目標(biāo)的識別。Ji等[44]研究了基于區(qū)域生長和顏色特征的蘋果圖像分割方法，在提取圖像的顏色特征和形狀特征的基礎(chǔ)上，提出基于SVM的蘋果識別分類算法。Qu等[45]提出結(jié)合視覺注意機(jī)制和種子點(diǎn)生長規(guī)律的圖像分割方法，實(shí)現(xiàn)了蘋果目標(biāo)的準(zhǔn)確提取。Tabb等[46]利用全局混合高斯（global mixture of Gaussians）算法進(jìn)行蘋果目標(biāo)的分割識別。Linker等[47]利用黑暗中凸?fàn)钐O果在光源照射下表面會產(chǎn)生亮點(diǎn)的原理進(jìn)行蘋果目標(biāo)的識別，可識別出不同顏色的蘋果目標(biāo)，但無法識別出整個(gè)蘋果目標(biāo)區(qū)域。為了識別綠色的蘋果目標(biāo)，Levi等[48]綜合利用了高光譜成像技術(shù)、主成分分析技術(shù)（PCA）、同質(zhì)對象的提取與分類（extraction and classification of homogenous objects）、形態(tài)學(xué)開運(yùn)算、分水嶺算法以及 Blob分析等算法。王福杰等[49]在對圖像R、G、B分量進(jìn)行算術(shù)運(yùn)算后，利用形態(tài)學(xué)開運(yùn)算、線性空間濾波以及自動閾值分割算法提取蘋果目標(biāo)。Gongal等[50]首先將圖像在 HSI（hue,saturation and intensity）顏色空間進(jìn)行直方圖均衡化處理，然后轉(zhuǎn)換至RGB顏色空間并進(jìn)行R-G-B及Otsu閾值分割處理，最后結(jié)合圓形Hough變換及Blob分析識別圖像中的蘋果目標(biāo)。

上述方法雖然能夠完成蘋果圖像的分割，但準(zhǔn)確性仍有待提高，尤其在復(fù)雜的自然果園環(huán)境中，光線變化、果實(shí)目標(biāo)的重疊及被遮擋等因素都嚴(yán)重地影響了果實(shí)目標(biāo)的識別，因此，要在改進(jìn)蘋果采摘機(jī)器人硬件設(shè)備的同時(shí)，進(jìn)一步完善識別分割算法的性能。

2.2.2 不同影響條件下蘋果目標(biāo)的分割識別

進(jìn)行采摘作業(yè)時(shí)，采摘機(jī)器人視覺系統(tǒng)對果實(shí)目標(biāo)的識別受到諸多因素的影響，主要包括果實(shí)本身著色度的影響、自然光線強(qiáng)弱的影響、蘋果目標(biāo)表面陰影部分的影響、振蕩的影響及枝、葉、果實(shí)等遮擋的影響。為消除上述影響并準(zhǔn)確識別蘋果目標(biāo)，眾多學(xué)者對各種影響下蘋果目標(biāo)的識別做了大量的研究[51-58]。

1）著色度、光照、表面陰影影響下的識別方法

對于成熟后呈紅色的蘋果，自然光照不均可能導(dǎo)致成熟蘋果目標(biāo)表面著色度的變化，長期未被陽光照射的部分顏色偏綠，其顏色與背景顏色接近（圖 2），將影響蘋果目標(biāo)的識別。Zhao等[59]為了解決樹上紅色、綠色蘋果目標(biāo)識別困難問題，首先利用蘋果目標(biāo)的顏色特征提取3R-(G+B)圖像，然后結(jié)合圖像中蘋果目標(biāo)的紋理識別蘋果目標(biāo)。Rakun等[60]提出了結(jié)合果實(shí)顏色、3D 形狀屬性和紋理的綠色蘋果目標(biāo)的識別方法?；陬伾卣?，Zhou等[61]用 R-B>40識別偏綠的蘋果目標(biāo)，用 R-G>0識別紅色蘋果。對于紅色蘋果果實(shí)，由于綠色部分不能被識別為蘋果目標(biāo)，一般用錯(cuò)誤分割率來評價(jià)識別算法的性能。目前，此類研究相對較少。

由于天氣狀況以及太陽高度的影響，果實(shí)表面光照可能存在不均勻的情況（圖 3），這將導(dǎo)致視覺系統(tǒng)對果實(shí)區(qū)域光線較暗的部分識別困難。為解決這一問題，Huang等[62]首先將圖像從RGB顏色空間轉(zhuǎn)換至Lab顏色空間，利用基于模糊-2劃分熵算法分割灰度圖像以區(qū)分蘋果目標(biāo)和背景，然后利用窮盡搜索法尋找最優(yōu)閾值，并用該閾值進(jìn)行圖像分割，該算法不受光照變化的影響。屠珺等[63]利用圖像的光照無關(guān)圖提取圖像中的蘋果目標(biāo)，該方法能夠有效地消除光照變化的影響。錢建平等[64]提出了基于R/B值（RGB）和V值（HSV）的混合顏色空間成熟蘋果目標(biāo)的識別方法，該算法對于不同光照條件下蘋果目標(biāo)的識別成功率均較高。劉立群等[65]提出了基于混合蛙跳算法的蘋果圖像閾值分割算法，該算法對于較強(qiáng)光、強(qiáng)光、弱光和較弱光 4種光照條件下的花牛蘋果圖像均能取得較好的分割結(jié)果。馮娟等[66]設(shè)計(jì)了應(yīng)用于蘋果采摘機(jī)器人的激光視覺系統(tǒng)，利用該視覺系統(tǒng)掃描果樹獲得的圖像不受光線變化的影響。馬曉丹等[67]利用量子遺傳算法與模糊推理神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法來識別蘋果果實(shí)，該算法對于自然光照引起表面顏色不均的蘋果果實(shí)有較高的識別正確率。

圖2 部分偏綠的蘋果圖像Fig.2 Partial green apple image

圖3 光照不均勻的蘋果圖像Fig.3 Apple image with uneven illumination

由于受光源、枝、葉等的影響，蘋果表面往往會有陰影的存在（圖 4），陰影作為一種特殊的噪聲，增加了目標(biāo)識別的不確定性。司永勝等[68]結(jié)合使用歸一化的紅綠色差法和相應(yīng)的匹配策略，較好地減小了蘋果表面陰影對蘋果目標(biāo)定位的影響，實(shí)現(xiàn)了雙目視覺下果實(shí)目標(biāo)的精確定位。宋懷波等[69]提出一種基于模糊集理論的蘋果表面陰影去除方法，該方法將含陰影的圖像作為一個(gè)模糊矩陣，并對圖像去模糊化處理以削弱蘋果表面陰影對目標(biāo)分割的影響；宋懷波等[70]利用光照無關(guān)圖與紅色分量圖像相加的方法消除陰影，該方法能夠有效去除圖像中蘋果表面的陰影。為了減小陰影對蘋果目標(biāo)識別的影響，趙德安等[71]采用 2盞白熾燈從不同角度照明的方式削弱圖像中的陰影。

圖4 表面有陰影的蘋果圖像Fig.4 Apple image with shadows on surface

2）振蕩果實(shí)的識別

蘋果樹生長在非結(jié)構(gòu)化的自然環(huán)境中，風(fēng)力或采摘中果實(shí)與果樹分離均會引起果樹振動，導(dǎo)致要采摘的目標(biāo)蘋果振蕩。為解決這一問題，呂繼東等[72]首先對連續(xù)采集的動態(tài)圖像進(jìn)行振蕩蘋果目標(biāo)的識別及其二維質(zhì)心坐標(biāo)的提取，在求取果實(shí)的振蕩周期及深度距離后，利用采摘機(jī)器人的執(zhí)行末端及時(shí)采摘振蕩果實(shí)；呂繼東等[73]提出了振蕩蘋果目標(biāo)的識別算法，在確定出采摘目標(biāo)果實(shí)作為后續(xù)匹配識別的模板后，對去均值歸一化積相關(guān)匹配識別算法進(jìn)行加速優(yōu)化，同時(shí)對旋轉(zhuǎn)無關(guān)匹配識別算法進(jìn)行抗旋轉(zhuǎn)改進(jìn)，進(jìn)而完成振蕩蘋果目標(biāo)的識別；李國利等[74]在對采集的振蕩蘋果樹圖像序列進(jìn)行圖像分割及形態(tài)學(xué)處理后，灰度填充圖像果實(shí)區(qū)域，疊加其結(jié)果并求取振蕩果實(shí)在圖像運(yùn)動區(qū)域二維平衡位置坐標(biāo)，然后利用機(jī)械手與超聲傳感器配合完成果實(shí)目標(biāo)的定位及采摘。

3）重疊及遮擋果實(shí)的識別

在影響蘋果目標(biāo)識別與定位的眾多因素中，蘋果目標(biāo)被遮擋的影響最為嚴(yán)重。蘋果目標(biāo)被遮擋影響可大致分為 4種情況：果實(shí)重疊遮擋、蘋果被枝條遮擋、被葉片遮擋和枝葉果混合遮擋等。

重疊遮擋果實(shí)存在串聯(lián)重疊（圖5a）、并聯(lián)重疊（圖5b）、混聯(lián)重疊（圖5c）等情況，導(dǎo)致其識別難度很大。對于重疊果實(shí)，最重要的是進(jìn)行重疊目標(biāo)的分割。枝條遮擋蘋果目標(biāo)（圖 6a）的識別難點(diǎn)在于蘋果目標(biāo)被枝條分成了幾個(gè)獨(dú)立部分的情況，可能導(dǎo)致一個(gè)果實(shí)被誤識別為幾個(gè)果實(shí)。葉片遮擋影響下（圖6b），一般能夠識別出果實(shí)的部分輪廓，可利用蘋果目標(biāo)的對稱性來解決，故葉片遮擋情況重點(diǎn)研究其定位方法。

圖5 重疊蘋果圖像Fig.5 Overlapped apple images

圖6 遮擋的蘋果圖像Fig.6 Occluded apple images

① 重疊蘋果目標(biāo)的識別

基于圓擬合的算法常被用來識別分割重疊蘋果目標(biāo)，如司永勝等[75]利用基于遺傳算法的圓擬合分離重疊蘋果目標(biāo)；馬曉丹等[67]也利用該方法進(jìn)行重疊蘋果目標(biāo)的分割。

現(xiàn)有重疊蘋果目標(biāo)的分割方法中最直接的是通過尋找到蘋果目標(biāo)重疊部分的有效凹點(diǎn)，利用兩凹點(diǎn)連線分割重疊蘋果目標(biāo)，如Feng等[76]首先提取蘋果目標(biāo)區(qū)域的輪廓獲得鏈碼信息，然后根據(jù)鏈碼差異的變化規(guī)律，采用局部最優(yōu)原則找到有效凹點(diǎn)，并利用有效凹點(diǎn)連線將重疊蘋果目標(biāo)分離；宋懷波等[77]利用基于凸殼的方法分割重疊蘋果目標(biāo)，該算法中同樣利用 2個(gè)有效凹點(diǎn)的連線分割重疊蘋果目標(biāo)，并利用 Spline插值算法對重疊被遮擋蘋果目標(biāo)進(jìn)行輪廓重建；徐越等[35]利用角點(diǎn)檢測算法尋找重疊蘋果目標(biāo)的真實(shí)分割點(diǎn)，然后用真實(shí)分割點(diǎn)連線實(shí)現(xiàn)重疊蘋果目標(biāo)的分割。

為了保留重疊部分未被遮擋蘋果目標(biāo)的輪廓信息，彭輝等[78]提出了基于視差圖像的重疊果實(shí)分割算法以解決重疊果實(shí)的分割問題；馮娟等[79]設(shè)計(jì)了一種基于深度圖像統(tǒng)計(jì)特性的逐層圖像分割算法，該算法能夠較為準(zhǔn)確地識別重疊蘋果目標(biāo)；王丹丹等[80]結(jié)合利用K-means聚類算法和Ncut譜聚類算法進(jìn)行重疊蘋果目標(biāo)的分割，該算法的最大優(yōu)點(diǎn)在于它能夠保留圖像中未被遮擋蘋果目標(biāo)的全部輪廓信息，但僅完成了 2果重疊蘋果目標(biāo)的分割。趙德安等[81]提出了快速跟蹤識別重疊蘋果果實(shí)的方法，該方法某種程度上解決了運(yùn)動狀態(tài)下重疊果實(shí)的識別問題。

② 遮擋蘋果目標(biāo)的識別

為解決樹葉、枝干等遮擋果實(shí)的識別，Wachs等[82]提出了一種利用紅外圖像和彩色圖像相結(jié)合的被遮擋綠色蘋果目標(biāo)的識別定位方法，該方法首先根據(jù)蘋果與枝葉溫度不同的特性，在紅外圖像上尋找蘋果目標(biāo)的位置，將該結(jié)果與彩色圖像融合可獲得大量蘋果目標(biāo)的信息，然后將Haar特征分別作用于彩色圖像和紅外圖像，進(jìn)而對蘋果目標(biāo)進(jìn)行定位。Silwal等[31]使用Blob分析識別被遮擋的蘋果目標(biāo)，對于一個(gè)蘋果目標(biāo)被分為多個(gè)部分的情況，使用基于歐式距離原則的聚類算法將其融合，以提取該蘋果目標(biāo)。Niu等[83]在提取遮擋蘋果目標(biāo)的真實(shí)輪廓段后，用Shape Context算法進(jìn)行輪廓段匹配，提取蘋果目標(biāo)的對稱軸，進(jìn)而定位遮擋的蘋果目標(biāo)。荀一等[84]首先建立三層BP神經(jīng)網(wǎng)絡(luò)進(jìn)行蘋果圖像的分割，然后對被遮擋蘋果進(jìn)行圓擬合，進(jìn)而進(jìn)行目標(biāo)的定位。為了恢復(fù)被枝葉遮擋部分的蘋果信息，陳玉等[85]通過計(jì)算遮擋因子確定枝葉對蘋果的遮擋區(qū)域，并利用格子波爾茲曼方法求解各向異性擴(kuò)散方程，估計(jì)丟失信息，有效地實(shí)現(xiàn)了蘋果目標(biāo)遮擋區(qū)域的修復(fù)。宋懷波等[86]在對蘋果圖像進(jìn)行K-means分割后，提取被遮擋蘋果目標(biāo)的輪廓，并將其結(jié)合凸殼理論提取蘋果目標(biāo)的真實(shí)輪廓，然后在真實(shí)輪廓上隨機(jī)選取3個(gè)點(diǎn)，以此確定1個(gè)圓，進(jìn)而定位遮擋的蘋果目標(biāo)，Wang等[87]對該方法中候選點(diǎn)選取不同造成定位結(jié)果差異較大的問題進(jìn)行改進(jìn)，即隨機(jī)選取候選點(diǎn)100次，得到100個(gè)定位圓，去除過大和過小的圓，以剩余圓的圓心坐標(biāo)和半徑定位蘋果目標(biāo)，提高了定位精度。為了對遮擋蘋果目標(biāo)進(jìn)行精確定位，李宏利等[88]提出了基于圓曲率的遮擋蘋果目標(biāo)定位方法，該方法中綜合運(yùn)用了色差分割算法、形態(tài)學(xué)處理、輪廓提取法以及最小二乘圓擬合算法，最終利用擬合圓的圓心坐標(biāo)和半徑定位遮擋蘋果目標(biāo)。賈偉寬等[89]使用K-means聚類分割和神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法進(jìn)行蘋果目標(biāo)的識別，該算法可實(shí)現(xiàn)遮擋蘋果目標(biāo)較高精度的識別。Lü等[38]利用邊緣檢測和隨機(jī)Hough變換算法實(shí)現(xiàn)了被枝葉嚴(yán)重遮擋的蘋果目標(biāo)的重建和識別，成功識別率為86.0%。

上述各種影響下蘋果目標(biāo)的識別，其識別準(zhǔn)確率仍需提高。對于光線變化的影響，在機(jī)器人視覺系統(tǒng)中加入遮光裝置及可控光源將成為減弱該影響的潛在發(fā)展方向。對于遮擋果實(shí)的識別，除了在園藝上改進(jìn)蘋果的種植模式外，應(yīng)充分利用蘋果目標(biāo)未被遮擋部分進(jìn)行蘋果目標(biāo)的重建。

2.3 蘋果采摘機(jī)器人視覺系統(tǒng)中目標(biāo)定位方法

完成蘋果目標(biāo)的識別后，要進(jìn)行蘋果目標(biāo)的定位，目前蘋果目標(biāo)的定位方法主要可歸納為以下幾種：

1）利用蘋果目標(biāo)的質(zhì)心進(jìn)行定位。如 Feng等[76]完成重疊蘋果目標(biāo)的分割后，利用質(zhì)心完成各個(gè)蘋果目標(biāo)的二維定位。

2）對蘋果目標(biāo)的輪廓進(jìn)行圓擬合，利用擬合圓的圓心坐標(biāo)和半徑定位，這種定位方法適用于各種影響下的蘋果目標(biāo)。Xiao等[90]提出了基于 BP神經(jīng)網(wǎng)絡(luò)和Hough變換的蘋果目標(biāo)定位方法，該算法首先用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練蘋果顏色識別模型，在識別出圖像中的蘋果目標(biāo)后，利用形態(tài)學(xué)運(yùn)算提取蘋果目標(biāo)的輪廓，最后利用 Hough變換算法確定的圓定位蘋果目標(biāo)，該算法對于不同光照影響、被枝葉遮擋及重疊蘋果目標(biāo)的二維定位均能取得較好的結(jié)果。

3）利用蘋果目標(biāo)的對稱軸進(jìn)行定位。如 Niu等[83]利用提取的蘋果目標(biāo)對稱軸定位被枝葉遮擋的蘋果目標(biāo)。謝忠紅等[91]融合使用二階中心矩法、最短距離法、斜率方差法以及三點(diǎn)一線法尋找蘋果目標(biāo)的果軸以進(jìn)行蘋果生長姿勢的識別。王丹丹等[92]提出了單個(gè)無遮擋蘋果目標(biāo)的定位算法，首先利用基于距離測度的算法平滑蘋果目標(biāo)的輪廓以提高定位精度，然后利用轉(zhuǎn)動慣量算法提取蘋果目標(biāo)的對稱軸，并以完成蘋果目標(biāo)的二維定位。

4）利用三維位置坐標(biāo)定位蘋果目標(biāo)；利用三維位置定位蘋果目標(biāo)所用方法主要有：① 利用單個(gè)攝像機(jī)定位蘋果目標(biāo)；如Baeten等[10]利用單個(gè)相機(jī)焦距、圖像平面內(nèi)像素大小及蘋果目標(biāo)中心之間的關(guān)系計(jì)算相機(jī)到果實(shí)目標(biāo)的距離。② 利用雙目視覺技術(shù)定位蘋果目標(biāo)；如Kong等[93]提出基于雙目立體視覺技術(shù)和最小二乘支持向量機(jī)的算法識別定位蘋果目標(biāo)，實(shí)現(xiàn)蘋果目標(biāo)的三維定位。③ 利用激光測距傳感器進(jìn)行定位；如Bulanon等[11]利用激光視測距傳感器完成對蘋果目標(biāo)的三維定位。④利用三維相機(jī)定位；如 Silwal等[16]利用三維相機(jī)采集圖像，并將采集的三維圖像映射到二維彩色圖像上，進(jìn)而獲得蘋果的空間位置信息，完成三維定位。

果實(shí)定位不準(zhǔn)確主要是由果實(shí)分割不準(zhǔn)確及果實(shí)目標(biāo)被遮擋引起的，這 2種情況可以通過改變蘋果的種植模式得到改善。在三維定位中，不準(zhǔn)確的距離測量也會導(dǎo)致果實(shí)定位的誤差，因此三維位置傳感器的選擇對于蘋果目標(biāo)的定位至關(guān)重要。

2.4 蘋果采摘機(jī)器人障礙物的識別

在蘋果采摘機(jī)器人進(jìn)行采摘作業(yè)時(shí)，利用視覺系統(tǒng)有效地進(jìn)行樹枝干等障礙物的識別，是采摘機(jī)器人避免與障礙物發(fā)生碰撞及順利完成采摘任務(wù)的關(guān)鍵。目前一些學(xué)者針對該問題進(jìn)行了研究，并取得了一批研究成果。

呂繼東[24]對全景蘋果圖像利用剝離分割方法進(jìn)行圖像分割，在提取了障礙物的中軸線后，分別用單目和雙目視覺技術(shù)實(shí)現(xiàn)了樹枝和樹干等障礙的定位，該方法對枝干等障礙物的檢出率達(dá)95.0%。李瑩瑩[94]利用逐層去除綠色區(qū)域和成熟蘋果區(qū)域的剝離分割算法及雙目立體視覺技術(shù)實(shí)現(xiàn)了果樹枝干的識別及其深度信息的獲取。黃鋁文[95]研究了基于模糊二維熵的閾值分割及后處理方法進(jìn)行了行走區(qū)域、農(nóng)藝人員和固定障礙物檢測，檢測成功率達(dá)96.9%。姬偉等[96]針對蘋果樹枝干障礙物視覺識別問題，提出基于對比度受限自適應(yīng)直方圖均衡化的蘋果樹枝迭代閾值分割方法，該方法對樹枝等障礙物的識別成功率達(dá)92.0%。顧玉宛[97]提出了一種基于Map Reduce和屬性集依賴度的預(yù)測模型并行生成算法，可對機(jī)器人避障預(yù)測中的決策樹生成進(jìn)行并行處理。

2.5 雙目視覺立體匹配

在蘋果目標(biāo)及樹枝干等障礙物定位過程中，雙目立體視覺技術(shù)應(yīng)用較為廣泛，雙目視覺技術(shù)基于視差原理，從兩個(gè)不同的視點(diǎn)觀察同一物體，獲取在不同視角下的兩幅圖像，通過計(jì)算兩幅圖像對應(yīng)點(diǎn)間的位置偏差獲取物體三維幾何信息。因此不同圖像中相同點(diǎn)的立體匹配是決定目標(biāo)定位成功與否的關(guān)鍵環(huán)節(jié)。

根據(jù)匹配基元的不同，立體匹配算法一般可分為 2類：基于特征的匹配和基于區(qū)域的匹配[98]。Si等[26]通過利用基于面積特征和極線的匹配算法實(shí)現(xiàn)了蘋果目標(biāo)的定位。呂繼東[24]采用基于極線和保序性約束的特征匹配方法進(jìn)行立體匹配以定位樹枝干等障礙物，該算法對光照變化具有極好的適應(yīng)能力。丁乙[99]利用提取的蘋果目標(biāo)的圓心作為特征點(diǎn)進(jìn)行雙目匹配實(shí)現(xiàn)蘋果目標(biāo)的定位。王晉[100]選取果實(shí)中心作為雙目圖像匹配的特征點(diǎn)，采用唯一性和順序一致性的約束條件完成左右目蘋果圖像的匹配。張穎[98]利用基于SIFT（scale invariant feature transform）特征描述子的區(qū)域立體匹配算法對樹枝進(jìn)行匹配。高瑞等[26]采用基于SSD（sum of squared differences）描述子的灰度區(qū)域立體匹配算法準(zhǔn)確地獲得了蘋果目標(biāo)的空間位置信息。李瑩瑩[94]通過對比 SIFT匹配算法、SUFR（speed up robust features）算法以及Harris算法后，選用Harris角點(diǎn)檢測匹配算法進(jìn)行蘋果樹枝干圖像的匹配。

3 現(xiàn)有視覺系統(tǒng)中存在的問題

國內(nèi)外眾多學(xué)者對蘋果采摘機(jī)器人視覺系統(tǒng)進(jìn)行了研究，并取得了大量的研究成果，但視覺系統(tǒng)仍處于研究階段，尚不能廣泛應(yīng)用，主要存在以下幾方面的問題：

3.1 識別定位算法的準(zhǔn)確性與實(shí)時(shí)性

目前，蘋果目標(biāo)的識別方法主要依據(jù)蘋果目標(biāo)的顏色、形狀、紋理等特征，但由于蘋果生長環(huán)境的復(fù)雜性，導(dǎo)致采集的圖像中存在各種干擾信息和噪聲，為了準(zhǔn)確地識別出蘋果目標(biāo)，一些算法增加引入的參數(shù)，因此算法的復(fù)雜度也會相應(yīng)的提高，現(xiàn)有的算法不能在識別精度、參數(shù)的自適應(yīng)選取以及運(yùn)行時(shí)間 3者之間取得很好的平衡。此外，自然環(huán)境中障礙物的存在具有隨機(jī)性和復(fù)雜性，障礙物的準(zhǔn)確識別是采摘機(jī)器人避免與障礙物發(fā)生碰撞的關(guān)鍵，障礙物的識別與定位的準(zhǔn)確性與穩(wěn)定性尚需進(jìn)一步提高。

3.2 識別定位算法的有效性

蘋果生長的自然環(huán)境十分復(fù)雜，光照條件的不確定性、生長環(huán)境中與果實(shí)顏色相近的背景因素、果實(shí)被遮擋以及果實(shí)重疊均增加了果實(shí)目標(biāo)的識別和定位難度，現(xiàn)有的各種影響下蘋果實(shí)目標(biāo)識別定位算法實(shí)用性、實(shí)時(shí)性和算法的穩(wěn)定性等均亟待提高，尤其對于多個(gè)果實(shí)重疊、遮擋面積過大及被枝葉遮擋的重疊果實(shí)等，其識別與定位精度尚需提高。

3.3 識別定位算法的普遍適用性

現(xiàn)有的果實(shí)目標(biāo)識別算法，大多只針對某種特定情況的蘋果目標(biāo)進(jìn)行研究，如王丹丹等[92]完成了單個(gè)無遮擋蘋果目標(biāo)的定位，趙德安等[81]進(jìn)行了重疊蘋果目標(biāo)的識別，Silwal等[31]進(jìn)行了遮擋蘋果目標(biāo)的識別定位研究等，然而自然環(huán)境中，光照不確定、果實(shí)重疊和被遮擋等情況是并存的，因此算法的普遍適用性仍需提高。

4 前景與展望

4.1 視覺系統(tǒng)結(jié)構(gòu)優(yōu)化

為了更好地減少采摘過程中對蘋果的損壞，蘋果采摘機(jī)器人視覺系統(tǒng)對精度要求非常嚴(yán)格。由于蘋果采摘機(jī)器人的工作環(huán)境中存在自然光照變化、圖像采集時(shí)的順光逆光、陰天晴天、枝葉等物體在蘋果表面形成陰影等情況，造成自然光線下單純利用視覺系統(tǒng)識別蘋果目標(biāo)比較困難。因此，借鑒醫(yī)學(xué)上的無影燈原理，在視覺系統(tǒng)中加入主動光源和遮光裝置有望減少上述情況產(chǎn)生的影響。

4.2 智能算法的優(yōu)化

蘋果采摘機(jī)器人視覺系統(tǒng)中現(xiàn)有的枝干等障礙物和蘋果目標(biāo)分割、識別、定位算法的準(zhǔn)確性還有待提高，枝干等障礙物及各種天氣、不同光照條件以及顏色不均勻、陰影、振蕩、重疊、遮擋等影響下的果實(shí)目標(biāo)智能識別定位算法還需要進(jìn)一步優(yōu)化。視覺注意機(jī)制具有對局部突出的圖像特征進(jìn)行關(guān)注的特點(diǎn)[101]，將視覺注意機(jī)制應(yīng)用到蘋果圖像處理中，可只保留圖像中的重要信息（如蘋果目標(biāo)），并進(jìn)行處理，有望大大提高圖像分析處理的效率和準(zhǔn)確度。另外，深度學(xué)習(xí)是建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，模仿人腦的機(jī)制來解釋圖像等數(shù)據(jù)[102]，深度學(xué)習(xí)理論為重疊及遮擋影響下蘋果目標(biāo)的識別定位提供了方向。

4.3 視覺系統(tǒng)的實(shí)時(shí)性

現(xiàn)有蘋果采摘機(jī)器人視覺系統(tǒng)的實(shí)時(shí)性略低，蘋果采摘機(jī)器人的工作效率對整個(gè)蘋果產(chǎn)業(yè)有著至關(guān)重要的影響，然而視覺系統(tǒng)的實(shí)時(shí)性是制約采摘機(jī)器人工作效率的重要因素，故提高實(shí)時(shí)性應(yīng)為今后的主要研究內(nèi)容之一。

4.4 振蕩蘋果目標(biāo)的識別與定位

采摘機(jī)器人在果園進(jìn)行蘋果采摘時(shí)，風(fēng)力或果實(shí)的采摘作業(yè)都會引起蘋果目標(biāo)的振蕩，由于果實(shí)目標(biāo)振蕩的隨機(jī)性與復(fù)雜性，導(dǎo)致現(xiàn)有振蕩蘋果目標(biāo)的識別與定位算法的準(zhǔn)確性與穩(wěn)定性略低，如何快速、準(zhǔn)確地對振蕩影響下的蘋果目標(biāo)進(jìn)行識別與定位亦是今后的主要研究內(nèi)容。

4.5 視覺系統(tǒng)受振動影響下蘋果目標(biāo)的識別與定位

采摘機(jī)器人在果園進(jìn)行實(shí)際采摘作業(yè)時(shí)，由于果園的地面不平，采摘機(jī)器人在行走時(shí)，視覺系統(tǒng)往往會受到振動等干擾，目前大多數(shù)視覺系統(tǒng)中均用圖像處理算法進(jìn)行分析，然而在視覺系統(tǒng)受振動影響的情況下，利用采集的圖像序列是否能夠準(zhǔn)確地進(jìn)行蘋果目標(biāo)的識別與定位尚待進(jìn)一步研究。

4.6 性能與成本

目前蘋果采摘機(jī)器人尚未進(jìn)入實(shí)用化階段，考慮到蘋果采摘機(jī)器人的最終用戶是集約化經(jīng)營的農(nóng)戶，綜合考慮農(nóng)民的經(jīng)濟(jì)實(shí)力和蘋果產(chǎn)業(yè)的經(jīng)濟(jì)效益等實(shí)際問題，蘋果采摘機(jī)器人應(yīng)在滿足預(yù)期功能的前提下盡可能降低生產(chǎn)成本。隨著硬件技術(shù)的不斷發(fā)展，圖像采集傳感器、深度傳感器等組建視覺系統(tǒng)所用硬件設(shè)備的性價(jià)比逐漸提高，因此可選用價(jià)格較低、性能較高的視覺元件組建視覺系統(tǒng)，這樣可大大降低構(gòu)建視覺系統(tǒng)的成本。

從目前國內(nèi)外蘋果采摘機(jī)器人的發(fā)展現(xiàn)狀來看，蘋果采摘機(jī)器人仍處于研究階段，要實(shí)現(xiàn)蘋果采摘機(jī)器人的商品化仍需更深入的研究。采摘機(jī)器人視覺系統(tǒng)在完成任務(wù)的效率、精度以及降低成本等方面需要進(jìn)一步提高，研究出在復(fù)雜生態(tài)環(huán)境中工作的蘋果采摘機(jī)器人不僅具有重大的應(yīng)用價(jià)值，而且具有深遠(yuǎn)的理論意義。

[1] 宋健，張鐵中，徐麗明，等. 果蔬采摘機(jī)器人研究進(jìn)展與展望[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2006，37(5)：158－162.Song Jian, Zhang Tiezhong, Xu Liming, et al. Research actuality and prospect of picking robot for fruits and vegetables[J]. Transactions of the CSAM, 2006, 37(5):158－162. (in Chinese with English abstract)

[2] 徐麗明，張鐵中. 果蔬果實(shí)收獲機(jī)器人的研究現(xiàn)狀及關(guān)鍵問題和對策[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2004，20(5)：38－42.Xu Liming, Zhang Tiezhong. Present situation of fruit and vegetable harvesting robot and its key problems and measures in application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2004, 20(5): 38－42. (in Chinese with English abstract)

[3] 張鐵中，楊麗，陳兵旗，等. 農(nóng)業(yè)機(jī)器人技術(shù)研究進(jìn)展[J]. 中國科學(xué)：信息科學(xué)(中國科學(xué)F輯)，2010，40(增刊)：71－87.Zhang Tiezhong, Yang Li, Chen Bingqi, et al. Research progress of agricultural robot technology[J]. Chinese Science: Information Science (F), 2010, 40(S): 71－87.(in Chinese with English abstract)

[4] 盧軍，王賢鋒，后德家. 水果采摘機(jī)器人視覺系統(tǒng)研究進(jìn)展[J]. 湖北農(nóng)業(yè)科學(xué)，2012，51(21)：4705－4708.Lu Jun, Wang Xianfeng, Hou Dejia. Development of machine vision system for fruit harvesting robots[J].Hubei Agricultural Sciences, 2012, 51(21): 4705－4708.(in Chinese with English abstract)

[5] Gongal A, Amatya S, Karkee M, et al. Sensors and systems for fruit detection and localization: A review[J].Computers & Electronics in Agriculture, 2015, 116(C):8－19.

[6] 張俊雄，何芬. 設(shè)施農(nóng)業(yè)采摘機(jī)器人研究進(jìn)展[J]. 農(nóng)業(yè)工程技術(shù)×溫室園藝，2015，(9)：31－35.

[7] Wei X, Jia K, Lan J, et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J]. Optik-International Journal for Light and Electron Optics, 2014,125(19): 5684－5689.

[8] Zhao D A, Lü J D, Ji W, et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering, 2011,110(2): 112－122.

[9] Peterson D L, Bennedsen B S, Anger W C, et al. A systems approach to robotic bulk harvesting of apples [J].Transaction of the ASAE, 1999, 42(4): 871－876.

[10] Baeten J, Donné K, Boedrij S, et al. Autonomous fruit picking machine: A robotic apple harvester[J]. Springer Tracts in Advanced Robotics, 2007, 42: 531－539.

[11] Bulanon D M, Kataoka T. Fruit detection system and an end effector for robotic harvesting of Fuji apples[J].Agricultural Engineering International: The CIGR e-journal,2010, 12(1): 203－210.

[12] 顧寶興，姬長英，王海青，等. 智能移動水果采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(6)：153－160.Gu Baoxing, Ji Changying, Wang Haiqing, et al. Design and experiment of intelligent mobile fruit picking robot [J].Transactions of CSAM, 2012, 43(6): 153－160. (in Chinese with English abstract)

[13] 張杰，姬長英，顧寶興，等. 三自由度蘋果采摘機(jī)器人本體設(shè)計(jì)[J]. 計(jì)算機(jī)工程與應(yīng)用，2015，51(23)：251－257.Zhang Jie, Ji Changying, Gu Baoxing, et al. Body design of 3-DOF apple picking robot[J]. Computer Engineering and Applications, 2015, 51(23): 251－257. (in Chinese with English abstract)

[14] Luo H F, Wei G W. System design and implementation of a novel robot for apple harvest[J]. INMATEH× Agricultural Engineering, 2015, 46(2): 85－94.

[15] Silwal A, Karkee M, Zhang Q. A hierarchical approach of apple identification for robotic harvesting[C]// ASABE International Meeting. 2015.

[16] Silwal A, Davidson J, Karkee M, et al. Effort towards robotic apple harvesting in Washington State[C]// ASABE International Meeting. 2016.

[17] 呂宏明，姬長英. 視覺技術(shù)在農(nóng)業(yè)采摘機(jī)器人中的應(yīng)用及發(fā)展[J]. 江西農(nóng)業(yè)學(xué)報(bào)，2008，20(2)：79－80.Lü Hongming, Ji Changying. Application and development of visual technology in agricultural picking robot [J]. Jiangxi Agricultural Journal, 2008, 20(2): 79－80. (in Chinese with English abstract)

[18] 呂學(xué)智. 基于雙目視覺的爬壁機(jī)器人環(huán)境檢測技術(shù)研究[D]. 揚(yáng)州：揚(yáng)州大學(xué)，2014.Lü Xuezhi. Research on Wall-climbing Robot’s Technique for Environment Detection Based on Binocular Stereo Vision[D]. Yangzhou: Yangzhou University, 2014. (in Chinese with English abstract)

[19] Schertz C E, Brown G K. Basic considerations in mechanizing citrus harvest[J]. Transactions of the ASAE,1968, 11(3): 343－346.

[20] Parrish E A. Pictorial pattern recognition applied fruit harvesting[J]. Transactions of the ASAE, 1977, 20: 822－827.

[21] D￠Esnon A G, Rabatel G, Pellenc R, et al. Magali: A self-propelled robot to pick apples[J]. American Society of Agricultural Engineers, 1987.

[22] Bulanon D M, Kataoka T, Okamoto H, et al. Development of a real-time machine vision system for the apple harvesting robot[C]// Sice 2004 Conference. IEEE, 2004,1: 595－598.

[23] Kennedy T. Optimal Thresholding for the Automatic Recognition of Apple Fruits[C]// 2001 Sacramento, CA July 29-August 1, 2001.

[24] 呂繼東. 蘋果采摘機(jī)器人視覺測量與避障控制研究[D].鎮(zhèn)江：江蘇大學(xué)，2012.Lü Jidong. Research on Visual Measurement and Obstacle Avoidance Control of Apple Harvesting Robot[D]. Zhenjiang:Jiangsu University, 2012. (in Chinese with English abstract)

[25] Mao W, Ji B, Zhan J, et al. Apple location method for the apple harvesting robot[C]//International Congress on Image and Signal Processing. 2009: 1-5.

[26] Si Y, Liu G, Feng J. Location of apples in trees using stereoscopic vision[J]. Computers & Electronics in Agriculture, 2015, 112 (C): 68－74.

[27] 高瑞，劉剛，司永勝，等. 蘋果采摘機(jī)器人視覺系統(tǒng)研究[C]//紀(jì)念中國農(nóng)業(yè)工程學(xué)會成立三十周年暨中國農(nóng)業(yè)工程學(xué)會2009年學(xué)術(shù)年會. 2009.Gao Rui, Liu Gang, Si Yongsheng, et al. Study on the vision system of apple picking robot[C]// Academic Annual Meeting of the Chinese Academy of Agricultural Engineering in 2009, 2009. (in Chinese with English abstract)

[28] Wang Q, Nuske S, Bergerman M, et al. Automated crop yield estimation for apple orchards[J]. In Proc. International Symposium on Experimental Robotics, 2012.

[29] 王輝，毛文華，劉剛，等. 基于視覺組合的蘋果作業(yè)機(jī)器人識別與定位[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(12)：165-170.Wang Hui, Mao Wenhua, Liu Gang, et al. Identification and location system of multi-operation apple robot based on vision combination[J]. Transactions of the CSAM,2012, 43(12): 165－170. (in Chinese with English abstract)

[30] Nguyen T T, Vandevoorde K, Kayacan E, et al. Apple detection algorithm for robotic harvesting using a rgb-d camera[C]// International Conference of Agricultural Engineering, Zurich, Switzerland. 2014.

[31] Silwal A, Gongal A, Karkee M. Identification of red apples in field environment with over the row machine vision system[J]. Agricultural Engineering International:The CIGR e-journal, 2014, 16(4): 66－75.

[32] 周薇，馮娟，劉剛，等. 蘋果采摘機(jī)器人中的圖像配準(zhǔn)技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(11)：20－26.Zhou Wei, Feng Juan, Liu Gang, et al. Application of image registration technology in apple harvest robot[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(11):20－26. (in Chinese with English abstract)

[33] 劉兆祥，劉剛，喬軍. 蘋果采摘機(jī)器人三維視覺傳感器設(shè)計(jì)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(2)：171－175.Liu Zhaoxiang, Liu Gang, Qiao Jun. Development of a 3-dimension vision sensor in apple harvesting robot [J].Transactions of the CSAM, 2010, 41(2): 171－175. (in Chinese with English abstract)

[34] 馮娟，劉剛，司永勝，等. 蘋果采摘機(jī)器人激光視覺系統(tǒng)的構(gòu)建[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(增刊)：32－37.Feng Juan, Liu Gang, Si Yongsheng, et al. Construction of laser vision system for apple harvesting robot[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(S):32－37. (in Chinese with English abstract)

[35] 徐越，李盈慧，宋懷波，等. 基于Snake模型與角點(diǎn)檢測的雙果重疊蘋果目標(biāo)分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(1)：196－203.Xu Yue, Li Yinghui, Song Huaibo, et al. Segmentation method of overlapped double apples based on Snake model and corner detectors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(1): 196－203. (in Chinese with English abstract)

[36] Jiang G Q, Zhao C J. Apple recognition based on machine vision[C]// International Conference on Machine Learning and Cybernetics, 2012: 1148－1151.

[37] Bulanon D M, Kataoka T, Ota Y, et al. A segmentation algorithm for the automatic recognition of Fuji apples at harvest[J]. Biosystems Engineering, 2003, 83(4): 405－412.

[38] Lü J D, Zhao D A, Ji W, et al. Recognition of apple fruit in natural environment[J]. Optik-International Journal for Light and Electron Optics, 2016, 127(3): 1354－1362

[39] Wang D D, Song H B, Yu X L, et al. An improved contour symmetry axes extraction algorithm and its application in the location of picking points of apples [J].Spanish Journal of Agricultural Research, 2015, 13(1):e0205.

[40] Linker R, Cohen O, Naor A. Determination of the number of green apples in RGB images recorded in orchards[J].Computers & Electronics in Agriculture, 2012, 81(1):45－57.

[41] Lak M B, Minaei S, Amiriparian J, et al. Apple fruits recognition under natural luminance using machine vision[J]. Advance Journal of Food Science and Technology,2010, 2(6): 325－327.

[42] 司永勝，劉剛，高瑞. 基于K-均值聚類的綠色蘋果識別技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(增刊)：100－104.Si Yongsheng, Liu Gang, Gao Rui. Segmentation algorithm for green apples recognition based onK-means algorithm[J]. Transactions of the CSAM, 2009, 40(S): 100－104. (in Chinese with English abstract)

[43] Bulanon D M, Kataoka T, Okamoto H, et al. Determining the 3-D location of the apple fruit during harvest [C]//Automation Technology for Off-Road Equipment Proceedings of the 2004 Conference. American Society of Agricultural and Biological Engineers, 2004: 91.

[44] Ji W, Zhao D, Cheng F, et al. Automatic recognition vision system guided for apple harvesting robot [J].Computers & Electrical Engineering, 2012, 38(5): 1186－1195.

[45] Qu W F, Shang W J, Shao Y H, et al. Segmentation of foreground apple targets by fusing visual attention mechanism and growth rules of seed points[J]. Spanish Journal of Agricultural Research, 2015, 13(3).

[46] Tabb A L, Peterson D L, Park J. Segmentation of apple fruit from video via background modeling[C]// 2006 ASAE Annual Meeting. American Society of Agricultural and Biological Engineers, 2006: 1.

[47] Linker R, Kelman E. Apple detection in nighttime tree images using the geometry of light patches around highlights[J]. Computers & Electronics in Agriculture,2015, 114: 154－162.

[48] Levi O. Detection of green apples in hyperspectral images of apple-tree foliage using machine vision[J]. Transactions of the ASABE, 2007, 50(6): 2303－2313.

[49] 王福杰，饒秀勤，應(yīng)義斌. 蘋果圖像的背景分割與目標(biāo)提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(1)：196－199.Wang Fujie, Rao Xiuqin, Ying Yibin. Background segmentation and object extraction of apples images [J].Transactions of the CSAM, 2013, 44(1): 196－199. (in Chinese with English abstract)

[50] Gongal A, Silwal A, Amatya S, et al. Apple crop-load estimation with over-the-row machine vision system[J].Computers & Electronics in agriculture, 2016, 120: 26－35.

[51] Stajnko D, Lakota M, Ho?evar M. Estimation of number and diameter of apple fruits in an orchard during the growing season by thermal imaging[J]. Computers &Electronics in Agriculture, 2004, 42(1): 31-42.

[52] Seng W C, Mirisaee S H. A new method for fruits recognition system[C]// International Conference on Electrical Engineering and Informatics, 2009: 130－34.

[53] Wachs J P, Stern H I, Burks T, et al. Low and high-level visual feature-based apple detection from multi-modal images [J]. Precision Agriculture, 2010, 11(6): 717－735.

[54] Sharma D J, Kaur J. Robotic apple harvesting using computer vision based on shape & colour analysis andobject positioning[J]. Digital Signal Processing, 2014, 6(7).

[55] Kelman E, Linker R. Vision-based localisation of mature apples in tree images using convexity[J]. Biosystems Engineering, 2014, 118(118): 174－185.

[56] Jia W K, Zhao D A, Hu C, et al. Fast recognition of overlapping fruit based on maximum optimisation for apple harvesting robot[J]. International Journal of Collaborative Intelligence, 2015, 1(2): 124－136.

[57] Nguyen T T, Vandevoorde K, Wouters N, et al. Detection of red and bicoloured apples on tree with an RGB-D camera[J]. Biosystems Engineering, 2016, 146: 33－44

[58] 姬偉，呂興琴，趙德安，等. 蘋果采摘機(jī)器人夜間圖像邊緣保持的Retinex增強(qiáng)算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(6)：189－196.Ji Wei, Lü Xingqin, Zhao De’an, et al. Edge-preserving Retinex enhancement algorithm of night vision image for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(6): 189－196. (in Chinese with English abstract)

[59] Zhao J, Tow J, Katupitiya J. On-tree fruit recognition using texture properties and color data[C]//Ieee/rsj International Conference on Intelligent Robots and Systems. IEEE, 2005: 263－268.

[60] Rakun J, Stajnko D, Zazula D. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry[J]. Computers & Electronics in Agriculture, 2011, 76(1): 80－88.

[61] Zhou R, Damerow L, Sun Y, et al. Using colour features of cv. ‘Gala’ apple fruits in an orchard in image processing to predict yield[J]. Precision Agriculture, 2012,13(5): 568－580.

[62] Huang L W, He D J. Apple recognition in natural tree canopy based on fuzzy 2-partition entropy[J]. International Journal of Digital Content Technology & Its Applications,2013, 7(1): 107－115.

[63] 屠珺，劉成良，李彥明，等. 基于光照無關(guān)圖的蘋果圖像識別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2010，26(14)：26－31.Tu Jun, Liu Chengliang, Li Yanming, et al. Apple recognition method based on illumination invariant graph[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(14):26－31. (in Chinese with English abstract)

[64] 錢建平，楊信廷，吳曉明，等. 自然場景下基于混合顏色空間的成熟期蘋果識別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(17)：137－142.Qian Jianping, Yang Xinting, Wu Xiaoming, et a1. Mature apple recognition based on hybrid color space in natural scene[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2012, 28(17): 137－142. (in Chinese with English abstract)

[65] 劉立群，火久元，王聯(lián)國. 基于改進(jìn)混合蛙跳算法的圖像閾值分割算法[J]. 計(jì)算機(jī)應(yīng)用與軟件，2015，32(5)：212－215.Liu Liqun, Huo Jiuyuan, Wang Lianguo. Image threshold segmentation algorithm based on improved shuffled frog leaping algorithm[J]. Computer Applications and Software,2015, 32(5): 212－215. (in Chinese with English abstract)

[66] 馮娟，劉剛，司永勝，等. 基于激光掃描三維圖像的樹上蘋果識別算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(4)：217－222.Feng Juan, Liu Gang, Si Yongsheng, et al. Apple fruit recognition algorithm based on laser scanning 3D image[J]. Transactions of the CSAM, 2013, 44(4): 217－222.(in Chinese with English abstract)

[67] 馬曉丹，劉剛，周薇，等. 基于量子遺傳模糊神經(jīng)網(wǎng)絡(luò)的蘋果果實(shí)識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(12)：227－232.Ma Xiaodan, Liu Gang, Zhou Wei, et al. Apple recognition based on fuzzy neural network and quantum genetic algorithm[J]. Transactions of the CSAM, 2013,44(12): 227－232. (in Chinese with English abstract)

[68] 司永勝，喬軍，劉剛，等. 蘋果采摘機(jī)器人果實(shí)識別與定位方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(9)：148-153.Si Yongsheng, Qiao Jun, Liu Gang, et al. Recognition and location of fruits for apple harvesting robot[J].Transactions of the CSAM, 2010, 41(9): 148－153. (in Chinese with English abstract)

[69] 宋懷波，張衛(wèi)園，張欣欣，等. 基于模糊集理論的蘋果表面陰影去除方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(3)：135－141.Song Huaibo, Zhang Weiyuan, Zhang Xinxin, et al.Shadow removal method of apples based on fuzzy set theory[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2014, 30(3): 135－141. (in Chinese with English abstract)

[70] 宋懷波，屈衛(wèi)鋒，王丹丹，等. 基于光照無關(guān)圖理論的蘋果表面陰影去除方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(24):168－176.Song Huaibo, Qu Weifeng, Wang Dandan, et a1. Shadow removal method of apples based on illumination invariant image[J]. Transactions of the Chinese Society of A gricultural Engineering (Transactions of the CSAE), 2014,30(24): 168－176. (in Chinese with English abstract)

[71] 趙德安，劉曉洋，陳玉，等. 蘋果采摘機(jī)器人夜間識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(3)：15－22.Zhao De’an, Liu Xiaoyang, Chen Yu, et al. Image recognition at night for apple picking robot[J].Transactions of the CSAM, 2015, 46(3): 15－22. (in Chinese with English abstract)

[72] 呂繼東，趙德安，姬偉，等. 蘋果采摘機(jī)器人對振蕩果實(shí)的快速定位采摘方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(13)：48－53.Lü Jidong, Zhao De’an, Ji Wei, et al. Fast positioning method of apple harvesting robot for oscillating fruit [J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(13):48－53. (in Chinese with Englishabstract)

[73] 呂繼東，趙德安，姬偉. 采摘機(jī)器人振蕩果實(shí)匹配動態(tài)識別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(20)：32－39.Lü Jidong, Zhao De’an, Ji Wei. Research on matching recognition method of oscillating fruit for harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(20): 32－39. (inChinese with English abstract)

[74] 李國利，姬長英，顧寶興. 基于單目視覺與超聲檢測的振蕩果實(shí)采摘識別與定位[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(11)：1－8.Li Guoli, Ji Changying, Gu Baoxing. Recognition and location of oscillating fruit based on monocular vision and ultrasonic testing [J]. Transactions of the CSAM, 2015,46(11): 1－8. (in Chinese with English abstract)

[75] 司永勝，喬軍，劉剛，等. 基于機(jī)器視覺的蘋果識別和形狀特征提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(8)：161－165.Si Yongsheng, Qiao Jun, Liu Gang, et al. Recognition and shape features extraction of apples based on machine vision[J]. Transactions of the CSAM, 2009, 40(8): 161－165. (in Chinese with English abstract)

[76] Feng J, Wang S, Liu G, et al. A separating method of adjacent apples based on machine vision and chain code information[C]// Computer and Computing Technologies in Agriculture V, 2012: 258－267.

[77] 宋懷波，張傳棟，潘景朋，等. 基于凸殼的重疊蘋果目標(biāo)分割與重建算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(3)：163－168.Song Huaibo, Zhang Chuandong, Pan Jingpeng, et al.Segmentation and reconstruction of overlapped apple images based on convex hull [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(3): 163－168. (in Chinese with English abstract)

[78] 彭輝，吳鵬飛，翟瑞芳，等. 基于視差圖像的重疊果實(shí)圖像分割算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(6)：167－173.Peng Hui, Wu Pengfei, Zhai Ruifang, et al. Image segmentation algorithm for overlapping fruits based on disparity map[J]. Transactions of the CSAM, 2012, 43(6):167－173. (in Chinese with English abstract)

[79] 馮娟，曾立華，劉剛，等. 融合多源圖像信息的果實(shí)識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(2)：73－80.Feng Juan, Zeng Lihua, Liu Gang, et al. Fruit recognition algorithm based on multi-source images fusion[J].Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(2): 73－80. (in Chinese with English abstract)

[80] 王丹丹，徐越，宋懷波，等. 融合K-means與Ncut算法的無遮擋雙重疊蘋果目標(biāo)分割與重建[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(10)：227－234.Wang Dandan, Xu Yue, Song Huaibo, et al. Fusion ofK-means and Ncut algorithm to realize segmentation and reconstruction of two overlapped apples without blocking by branches and leaves[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 227－234. (in Chinese with English abstract)

[81] 趙德安，沈甜，陳玉，等. 蘋果采摘機(jī)器人快速跟蹤識別重疊果實(shí)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(2)：22－28.Zhao De’an, Shen Tian, Chen Yu, et al. Fast tracking and recognition of overlapping fruit for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2):22－28. (in Chinese with English abstract)

[82] Wachs J P, Stern H I, Burks T, et al. Apple detection in natural tree canopies from multimodal images[C]// In Proceedings of the 7th European Conference on Precision Agriculture, Wageningen, The Netherlands, 2009, 68:293－302.

[83] Niu L L, Zhou W C, Wang D D, et al. Extracting the symmetry axes of partially occluded singleapples in natural scene using convex hull theory and shape context algorithm[J]. Multimedia Tools and Applications, 2016.

[84] 荀一，陳曉，李偉，等. 基于輪廓曲率的樹上蘋果自動識別[J]. 江蘇大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，28(6)：461－464.Xun Yi, Chen Xiao, Li Wei, et al. Automatic recognition of on-tree apples based on contour curvatur[J]. Journal of Jiangsu university (Natural science edition), 2007, 28(6):461－464. (in Chinese with English abstract)

[85] 陳玉，趙德安. 基于LBM的蘋果采摘機(jī)器人視覺圖像自動修復(fù)算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(11)：153－157.Chen Yu, Zhao De’an. Automatic image inpainting algorithm for apple harvesting robot’s vision system based on LBM [J]. Transactions of CSAM, 2010, 41(11): 153－157. (in Chinese with English abstract)

[86] 宋懷波，何東健，潘景朋. 基于凸殼理論的遮擋蘋果目標(biāo)識別與定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(22)：174－180.Song Huaibo, He Dongjian, Pan Jingming. Recognition and localization methods of occluded apples based on convex hull theory[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2012, 28(22): 174－180. (in Chinese with English abstract)

[87] Wang D D, Song H B, Tie Z H, et al. Recognition and localization of occluded apples usingK-means clustering algorithm and convex hull theory: a comparison[J].Multimedia Tools and Applications, 2016, 75(6): 3177－3198.

[88] 李宏利，何東健. 圖像中被遮擋蘋果的還原及定位技術(shù)研究[J]. 農(nóng)機(jī)化研究，2013，35(9)：20－23.Li Hongli, He Dongjian. Study on technology of restore and location of apples uander occluded[J]. Journal of Agricultural Mechanization Research, 2013, 35(9): 20－23. (in Chinese with English abstract)

[89] 賈偉寬，趙德安，劉曉洋，等. 機(jī)器人采摘蘋果果實(shí)的K-means和 GA-RBF-LMS神經(jīng)網(wǎng)絡(luò)識別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(18)：175－183.Jia Weikuan, Zhao De’an, Liu Xiaoyang, et al. Apple recognition based onK-means and GA-RBF-LMS neural network applicated in harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2015, 31(18): 175－183. (in Chinese with English abstract)

[90] Xiao C, Zheng L, Li M, et al. Apple detection from apple tree image based on BP neural network and Hough transform[J]. International Journal of Agricultural &Biological Engineering, 2015, 8(6): 46－53.

[91] 謝忠紅，徐瑩，姬長英，等. 基于計(jì)算機(jī)視覺的蘋果生長姿態(tài)估算多方法融合[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42(11)：154－157.Xie zhonghong, Xu Ying, Ji Changying, et al. Estimation method of apple growing attitude based on computer vision[J]. Transactions of the CSAM, 2011, 42(11): 154－157. (in Chinese with English abstract)

[92] 王丹丹，徐越，宋懷波，等. 基于平滑輪廓對稱軸法的蘋果目標(biāo)采摘點(diǎn)定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(5)：167－174.Wang Dandan, Xu Yue, Song Huaibo, et al. Localization method of picking point of apple target based on smoothing contour symmetry axis algorithm[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5):167－174. (in Chinese with English abstract)

[93] Kong D Y, Zhao D A, Zhang Y, et al. Research of apple harvesting robot based on least square support vector machine[C]//International Conference on Electrical and Control Engineering. IEEE, 2010: 1590－159

[94] 李瑩瑩. 蘋果收獲機(jī)器人果樹枝干信息獲取技術(shù)研究[D]. 南京: 南京農(nóng)業(yè)大學(xué), 2013.Li Yingying. Research on Tree Branches Information Acquisition for Apple Harvesting Robot[D]. Nan Jing:Nanjing Agricultural University, 2013. (in Chinese with English abstract)

[95] 黃鋁文. 蘋果采摘機(jī)器人視覺識別與路徑規(guī)劃方法研究[D]. 楊凌: 西北農(nóng)林科技大學(xué), 2013.Huang Lüwen. Approach of Visual Identification and Path Planning for Apple-picking-robot[D]. Yang Ling: Northwest Agricultural and Forestry University, 2013. (in Chinese with English abstract)

[96] 姬偉，陶云，趙德安，等. 基于CLAHE的蘋果樹樹枝迭代閾值分割方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(4)：69－75.Ji Wei, Tao Yun, Zhao De’an, et al. Fast Recognition of multiple color targets of litchi image in field environment based on double otsu algorithm[J]. Transactions of CSAM,2014, 45(4): 69-75. (in Chinese with English abstract)

[97] 顧玉宛. 基于并行計(jì)算的蘋果采摘機(jī)器人關(guān)鍵技術(shù)研究[D]. 鎮(zhèn)江: 江蘇大學(xué), 2016.Gu Yuwan. The Key Technology Based on Parallel Computing Application in Apple Harvesting Robot[D].Zhen Jiang: Jiangsu University, 2016. (in Chinese with English abstract)

[98] 張穎. 蘋果采摘機(jī)器人雙目視覺系統(tǒng)的研究[D]. 鎮(zhèn)江:江蘇大學(xué), 2012.Zhang Ying. Research on Binocular Vision System of Apple Picking Robot[D]. Zhenjiang: Jiangsu University,2012. (in Chinese with English abstract)

[99] 丁乙. 蘋果采摘機(jī)器人視覺系統(tǒng)技術(shù)基礎(chǔ)研究[D]. 燕山: 燕山大學(xué), 2014.Ding Yi. Research on the Technology of Apple Picking Robot Vision System[D]. Yan Shan: Yanshan University.2014. (in Chinese with English abstract)

[100] 王晉. 自然環(huán)境下蘋果采摘機(jī)器人視覺系統(tǒng)的關(guān)鍵技術(shù)研究[D]. 燕山:燕山大學(xué), 2014.Wang Jin. Research of the Vision System for Apple Harvesting Robot Woking in Natural Environment[D].Yan Shan: Yanshan University. 2014. (in Chinese with English abstract)

[101] 孟琭. 基于視覺注意機(jī)制的彩色圖像顯著性區(qū)域提取[J]. 計(jì)算機(jī)應(yīng)用研究, 2013, 30(10): 3159－3161.Meng Lu. Saliency detection for color image based on visual attention mechanism[J]. Application Research of Computers, 2013, 30(10): 3159－3161. (in Chinese with English abstract)

[102] 鄭胤，陳權(quán)崎，章毓晉. 深度學(xué)習(xí)及其在目標(biāo)和行為識別中的新進(jìn)展[J]. 中國圖象圖形學(xué)報(bào)，2014，19(2)：175－184.Zheng Yin, Chen Quanqi, Zhang Yujin. Deep learning and its new progress in object and behavior recognition[J].Journal of Image and Graphics, 2014, 19(2): 175－184.(in Chinese with English abstract)

Research advance on vision system of apple picking robot

Wang Dandan, Song Huaibo, He Dongjian※
(College of Mechanical and Electronic Engineering, Northwest A&F University, Yangling712100,China)

Vision system is one of the most important parts of apple picking robot, which, to some extent, determines the quality and the speed of picking task implemented by apple picking robot. In this review, we enumerated the existing apple picking robots. Some information, such as type of visual sensors, hardware of vision system, success rate of harvesting and run time, was illustrated in details. Meanwhile, on the basis of discussing the vision system of apple picking robot, we focused on summarizing hardware structure of existing vision systems and apple image segmentation methods as well as apple recognition and localization methods applied in vision systems. The vision system of apple picking robot mainly includes machine vision system, laser vision system, three-dimensional vision system and vision system formed by machine vision and other vision system.And the machine vision system can be classified into 3 types according to the number of image sensors used, that is, monocular vision system, binocular vision system and multi vision system. The recognition and localization of apple target is the first step of the implementation of the picking task for picking robot. The currently used apple segmentation and recognition methods include threshold segmentation algorithm, chromatic aberration based algorithm,K-mean clustering algorithm, region growing algorithm, segmentation method combining 2 or more algorithms, and so on. There are 4 methods that are commonly used in the localization of apple target. They are the methods based on centroid, fitting circle, symmetry axes, and three-dimensional coordinates, respectively. In natural scene, the recognition and localization of apple target may be affected by many factors. Hence,recognition and localization of apple target under different conditions, such as color nonuniformity, different illumination, shadow on the surface, oscillation, overlapping and occlusion, was reviewed and analyzed. Among all these conditions, occlusion can be regarded as the most serious factor. The condition of occlusion can be roughly divided into 4 kinds, i.e. apple target blocked by other apple, by branches, by leaves and by branches, leaves and other apple simultaneously. As for apple targets blocked by branches, one apple may be separated by branches, thus causing that an apple may be recognized as several apples. For the apple targets blocked by leaves, the symmetry of apple can be utilized to localize apple targets. The apple targets blocked by other apple can be considered as overlapping. There are overlapped apples with series connection, parallel connection, and blend connection. Because of the complexity of overlapping, the recognition and localization of apple targets blocked by other apple target is a little more difficult. In addition, the detection of obstacles like tree trunk and branches in apple orchard is important for apple picking robots to avoid obstacles, and thus obstacles detection methods were summarized in this review. In the process of target recognition and localization, binocular vision technology was commonly used in vision system. The key point of binocular vision technology is stereo matching. Therefore, stereo matching was then reviewed, and the image matching methods in existence can generally be divided into 2 categories, i.e. region-based image matching method and feature-based image matching method. What’s more, the problems exist in recognition and localization methods used in the vision system of apple picking robot, including accuracy, effectiveness, character of real-time and universal applicability, were analyzed. Further study will concentrate on optimizing the structure of vision system, optimizing the intelligent algorithms used in the vision system, improving the real-time capability, recognizing and locating apple targets when the apple targets and vision systems are influenced by oscillation, and improving cost performance. The paper has summarized and analyzed vision system of apple picking robot comprehensively, which can provide reference for future research.

robots; image recognition; mechanization; apple; fruit recognition; target localization; vision system

10.11975/j.issn.1002-6819.2017.10.008

TP391.4

A

1002-6819(2017)-10-0059-11

2016-10-09

2017-04-12

陜西省自然科學(xué)基金資助（2014JQ3094）；陜西省農(nóng)業(yè)科技創(chuàng)新與攻關(guān)項(xiàng)目(2016NY-157)；中央高?；究蒲袠I(yè)務(wù)經(jīng)費(fèi)（2452016077）。

王丹丹，女，黑龍江齊齊哈爾人，博士生，主要從事農(nóng)業(yè)智能化檢測方面的研究。楊凌 西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院，712100。

Email：wdd_app@163.com

※通信作者：何東健，男，陜西漢中人，教授，博士生導(dǎo)師，主要從事智能化檢測與技術(shù)研究。楊凌 西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院，712100。

Email：hdj168@nwsuaf.edu.cn