鄭如新，孫青云，張 可，程 冬，徐 鵬

（南京林業(yè)大學(xué)機械電子工程學(xué)院，江蘇 南京 210037）

我國是一個發(fā)展中國家，同時也是一個農(nóng)業(yè)大國，而農(nóng)業(yè)的種植和收獲問題也一直影響著我國社會的發(fā)展。自進入21 世紀(jì)以來，隨著科技的進步及社會的發(fā)展，農(nóng)業(yè)的發(fā)展方向也逐漸由人工轉(zhuǎn)為機械化，由自動化轉(zhuǎn)為人工智能化。要使農(nóng)業(yè)發(fā)展逐漸智能化，需要將圖像處理技術(shù)應(yīng)用到農(nóng)業(yè)領(lǐng)域，提高農(nóng)業(yè)生產(chǎn)效率。農(nóng)業(yè)的智能化作為一個新興的發(fā)展模式，能夠提高農(nóng)業(yè)生產(chǎn)和管理效率，減少不必要的人力、物力和財力，這其中人工智能技術(shù)發(fā)揮了至關(guān)重要的作用[1]，智能化的水果采摘機器人也應(yīng)運而生。

1 機器視覺技術(shù)研究現(xiàn)狀

目前，我國生產(chǎn)了大量的林果以及農(nóng)作物，如果僅靠人工采收，難以實現(xiàn)農(nóng)業(yè)的智能化和自動化，將機器視覺技術(shù)應(yīng)用到植物采摘中是非常有必要的。越來越多的機構(gòu)和相關(guān)領(lǐng)域?qū)＜议_始對農(nóng)業(yè)的智能化進行研究，國內(nèi)的機器人采摘技術(shù)發(fā)展迅速，但智能化采摘機器人還處于初始研究階段，且研究部門主要是各大高校和農(nóng)業(yè)機械研究院[2]。

1.1 圖像的預(yù)處理

要使機械手精準(zhǔn)采摘目標(biāo)水果，就必須對目標(biāo)植物進行識別操作，圖像識別是采摘的前提。圖像識別分為圖像預(yù)處理、圖像的分割和特征的識別等。

在進行圖像處理之前，還需要對圖像進行預(yù)處理，主要是為了提高圖像的質(zhì)量，除去一些圖像上的噪聲以及提高圖像的清晰度等。典型的去噪的方法有均值濾波、中值濾波、維納濾波和形態(tài)學(xué)方法等。

蘇博妮等[3]先對彩色草莓圖像添加方差為0.02 的椒鹽噪聲，然后利用均值濾波、中值濾波、維納濾波分別對草莓圖像進行預(yù)處理研究，最后發(fā)現(xiàn)中值濾波的效果最好，對椒鹽噪聲去除得比較徹底，草莓的紋理細(xì)節(jié)清晰，圖像背景噪聲也幾乎看不出來，因而其去噪效果比均值濾波和維納濾波都好。均值濾波去噪效果比維納濾波效果稍好，但均值濾波會使草莓邊緣細(xì)節(jié)模糊。

蔣煥煜等[4]對成熟的番茄進行識別和定位，但是在經(jīng)過圖像分割之后圖像中仍有許多像素以噪聲的形式存在，這些噪聲主要是背景區(qū)域的像素被認(rèn)為是目標(biāo)對象或是番茄部分被誤判為背景而形成的。之后利用了形態(tài)學(xué)處理方法中的開環(huán)運算，成功消除了背景中的噪聲。

李振雨等[5]研究蘋果的識別定位，為了更好地突出蘋果果實圖像，需對圖像進行直方圖均衡化的預(yù)處理，使用直方圖均衡化函數(shù)對灰度值進行調(diào)整，從而擴大前景和背景灰度的差別，以實現(xiàn)對比度的增強，更好地提高了圖像的質(zhì)量。

上海交通大學(xué)的Zeng Q B 等[6]對重疊的植物果實提出了一種基于雙邊濾波算法的預(yù)處理方式，該算法可以很好地解決因模糊邊界而導(dǎo)致的邊界信息的丟失，可以有效地平滑灰度圖像，去除許多小細(xì)節(jié)，保留邊緣，從而能夠更好地對圖像進行預(yù)處理。

1.2 目標(biāo)的識別與分割

圖像分割是指將圖像中具有特殊意義的不同區(qū)域劃分開來，這些區(qū)域是互不相交的，每一個區(qū)域滿足灰度、紋理、色彩等特征的某種相似性準(zhǔn)則。圖像分割是圖像處理分析過程中的重要步驟，圖像分割的方法有基于固定閾值的圖像分割、基于區(qū)域生長的圖像分割、基于邊緣的圖像分割、基于地形地貌的圖像分割等。其中，基于固定閾值的圖像分割方法是應(yīng)用得最廣泛，能夠快速地將目標(biāo)圖像與背景分割開來的方法。

西安科技大學(xué)的景曉梅[7]在自然環(huán)境下對蘋果使用了三種圖像分割方法，分別是閾值法、邊緣檢測法以及K-means聚類算法，并分析了這三種方法的優(yōu)缺點，最后通過實驗的比較，發(fā)現(xiàn)K-means 聚類算法在Lab 顏色空間模型中，可以將蘋果圖像很好地從背景中分割開，但是在光照不均勻的條件下會造成分割困難，因此，此類算法對于光照的要求很嚴(yán)格。

北京工業(yè)大學(xué)的王麗麗[8]對番茄的識別定位進行了研究，他們通過采用Otsu 算法和橢圓模板法對成熟的番茄進行圖像分割，然后選擇包含番茄彩色圖像的矩形區(qū)域，得到匹配點的三維坐標(biāo)。實驗表明，該方法識別出成熟番茄的成功率為99%。

重慶理工大學(xué)的胡友呈等[9]使用一種基于區(qū)域特征的成熟柑橘果實及枝葉的分割識別方法。該方法主要使用的是支持向量機算法（Support Vector Machine,SVM）對成熟的柑橘進行了圖像分割。該方法首先分析了柑橘的顏色特征，然后利用顏色信息的映射關(guān)系，進行特征降維，減少參數(shù)數(shù)量，最后獲得最佳的圖像ROI 區(qū)域，減少搜索區(qū)域，從而提高算法的時效性。該算法對外界環(huán)境的抗干擾能力較強，穩(wěn)定性較好。

1.3 圖像的特征匹配

當(dāng)把圖像成功地分割出來后，就需要對圖像進行特征匹配處理。圖像的識別需要對圖像進行特征匹配，簡單地說，就是找出從一幅圖像到另一幅圖像中對應(yīng)點的最佳變換位置。特征匹配方法主要分為基于灰度值相關(guān)的辦法和特征提取方法。

上海交通大學(xué)的金理鉆[10]研究了黃瓜采摘機器人，也是采用了基于紋理特征的提取方法進行特征的匹配，最后得出結(jié)論，由灰度共生矩陣能夠算出14 種紋理特征。盡管此矩陣提取的紋理特征具有不錯的分類能力，但是這么多的計算量，實際上也不可取，因此有人不斷地對其進行改進。

仲愷農(nóng)業(yè)工程學(xué)院的張瑞華等[11]針對獼猴桃的識別，考慮到獼猴桃的特殊外形，采用了Hough 變換的方法對獼猴桃進行特征匹配。由于完整的一幅圖像會占據(jù)比較多的背景區(qū)域，而背景區(qū)域越多，對圖像的識別就越復(fù)雜，可以采用最小外接矩形的方法劃出圖像中的目標(biāo)區(qū)域，縮小運用橢圓形擬合獼猴桃果實的處理面積，同時也提高了運行效率。

上述特征匹配方式始終存在一些缺點，在部分比較復(fù)雜的外界條件中，上述方法可能并不適用，會導(dǎo)致特征提取效果較差。

上海理工大學(xué)的張純純等[12]運用了基于深度學(xué)習(xí)的YOLO 算法對目標(biāo)物體進行特征匹配，其結(jié)果是YOLO 算法能精準(zhǔn)檢測出目標(biāo)物體并用矩形框出。

中科院的甘露[13]運用了基于改進的多尺度融合的SSD深度學(xué)習(xí)的模型，并且實現(xiàn)了多尺度融合的小目標(biāo)檢測算法，提升了小目標(biāo)檢測的準(zhǔn)確率。

不管是通過紋理特征和顏色特征對目標(biāo)進行特征匹配，還是通過一些深度學(xué)習(xí)和卷積神經(jīng)的算法改進，都是為了進行圖像的特征匹配。考慮到每一種方法都有自己的優(yōu)點和缺點，因此在一些特殊的情況下可以聯(lián)合使用多種特征匹配方法，以便更好地進行圖像的特征匹配。

1.4 植物采摘的定位技術(shù)

在世界坐標(biāo)系中確定水果采摘點是最后一個重要的步驟，定位的準(zhǔn)確與否直接關(guān)系后面的采摘是否能夠成功。近年來，許多國內(nèi)外學(xué)者都對植物采摘定位技術(shù)進行了研究，也取得了一些很好的成果。

定位功能模塊是使用雙目立體視覺從不同角度獲取目標(biāo)的2 幅圖像，并基于視差原理獲取物體三維幾何信息，同時獲得圖像的深度信息并進行測距，得到三維坐標(biāo)[14]。

攝像機獲得原始圖像信息通過一系列圖像處理過程后，可以將果實目標(biāo)從背景中分割出來，進而利用雙目視覺具備檢測物體立體信息的特點計算出果實的空間位置信息。

佳木斯大學(xué)的顏申等[15]針對橘類水果進行了識別定位系統(tǒng)的設(shè)計，他們鑒于橘類水果的輪廓近似圓形，使用霍夫變換的圓檢測方法對目標(biāo)進行識別定位，實驗結(jié)果能夠達(dá)到80%的準(zhǔn)確率。但是，在有樹枝樹葉的遮擋或者光照不均勻的情況下，識別率只能達(dá)到60%左右。

河北農(nóng)業(yè)大學(xué)的司永勝等[16]提出了利用歸一化的紅綠色差(R-G)/(R+G)分割蘋果的方法，對不同光照情況下拍攝的蘋果圖像進行識別與定位。結(jié)果顯示，該方法能夠很好地消除由于光照不均勻而產(chǎn)生陰影所帶來的影響，定位的準(zhǔn)確率能夠達(dá)到92%。

浙江大學(xué)的項榮[17]在識別定位番茄的過程中采用了三類立體匹配的番茄定位方法，并進行了研究。與單純基于區(qū)域匹配的方法相比，其具有較小匹配計算量的優(yōu)點。

天津理工大學(xué)的趙輝等[18]根據(jù)蘋果的空間定位提出了一種LCCP 算法，對蘋果點云進行實例化分割。實驗表明，該LCCP 算法能夠高效地對空間果實進行識別，對多果實且存在層疊遮擋的情況亦能取得不錯的效果，能夠?qū)埲秉c云進行較為精確的擬合，以此獲取果實的形狀與位置信息。

2 機器視覺技術(shù)在水果采摘機器人中應(yīng)用存在的問題

在水果采摘機器人的應(yīng)用中，機器視覺扮演了舉足輕重的角色。機器視覺技術(shù)在水果采摘機器人中具有識別目標(biāo)水果的外觀以及準(zhǔn)確定位的功能，同時還能對周圍的環(huán)境進行實時勘察，但是大部分的機器都處于實驗室研究階段，目前的研究中存在的問題有以下幾點。

2.1 視覺的響應(yīng)處理速度受算法影響大

水果采摘機器人主要由行走模塊、視覺模塊、控制模塊和末端執(zhí)行模塊四部分組成。采摘機器人的視覺系統(tǒng)主要是由2個相同型號的工業(yè)相機通過連接板固定搭建而成，再配上圖像采集卡以及需要的光源設(shè)備等。水果采摘作業(yè)所需要的視覺識別、定位精度和速度要低于一般工業(yè)應(yīng)用要求，因此識別和響應(yīng)速率取決于算法及其程序的時間復(fù)雜度。

2.2 識別的準(zhǔn)確率容易受到外界因素影響

在水果采摘機器人中，水果識別準(zhǔn)確率的高低會直接影響末端執(zhí)行機構(gòu)的準(zhǔn)確采摘。農(nóng)業(yè)采摘機器人不同于工業(yè)機器人，農(nóng)業(yè)機器人需要適應(yīng)各種田間復(fù)雜的作業(yè)環(huán)境；而水果的生長是隨機的，生長的差異性也決定了水果采摘機器人識別率的高低。例如，有的水果有枝葉的遮擋，還有的水果會生長在一起，造成水果的重疊遮擋，這些都會影響水果采摘機器人的識別率。

3 結(jié)束語

綜上所述，水果采摘機器人已經(jīng)得到了廣泛的運用，但是在運用的同時還存在著一些不足：

1）在針對水果植物方面的圖像處理上，有的算法在遇到重疊或者遮擋時并不能夠準(zhǔn)確快速地分割出目標(biāo)物體。同時在自然環(huán)境下，由于受到光照、噪聲等一些外界條件的影響，算法的適用性和魯棒性較差。

2）自然環(huán)境存在許多不確定因素，如光線問題、地理條件問題等，會導(dǎo)致水果采摘機器人對需要采摘的作物難以達(dá)到準(zhǔn)確識別的效果。因此，要想讓視覺采摘機器人充分地運用于現(xiàn)實之中還有待研究。

文章根據(jù)目前水果采摘機器人存在的不足提出以下幾點建議：

1）優(yōu)化視覺算法。對于長相形狀不同、品種也不相同的水果，可以從水果的形狀方面考慮優(yōu)化一些識別算法。針對長相形狀比較相似但種類不同的水果，可以考慮使用顏色算法去識別，因為顏色和紋理是水果特有的特征，這樣就可以避免因形狀相似而無法識別的問題。

2）改善機器人的作業(yè)環(huán)境。水果采摘機器人大多是在田間工作，而田間的作業(yè)環(huán)境都是屬于非結(jié)構(gòu)化環(huán)境，因此在種植水果時可以考慮加入一些科學(xué)化的、規(guī)范化的種植方式，使水果可以生長得比較均勻，這樣就會降低圖像處理的難度。