程祥云，宋欣

(天津農(nóng)學(xué)院 工程技術(shù)學(xué)院，天津 300384)

果蔬機(jī)械采摘作業(yè)中，首先要通過(guò)視覺(jué)系統(tǒng)進(jìn)行果實(shí)的識(shí)別和定位。視覺(jué)系統(tǒng)性能的優(yōu)劣決定了果實(shí)識(shí)別和定位的精度和效率，對(duì)機(jī)器人的采摘效果有著直接的影響[1]。本文在簡(jiǎn)要介紹果蔬采摘機(jī)器人視覺(jué)系統(tǒng)的基礎(chǔ)上，對(duì)國(guó)內(nèi)外果實(shí)識(shí)別與定位方法方面的研究現(xiàn)狀進(jìn)行了闡述，分析并提出現(xiàn)有研究中存在的問(wèn)題，并對(duì)采摘機(jī)器人視覺(jué)系統(tǒng)的未來(lái)研究方向進(jìn)行了展望。

1 采摘機(jī)器人視覺(jué)系統(tǒng)概述

視覺(jué)系統(tǒng)一般由攝像機(jī)、圖像處理裝置、距離測(cè)量裝置以及計(jì)算機(jī)組成。目前常用的攝像機(jī)個(gè)數(shù)是1或2個(gè)，即單目或雙目視覺(jué)技術(shù)。在采摘之前先通過(guò)攝像機(jī)獲取果實(shí)圖像，然后對(duì)圖像進(jìn)行處理，以便能識(shí)別出果實(shí)和枝葉，最后確定出果實(shí)準(zhǔn)確的空間坐標(biāo)。為了避免自然光的影響，往往借助人工光源或光學(xué)濾波器以減少果實(shí)表面陰影對(duì)識(shí)別效果的影響。

2 國(guó)內(nèi)外研究現(xiàn)狀

2.1 果實(shí)目標(biāo)識(shí)別與定位方法研究

目標(biāo)識(shí)別即從視覺(jué)系統(tǒng)獲取的原始圖像中，把被識(shí)別目標(biāo)從背景環(huán)境中分離出來(lái)。常用方法主要有閾值分割、K-means聚類(lèi)算法、人工神經(jīng)網(wǎng)絡(luò)和K最近鄰法(KNN)等[2]。為了提高目標(biāo)識(shí)別的準(zhǔn)確度和效率，往往會(huì)將多種算法相結(jié)合，利用各自的優(yōu)勢(shì)來(lái)達(dá)到優(yōu)化算法目的。

果實(shí)圖像經(jīng)過(guò)識(shí)別后，要對(duì)其進(jìn)行定位。常用的定位方法：1)利用質(zhì)心定位；2)根據(jù)果實(shí)目標(biāo)的軸對(duì)稱特征對(duì)果實(shí)進(jìn)行空間定位；3)采用類(lèi)似包圍盒的方法，用略大于果實(shí)最大輪廓的球包圍果實(shí)，用球心和半徑定位即可確定位置[3]；4)利用空間三維坐標(biāo)定位。對(duì)視覺(jué)系統(tǒng)采集到的圖像進(jìn)行處理，或者利用激光測(cè)距傳感器、三維相機(jī)定位。

近年來(lái)，國(guó)內(nèi)外學(xué)者在果實(shí)識(shí)別和定位方法方面取得大量研究成果。Lü等[4]采用OTSU動(dòng)態(tài)閾值分割方法實(shí)現(xiàn)了蘋(píng)果果實(shí)的識(shí)別和提??；Arefi等[5]將番茄圖像在RGB顏色空間下，利用R-G方法去除背景，然后利用形態(tài)學(xué)特征定位番茄目標(biāo)，識(shí)別準(zhǔn)確率可達(dá)96.36%；Gongal等[6]將HIS顏色空間的直方圖均衡化處理、RGB顏色空間的R-G-B和Otsu閾值分割以及Hough變換、Blob分析相結(jié)合，實(shí)現(xiàn)了對(duì)蘋(píng)果目標(biāo)的識(shí)別；宋健等[7]采用雙目視覺(jué)系統(tǒng)，通過(guò)基于亮度的閾值分割算法和四連通像素標(biāo)記法實(shí)現(xiàn)對(duì)采摘目標(biāo)及其特征的提取，并通過(guò)質(zhì)心匹配、極線約束和視差梯度約束算法獲得采摘目標(biāo)的坐標(biāo)信息，但該方法的定位精度和實(shí)時(shí)性還有待提高；宋家慧等[8]同樣利用雙目視覺(jué)系統(tǒng)采集果實(shí)圖像，通過(guò)拉普拉斯變換、高斯濾波和Canny算法分別對(duì)圖像進(jìn)行平滑噪聲，加強(qiáng)處理和圖像邊緣分割，從而實(shí)現(xiàn)目標(biāo)識(shí)別；姚立健等[9]針對(duì)立體視覺(jué)系統(tǒng)中左右圖像特征匹配問(wèn)題，將尺度不變特征變換(Scale-invariant feature transform，SIFT)匹配算法進(jìn)行改進(jìn)，結(jié)合隨機(jī)抽樣一致算法(random sample consensus，RANSAC)剔除錯(cuò)誤的匹配點(diǎn)，相比傳統(tǒng)的匹配算法，該方法能夠有效地提高匹配精度和實(shí)時(shí)性，但精度會(huì)受攝像機(jī)與采集目標(biāo)間距離的影響；梁喜鳳等[10]針對(duì)成串番茄的采摘，通過(guò)圖像增強(qiáng)處理和多尺度形態(tài)學(xué)方法獲得串連通區(qū)域，并將該區(qū)域的最小外接矩形與其過(guò)質(zhì)心的垂線之間的交點(diǎn)作為采摘參考點(diǎn)，但該方法僅對(duì)于垂直向下的串番茄具有較好的識(shí)別效果；王濱等[11]針對(duì)獼猴桃采摘，利用Kinect傳感器分別獲取深度圖像和RGB圖像，然后依次將RGB圖像映射到深度圖像，再將深度圖像映射到Kinect傳感器中的骨骼坐標(biāo)系上，從而獲得以紅外攝像機(jī)為中心的采摘目標(biāo)的空間坐標(biāo)，經(jīng)實(shí)驗(yàn)驗(yàn)證，該方法的定位誤差在2 mm以內(nèi)，但由于該方法使用的是Kinect傳感器，因此對(duì)采摘環(huán)境的光線要求比較高；王政等[12]針對(duì)雙目視覺(jué)系統(tǒng)中果實(shí)彩色圖像數(shù)據(jù)量大且噪聲多、處理速度慢等問(wèn)題，通過(guò)采用Lab彩色空間聚類(lèi)算法對(duì)視頻圖像進(jìn)行量化，能夠有效地提高圖像的處理速度，從而為提高果實(shí)定位速度提供了一種方法；李大華等[13]針對(duì)復(fù)雜背景環(huán)境下果實(shí)難以識(shí)別的問(wèn)題，提出一種基于HSI顏色和紋理屬性的圖像分割算法，此算法的識(shí)別率高，適合于果實(shí)和背景相近的情況，但在遮擋物存在的情況下，分割效果不好；郭凱敏等[14]利用成熟西紅柿果實(shí)與植株顏色特征的差異進(jìn)行圖像分割，并在雙目視覺(jué)系統(tǒng)中建立了目標(biāo)定位誤差分析機(jī)制，可對(duì)系統(tǒng)定位的準(zhǔn)確性做出判斷；郭艾俠等[15]將SIFT與Harris兩種算法相結(jié)合進(jìn)行采摘點(diǎn)計(jì)算和匹配，并利用平行雙目立體視覺(jué)的三角測(cè)量法對(duì)特征點(diǎn)定位，實(shí)現(xiàn)了對(duì)串型荔枝的識(shí)別和定位；張起榮等[16]利用櫻桃上特征點(diǎn)的三維坐標(biāo)重建櫻桃球模型，利用最小二乘法求出質(zhì)心位置實(shí)現(xiàn)定位；Xiao等[17]采用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練識(shí)別出圖像中的果實(shí)，并提取出目標(biāo)輪廓，然后對(duì)該輪廓進(jìn)行圓擬合，進(jìn)而實(shí)現(xiàn)定位，該算法具有較好的環(huán)境適應(yīng)性；王丹丹等[18]利用K-mean聚類(lèi)算法得到蘋(píng)果輪廓，然后通過(guò)去噪、平滑處理，再利用轉(zhuǎn)動(dòng)慣量法提取果實(shí)目標(biāo)的對(duì)稱軸，完成目標(biāo)的二維定位，此方法定位精度有較大提高，但不適用于蘋(píng)果目標(biāo)對(duì)稱性較差及果實(shí)顏色偏綠的情況。

上述研究成果雖然都實(shí)現(xiàn)了對(duì)果實(shí)圖像的提取和定位，但都僅適用于特定的果實(shí)和采摘環(huán)境，而且算法的準(zhǔn)確性和實(shí)時(shí)性還有待于進(jìn)一步的提升。

2.2 自然環(huán)境下的果實(shí)識(shí)別與定位方法研究

由于采摘作業(yè)是在復(fù)雜的非結(jié)構(gòu)化的自然環(huán)境下進(jìn)行，目標(biāo)識(shí)別和定位效果往往會(huì)受到光照強(qiáng)度、振蕩、果實(shí)重疊和存在遮擋物等諸多因素的影響[19]，因此，考慮到這些影響因素，許多研究者進(jìn)行大量的算法優(yōu)化和改進(jìn)工作。

針對(duì)光照的影響，劉立群等[20]提出了基于混合蛙跳算法的閾值分割算法，實(shí)現(xiàn)了閾值尋優(yōu)，該算法對(duì)光照強(qiáng)度存在差異的果實(shí)圖像均能實(shí)現(xiàn)較好的分割處理。項(xiàng)榮等[21]提出了一種番茄采摘機(jī)器人夜間照明系統(tǒng)的評(píng)價(jià)方法，以前景與背景類(lèi)間方差和類(lèi)內(nèi)方差的比值作為圖像可分割性評(píng)價(jià)的依據(jù)，確定出采摘機(jī)器人夜間照明系統(tǒng)的最佳組合為熒光燈和對(duì)角布局的方式。熊俊濤等[22]通過(guò)對(duì)荔枝圖像進(jìn)行顏色特征分析，確定YIQ顏色模型適合夜間果實(shí)的識(shí)別，并利用Otsu和模糊C均值聚類(lèi)算法實(shí)現(xiàn)快速準(zhǔn)確識(shí)別。Linker等[23]利用黑暗條件下，光源照射會(huì)使凸?fàn)钐O(píng)果產(chǎn)生亮點(diǎn)的現(xiàn)象對(duì)果實(shí)進(jìn)行識(shí)別，該方法的優(yōu)點(diǎn)在于可以識(shí)別出不同顏色的果實(shí)，但缺點(diǎn)是無(wú)法識(shí)別出完整的果實(shí)目標(biāo)區(qū)域。趙德安等[24]提出了一種夜間識(shí)別蘋(píng)果的方法。該方法要經(jīng)過(guò)兩次分割過(guò)程，第1次是先將用白熾燈照明拍攝得到的圖像進(jìn)行色差分割；第2次是提取出果實(shí)表面的光亮區(qū)域。兩次分割之后可得到較為完全的圖像。由于夜間采摘作業(yè)，圖像會(huì)有大量的噪聲，賈偉寬等[25]用差影法對(duì)夜間圖像進(jìn)行了噪聲分析，用PSO-ICA算法對(duì)夜間圖像進(jìn)行降噪處理，有效地降低了夜間作業(yè)各種噪聲對(duì)圖像的影響，并得出白熾燈是最合適的人工光源的結(jié)論。在夜間進(jìn)行采摘作業(yè)時(shí)，為了提高工作效率，林宏等[26]通過(guò)引入導(dǎo)頻追蹤技術(shù)，采用基于直接判決的快時(shí)變信道估計(jì)方法實(shí)現(xiàn)了夜間對(duì)果實(shí)的快速識(shí)別定位。但該方法需要依賴于照片條件，而實(shí)際夜間照明條件難以控制，因此還需要結(jié)合其他特征進(jìn)行識(shí)別。姬偉等[27]針對(duì)夜間蘋(píng)果圖像不清楚的問(wèn)題，對(duì)引導(dǎo)濾波進(jìn)行了改進(jìn)，提出了一種具有邊緣保持特性的Retinex算法，很好地起到了圖像增強(qiáng)的效果，但算法的時(shí)間效率低。傅隆生等[28]根據(jù)獼猴桃栽培方式的特點(diǎn)，提出了以豎直向上的方式獲取果實(shí)圖像，并以果萼為參考點(diǎn)實(shí)現(xiàn)了夜間對(duì)獼猴桃果實(shí)的識(shí)別，但該方法對(duì)于多果擠壓所導(dǎo)致的果萼不在果實(shí)圖像中心區(qū)域，以及果實(shí)間存在暗色三角形封閉區(qū)域時(shí)的識(shí)別會(huì)存在一定的誤差。

針對(duì)果實(shí)振蕩導(dǎo)致難以精確定位的問(wèn)題，李國(guó)利等[29]將經(jīng)過(guò)閾值分割、形態(tài)學(xué)處理和灰度填充后的圖像序列進(jìn)行疊加，得到目標(biāo)果實(shí)運(yùn)動(dòng)區(qū)域，計(jì)算出振蕩果實(shí)在該區(qū)域內(nèi)的二維平衡坐標(biāo)信息，并結(jié)合超聲傳感器所獲得的目標(biāo)果實(shí)深度信息，實(shí)現(xiàn)果實(shí)的識(shí)別和定位，試驗(yàn)采摘成功率為86%。程輝等[30]提出幀間差分法對(duì)自然環(huán)境下具有遮擋的擾動(dòng)柑橘進(jìn)行識(shí)別，以及采用內(nèi)切圓圓心對(duì)擾動(dòng)柑橘進(jìn)行定位的方法。

針對(duì)果實(shí)被遮擋和重疊的情況，王丹丹等[31]采用K-means和Ncut算法相結(jié)合的方法實(shí)現(xiàn)了無(wú)遮擋雙果重疊的分割和未被遮擋蘋(píng)果完整輪廓的提取。該方法與Hough變換重建算法相比具有較低的分割誤差和較高的重合度。徐越等[32]采用Snake模型與角點(diǎn)檢測(cè)的方法實(shí)現(xiàn)了雙果重疊的分割。上述兩種方法都是針對(duì)雙果重疊的情況，而未實(shí)現(xiàn)對(duì)多果重疊的分割。Niu等[33]用Shape Context算法對(duì)提取的被遮擋蘋(píng)果輪廓進(jìn)行匹配，通過(guò)提取輪廓的對(duì)稱軸實(shí)現(xiàn)蘋(píng)果定位。Wang等[34]針對(duì)Niu所提方法中關(guān)于匹配點(diǎn)選取不同會(huì)導(dǎo)致定位結(jié)果誤差較大的不足進(jìn)行了改進(jìn)，定位精度得到了提高。賈偉寬[35]通過(guò)K-means聚類(lèi)分割和神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法進(jìn)行果實(shí)識(shí)別，對(duì)遮擋和重疊果實(shí)具有較高的識(shí)別準(zhǔn)確率，但耗時(shí)較長(zhǎng)。為了使采摘機(jī)器人實(shí)現(xiàn)成功避障，馬將等[36]在視覺(jué)系統(tǒng)技術(shù)中引入DSP實(shí)時(shí)編碼技術(shù)，能準(zhǔn)確獲取果蔬位置和障礙物的位置，提高采摘時(shí)避開(kāi)障礙物的實(shí)時(shí)性，準(zhǔn)確率高達(dá)97%以上。胡嬋莉等[37]通過(guò)計(jì)算圓內(nèi)點(diǎn)到邊緣最小距離的方法確定局部極大值來(lái)確定圓心和半徑，從而實(shí)現(xiàn)對(duì)重疊蘋(píng)果的識(shí)別和定位，經(jīng)實(shí)驗(yàn)驗(yàn)證，該方法對(duì)于遮擋情況不是很?chē)?yán)重且果實(shí)邊緣較為完整的情況具有較好的使用效果。

3 現(xiàn)有研究存在的問(wèn)題

綜上所述，目前見(jiàn)諸報(bào)道的關(guān)于機(jī)械采摘中果實(shí)識(shí)別和定位算法的研究成果，均存在著或多或少的局限性，其主要原因在于自然作業(yè)環(huán)境的復(fù)雜性和非結(jié)構(gòu)化，以及果蔬生長(zhǎng)狀態(tài)的不確定性，同時(shí)這也是采摘機(jī)器人視覺(jué)系統(tǒng)難以得到推廣和應(yīng)用的主要制約因素。當(dāng)前果實(shí)識(shí)別和定位算法主要存在以下問(wèn)題：1)現(xiàn)有的識(shí)別和定位算法僅限于特定的采摘環(huán)境和采摘對(duì)象，而實(shí)際采摘中，由于自然環(huán)境的復(fù)雜性和多變性，以及不同果實(shí)間生長(zhǎng)的差異性使得算法不具備通用性，制約了視覺(jué)系統(tǒng)的推廣應(yīng)用；2)對(duì)于多果重疊及存在復(fù)雜遮擋物情況下的果實(shí)識(shí)別和定位，目前尚未得到有效的解決方法；3)由于果實(shí)識(shí)別定位的準(zhǔn)確性會(huì)受到光照、振蕩以及果蔬顏色、形態(tài)特征、紋理特征和生長(zhǎng)狀態(tài)等諸多因素的影響，算法中考慮到的因素越多，算法的復(fù)雜程度也會(huì)相應(yīng)提高，其運(yùn)行所需的時(shí)間將會(huì)越長(zhǎng)，從而導(dǎo)致算法的實(shí)時(shí)性較差，對(duì)采摘效率有直接的影響；4)在果實(shí)識(shí)別和定位的影響因素中，有些因素如光照、振蕩、干擾物遮擋等產(chǎn)生的影響具有隨機(jī)性和不確定性的特點(diǎn)，會(huì)導(dǎo)致識(shí)別和定位結(jié)果與實(shí)際情況產(chǎn)生較大偏離，因此算法的魯棒性還有待于進(jìn)一步的提高。

4 研究展望

針對(duì)當(dāng)前果實(shí)識(shí)別和定位算法存在的問(wèn)題，未來(lái)研究應(yīng)該重點(diǎn)圍繞以下幾個(gè)問(wèn)題開(kāi)展。

提高算法的準(zhǔn)確性和普適性。綜合考慮環(huán)境因素和果蔬栽培生長(zhǎng)模式的影響，可以根據(jù)果實(shí)的不同形態(tài)和栽培模式進(jìn)行分類(lèi)，建立符合某一類(lèi)別特征的果實(shí)識(shí)別和定位算法，使算法對(duì)該類(lèi)果實(shí)的識(shí)別和定位具有良好的適應(yīng)性，從而達(dá)到提高算法準(zhǔn)確性和普適性的目的。

提高算法的魯棒性和實(shí)時(shí)性。進(jìn)一步改進(jìn)果實(shí)識(shí)別定位算法，當(dāng)環(huán)境因素或采摘對(duì)象所處狀態(tài)發(fā)生改變時(shí)，使其仍舊能夠保持較高的識(shí)別準(zhǔn)確性和定位精度。在此基礎(chǔ)上，還要對(duì)算法進(jìn)行優(yōu)化，尋求識(shí)別精度、參數(shù)選取和運(yùn)行時(shí)間三方面的最優(yōu)控制，從而提高算法的實(shí)時(shí)性。此外，隨著深度學(xué)習(xí)理論的日益發(fā)展，可通過(guò)模擬人腦的思維邏輯來(lái)進(jìn)行圖像數(shù)據(jù)的處理[38]，進(jìn)一步提升算法的智能化。

改善視覺(jué)系統(tǒng)作業(yè)環(huán)境。非結(jié)構(gòu)化和不確定性的作業(yè)環(huán)境，很大程度增加了視覺(jué)系統(tǒng)的工作難度。因此，今后可以考慮將農(nóng)機(jī)與農(nóng)藝相結(jié)合，改進(jìn)現(xiàn)有的種植模式，使其與采摘機(jī)器人的工作模式相適應(yīng)，降低視覺(jué)系統(tǒng)的作業(yè)難度，從而有效提高識(shí)別和定位算法的準(zhǔn)確性、普適性和實(shí)時(shí)性。種植模式的改進(jìn)將會(huì)成為未來(lái)潛在的發(fā)展方向。

機(jī)械化采摘是我國(guó)果蔬收獲作業(yè)未來(lái)發(fā)展的必然趨勢(shì)。視覺(jué)系統(tǒng)作為果蔬采摘機(jī)器人的重要組成部分，其性能好壞決定了采摘機(jī)器人的采摘效率、速度和質(zhì)量。因此，提高視覺(jué)系統(tǒng)的工作性能對(duì)于提升我國(guó)采摘機(jī)器人的研究水平，以及推動(dòng)采摘機(jī)器人的應(yīng)用普及進(jìn)程具有深遠(yuǎn)的意義。