柳長(zhǎng)源 賴楠旭 畢曉君

(1.哈爾濱理工大學(xué)測(cè)控技術(shù)與通信工程學(xué)院， 哈爾濱 150080； 2.中央民族大學(xué)信息工程學(xué)院， 北京 100081)

0 引言

果實(shí)的識(shí)別定位是果實(shí)采摘機(jī)器人研究的核心，其算法研究一直存在著三大重點(diǎn)難題，分別是光照問(wèn)題[1-2]、遮擋問(wèn)題[3-4]以及近色背景果實(shí)識(shí)別問(wèn)題[5-6]。其中，光照問(wèn)題隨著圖像處理技術(shù)的逐漸成熟而基本得到解決，遮擋問(wèn)題也隨著三維視覺(jué)工具的產(chǎn)生，逐漸有了解決方案。但是由于彩色二維圖像本身存在的弊端，近色背景果實(shí)識(shí)別問(wèn)題目前仍是難點(diǎn)。

目前，國(guó)內(nèi)外對(duì)于近色背景果實(shí)識(shí)別問(wèn)題的解決方案主要是采用模板匹配或機(jī)器學(xué)習(xí)的方法。文獻(xiàn)[7-9]采用了傳統(tǒng)圖像處理的方法，利用圖像增強(qiáng)或?qū)Ρ榷戎狈綀D均衡化的方法增強(qiáng)果實(shí)與背景的顏色差，然后通過(guò)開(kāi)閉操作以及Hough圓等算法實(shí)現(xiàn)對(duì)果實(shí)的識(shí)別，文獻(xiàn)[10-15]通過(guò)對(duì)果樹(shù)圖像進(jìn)行預(yù)處理，提取果實(shí)和枝葉的灰度或紋理特征來(lái)構(gòu)成訓(xùn)練集，并搭建卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)對(duì)綠色果實(shí)的識(shí)別。此類(lèi)算法實(shí)際上都是利用了果實(shí)與背景圖像顏色之間的細(xì)微差異作為識(shí)別的特征，因此此類(lèi)算法的魯棒性都比較差，極易受到光照的影響，而且算法往往只適用于單一種類(lèi)的果實(shí)。由此可見(jiàn)，利用果實(shí)顏色特征來(lái)處理近色背景果實(shí)識(shí)別問(wèn)題并不是理想的解決方案。

深度圖像[16]是一種將攝像頭到場(chǎng)景中各點(diǎn)距離作為像素值的圖像，它可以直接反映出物體表面的三維形狀信息。在果實(shí)識(shí)別定位研究領(lǐng)域中，它常用來(lái)處理果實(shí)的重疊和遮擋問(wèn)題[17-19]，但這些應(yīng)用僅僅利用了果實(shí)和背景之間的層次關(guān)系，并沒(méi)有充分利用到深度圖像中的三維信息。實(shí)際上大部分果實(shí)都是近球形，而這個(gè)幾何特征在深度圖像中能夠被很好地體現(xiàn)。

因此，為找出解決近色背景果實(shí)識(shí)別問(wèn)題的方案，本文舍去傳統(tǒng)算法中常用的顏色特征，改為從果實(shí)幾何形狀的角度進(jìn)行研究，設(shè)計(jì)一種基于深度圖像的球形果實(shí)識(shí)別定位算法。

1 實(shí)驗(yàn)設(shè)備和信息采集

深度攝像頭目前主要分為結(jié)構(gòu)光攝像頭[20]和TOF(飛行時(shí)間)攝像頭[21]。結(jié)構(gòu)光攝像頭的成像原理為紅外激光器向外發(fā)射紅外散斑，再用紅外攝像頭接收反射的結(jié)構(gòu)光圖案，然后進(jìn)行深度信息的解算，這種方法計(jì)算量少，功耗低，近距離范圍精度更高，但其發(fā)射的紅外散斑非常容易被自然光所淹沒(méi)，因此不適合在室外環(huán)境下應(yīng)用。而TOF攝像頭的成像原理則是紅外發(fā)射器發(fā)射調(diào)制過(guò)的光脈沖，然后用接收器接收反射回來(lái)的光脈沖，并根據(jù)光脈沖的往返時(shí)間計(jì)算與物體之間的距離，這種方法成像快，功耗高，對(duì)圖像邊緣信息保留得更完整且不受光照影響。因此，考慮到采摘機(jī)器人常工作于室外復(fù)雜環(huán)境，本文采用RealSense AXON M5 型TOF攝像頭作為深度信息采集設(shè)備，該攝像頭尺寸僅有55 mm×18 mm×10.6 mm，分辨率為640像素×480像素，視場(chǎng)角為60°×45°，有效深度范圍為0.3～1.2 m。

實(shí)驗(yàn)對(duì)象為高1.6 m的仿真果樹(shù)模型，果樹(shù)安裝有20顆綠色果實(shí)(可隨意更換位置)，拍攝距離為0.3～0.7 m，由于果實(shí)通常都是處于懸掛狀態(tài)，枝葉大多處于果實(shí)的上方，由下而上的拍攝角度能夠有效降低果樹(shù)枝葉對(duì)果實(shí)遮擋的影響，因此實(shí)驗(yàn)主要采用正視和仰視的角度對(duì)果樹(shù)進(jìn)行拍攝，總共獲得50幅果樹(shù)深度圖像及其對(duì)應(yīng)彩色圖像。實(shí)驗(yàn)平臺(tái)采用Intel RealSense SDK工具包和Visual Studio 2015軟件平臺(tái)實(shí)現(xiàn)深度攝像頭對(duì)果樹(shù)圖像的采集，并搭配OpenCV庫(kù)和PCL點(diǎn)云庫(kù)2個(gè)API實(shí)現(xiàn)對(duì)深度圖像的運(yùn)算處理，彩色圖像用于實(shí)驗(yàn)結(jié)果對(duì)比驗(yàn)證，攝像頭采集的果樹(shù)彩色圖像和深度圖像如圖1所示。

圖1 RealSense采集的圖像Fig.1 Image acquisition by RealSense

2 算法原理

本文提出的算法流程為：首先采集果樹(shù)的深度圖像，利用深度圖像求出各像素點(diǎn)的梯度向量，然后將梯度向量看作運(yùn)動(dòng)矢量場(chǎng)，并計(jì)算出矢量場(chǎng)的散度，根據(jù)散度最大原則從矢量場(chǎng)中找出輻散中心點(diǎn)，并利用果實(shí)和葉片等深圖像的差異從輻散中心點(diǎn)中篩選出果實(shí)中心點(diǎn)，以果實(shí)中心點(diǎn)為起點(diǎn)采用八方向搜索方法搜索出果實(shí)邊界點(diǎn)，將果實(shí)邊界點(diǎn)依次連接提取出果實(shí)部分圖像導(dǎo)入點(diǎn)云，最后根據(jù)果實(shí)圖像部分點(diǎn)云采用隨機(jī)采樣一致性(Random sample consensus，RANSAC)算法[22-23]求出目標(biāo)果實(shí)的擬合球形，進(jìn)而得出果實(shí)的尺寸以及空間位置。

2.1 深度圖像梯度計(jì)算

由于在深度圖像中像素的特征表現(xiàn)為灰度，會(huì)隨著物體表面深度的增加而增大，因此在深度圖像中，果實(shí)與背景的分割并不能像彩色圖像那樣直接通過(guò)設(shè)置灰度閾值來(lái)實(shí)現(xiàn)，而深度圖像實(shí)際上表現(xiàn)的是物體的三維信息，因此需要從形態(tài)的角度來(lái)找出它們之間的特征差異。

為了描述深度圖像中果實(shí)與背景的形態(tài)特征，本文采用了計(jì)算深度圖像梯度的方法。深度圖像的梯度即深度圖像中的深度分量D在x和y方向上的偏導(dǎo)數(shù)Dx、Dy，梯度向量V計(jì)算公式為

(1)

但在圖像處理領(lǐng)域中，無(wú)法直接對(duì)像素進(jìn)行求導(dǎo)，因此將像素點(diǎn)某一方向上深度分量的偏導(dǎo)數(shù)看作是該像素點(diǎn)的灰度在該方向上變化的差值，由于距離較近的像素點(diǎn)灰度差值太小，無(wú)法得出有效的梯度，因此在計(jì)算過(guò)程中需以k個(gè)像素點(diǎn)作為采樣間隔提取像素點(diǎn)的灰度來(lái)計(jì)算深度圖像梯度，計(jì)算公式為

Xij=Di(j+k)-Di(j-k)

(2)

Yij=D(i+k)j-D(i-k)j

(3)

式中Xij——深度圖像中第i行第j列像素的橫向梯度

Yij——深度圖像中第i行第j列像素的縱向梯度

Dij——深度圖像中第i行第j列像素的灰度

k——梯度采樣間隔

其中，k的取值可根據(jù)果實(shí)的尺寸以及攝像頭精度進(jìn)行設(shè)置，本文k取值為4～6，k取值越小則越有利于梯度向量表示物體表面的形態(tài)特征，但取值過(guò)小則會(huì)因計(jì)算出過(guò)多的無(wú)效梯度而對(duì)后續(xù)算法造成影響。

計(jì)算出圖像梯度后，將每個(gè)像素點(diǎn)用梯度向量Vij表示為

Vij=(Xij，Yij)

(4)

圖2為將深度圖像梯度向量可視化后的圖像，通過(guò)觀察梯度向量圖可以發(fā)現(xiàn)，由于果實(shí)接近于球體模型，表面呈現(xiàn)出凸曲面的特性，其梯度圖像表現(xiàn)為梯度向量從球心出發(fā)向四周延伸，且越接近球心部分梯度越小，越接近邊緣部分則梯度越大。而對(duì)于背景部分，大葉片由于接近片體，其梯度圖像表現(xiàn)為梯度向量朝著一個(gè)方向均勻變化的特性，小枝葉背景則呈現(xiàn)出雜亂的無(wú)序狀。利用該梯度向量圖中果實(shí)與枝葉背景的梯度特征差異，便可實(shí)現(xiàn)對(duì)果實(shí)中心的粗定位。

圖2 梯度向量可視化圖像Fig.2 Gradient vector visualization images

2.2 輻散中心點(diǎn)提取算法

散度是氣象學(xué)中描述空氣從四周匯合到某一點(diǎn)或從某一點(diǎn)處發(fā)散程度的量，本文將其引入用于果實(shí)中心的定位提取。

在氣象學(xué)中，流體在運(yùn)動(dòng)中集中的區(qū)域稱(chēng)為輻合，運(yùn)動(dòng)中發(fā)散的區(qū)域稱(chēng)為輻散。而在梯度向量圖中，每個(gè)梯度向量實(shí)際上都可以看作是一個(gè)流體的運(yùn)動(dòng)矢量，而梯度向量圖中果實(shí)圖像部分的矢量正好表現(xiàn)為輻散的特性，因此，可以將梯度向量圖看成一個(gè)矢量場(chǎng)，然后通過(guò)計(jì)算散度的方式求出矢量場(chǎng)中的輻散中心，進(jìn)而得出果實(shí)中心的位置。

由散度定義可知，散度在輻散中心處取得最大值，在輻合中心處取得最小值。而從梯度向量圖可以看到，果實(shí)中心點(diǎn)位置正好處在輻散中心點(diǎn)附近，即果實(shí)中心點(diǎn)位置在梯度向量圖中散度極大值處取得，散度計(jì)算公式為

(5)

輻散中心定位結(jié)果如圖3所示。

圖3 輻散中心定位示意圖Fig.3 Diagram of divergence center positioning

2.3 果實(shí)中心點(diǎn)篩選算法

通過(guò)梯度向量計(jì)算散度來(lái)提取輻散中心的方法，實(shí)際上就是將深度圖像數(shù)字離散化后進(jìn)行的數(shù)學(xué)運(yùn)算，并不能保證提取出的輻散中心點(diǎn)便是所需要的果實(shí)中心點(diǎn)，由于樹(shù)葉的彎曲以及枝葉背景等隨機(jī)因素檢測(cè)出許多誤判點(diǎn)。因此，為了剔除這些誤判點(diǎn)對(duì)后續(xù)算法的干擾，需要對(duì)所有輻散中心點(diǎn)進(jìn)行分析處理，篩選出果實(shí)中心點(diǎn)。

果實(shí)中心點(diǎn)的篩選算法主要利用了果實(shí)部分等深圖形與背景等深圖形的差異來(lái)進(jìn)行區(qū)分。圖4為深度圖像繪制出等深曲線后的等深圖，通過(guò)觀察等深圖可以發(fā)現(xiàn)，在果實(shí)圖像部分，等深圖像會(huì)呈現(xiàn)出類(lèi)似年輪的形狀，而果實(shí)中心處的圖形也是接近圓形的形狀，背景枝葉部分的等深圖形表現(xiàn)為長(zhǎng)條狀或雜亂的小圓點(diǎn)。因此便可利用此特征，通過(guò)檢測(cè)輻散中心點(diǎn)處等深圖形的形狀來(lái)檢測(cè)該輻散中心點(diǎn)是否為果實(shí)中心點(diǎn)。

圖4 果樹(shù)等深圖Fig.4 Contour map of fruit tree

具體操作如圖5所示，以輻散中心點(diǎn)為起始點(diǎn)，采用漫水填充算法對(duì)起始點(diǎn)附近灰度相同的像素點(diǎn)進(jìn)行填充標(biāo)記，然后做出填充圖形的最小外接矩形，并將最小外接矩形的高寬比以及矩形框內(nèi)標(biāo)記像素點(diǎn)占比作為果實(shí)中心點(diǎn)的判別依據(jù)，判別函數(shù)關(guān)系式為

(6)

式中H——最小外接矩形框高度

W——最小外接矩形框?qū)挾?/p>

A——最小外接矩形框內(nèi)標(biāo)記像素?cái)?shù)

δE——高寬比以及寬高比閾值

δT——矩形框內(nèi)標(biāo)記像素點(diǎn)占比閾值

由于誤判點(diǎn)處的等深圖形可能會(huì)呈現(xiàn)出小圓點(diǎn)的形狀，從而也可滿足式(6)中的判斷依據(jù)，因此，該算法還需進(jìn)行二次判別來(lái)提高篩選的準(zhǔn)確性。當(dāng)檢測(cè)到輻散中心點(diǎn)處的等深圖形滿足一次判別條件后，繼續(xù)采用漫水填充算法重新將起始點(diǎn)附近灰度相同以及比起始點(diǎn)灰度大1的像素點(diǎn)進(jìn)行填充標(biāo)記，并做出最小外接矩形根據(jù)式(6)進(jìn)行判別，若二次判別該輻散中心點(diǎn)處的等深圖形也滿足判別條件，則將該輻散中心點(diǎn)標(biāo)記為果實(shí)中心點(diǎn)。

圖5 果實(shí)中心點(diǎn)判別示意圖Fig.5 Diagrams of fruit center point discrimination

2.4 果實(shí)圖像分割算法

由于深度圖像無(wú)法像彩色圖像一樣有明顯的邊界信息，可以得出完整的連通域圖像，因此本文算法采用先定位后分割的方法。通過(guò)前文的方法已經(jīng)從深度圖像中得到了果實(shí)中心點(diǎn)的位置，下一步則是對(duì)果實(shí)邊界進(jìn)行搜索完成果實(shí)圖像的分割。雖然在深度圖像中很難得到物體完整的輪廓信息，但可以利用三維物體的邊界特征搜索出三維物體的邊界點(diǎn)，從而實(shí)現(xiàn)三維物體圖像的分割。

通過(guò)觀察果實(shí)的等深圖和梯度向量圖可以發(fā)現(xiàn)，越靠近果實(shí)邊界位置的像素灰度越大，梯度也越大，且果實(shí)圖像部分各處的梯度向量方向均為由果實(shí)中心指向果實(shí)邊界。因此，根據(jù)此特征，本文采用了八方向搜索方法以灰度、梯度和梯度方向三者作為判別依據(jù)來(lái)搜索果實(shí)的邊界點(diǎn)。具體操作為：從果實(shí)中心點(diǎn)出發(fā)，沿八方向按指定步長(zhǎng)根據(jù)判別函數(shù)關(guān)系式搜索果實(shí)邊界點(diǎn)，判別函數(shù)關(guān)系式為

(7)

式中Dn、Dn+1——沿搜索方向第n、n+1步像素的灰度

Vn、Vn+1——沿搜索方向第n、n+1步像素的梯度向量

δG——梯度向量模的大小閾值

δθ——梯度向量角度偏差閾值

搜索出果實(shí)圖像邊界點(diǎn)后將8個(gè)邊界點(diǎn)依次連接形成一個(gè)閉合的區(qū)域，區(qū)域內(nèi)的圖像便是分割出的果實(shí)圖像，分割結(jié)果如圖6所示。雖然該分割算法并沒(méi)有得到完整的果實(shí)圖像，但從三維的角度來(lái)看，分割出的果實(shí)部分圖像已經(jīng)足以表達(dá)出果實(shí)外表面的曲面信息，可以為后續(xù)的算法提供足夠的樣本數(shù)據(jù)，且該算法步驟簡(jiǎn)單，能夠減少大量的計(jì)算時(shí)間。

圖6 果實(shí)部分圖像分割示意圖Fig.6 Image segmentation diagrams of fruit parts

2.5 果實(shí)三維形狀擬合算法

深度圖像在處理三維問(wèn)題上一直存在著天然的優(yōu)勢(shì)，因此它非常適合用來(lái)進(jìn)行果實(shí)的空間定位以及處理果實(shí)重疊和遮擋問(wèn)題。前文介紹的所有算法實(shí)際上都是基于二維圖像的處理算法，由于果實(shí)識(shí)別定位算法的最終目的是要獲取果實(shí)的空間坐標(biāo)以及半徑信息以便于進(jìn)行后續(xù)采摘任務(wù)，因此還需要將深度圖像轉(zhuǎn)換為三維點(diǎn)云，從三維空間領(lǐng)域來(lái)對(duì)果實(shí)進(jìn)行識(shí)別定位。

RANSAC是一種隨機(jī)參數(shù)估計(jì)算法，可以從樣本中隨機(jī)抽出一個(gè)樣本子集，使用最小方差算法估計(jì)這個(gè)子集的模型參數(shù)，然后計(jì)算所有樣本與該模型的偏差，并經(jīng)過(guò)反復(fù)迭代最終得出樣本的最佳模型參數(shù)，該算法常用于特征匹配、點(diǎn)云分割和三維模型處理領(lǐng)域。本文將其用于果實(shí)部分點(diǎn)云的三維形狀擬合，獲取果實(shí)的擬合球形參數(shù)。

具體步驟為：首先將分割出的果實(shí)部分圖像轉(zhuǎn)換為三維點(diǎn)云數(shù)據(jù)，轉(zhuǎn)換后的每個(gè)點(diǎn)云都相當(dāng)于三維空間中的1個(gè)點(diǎn)。然后從點(diǎn)云中隨機(jī)抽取出1個(gè)子集并估計(jì)出球面模型，待估計(jì)的球面數(shù)學(xué)模型為

(x-x0)2+(y-y0)2+(z-z0)2=r2

(8)

式中 (x,y,z)——樣本點(diǎn)云空間坐標(biāo)

(x0,y0,z0)——擬合球面模型球心空間坐標(biāo)

r——球面模型半徑

估計(jì)出球面模型后計(jì)算所有點(diǎn)云到這個(gè)模型的距離，剔除掉距離過(guò)大的點(diǎn)并將處于距離閾值范圍內(nèi)的點(diǎn)定義為局內(nèi)點(diǎn)。重復(fù)以上步驟，經(jīng)過(guò)多次迭代，選取包含局內(nèi)點(diǎn)最多的球面模型進(jìn)行輸出，擬合結(jié)果如圖7所示。

圖7 RANSAC擬合球形可視化圖像Fig.7 Visualizations of RANSAC fitted spherical images

RANSAC擬合算法可以利用物體的部分點(diǎn)云通過(guò)其幾何特征去估算物體的整體結(jié)構(gòu)。這意味著對(duì)于重疊和被遮擋的果實(shí)，即使只能夠獲取到殘缺的部分果實(shí)圖像，但利用RANSAC算法也可以對(duì)其進(jìn)行擬合補(bǔ)全，得到完整的果實(shí)擬合球形。擬合出的球形球心坐標(biāo)可近似認(rèn)作果實(shí)的實(shí)際空間坐標(biāo)，擬合球形的半徑也可認(rèn)作是果實(shí)的實(shí)際半徑。

RANSAC算法還可以作為誤判檢驗(yàn)的最后一層保障，由于葉片表面的曲率相較于果實(shí)表面曲率要小很多，當(dāng)葉片圖像被誤判為果實(shí)圖像并且當(dāng)作輸入樣本進(jìn)行RANSAC算法擬合時(shí)，擬合出的球面模型半徑會(huì)遠(yuǎn)大于實(shí)際的果實(shí)半徑，因此，可以通過(guò)設(shè)置擬合球形半徑閾值，進(jìn)一步剔除誤分割的背景圖像，增加算法的準(zhǔn)確性。本文所有算法的最終實(shí)驗(yàn)結(jié)果如圖8所示。

圖8 果實(shí)識(shí)別定位結(jié)果可視化圖像Fig.8 Visual images of fruit identification and location

3 實(shí)驗(yàn)結(jié)果與分析

3.1 算法準(zhǔn)確性與誤差分析

為檢測(cè)本算法中果實(shí)識(shí)別定位的準(zhǔn)確性和魯棒性，對(duì)果樹(shù)模型進(jìn)行多角度拍攝以及果實(shí)模型隨機(jī)擺放，包含獨(dú)立果實(shí)、重疊果實(shí)、遮擋果實(shí)等情況果樹(shù)圖像共計(jì)50幅，每幅圖像中果實(shí)數(shù)量為5～12顆，識(shí)別結(jié)果如表1所示。其中，果實(shí)模型實(shí)際半徑均約為5 cm，采用卡尺進(jìn)行果實(shí)實(shí)際距離檢測(cè)，以果實(shí)中心到攝像頭拍攝平面距離作為實(shí)際深度距離，以果實(shí)中心到地面的高度與攝像頭中心到地面高度的差值作為實(shí)際垂直距離，正確識(shí)別率為樣本圖像通過(guò)算法擬合出的球形數(shù)量與人工識(shí)別的果實(shí)數(shù)量比值的均值。

表1 不同遮擋情況下果實(shí)識(shí)別定位效果Tab.1 Fruit recognition and positioning results under different shading conditions

由表1可以看出，在果實(shí)被遮擋面積小于50%的情況下基本都能被正確地識(shí)別定位出準(zhǔn)確位置和實(shí)際尺寸，且誤差都能控制在1 cm范圍內(nèi)。但對(duì)于被遮擋面積超過(guò)50%的果實(shí)則識(shí)別率較差，且識(shí)別出的果實(shí)半徑偏差較大。

對(duì)被遮擋面積大于50%的果實(shí)識(shí)別率較差的問(wèn)題進(jìn)行分析，分析結(jié)果如圖9所示。由于本文算法采用的是先定位后識(shí)別的方法，因此對(duì)于果實(shí)的識(shí)別定位依賴于對(duì)果實(shí)中心點(diǎn)的搜索，而在實(shí)際情況中，果實(shí)由于存在被遮擋的情況，果實(shí)中心位置可能會(huì)被枝葉和果實(shí)遮擋，從而在梯度向量圖中果實(shí)部分的梯度向量無(wú)法顯示出輻散的特性，而是表現(xiàn)為梯度向量朝一個(gè)方向變化，即片體的特性，因此會(huì)被誤判為背景圖像從而無(wú)法被正確識(shí)別。

圖9 被遮擋果實(shí)漏判原因分析圖Fig.9 Analysis maps of leakage reasons for obscured fruits

而被遮擋面積大于50%的果實(shí)識(shí)別半徑偏差較大的原因在于，果實(shí)被遮擋面積過(guò)大，導(dǎo)致最終獲取的果實(shí)部分點(diǎn)云較少，從而使得果實(shí)表面的曲率信息表示不完整，因此擬合出的球形半徑與實(shí)際果實(shí)半徑偏差較大。

由此可見(jiàn)，本文算法雖然從果實(shí)形態(tài)角度進(jìn)行識(shí)別定位，可以忽視光照以及果實(shí)顏色對(duì)識(shí)別過(guò)程造成的影響，但其缺點(diǎn)在于其識(shí)別的準(zhǔn)確率受遮擋面積的影響較大，且還會(huì)受到拍攝角度的影響，果實(shí)能否被正確識(shí)別取決于果實(shí)表面的凸曲面是否被完整拍攝，曲面中心位置是否能被有效識(shí)別。

3.2 算法效率分析

果實(shí)識(shí)別定位算法最終是服務(wù)于水果采摘機(jī)器人的研究應(yīng)用，因此，其對(duì)算法的實(shí)時(shí)性也有一定的要求。表2為從果樹(shù)深度采集圖像中提取10幅圖像其算法計(jì)算時(shí)間統(tǒng)計(jì)結(jié)果。由表2可以看出，平均每幅圖像的處理時(shí)間約為12 s，其計(jì)算速度與圖像中的果實(shí)數(shù)量成正比，原因在于，算法中果實(shí)圖像分割部分的處理時(shí)間實(shí)際僅為0.5 s左右，但最后的RANSAC算法由于需要進(jìn)行復(fù)雜的擬合迭代步驟，因此處理時(shí)間較長(zhǎng)，計(jì)算速度約為每顆果實(shí)0.8 s。但在實(shí)際的果實(shí)采摘過(guò)程中，果實(shí)是逐一進(jìn)行摘取的，而本文算法中每顆果實(shí)的平均識(shí)別時(shí)間僅約為1.3 s，因此可以滿足水果采摘機(jī)器人的實(shí)時(shí)性要求。

表2 算法計(jì)算時(shí)間統(tǒng)計(jì)結(jié)果Tab.2 Algorithm calculation time statistics

3.3 實(shí)地實(shí)驗(yàn)與結(jié)果分析

由于本文算法研究設(shè)計(jì)過(guò)程中的實(shí)驗(yàn)對(duì)象為實(shí)驗(yàn)室內(nèi)的果樹(shù)模型，因此為了驗(yàn)證本文算法的真實(shí)有效性和實(shí)用性，進(jìn)行了實(shí)地果樹(shù)的拍攝驗(yàn)證實(shí)驗(yàn)。

實(shí)驗(yàn)地點(diǎn)位于廣東省惠州市惠東縣中塘聚豐園水果種植基地，分別對(duì)黃檸檬(半徑約2.7 cm)、青檸檬(半徑約2.7 cm)、沃柑(半徑約3.8 cm)3種水果進(jìn)行拍攝實(shí)驗(yàn)，每種水果各獲得40幅深度圖像及其對(duì)應(yīng)的彩色圖像，實(shí)驗(yàn)結(jié)果如圖10和表3所示。

圖10 3種果實(shí)識(shí)別定位結(jié)果示意圖Fig.10 Images of three fruits identification and location

由表3可以看出，在無(wú)遮擋的情況下本文算法對(duì)于3種顏色的果實(shí)都能有效地識(shí)別出其位置和半徑，且識(shí)別率都較為接近。黃檸檬、青檸檬和沃柑的平均識(shí)別率分別為75.7%、74.8%、82.3%，黃檸檬和青檸檬識(shí)別率明顯低于沃柑識(shí)別率，原因在于黃檸檬和青檸檬的果實(shí)半徑較小且果實(shí)形狀為橢圓形，使其更易受到果實(shí)重疊和枝葉遮擋的影響，同時(shí)受到深度攝像頭本身精度的限制，越小的果實(shí)可獲取的果實(shí)部分點(diǎn)云數(shù)量就越少，即可用于果實(shí)三維形狀擬合的樣本點(diǎn)云數(shù)量就越少，從而擬合出的果實(shí)表面曲率誤差就越大，使得識(shí)別率下降。因此在目前使用設(shè)備的制約下，本文算法更適用于半徑為3.3 cm以上的果實(shí)，對(duì)于半徑為3.3 cm以下的果實(shí)，其識(shí)別率則會(huì)隨著半徑的減小而降低。

表3 3種水果識(shí)別定位效果統(tǒng)計(jì)結(jié)果Tab.3 Statistical results of identifying and locating effects of three fruits

由此可見(jiàn)本文果實(shí)識(shí)別定位算法可以不受果實(shí)顏色以及光照環(huán)境的影響，果實(shí)識(shí)別率僅與果實(shí)的尺寸和形狀有關(guān)，能夠輕松應(yīng)對(duì)近色背景果實(shí)識(shí)別、陰暗環(huán)境果實(shí)識(shí)別、強(qiáng)曝光環(huán)境果實(shí)識(shí)別(圖11)等彩色圖像難以解決的果實(shí)識(shí)別問(wèn)題，但該算法受果實(shí)和枝葉遮擋的影響較大，當(dāng)果實(shí)被遮擋的面積過(guò)大則會(huì)大幅降低果實(shí)的正確識(shí)別率。

圖11 強(qiáng)曝光環(huán)境果實(shí)識(shí)別定位示意圖Fig.11 Images of fruit identification and location in intense light environment

4 結(jié)論

(1)基于深度圖像的球形果實(shí)識(shí)別定位算法能夠從深度圖中實(shí)現(xiàn)果實(shí)的識(shí)別定位。算法從果實(shí)三維形態(tài)的角度完成果實(shí)的識(shí)別定位任務(wù)，能夠有效解決傳統(tǒng)算法中易受光照的影響及無(wú)法解決近色背景果實(shí)識(shí)別困難的問(wèn)題。

(2)基于深度圖像的球形果實(shí)識(shí)別定位算法是一種先定位后識(shí)別的由粗及精的定位方法。通過(guò)計(jì)算深度圖像的梯度向量，利用果實(shí)接近球形的特征，實(shí)現(xiàn)對(duì)果實(shí)中心點(diǎn)的定位，并在后續(xù)算法中設(shè)置了果實(shí)中心點(diǎn)的檢驗(yàn)以及果實(shí)圖像的分割步驟，最后利用三維球形擬合算法對(duì)果實(shí)部分圖像進(jìn)行擬合補(bǔ)全，計(jì)算出果實(shí)的真實(shí)尺寸以及空間位置。算法適用于所有近球形果實(shí)的識(shí)別定位，可直接獲取果實(shí)三維空間坐標(biāo)，有利于采摘機(jī)器人高效地完成采摘任務(wù)。

(3)基于深度圖像的球形果實(shí)識(shí)別定位算法僅利用單一的深度圖像信息進(jìn)行果實(shí)的識(shí)別定位，能夠不受顏色信息對(duì)識(shí)別定位的影響，且該算法采用三維角度的識(shí)別定位方法，能夠有效處理果實(shí)重疊和遮擋問(wèn)題。但其缺點(diǎn)是算法依賴于對(duì)果實(shí)中心點(diǎn)的提取，對(duì)于果實(shí)中心位置被遮擋果實(shí)則無(wú)法進(jìn)行識(shí)別定位。

(4)通過(guò)實(shí)地實(shí)驗(yàn)，得到黃檸檬、青檸檬、沃柑3種果實(shí)的平均識(shí)別率分別為75.7%、74.8%、82.3%，每顆果實(shí)的識(shí)別時(shí)間約為1.30 s。結(jié)果表明，該算法具有較高的抗擾性、準(zhǔn)確性和實(shí)時(shí)性，且無(wú)需分類(lèi)器、機(jī)器學(xué)習(xí)等復(fù)雜結(jié)構(gòu)，能夠直接應(yīng)用于采摘機(jī)器人對(duì)果實(shí)的識(shí)別定位操作。