熊龍燁, 王 卓, 何 宇, 劉 灑, 楊長輝,2

(1.重慶理工大學(xué) 機(jī)械工程學(xué)院,重慶 400054；2.西安交通大學(xué) 機(jī)械工程學(xué)院,陜西 西安 710049)

0 引 言

對于柑橘采摘機(jī)器人來說,完整獲取柑橘樹的三維信息以及準(zhǔn)確識別成熟的柑橘有利于實現(xiàn)機(jī)器人的精準(zhǔn)采摘[1～4]。近年來,隨著深度相機(jī)的快速發(fā)展獲取物體的三維信息變得更加方便、快捷,因此基于點云的三維重建成為當(dāng)下的研究重點。Kinect v2,作為微軟第二代深度相機(jī),能夠同時獲取物體的彩色信息和深度信息,由于其采用了飛行時間主動光源技術(shù)進(jìn)行測距不易受到外界光線變化的影響,具有出色的深度信息獲取能力[5]。該相機(jī)因其具有操作簡單價格低廉以及定位精度高的優(yōu)點,目前被廣泛應(yīng)用于各種目標(biāo)物體的三維重建[6]。

基于上述情況,本文將柑橘樹作為研究對象,通過Kinect v2獲取不同角度下的柑橘樹的點云,對獲取的點云進(jìn)行濾波、融合等處理,采用泊松表面重建算法對其進(jìn)行重建。與此同時,根據(jù)成熟柑橘的顏色特征,通過顏色空間轉(zhuǎn)換和通道分離的方法,首先在HSV顏色空間H通道下進(jìn)行初次分割對柑橘區(qū)域進(jìn)行初步提取,然后在Lab顏色空間a通道下對其進(jìn)行二次分割,最后通過對分割區(qū)域進(jìn)行橢圓擬合的方法實現(xiàn)對柑橘區(qū)域的最終提取。

1 實驗材料與方法

1.1 實驗設(shè)備與圖像采集

實驗所采用的設(shè)備為Kinect v2,硬件結(jié)構(gòu)如圖1(a)所示,實驗地點位于重慶理工大學(xué)柑橘實驗基地,在天氣晴朗光照溫和的條件下,通過該相機(jī)對柑橘樹進(jìn)行如圖1(b)所示的A,B,C三個角度進(jìn)行拍攝,拍攝的距離為1 m左右。

1.2 點云獲取及預(yù)處理

彩色圖像中包含較多除開柑橘樹以外的其它背景,首先通過深度閾值分割的方法去除彩色圖像中多余的背景,然后利用雙邊濾波算法[7]對深度圖像進(jìn)行濾波處理,其中輸出像素值與領(lǐng)域像素值之間關(guān)系如下

加權(quán)系數(shù)w(i,j,k,l)取決于定義域核和值域核的乘積

通過深度圖得到柑橘樹的空間三維坐標(biāo),然后通過建立深度閾值分割后的彩色圖與雙邊濾波后的深度圖像之間的映射關(guān)系,由此獲得具有顏色信息的三維空間坐標(biāo)(X,Y,Z,r,g,b),即

X=(u-cx)×d(u,v)/fx,Y=(v-cy)×d(u,v)/fy,

Z=d(u,v)

(2)

式中 (u,v)為深度圖上任意像素點,d(u,v)為深度圖中像素坐標(biāo)(u,v)為對應(yīng)的深度值,(cx,cy)為深度鏡頭光心坐標(biāo),(fx,fy)為深度鏡頭橫向和縱向焦距。

考慮到上述點云中仍含有其他背景以及一些邊緣部分的離群噪聲點,本文通過直通濾波器將Z軸方向上(深度)范圍之外的點濾除,并利用統(tǒng)計濾波器中的Kd-Tree算法查找點云Pi(xi,yi,zi)(i=1,2,…,m)的空間臨近點Pj(xj,yj,zj)(j=1,2,…,n),求解Pi和其臨近點的平均距離di并計算全局距離平均值μ和標(biāo)準(zhǔn)差σ,通過將距離di在μ±ασ范圍之外的定義為離群噪聲點去除。其中,di,μ,σ的計算

其中,參數(shù)和臨近點個數(shù)n取決于目標(biāo)點云的數(shù)量和密度,本文通過實驗發(fā)現(xiàn)n取50,α取 1.0 時濾波效果較好。

通過ICP算法[8]對經(jīng)過上述處理后得到的點云進(jìn)行迭代融合,迭代的數(shù)學(xué)表達(dá)式如下

式中Qii=1,2,3,…—第1個點集,Pii=1,2,3,…—第2個點集,R為旋轉(zhuǎn)矩陣,T為平移矩陣。

1.3 基于泊松曲面重建算法的柑橘樹重建

泊松表面重建算法[9,10]融合了全局和局部方法的優(yōu)點,利用求解泊松方程來取得點云模型所描述的表面信息代表的隱性方程,通過對該方程進(jìn)行等值面提取,從而得到具有幾何實體信息的表面模型。泊松曲面重建算法的具體步驟如下:

1)定義八叉樹:使用樣本點的位置來定義八叉樹O,然后附加一個節(jié)點函數(shù)F0使得八叉樹的每一個節(jié)點o∈O

F(x,y,z)=(Q(x)Q(y)Q(z))*n

式中 盒濾波函數(shù)為Q(t),n為濾波器的階數(shù),本文取n=3,由此可以得到Fo(q)的數(shù)學(xué)表達(dá)式如下

式中F0為節(jié)點函數(shù),F為基函數(shù),rc為節(jié)點中心,rw為節(jié)點寬度。

式中ND(s)為 8個最接近S點深度為8的節(jié)點,α0為三次線性插值權(quán)重。

5)提取等值面:為得到重構(gòu)表面,需要選擇閾值獲得等值面；先估計采樣點的位置,然后用其平均值進(jìn)行等值面提取,然后用移動立方體算法[11]得到等值面。

1.4 基于顏色特征的成熟柑橘分割識別

本文通過在HSV顏色空間和Lab顏色空間下利用成熟柑橘的顏色特征信息對其進(jìn)行分割識別。首先將其從RGB顏色空間轉(zhuǎn)換到HSV顏色空間[12]

通過設(shè)定H,S,V以及L,a,b三個通道的閾值進(jìn)行二次分割,當(dāng)T

由于從RGB顏色空間轉(zhuǎn)換到Lab顏色空間時,需要以XYZ顏色空間作為中間轉(zhuǎn)換

由XYZ顏色空間轉(zhuǎn)換到Lab顏色空間[13]

校正函數(shù)f的計算

2 試驗結(jié)果與分析

2.1 試驗條件

按照本文所提到A,B,C三個角度拍攝對柑橘樹進(jìn)行拍攝,得到對應(yīng)的彩色圖和深度圖如圖2所示。以上試驗過程均在3.1 Hz處理器、8 G內(nèi)存的Win10系統(tǒng)的PC上完成,具體的試驗流程圖如圖3所示。

圖2 Kinect v2采集圖像

圖3 實驗流程

2.2 重建結(jié)果及分析

對柑橘樹進(jìn)行重建的結(jié)果如圖4所示,其中,圖4(b)為通過彩色圖和深度圖配準(zhǔn)之后經(jīng)過預(yù)處理后得到的點云,圖4(c)為重建后得到三維模型,圖4(d)為三維模型經(jīng)過顏色紋理映射之后的效果。對比圖4(a),(c)以及(d)可以發(fā)現(xiàn)重建的柑橘樹對比真實的柑橘樹具有較高的還原度。

圖4 三維重建效果圖

參考文獻(xiàn)[14]中的方法,利用皮尺實地測量了20組柑橘樹的樹冠層直徑和高度,以人為測量的值作為基準(zhǔn)值,對比實測值與模型值之間的大小并通過計算二者之間的均方根誤差來對重建精度進(jìn)行量化。實驗對比結(jié)果如圖5所示,重建模型樹冠層直徑與實測直徑的均方根誤差為2.337 cm,樹冠層高度與實測高度均方根誤差為2.962 cm,通過統(tǒng)計可得,重建模型樹冠層直徑誤差范圍為0 %～5.17 %,重建模型樹冠層高度誤差范圍為0 %～4.21 %。

圖5 重建模型樹精度分析結(jié)果

2.3 識別結(jié)果與分析

對成熟柑橘進(jìn)行分割識別的效果如圖6所示。對比圖6(a)和圖6(d)可以發(fā)現(xiàn),柑橘果實和枝葉等背景已經(jīng)被較好的分割開,但仍有少量背景。對比圖6(d)和圖6(g)可以發(fā)現(xiàn),經(jīng)過兩次分割之后柑橘果實和枝葉等背景已經(jīng)被完全分割開來。圖6(h)為最終的柑橘區(qū)域提取效果,可以看到橢圓擬合的效果較好與柑橘果實本身的輪廓重合度較高,因此,將該區(qū)域識別為柑橘果實區(qū)域具有較高的準(zhǔn)確率。

圖6 成熟柑橘分割識別效果

統(tǒng)計了20組柑橘樹成熟柑橘的識別率(其中包含了前文中所提到A角度7張,B角度7張,C角度6張)的結(jié)果如表1所示,由表1可知 A角度下的識別準(zhǔn)確率達(dá)94.7 %,B角度下的識別準(zhǔn)確率達(dá)96.3 %,C角度下的識別準(zhǔn)確率達(dá)92.9 %,三種不同角度下的平均準(zhǔn)確識別率達(dá)94.72 %。

3 結(jié) 論

本文研究的柑橘樹三維重建與成熟柑橘識別方法具有較高的穩(wěn)定性和準(zhǔn)確性,對柑橘樹的重建精度達(dá)到94.83 %,對成熟果實識別的準(zhǔn)確率達(dá)94.72 %。由此說明,該方法能夠保證柑橘樹的重建精度和對成熟柑橘的識別率,可以為柑橘采摘機(jī)器人提供采摘指導(dǎo)。