夏春華,施 瀅,尹文慶
(1. 南京農(nóng)業(yè)大學(xué)工學(xué)院,南京 210031;2. 農(nóng)業(yè)部南京農(nóng)業(yè)機(jī)械化研究所,南京 210014;3. 南京理工大學(xué)紫金學(xué)院,南京 210023)
數(shù)字植物是農(nóng)業(yè)數(shù)字化與信息化的關(guān)鍵核心技術(shù)[1],已成為國(guó)內(nèi)外的熱點(diǎn)研究領(lǐng)域。數(shù)字植物通過(guò)對(duì)植物形態(tài)結(jié)構(gòu)的數(shù)字化與可視化建模,借助計(jì)算機(jī)三維可視方法研究分析植物的形態(tài)結(jié)構(gòu)和生長(zhǎng)過(guò)程以及植物所處環(huán)境,可以實(shí)時(shí)分析植物生長(zhǎng)發(fā)育狀態(tài),評(píng)價(jià)植物株型特征,進(jìn)而指導(dǎo)農(nóng)業(yè)生產(chǎn),為農(nóng)業(yè)機(jī)械的自動(dòng)化生產(chǎn)提供有力的條件。
獲取植物的三維點(diǎn)云數(shù)據(jù)是進(jìn)行植物數(shù)字化與可視化建模的關(guān)鍵難點(diǎn),國(guó)內(nèi)外研究主要集中于通過(guò)高精度的三維激光掃描來(lái)獲取植物的三維點(diǎn)云數(shù)據(jù),并取得了一定的研究成果。Gaetan等[2]通過(guò)激光掃描儀和電磁儀分別提取整個(gè)植物葉面積屬性的點(diǎn)云信息,并進(jìn)行比較;Martinez-Casasnovas等[3]將移動(dòng)地面激光掃描儀應(yīng)用于精準(zhǔn)農(nóng)業(yè),對(duì)橄欖樹冠提取點(diǎn)云信息,來(lái)計(jì)算樹冠體積;Kolecka等[4]采用激光雷達(dá)結(jié)合地面攝影,用來(lái)繪制在荒廢農(nóng)田上再生林的演變過(guò)程;Medeiros等[5]采用激光雷達(dá)通過(guò)多個(gè)視角對(duì)果樹進(jìn)行觀測(cè)和數(shù)據(jù)采集,并建立模型,提高冬季休眠期果樹的修剪效率;魏學(xué)禮等[6]對(duì)三維激光掃描技術(shù)在植物掃描中應(yīng)用進(jìn)行分析,對(duì)不同掃描儀的適用場(chǎng)合和技術(shù)特性進(jìn)行綜合分析;孫智慧等[7]采用FastSCAN 激光掃描儀獲取植物葉片三維信息,重構(gòu)植物葉片三維網(wǎng)格曲面模型;郭彩玲等[8]選用Trimble TX8地面三維激光掃描儀對(duì)蘋果樹冠層三維點(diǎn)云數(shù)據(jù)進(jìn)行采集,提出了基于標(biāo)靶球的 KD-trees-ICP算法獲取蘋果樹冠層參數(shù),高精度的配準(zhǔn)蘋果樹冠層三維點(diǎn)云數(shù)據(jù)。
TOF深度傳感是基于飛行時(shí)間原理[9-11],較新的一種獲取深度信息的方法,特別在三維物體重構(gòu)中具有重要的研究與應(yīng)用價(jià)值[12-16]。國(guó)內(nèi)將TOF深度傳感應(yīng)用于植物數(shù)字化與可視化的研究較少,國(guó)外該研究領(lǐng)域也剛處于起步階段。Andujar等[17]通過(guò) TOF深度傳感相機(jī)獲取花菜的特征參數(shù),對(duì)其生長(zhǎng)情況與產(chǎn)量進(jìn)行評(píng)估;Song等[18]采用TOF相機(jī)對(duì)葉面積進(jìn)行無(wú)損測(cè)量;Lehnert等[19]將深度傳感相機(jī)安裝于機(jī)器手臂前端,通過(guò)對(duì)甜椒點(diǎn)云數(shù)據(jù)的采集和處理,實(shí)現(xiàn)對(duì)甜椒的自動(dòng)收獲;Chattopadhyay等[20]采用TOF獲取的數(shù)據(jù)對(duì)蘋果樹進(jìn)行測(cè)量與建模,來(lái)實(shí)現(xiàn)休眠期果樹的修剪的自動(dòng)化;Lussana等[21]采用單光子TOF方法對(duì)食物進(jìn)行非接觸檢測(cè),用來(lái)控制食物質(zhì)量;Eichhardt等[22]研究了通過(guò)基于圖像TOF深度實(shí)現(xiàn)圖像增采樣(upsampling)的方法;張新等[23]利用 TOF相機(jī)獲取葉態(tài)三維點(diǎn)云數(shù)據(jù),運(yùn)用離散時(shí)域傅里葉變換進(jìn)行葉態(tài)萎蔫辨識(shí);張旭東等[24]提出一種散亂點(diǎn)云配準(zhǔn)方法,利用TOF相機(jī)提取目標(biāo)距離圖像的特征點(diǎn),尋找點(diǎn)云之間最鄰近點(diǎn),實(shí)現(xiàn)點(diǎn)云的精確位置配準(zhǔn)。綜合國(guó)內(nèi)外研究現(xiàn)狀,植物三維點(diǎn)云數(shù)據(jù)主要采用高精度的三維激光掃描來(lái)獲取植物的三維點(diǎn)云數(shù)據(jù),雖然能獲取準(zhǔn)確的植物三維點(diǎn)云數(shù)據(jù),進(jìn)而對(duì)植物進(jìn)行數(shù)字化與可視化建模,但是該方法所需較昂貴的設(shè)備,且處理算法較復(fù)雜,數(shù)據(jù)量較大,實(shí)時(shí)性較差。高精度的TOF設(shè)備獲取植物三維點(diǎn)云數(shù)據(jù)方法,作為一種較新的方法,雖能夠全天候地快速捕獲目標(biāo)的深度圖像,深度計(jì)算不受物體表面灰度和特征影響,且計(jì)算精度不隨距離變化,但是設(shè)備費(fèi)用昂貴,不利于推廣應(yīng)用。
為實(shí)現(xiàn)植物數(shù)字化與可視化,作為三維重建的基礎(chǔ),如何在較低成本和較好實(shí)用性的前提上,設(shè)計(jì)一種較準(zhǔn)確地獲取植物三維點(diǎn)云數(shù)據(jù)的方法,具有重要的研究?jī)r(jià)值和意義。本文采用較低成本的TOF深度傳感設(shè)備來(lái)獲取植物三維點(diǎn)云數(shù)據(jù),并對(duì)點(diǎn)云數(shù)據(jù)的去噪方法進(jìn)行重點(diǎn)研究。本文在對(duì)獲取的點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理的基礎(chǔ)上,結(jié)合密度分析和雙邊濾波對(duì)植物三維點(diǎn)云數(shù)據(jù)進(jìn)行去噪,其中密度分析是結(jié)合距離和數(shù)量 2個(gè)參數(shù)去除離群點(diǎn)噪聲,雙邊濾波是去除點(diǎn)云內(nèi)部小尺寸噪聲。
TOF相機(jī)是通過(guò)給目標(biāo)連續(xù)發(fā)送光脈沖,根據(jù)傳感器接收從物體返回的光,利用探測(cè)光脈沖的飛行時(shí)間來(lái)確定目標(biāo)物的距離,每 1個(gè)像元對(duì)入射光往返相機(jī)與物體之間的相位分別進(jìn)行紀(jì)錄,獲取整幅圖像的深度信息。設(shè)備發(fā)射出激光陣列到待測(cè)量植物目標(biāo)上,通過(guò)激光傳輸?shù)臅r(shí)間來(lái)獲取傳感器到待測(cè)量目標(biāo)的距離,根據(jù)相位差獲得到目標(biāo)物的距離d可以表示為
式中Δφ為發(fā)射光與接收光相位差,rad/s;Δt 為對(duì)應(yīng)的飛行時(shí)間,s;f為激光的頻率,Hz;c為光傳播速度,m/s。
本文使用Microsoft公司的Kinect2.0的TOF設(shè)備,該設(shè)備體積較小,價(jià)格較便宜,國(guó)內(nèi)外已對(duì)其進(jìn)行了相關(guān)的研究與應(yīng)用[25-28]。該設(shè)備的硬件結(jié)構(gòu)具有“三眼”和“四耳”。“三眼”分別是指彩色相機(jī)、深度(紅外)相機(jī)、紅外線發(fā)射器。彩色相機(jī)用來(lái)拍攝視角范圍內(nèi)的彩色視頻圖像;紅外線發(fā)射器是主動(dòng)投射近紅外線光譜,照射到粗糙物體或穿透毛玻璃后,形成隨機(jī)的反射斑點(diǎn)(散斑),進(jìn)而能夠被紅外相機(jī)讀??;深度(紅外)相機(jī)是分析紅外光譜,創(chuàng)建可視范圍內(nèi)的物體的深度圖像?!八亩笔侵杆脑€性麥克風(fēng)陣列,聲音從 4個(gè)麥克風(fēng)采集,內(nèi)置數(shù)字信號(hào)處理DSP等組件,同時(shí)過(guò)濾背景噪聲,可定位聲源方向。Kinect2.0的彩色圖像最大分辨率(resolution)為1920×1080,每秒傳輸幀數(shù)(frames per second,F(xiàn)PS)為30 fps;深度圖像最大分辨率為512×424,每秒傳輸幀數(shù)為30 fps;其視場(chǎng)范圍為水平角度70°和垂直角度60°,深度傳感范圍為0.5~4.5 m。
彩色相機(jī)獲取的彩色圖像,如圖1a所示;紅外相機(jī)獲取的深度圖像,如圖1b所示;紅外線發(fā)射器獲取的紅外圖像,如圖1c所示。
圖1 Kinect 2.0獲取的原始數(shù)據(jù)Fig.1 Raw data from Kinect 2.0
由于彩色相機(jī)和紅外相機(jī)的位置不同,所產(chǎn)生的彩色圖像和深度圖像的中心不一致,需要將深度圖像經(jīng)過(guò)坐標(biāo)變換與彩色圖像對(duì)齊,得到數(shù)據(jù)點(diǎn)的平面坐標(biāo),進(jìn)而得到三維點(diǎn)云數(shù)據(jù)(X,Y,Z,R,G,B)并顯示,其中(X,Y,Z)為點(diǎn)云坐標(biāo)信息,(R,G,B)為點(diǎn)云顏色信息,點(diǎn)云提取過(guò)程如圖2所示。
圖2 三維點(diǎn)云提取框圖Fig.2 Block diagram of 3D point cloud extraction
本文TOF深度傳感系統(tǒng)所獲取的深度圖像中的每個(gè)像素的深度值包含了物體與設(shè)備的距離信息。各個(gè)像素點(diǎn)所代表的三維坐標(biāo)可通過(guò)對(duì)其所對(duì)應(yīng)的深度值進(jìn)行變換得到,提取的原始點(diǎn)云圖如圖3所示。
圖3 原始點(diǎn)云圖Fig.3 Original point cloud
通過(guò)本文TOF深度傳感系統(tǒng)采集植物模型的多視角點(diǎn)云數(shù)據(jù),經(jīng)點(diǎn)云預(yù)處理與點(diǎn)云配準(zhǔn),將各視角點(diǎn)云拼接到一起構(gòu)成完整的三維點(diǎn)云模型,即完成植物三維模型的重建。由于設(shè)備測(cè)量過(guò)程中的誤差,如成像幾何等問(wèn)題,使圖像中存在噪聲,且背景圖像占比較大,影響后續(xù)植物重構(gòu),所以需要對(duì)所得的三維點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理。本文首先采用直通濾波器保留植物所在三維空間的范圍,對(duì)X,Y,Z閾值范圍進(jìn)行預(yù)先設(shè)定,減少背景噪聲,再進(jìn)行后續(xù)去噪處理。
由于TOF深度傳感系統(tǒng)存在采集的數(shù)據(jù)量較大,呈散亂無(wú)序狀態(tài),得到的數(shù)據(jù)分布不均勻的問(wèn)題,因此本文設(shè)計(jì)提出了采用kd-tree法,建立數(shù)據(jù)之間的空間拓?fù)潢P(guān)系,并結(jié)合密度分析和雙邊濾波的三維點(diǎn)云數(shù)據(jù)去噪方法,對(duì)三維點(diǎn)云數(shù)據(jù)集的每個(gè)點(diǎn)進(jìn)行檢測(cè)。具體該方法結(jié)合距離和數(shù)量 2個(gè)參數(shù)進(jìn)行密度分析,去除離群點(diǎn)噪聲;再采用雙邊濾波對(duì)點(diǎn)云內(nèi)部小尺寸噪聲進(jìn)行去除。
離群點(diǎn)是指數(shù)據(jù)集合中偏離大部分?jǐn)?shù)據(jù)的點(diǎn),由外部干擾造成,其特征表現(xiàn)與大多數(shù)常規(guī)數(shù)據(jù)有明顯的差異[29]?!懊芏取笔墙Y(jié)合點(diǎn)之間的距離和該點(diǎn)范圍內(nèi)點(diǎn)的個(gè)數(shù)這2個(gè)參數(shù)[30]。通過(guò)本文TOF深度傳感系統(tǒng),獲取的植物點(diǎn)云數(shù)據(jù),其離群點(diǎn)稀疏分布于植物的葉片之間或葉片邊緣。這些離群點(diǎn)的特征是到達(dá)其鄰近點(diǎn)平均距離大于非離群點(diǎn),且鄰域半徑內(nèi)的點(diǎn)云數(shù)量小于非離群點(diǎn)。本文采用改進(jìn)密度分析的離群點(diǎn)去噪算法,通過(guò)結(jié)合鄰近點(diǎn)平均距離和鄰域點(diǎn)數(shù)這2個(gè)特征參數(shù)去除離群點(diǎn)。
基于鄰近點(diǎn)平均距離的離群點(diǎn)去除方法是通過(guò)統(tǒng)計(jì)分析查詢點(diǎn)和該點(diǎn)鄰域點(diǎn)之間的距離。設(shè)定一個(gè)用于濾波的點(diǎn)云集合 {,采用 kd-tree算法,對(duì)每個(gè)數(shù)據(jù)點(diǎn) pi,計(jì)算 pi到其最近的 k鄰近點(diǎn)的平均距離pi),獲得的平均距離近似服從高斯分布,其形狀由鄰域平均距離均值μ和標(biāo)準(zhǔn)差σ決定。
鄰近點(diǎn)平均距離的概率密度函數(shù)為
式中, xi為任意數(shù)據(jù)點(diǎn) pi的鄰近點(diǎn)平均距離。本文設(shè)置判斷閾值為(μ+n?σ),其中 n為標(biāo)準(zhǔn)差倍數(shù)。若>(μ+n?σ),則該點(diǎn)為離群點(diǎn),將其從點(diǎn)云集合中去除。對(duì)k與n參數(shù)的選擇需通過(guò)多組試驗(yàn)獲得,防止過(guò)去噪或欠去噪。
基于鄰域點(diǎn)數(shù)的離群點(diǎn)去除方法是指在三維點(diǎn)云數(shù)據(jù)模型中,指定每個(gè)數(shù)據(jù)點(diǎn)在一定范圍內(nèi)至少要有足夠多的近鄰。設(shè)定一個(gè)用于濾波的點(diǎn)云數(shù)據(jù)集,采用kd-tree算法,給定一個(gè)查詢點(diǎn) pi和搜索半徑r,若該點(diǎn)在搜索半徑 r內(nèi),鄰域點(diǎn)數(shù)少于設(shè)定的最低鄰域數(shù)量閾值 M,則認(rèn)為該點(diǎn)為離群點(diǎn),并將其去除;反之,該點(diǎn)為有效點(diǎn),將其保留。其中,搜索半徑r和最低鄰域數(shù)量閾值M參數(shù)通過(guò)多次試驗(yàn)獲得。
本文提出的改進(jìn)密度分析的離群點(diǎn)去噪算法的重要步驟如下:
1)讀入以pcd格式存儲(chǔ)的三維點(diǎn)云數(shù)據(jù)。
2)采用kd-tree算法建立點(diǎn)云空間拓?fù)潢P(guān)系。
3)查詢點(diǎn)云數(shù)據(jù)集S中的任意一點(diǎn)pi∈S,計(jì)算搜索半徑r內(nèi)鄰域點(diǎn)數(shù) Nr( pi),若 Nr( pi)≤M,則該點(diǎn)為離群點(diǎn),刪除該點(diǎn);若 Nr( pi)>M,則執(zhí)行步驟4)。
4)計(jì)算當(dāng)前點(diǎn) pj與 Nb( pi)內(nèi)各點(diǎn)之間的平均歐式距離( pi),計(jì)算式為
6)判斷是否處理完點(diǎn)云數(shù)據(jù)集S中的所有數(shù)據(jù)點(diǎn),如果否,執(zhí)行步驟3);如果是結(jié)束算法處理。
對(duì)點(diǎn)云數(shù)據(jù)集S中每一個(gè)點(diǎn)pi∈S和所對(duì)應(yīng)的k近鄰點(diǎn)云集合 N (pi)的協(xié)方差矩陣C進(jìn)行求解。協(xié)方差矩陣C表示為
式中,v0近似為點(diǎn) pi處的法向向量。
根據(jù)點(diǎn)云法向向量,可以建立三維點(diǎn)云數(shù)據(jù)關(guān)系
式中, Wc為光順濾波權(quán)重函數(shù),表示雙邊濾波函數(shù)的空間域權(quán)重,控制雙邊濾波的平滑程度,其表達(dá)式為
式中,參數(shù)σc為數(shù)據(jù)點(diǎn)pi到鄰域點(diǎn)的距離對(duì)點(diǎn)pi的影響因子,σc越大表明選取的鄰域點(diǎn)越多,濾波效果更好,但越大,點(diǎn)云數(shù)據(jù)特征保持能力就越弱。
Ws為特征保持權(quán)重函數(shù),表示雙邊濾波函數(shù)的頻率域權(quán)重,控制雙邊濾波的特征保持程度,其表達(dá)式為→
其中,參數(shù)σs是數(shù)據(jù)點(diǎn)pi到鄰近點(diǎn)的距離向量上的投影對(duì)數(shù)據(jù)點(diǎn) pi的影響因子,影響濾波過(guò)程中對(duì)點(diǎn)云數(shù)據(jù)特征的保持程度,σs越大表明特征保持效果越好,但會(huì)降低點(diǎn)云平滑能力。
雙邊濾波融合算法重要步驟如下:
1)計(jì)算點(diǎn)云數(shù)據(jù)中每個(gè)數(shù)據(jù)點(diǎn) pi的k近鄰 Nb( pi)。
3)根據(jù)式(9)和式(10)計(jì)算點(diǎn)云光順濾波權(quán)重函數(shù) Wc( x)和特征保持權(quán)重函數(shù) Ws( y)。將 Wc(x)和Ws( y)代入式(8)中,計(jì)算雙邊濾波因子α。
4)根據(jù)式(7)計(jì)算雙邊濾波后的新的數(shù)據(jù)點(diǎn)。
5)判斷是否更新完所有數(shù)據(jù)點(diǎn),如果否,執(zhí)行步驟2);如果是結(jié)束算法處理。
試驗(yàn)硬件處理平臺(tái):CPU為Intel Core i3-2348M(雙核四線程),主頻2.3 GHz的;內(nèi)存為DDR3,4 GB;顯卡為NVIDIA HVS 5400 M,1 GB;硬盤500 GB。并利用OpenCV3.0、OpenGL、點(diǎn)云庫(kù) PCL1.7(Point Cloud Library),在Visual Studio 2013軟件平臺(tái)下編程實(shí)現(xiàn)。
本文以番茄植株作為試驗(yàn)對(duì)象進(jìn)行研究分析,選取的番茄植株(含盆)高度為150 cm,TOF深度傳感設(shè)備放置高度為30 cm,設(shè)備與植株距離為150 cm。圖3為采集獲取的原始點(diǎn)云圖,點(diǎn)云數(shù)為217 088。
點(diǎn)云數(shù)據(jù)的預(yù)處理是采用直通濾波器保留植物所在三維空間的范圍,減少背景噪聲。對(duì)圖 3原始點(diǎn)云圖像的X、Y、Z 坐標(biāo)方向設(shè)定閾值范圍分別為(–40,40)、(–55,100)、(80,200)。直通濾波后的點(diǎn)云圖如圖 4所示,其點(diǎn)云數(shù)為12768。
圖4 直通濾波后點(diǎn)云圖Fig.4 Point cloud after pass filter
采用改進(jìn)密度分析算法,結(jié)合鄰近點(diǎn)平均距離和鄰域點(diǎn)數(shù)這 2個(gè)特征對(duì)離群點(diǎn)噪聲進(jìn)行檢測(cè)和去除。算法中涉及4個(gè)參數(shù),分別為搜索半徑r、判斷閾值M、選擇點(diǎn)云鄰域點(diǎn)個(gè)數(shù) k和鄰近點(diǎn)平均距離閾值范圍標(biāo)準(zhǔn)差倍數(shù)n。為有效地分析這4個(gè)參數(shù),本文選取不同參數(shù)進(jìn)行多組試驗(yàn)。結(jié)果如表1所示,當(dāng)判斷閾值M一定時(shí),點(diǎn)云數(shù)隨搜索半徑r的增大而增大;當(dāng)搜索半徑r一定時(shí),點(diǎn)云數(shù)隨判斷閾值 M 增大而減小。試驗(yàn)結(jié)果在 M=5,r=0.03時(shí),能夠較好地去除離群點(diǎn),處理后的點(diǎn)云圖如圖5a所示,去除后點(diǎn)云數(shù)為12 659。
表1 鄰域點(diǎn)數(shù)離群點(diǎn)去除后點(diǎn)云數(shù)Table 1 Number of points after outlier noise removed based on neighborhood points
圖5 密度分析離群點(diǎn)去除Fig.5 Outlier noise removed based on density analysis
在鄰域點(diǎn)數(shù)的離群點(diǎn)去除后,再對(duì)鄰近點(diǎn)平均距離的離群點(diǎn)進(jìn)行去除。同樣,本文選取不同參數(shù)進(jìn)行多組試驗(yàn)。試驗(yàn)得到的概率密度值和根據(jù)正態(tài)分布的3σ準(zhǔn)則理論密度值如表2所示,當(dāng)標(biāo)準(zhǔn)差倍數(shù)n<2時(shí),概率密度值比理論值大,表明在試驗(yàn)過(guò)程中將正常點(diǎn)當(dāng)作噪聲處理,過(guò)度去噪;當(dāng)標(biāo)準(zhǔn)差倍數(shù)n>2時(shí),與理論值接近,概率密度在 98%以上,在實(shí)際應(yīng)用中造成去噪不完全;在標(biāo)準(zhǔn)差倍數(shù)n一定的情況下,不同的k值對(duì)試驗(yàn)結(jié)果影響不大。綜上,當(dāng)k值較大,n值較小時(shí),去噪邊緣缺少嚴(yán)重,過(guò)度去噪;k值較小,n值較大時(shí),噪聲去除不完全。因此,試驗(yàn)結(jié)果在選取 k=30,n=2能較好去除離群點(diǎn)噪聲,處理點(diǎn)云圖如圖5b,去噪后點(diǎn)云數(shù)為12 121。
表2 概率密度值Table 2 Probability density value
直通濾波后點(diǎn)云和改進(jìn)密度分析去除離群點(diǎn)噪聲后的點(diǎn)云分別如圖 4和圖 5b所示,直通濾波后點(diǎn)云數(shù)為12 768,改進(jìn)密度分析去除離群點(diǎn)噪聲后點(diǎn)云數(shù)為12 121。為能更有效地比較試驗(yàn)結(jié)果,取番茄主干方向60~90cm之間的數(shù)據(jù)進(jìn)行放大,即為圖4和圖5b中紅色矩形框區(qū)域,經(jīng)本文改進(jìn)密度分析去除離群點(diǎn)數(shù)為647,能較好的去除離群點(diǎn)。
在改進(jìn)密度分析的離群點(diǎn)去除后,采用雙邊濾波算法對(duì)點(diǎn)云內(nèi)部小尺寸噪聲去除。以圖5b作為雙邊濾波內(nèi)部小尺寸去噪的原始點(diǎn)云圖。
為選擇合適的參數(shù)值,選取不同的雙邊濾波參數(shù)σc和σs進(jìn)行試驗(yàn)。在σc一定時(shí),增大σs,圖像特征保持效果越好,平滑能力下降;在σs一定時(shí),增大σc,圖像濾波效果越好,特征保持能力越弱。以圖5b作為處理前原圖,選取σc為 1、5、10、50 和σs為 0.01、0.1、10、20 進(jìn)行多組去噪試驗(yàn),試驗(yàn)結(jié)果為參數(shù) σc=10,σs=0.1時(shí)圖像特征保持及濾波效果上都較好。圖 6為最佳參數(shù)σc=10,σs=0.1時(shí)的整體效果圖。
圖6 雙邊濾波去除小尺寸噪聲Fig.6 Small size noise remove based on bilateral filtering
為更明顯地顯示通過(guò)雙邊濾波去除點(diǎn)云內(nèi)部小尺寸噪聲的效果,試驗(yàn)對(duì)圖 5b所示的雙邊濾波原始圖像和圖 6所示的濾波后圖像提取點(diǎn)云法線并顯示,結(jié)果如圖7所示。對(duì)圖 7中局部放大圖進(jìn)行比較,可以看出經(jīng)雙邊濾波處理后法線分布更加整齊,直觀清晰地看出雙邊濾波使得點(diǎn)云平滑光順。
圖7 點(diǎn)云圖像法線圖Fig.7 Normal of point cloud
為更加客觀地評(píng)價(jià)本文算法,分別對(duì)50組番茄點(diǎn)云數(shù)據(jù)采用本文改進(jìn)算法與傳統(tǒng)雙邊濾波及拉普拉斯濾波算法進(jìn)行比較。同時(shí),選取最大誤差、平均誤差和平均去噪時(shí)間這 3個(gè)客觀評(píng)價(jià)指標(biāo),對(duì)去噪效果進(jìn)行定量分析,試驗(yàn)結(jié)果如表 3所示。最大誤差用來(lái)衡量點(diǎn)云數(shù)據(jù)移動(dòng)的最大距離,越小說(shuō)明點(diǎn)云數(shù)據(jù)質(zhì)量越好,本文算法最大誤差比傳統(tǒng)雙邊濾波降低了11.2%,比拉普拉斯濾波降低了20.6%;平均誤差用來(lái)衡量點(diǎn)云數(shù)據(jù)移動(dòng)的平均距離,值越小說(shuō)明點(diǎn)云去噪效果越好,本文算法平均誤差比傳統(tǒng)雙邊濾波降低了23.2%,比拉普拉斯濾波降低了39.2%;本文算法運(yùn)行時(shí)間為3 260 ms,能滿足實(shí)際應(yīng)用需求。
表3 算法客觀性能對(duì)比Table 3 Comparison of algorithm objective performance
1)本文提出的改進(jìn)密度分析和雙邊濾波的去噪算法,通過(guò)直通濾波減少背景噪聲,采用改進(jìn)密度分析去除離群點(diǎn)噪聲,并結(jié)合雙邊濾波算法去除點(diǎn)云內(nèi)部小尺寸噪聲。
2)該算法與傳統(tǒng)雙邊濾波算法比,最大誤差降低了11.2%,平均誤差降低了23.2%;與拉普拉斯濾波算法比較,最大誤差降低了20.6%,平均誤差降低了39.2%,簡(jiǎn)單高效地去除不同尺度噪聲且保持點(diǎn)云特征,具有較強(qiáng)的魯棒性和實(shí)用性,為后續(xù)三維重建奠定良好的基礎(chǔ)。
植物三維重建是植物數(shù)字化研究的關(guān)鍵問(wèn)題,具有較高的難度。由于植物三維重建過(guò)程中,點(diǎn)云數(shù)據(jù)量較大,因此在后續(xù)研究中,可以研究通過(guò)人工智能方法對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分析和處理。
[參考文獻(xiàn)]
[1] 趙春江,陸聲鏈,郭新宇,等. 數(shù)字植物研究進(jìn)展:植物形態(tài)結(jié)構(gòu)三維數(shù)字化[J]. 中國(guó)農(nóng)業(yè)科學(xué),2015,48(17):3415-3428.Zhao Chunjiang, Lu Shenglian, Guo Xinyu, et al. Advances in research of digital plant: 3D digitization of plant morphological structure[J]. Scientia Agricultura Sinica, 2015,48(17): 3415-3428. (in Chinese with English abstract)
[2] Gaetan L, Serge C, Annie E, et al. Characterization of whole plant leaf area properties using laser scanner point clouds[C]//Plant Growth Modeling, Simulation, Visualization and Applications (PMA), 2012 IEEE Fourth International Symposium on. IEEE, 2012: 250-253.
[3] Martinez-Casasnovas J A, Rufat J, Arno J, et al. Mobile terrestrial laser scanner applications in precision fruticulture/horticulture and tools to extract information from canopy point clouds[J]. Precision Agriculture, 2017, 18(1): 111-132.
[4] Kolecka N, Kozak J, Kaim D, et al. Mapping secondary forest succession on abandoned agricultural land with LiDAR point clouds and terrestrial photography[J]. Remote Sensing,2015, 7(7): 8300-8322.
[5] Medeiros H, Kim D, Sun J, et al. Modeling dormant fruit trees for agricultural automation[J]. Journal of Field Robotics,2017, 34(7): 1203-1224.
[6] 魏學(xué)禮,肖伯祥,郭新宇,等. 三維激光掃描技術(shù)在植物掃描中的應(yīng)用分析[J]. 中國(guó)農(nóng)學(xué)通報(bào),2010,26(20):373-377.Wei Xueli, Xiao Boxiang, Guo Xinyu, et al. Analysis of applications of 3D laser scan technology in plant scanning[J].Chinese Agricultural Science Bulletin, 2010, 26(20): 373-377. (in Chinese with English abstract)
[7] 孫智慧,陸聲鏈,郭新宇,等. 基于點(diǎn)云數(shù)據(jù)的植物葉片曲面重構(gòu)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2012,28(3):184-190.Sun Zhihui, Lu Shenglian, Guo Xinyu, et al. Surfaces reconstruction of plant leaves based on point cloud data[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(3): 184-190. (in Chinese with English abstract)
[8] 郭彩玲,宗澤,張雪,等. 基于三維點(diǎn)云數(shù)據(jù)的蘋果樹冠層幾何參數(shù)獲取[J]. 農(nóng)業(yè)工程學(xué)報(bào),2017,33(3):175-181.Guo Cailing, Zong Ze, Zhang Xue, et al.Apple tree canopy geometric parametersacquirement based on 3D point clouds[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(3): 175-181. (in Chinese with English abstract)
[9] Jung J, Lee J Y, Jeong Y, et al. Time-of-flight sensor calibration for a color and depth camera pair[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015, 37(7): 1501-1513.
[10] Millar T C, Sarhangnejad N, Katic N, et al. The effect of pinned photodiode shape on time-of-flight demodulation contrast[J]. IEEE Transactions on Electron Devices, 2017,64(5): 2244-2250.
[11] Adam A, Dann C, Yair O, et al. Bayesian time-of-flight for realtime shape, illumination and albedo[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(5):851-864.
[12] Lee S, Shim H. Skewed stereo time-of-flight camera for translucent object imaging[J]. Image and Vision Computing,2015, 43: 27-38.
[13] Piccirilli M, Doretto G, Ross A, et al. A mobile structured light system for 3D face acquisition[J]. IEEE Sensors Journal,2016, 16(7): 1854-1855.
[14] Choe G, Park J, Tai Y W, et al. Refining geometry from depth sensors using IR shading images[J]. International Journal of Computer Vision, 2017, 122(1): 1-16.
[15] Molina J, Pajuelo J A, Martínez J M. Real-time motion-based hand gestures recognition from time-of-flight video[J].Journal of Signal Processing Systems, 2017, 86(1): 17-25.
[16] Garduno-Ramon M A, Terol-Villalobos I R, Osornio-Rios R A, et al. A new method for inpainting of depth maps from time-of-flight sensors based on a modified closing by reconstruction algorithm[J]. Journal of Visual Communication and Image Representation, 2017, 47(1): 36-47.
[17] Andujar D, Ribeiro A, Fernandez-Quintanilla C, et al. Using depth cameras to extract structural parameters to assess the growth state and yield of cauliflower crops[J]. Computers and Electronics in Agriculture, 2016, 122: 67-73.
[18] Song Y, Glasbey C A, Polder G, et al. Non-destructive automatic leaf area measurements by combining stereo and time-of-flight images[J]. IET Computer Vision, 2014, 8(5):391-403.
[19] Lehnert C, English A, Mccool C, et al. Autonomous sweet pepper harvesting for protected cropping systems[J]. IEEE Robotics and Automation Letters, 2017, 2(2): 872-879.
[20] Chattopadhyay S, Akbar S A, Elfiky N M, et al. Measuring and modeling apple trees using time-of-flight data for automation of dormant pruning applications[C]//IEEE Winter Conference on Applications of Computer Vision (WACV),New York,USA,2016: 1-9.
[21] Lussana R, Villa F, Dalla Mora A, et al. Non-contact inclusion detection in food through a single-photon time-offlight imager[J]. IEEE Sensors Journal, 2017, 17(1): 78-83.
[22] Eichhardt I, Chetverikov D, Janko Z. Image-guided ToF depth upsampling: A survey [J]. Machine Vision and Applications, 2017, 28(3-4): 267-282.
[23] 張新,高超,趙燕東. 基于TOF攝像機(jī)的植物葉態(tài)萎蔫辨識(shí)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2016,47(5):275-280.Zhang Xin, Gao Chao, Zhao Yandong, et al.Research on identification of plant leaf wilting using TOF camer[J].Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 275-280.(in Chinese with English abstract)
[24] 張旭東,吳國(guó)松,胡良梅,等. 基于 TOF 三維相機(jī)相鄰散亂點(diǎn)云配準(zhǔn)技術(shù)研究[J]. 機(jī)械工程學(xué)報(bào),2013,49(12):8-16.Zhang Xudong, Wu Guosong, Hu Liangmei, et al. Adjacent scatter point cloud registration technology research based on three-dimensional camera of time of flight [J]. Journal of Mechanical Engineering, 2013, 49(12): 8-16. (in Chinese with English abstract)
[25] Diaz M G, Tombari F, Rodriguez-Gonzalvez P, et al.Analysis and evaluation between the first and the second generation of rgb-d sensors[J]. IEEE Sensors Journal, 2015,15(11): 6507-6516.
[26] Corti A, Giancola S, Mainetti G, et al. A metrological characterization of the Kinect V2 time-of-flight camera[J].Robotics and Autonomous Systems, 2016, 75: 584-594.
[27] Fursattel P, Placht S, Balda M, et al. A comparative error analysis of current time-of-flight sensors[J]. IEEE Transactions on Computational Imaging, 2016, 2(1): 27-41.
[28] Lachat E, Macher H, Landes T, et al. Assessment and calibration of a RGB-D camera (Kinect v2 Sensor) towards a potential use for close-range 3D modeling[J]. Remote Sensing, 2015, 7(10): 13070-13097.
[29] Hawkins D M. Identification of outliers[M]. London:Chapman and Hall, 1980.
[30] 薛安榮,鞠時(shí)光,何偉華,等. 局部離群點(diǎn)挖掘算法研究[J]. 計(jì)算機(jī)學(xué)報(bào),2007,30(8):1455-1463.Xue Anrong, Ju Shiguang, He Weihua, et al. Study on algorithms for local outlier detection[J]. Chinese Journal of Computers, 2007, 30(8): 1455-1463. (in Chinese with English abstract)