傅汝佳，冼楚華，李桂清，萬(wàn)雋杰，曹鋮，楊存義，高月芳

面向表型精確鑒定的豆株快速三維重建

傅汝佳1，冼楚華1，李桂清1，萬(wàn)雋杰2，曹鋮2，楊存義2，高月芳2

（1.華南理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，廣東 廣州 510006； 2.華南農(nóng)業(yè)大學(xué)農(nóng)學(xué)院，廣東 廣州 510640）

利用計(jì)算機(jī)視覺(jué)與圖像技術(shù)對(duì)植物進(jìn)行數(shù)字化重建是植物表型組學(xué)的重要手段。以國(guó)內(nèi)常見(jiàn)的糧食作物豆類(lèi)植株為研究對(duì)象，利用RGB-D深度相機(jī)采集的深度圖像對(duì)豆株進(jìn)行快速三維數(shù)字化重建，首先，基于點(diǎn)云分層聚類(lèi)提取點(diǎn)云骨架點(diǎn)；然后，根據(jù)各骨架點(diǎn)到根節(jié)點(diǎn)的最短距離連接第一階段的主干骨架點(diǎn)，并根據(jù)形態(tài)特征篩選子圖和主干圖的連接點(diǎn)、選擇子圖生長(zhǎng)路徑；最后，由連接骨架進(jìn)行植物數(shù)字化建模。實(shí)驗(yàn)表明，基于真實(shí)大豆植株點(diǎn)云的單幀和配準(zhǔn)數(shù)據(jù)，本文方法能對(duì)不同形態(tài)特征的大豆植株進(jìn)行快速三維重建，并能對(duì)分辨率不高、噪音干擾較大、配準(zhǔn)誤差較大等情形做處理。

植物表型組學(xué)；植物三維重建；骨架提??；植物建模

三維植物重建是計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)和數(shù)字農(nóng)業(yè)等領(lǐng)域的研究熱點(diǎn)。真實(shí)精確的三維植物形狀可以應(yīng)用于游戲動(dòng)畫(huà)圖形、虛擬現(xiàn)實(shí)、農(nóng)業(yè)數(shù)字化生產(chǎn)等領(lǐng)域。具有真實(shí)感的三維植物模型也是網(wǎng)絡(luò)虛擬場(chǎng)景中最具代表性的自然景觀模型，被廣泛應(yīng)用于虛擬旅游、虛擬城市和虛擬生態(tài)景觀模擬以及數(shù)字化農(nóng)業(yè)生產(chǎn)等領(lǐng)域。同時(shí)，數(shù)字植物是數(shù)字農(nóng)業(yè)的基礎(chǔ)性工作，綜合利用數(shù)字化技術(shù)對(duì)植物的生命過(guò)程和農(nóng)業(yè)生產(chǎn)過(guò)程進(jìn)行定量化和可視化研究，而植物形態(tài)結(jié)構(gòu)的真實(shí)感建模與三維可視化正是數(shù)字植物首先要解決的問(wèn)題之一。

植物表型組學(xué)是研究植物生長(zhǎng)、表現(xiàn)和組成的科學(xué)，近年來(lái)植物表型組學(xué)作為一種有前景的干預(yù)手段廣受關(guān)注，在植物發(fā)育過(guò)程中對(duì)高維植物形態(tài)進(jìn)行準(zhǔn)確、高通量的測(cè)量是植物表型組學(xué)的研究?jī)?nèi)容之一，大豆是重要的糧食和油料作物，是高質(zhì)量人類(lèi)蛋白質(zhì)的主要來(lái)源，可以預(yù)見(jiàn)，隨著人口的增加和土地的退化，對(duì)大豆的需求將不斷增加，然而由于大豆植物的復(fù)雜性，對(duì)大豆植株表型的研究較少。研究植物的形態(tài)結(jié)構(gòu)對(duì)于明確大豆的生長(zhǎng)規(guī)律具有重要意義，理想的方法是將大豆的每個(gè)器官三維重建為精細(xì)的器官網(wǎng)格，得到所有形態(tài)學(xué)表型特征，如骨架結(jié)構(gòu)、葉片寬度和莖稈粗細(xì)等。但在大多情況下，很難獲得單個(gè)植物的完整形態(tài)。因此，解析這些器官特征的另一種方法是從3D點(diǎn)云中提取骨架。

近年來(lái)，由于民用級(jí)深度相機(jī)可用性和功率的提高，令掃描小型和復(fù)雜植物更為方便，為大豆植株快速三維重建提供了可能。消費(fèi)級(jí)RGB-D掃描設(shè)備（如微軟Kinect二代掃描設(shè)備等）價(jià)格低廉、系統(tǒng)簡(jiǎn)單，適合在室內(nèi)場(chǎng)所構(gòu)建植物三維重建系統(tǒng)。但基于RGB-D的三維植物掃描面臨深度相機(jī)分辨率較低、掃描范圍小、噪聲大、深度信息易缺失等問(wèn)題，通過(guò)提取三維植物的骨架點(diǎn)進(jìn)行建模是解決這些問(wèn)題較便利可行的方法之一。

大豆植株的形態(tài)特征對(duì)選育種、長(zhǎng)勢(shì)監(jiān)測(cè)、長(zhǎng)相評(píng)價(jià)都有重要意義，骨架是植株表型中結(jié)構(gòu)特征的簡(jiǎn)明表示，有助于描述其形狀和三維物體的基本拓?fù)浣Y(jié)構(gòu)。植物點(diǎn)云通常由一個(gè)軀干和諸多復(fù)雜密集的植物莖稈分支以及葉片組成，用深度相機(jī)掃描得到的點(diǎn)云提取植物骨架，由于受掃描設(shè)備精度限制，加之枝葉復(fù)雜、數(shù)據(jù)嘈雜不完整，提取比較棘手。

為此提出一種多階段處理框架，通過(guò)Kinect對(duì)得到的大豆植株點(diǎn)云進(jìn)行快速植物三維重建。方法分4步，每步的輸入都以上一階段的輸出結(jié)果作為初值。第1階段：對(duì)Kinect采集的點(diǎn)云數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理和多幀配準(zhǔn)，得到完整的植株點(diǎn)云；第2階段：對(duì)第1階段得到的大豆植株點(diǎn)云進(jìn)行分層采樣，對(duì)每一層級(jí)進(jìn)行聚類(lèi)，得到植株的骨架點(diǎn)；第3階段：設(shè)置骨架圖，對(duì)每個(gè)點(diǎn)的近鄰，以歐氏距離為權(quán)重構(gòu)造連通圖，從最低點(diǎn)開(kāi)始進(jìn)行Dijkstra路徑生長(zhǎng)，得到骨架點(diǎn)主干圖，并對(duì)每個(gè)分支子圖進(jìn)行主干點(diǎn)和子圖對(duì)應(yīng)點(diǎn)篩選，對(duì)篩選得到的每個(gè)分支點(diǎn)分別進(jìn)行Dijkstra路徑生長(zhǎng)，并連接主干點(diǎn)和子圖的對(duì)應(yīng)點(diǎn)；第4階段：觀察大豆植株的形態(tài)特征，設(shè)置植物骨架對(duì)應(yīng)的半徑，通過(guò)pyvista可視化庫(kù)進(jìn)行三維可視化。

1　相關(guān)工作

本節(jié)分別從基于點(diǎn)云的骨架提取以及植物點(diǎn)云建模介紹相關(guān)工作。

1.1　基于點(diǎn)云的骨架提取

BLUN［1］利用對(duì)稱(chēng)軸分析法根據(jù)模型視覺(jué)特征提取骨架，但在現(xiàn)實(shí)應(yīng)用中難以實(shí)現(xiàn)。CAO等［2］建立了一種簡(jiǎn)易的基于近鄰的點(diǎn)云拓?fù)潢P(guān)系，用拉普拉斯算子將點(diǎn)云模型壓縮為零體積的點(diǎn)集，然后對(duì)點(diǎn)集進(jìn)行拓?fù)浼?xì)化，獲得模型的曲線(xiàn)骨骼。Voronoi圖和Reeb圖是2種具代表性的基于數(shù)學(xué)結(jié)構(gòu)分析的點(diǎn)云骨架提取方法，DEY等［3］提出一種用Voronoi圖直接近似骨骼曲線(xiàn)的方法，但Voronoi圖方法只適合提取簡(jiǎn)單多面體骨架，不適合離散模型，其缺點(diǎn)是對(duì)噪聲非常敏感，并且隨著模型復(fù)雜度的增加，算法的計(jì)算量將非常龐大。Reeb圖由SHINAGAWA等［4］提出，利用數(shù)據(jù)輸入點(diǎn)中的標(biāo)量函數(shù)，構(gòu)造數(shù)據(jù)結(jié)構(gòu)圖，對(duì)數(shù)據(jù)邊緣點(diǎn)與點(diǎn)之間的關(guān)系進(jìn)行映射。HUANG等［5］針對(duì)三維點(diǎn)云數(shù)據(jù)提出了一種L1中軸骨架提取算法，對(duì)原始點(diǎn)云進(jìn)行隨機(jī)采樣，通過(guò)不斷擴(kuò)大鄰域半徑，迭代收縮采樣點(diǎn)，將采樣點(diǎn)均勻地投影到鄰域的中心位置，得到收縮的線(xiàn)性骨架。SHAF等［6］通過(guò)構(gòu)造一個(gè)可變形的球體網(wǎng)格使其在點(diǎn)云內(nèi)部沿各個(gè)方向擴(kuò)展生長(zhǎng)，在變形過(guò)程中獲取不完整點(diǎn)云的骨架。NIBLACK等［7］引入鞍點(diǎn)的概念，解決了基于距離變換提取的骨架連通性問(wèn)題，得到連通的線(xiàn)骨架。WU等［8］基于物理學(xué)中互斥力計(jì)算模型的平衡點(diǎn)，得到模型的骨骼曲線(xiàn)。就植物點(diǎn)云而言，LIVNY等［9］將植物骨架結(jié)構(gòu)定義為枝干結(jié)構(gòu)圖（BSG），由根節(jié)點(diǎn)為起點(diǎn)，以任意兩點(diǎn)的歐氏距離為權(quán)重，以權(quán)重為路徑用Dijkstra算法構(gòu)建最小路徑圖，并設(shè)置若干與植物生長(zhǎng)關(guān)聯(lián)的幾何參數(shù)，以植物形態(tài)特征，如上細(xì)下粗作為約束條件優(yōu)化骨架。DU等［10］基于點(diǎn)云生成Delaunay三角剖分，并生成最小生成樹(shù)，提取樹(shù)木骨架。BREMER等［11］結(jié)合基于對(duì)象的點(diǎn)云分析提取樹(shù)木骨架。張?zhí)彀驳龋?2］以Dijkstra距離分段為基礎(chǔ)，用線(xiàn)性規(guī)劃方法得到樹(shù)木骨架結(jié)構(gòu)。

1.2　植物點(diǎn)云建模

植物點(diǎn)云建?？煞譃閮深?lèi)。第1類(lèi)利用軟件處理植物點(diǎn)云數(shù)據(jù)獲取植物參數(shù)，再利用建模軟件和得到的參數(shù)進(jìn)行植物建模。PFEIFER等［13］用圓柱體和B-樣條曲線(xiàn)跟蹤和擬合點(diǎn)云數(shù)據(jù)，并成功重建了植物的枝干結(jié)構(gòu)。RUTZINGER等［14］將由車(chē)載激光設(shè)備獲得的點(diǎn)云數(shù)據(jù)進(jìn)行Alpha Shape簡(jiǎn)化，并基于提取的基本參數(shù)，遵循特定的生長(zhǎng)規(guī)律生成Open Alea三維植物模型。TEOBALDELLI等［15］采集了數(shù)百棵無(wú)葉柳樹(shù)枝條樣本，用JRC-3D Reconstructor軟件提取樣本的幾何參數(shù)，構(gòu)建了多級(jí)樹(shù)狀圖，并用AMAPmod 重建了植物的形態(tài)結(jié)構(gòu)。第2類(lèi)用算法直接處理點(diǎn)云數(shù)據(jù)，提取植物模型結(jié)構(gòu)。XU等［16］基于聚類(lèi)的植物模型重建工作，利用經(jīng)驗(yàn)范圍和歐氏距離生成植物的層級(jí)結(jié)構(gòu)，進(jìn)而依據(jù)點(diǎn)與根節(jié)點(diǎn)之間的最短路徑參數(shù)對(duì)目標(biāo)點(diǎn)進(jìn)行算法排序，生成多個(gè)不同層級(jí)的聚類(lèi)，按序連接具有相鄰系的聚類(lèi)中心點(diǎn)，生成骨架，完成植物的三維重建； BUCKSCH等［17］將八叉樹(shù)作為存儲(chǔ)結(jié)構(gòu)，重新組織點(diǎn)云結(jié)構(gòu)，通過(guò)設(shè)置體素鄰域規(guī)則建立體素鄰域關(guān)系，并按照多體素空間法則完成八叉樹(shù)圖的創(chuàng)建，進(jìn)而根據(jù)幾何學(xué)原理及自定義法則對(duì)節(jié)點(diǎn)進(jìn)行合并與刪除操作，提取完整的植物骨架。

近年來(lái)，植物三維重建研究在國(guó)內(nèi)得到快速發(fā)展，鐘南等［18］綜合多種L-system的優(yōu)勢(shì)，三維可視化植物根系生長(zhǎng)，實(shí)現(xiàn)了大豆的根系可視化；劉閣等［19］利用L-system生成了蘋(píng)果樹(shù)樹(shù)干和虛擬植物模型；陳勁等［20］用無(wú)向圖組織點(diǎn)云數(shù)據(jù)，基于類(lèi)主干點(diǎn)約束生成最小生成樹(shù)初始樹(shù)木骨架，建立了高逼真度的樹(shù)木模型。

2　算法流程

用1臺(tái)二代掃描設(shè)備Kinect和1個(gè)轉(zhuǎn)盤(pán)掃描大豆植株數(shù)據(jù)。轉(zhuǎn)盤(pán)旋轉(zhuǎn)一周，相機(jī)距離植株約1 m，利用植株點(diǎn)云進(jìn)行骨架提取，實(shí)現(xiàn)快速三維重建。步驟如下：

Step 1 數(shù)據(jù)采集和預(yù)處理。用一臺(tái)標(biāo)定的Kinect 相機(jī)掃描大豆植株，植株在平臺(tái)上旋轉(zhuǎn)一周，每60°獲取一幀RGB-D數(shù)據(jù)，對(duì)RGB-D數(shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)齊處理，得到植株點(diǎn)云，用直通濾波去除植株背景，用統(tǒng)計(jì)濾波去除點(diǎn)云中的離群點(diǎn)。

Step 2 植株點(diǎn)云剛體配準(zhǔn)。用自動(dòng)旋轉(zhuǎn)平臺(tái)的方法對(duì)點(diǎn)云進(jìn)行兩兩配準(zhǔn)，將得到的不同角度的點(diǎn)云變換至同一坐標(biāo)系下，實(shí)現(xiàn)點(diǎn)云拼接，并通過(guò)ICP方法進(jìn)行精細(xì)配準(zhǔn)。

Step 3 點(diǎn)云分層聚類(lèi)。將配準(zhǔn)點(diǎn)云的最低點(diǎn)作為植株點(diǎn)云的根節(jié)點(diǎn)，以歐氏距離為度量將點(diǎn)云分成多層，對(duì)各層點(diǎn)云分別進(jìn)行歐氏聚類(lèi)，將聚類(lèi)重心作為骨架點(diǎn)。

Step 4 骨架點(diǎn)連接。將骨架點(diǎn)云視為一幅圖，取該點(diǎn)云每個(gè)點(diǎn)的近鄰為該點(diǎn)的鄰域（本文=4），即最接近該點(diǎn)的個(gè)點(diǎn)，連通領(lǐng)域內(nèi)的點(diǎn)云，得到點(diǎn)云圖的連通分量，從骨架點(diǎn)云的最低點(diǎn)出發(fā)生成Dijkstra路徑，得到骨架主干圖，并從其他連通分量子圖中篩選出最合適的路徑生長(zhǎng)點(diǎn)，進(jìn)行路徑生長(zhǎng)及骨干圖連接。

Step 5 植株三維重建。通過(guò)pyvista可視化庫(kù)用圓柱進(jìn)行骨架可視化，并通過(guò)觀察大豆植株的形態(tài)特征，定制圓柱半徑，隨機(jī)添加葉子，得到具有植株形態(tài)真實(shí)感的大豆植株虛擬模型。

2.1　點(diǎn)云獲取和剛體配準(zhǔn)

2.1.1大豆RGB-D掃描數(shù)據(jù)采集與預(yù)處理

掃描設(shè)備為Kinect（v2），首先將大豆植株水平放置于旋轉(zhuǎn)平臺(tái)，將Kinect也水平放置于與植株高度相當(dāng)?shù)牡胤剑⒁忭毸椒胖茫仓陸?yīng)放置于旋轉(zhuǎn)平臺(tái)正中央。拍攝環(huán)境如圖1左側(cè)圖所示。

拍攝過(guò)程中，Kinect相機(jī)保持不動(dòng)，首先將一支鉛筆豎立于旋轉(zhuǎn)平臺(tái)中央，獲取一幀旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)軸數(shù)據(jù)，將其用于配準(zhǔn)，標(biāo)記旋轉(zhuǎn)平臺(tái)刻度，每60°為一格；然后，植株所在的平臺(tái)旋轉(zhuǎn)一圈，每60°拍攝一幀，共6幀數(shù)據(jù)，分別調(diào)用Kinect的深度攝像頭和RGB攝像頭獲取深度信息和彩色信息；最后調(diào)用Kinect官方SDK進(jìn)行深度圖和彩色圖對(duì)齊。深度像素和彩色像素坐標(biāo)映射關(guān)系為

點(diǎn)云數(shù)據(jù)預(yù)處理流程如圖1所示，由于直接對(duì)齊生成的單幀點(diǎn)云離群點(diǎn)較多，須進(jìn)行去除離群點(diǎn)操作。

圖1　點(diǎn)云數(shù)據(jù)預(yù)處理

2.1.2植株點(diǎn)云剛體粗配準(zhǔn)

圖2　旋轉(zhuǎn)軸

步驟如下：

（5）求步驟（3）矩陣的逆。

（6）求步驟（2）矩陣的逆。

（7）求步驟（1）矩陣的逆。

2.1.3ICP精細(xì)配準(zhǔn)

ICP是經(jīng)典的配準(zhǔn)算法，可用于匹配2個(gè)點(diǎn)云，得到2個(gè)點(diǎn)云之間的位姿轉(zhuǎn)換關(guān)系。ICP采用最小二乘估計(jì)計(jì)算變換矩陣，原理簡(jiǎn)單，精度較高。

ICP算法：

假設(shè)源點(diǎn)云和目標(biāo)點(diǎn)云之間的位姿對(duì)應(yīng)關(guān)系由最近點(diǎn)確定，簡(jiǎn)要流程如下：

（3）剔除距離較遠(yuǎn)的點(diǎn)對(duì)。

（5）極小化誤差函數(shù)，當(dāng)對(duì)應(yīng)距離小于給定閾值時(shí)，算法結(jié)束；否則根據(jù)得到的旋轉(zhuǎn)平移更新源點(diǎn)云，繼續(xù)上述步驟。

依此類(lèi)推，將各幀點(diǎn)云統(tǒng)一至第1幀坐標(biāo)系，實(shí)現(xiàn)最終配準(zhǔn)。

2.2　植株點(diǎn)云分層聚類(lèi)

2.2.1植株點(diǎn)云分層

點(diǎn)云分層距離示意如圖3（a）所示，用相同顏色表示同一層點(diǎn)云，如圖3（b）所示。

圖4為=30時(shí)的點(diǎn)云分層情況，為方便區(qū)分，賦予不同層點(diǎn)云不同的顏色，可見(jiàn)，點(diǎn)云被細(xì)分成了多層。

圖4　K=30時(shí)點(diǎn)云分層

2.2.2歐氏聚類(lèi)

經(jīng)分層后，可發(fā)現(xiàn)每層的大豆植株點(diǎn)云。觀察大豆植株的形態(tài)特征可知，枝干和主干之間存在明顯的空隙，這就使得同一層點(diǎn)云在空間上具有不連續(xù)性，可以就此特征利用局部點(diǎn)云的鄰接以及全局點(diǎn)云的非連續(xù)性，將每一層點(diǎn)云分別抽離出來(lái)進(jìn)行歐氏聚類(lèi)，并將重心作為骨架點(diǎn)。

歐氏聚類(lèi)是基于歐氏距離考量的聚類(lèi)方法，步驟如下：

在本文方法中，基于kdTree近鄰搜索加速歐氏聚類(lèi)過(guò)程。骨架點(diǎn)的提取整體均勻，并且有效提取了植物的莖稈部分。

2.3　骨架點(diǎn)的連接

對(duì)得到的骨架點(diǎn)云，需用正確的骨架連接將其組織成正確的骨架形態(tài)，基于植物生長(zhǎng)特性考量，采用Dijkstra路徑生長(zhǎng)的方式模擬植物的生長(zhǎng)過(guò)程，對(duì)骨架點(diǎn)云圖，將每個(gè)點(diǎn)云均設(shè)置為與臨近的個(gè)點(diǎn)相鄰，骨架點(diǎn)云連通圖隨的不同可能有1個(gè)或多個(gè)連通分量。具體步驟如下：

Step 1 設(shè)置點(diǎn)云圖的每個(gè)點(diǎn)與周邊最近的個(gè)點(diǎn)鄰接，以?xún)牲c(diǎn)之間歐氏距離為權(quán)重。

Step 2 從骨架點(diǎn)云圖的最低點(diǎn)開(kāi)始路徑生長(zhǎng)，生成主干骨架圖。

Step 3 對(duì)其他連通分量，基于后面2.3.3節(jié)的辦法進(jìn)行子圖子節(jié)點(diǎn)與主干圖主節(jié)點(diǎn)連接點(diǎn)的篩選及路徑生長(zhǎng)。

Step 4 連接子節(jié)點(diǎn)與主節(jié)點(diǎn)，算法結(jié)束。

2.3.1連通圖的生成

2.3.2主干圖的生成

并稱(chēng)生成的路徑為主干圖，生成的主干圖如圖5所示。

2.3.3子圖的生成及與主干圖的連接

生成主干圖后，由于其他連通分量的點(diǎn)與主干圖點(diǎn)云路徑不可達(dá)，所以不在主干圖的路徑上，此時(shí)，基于植物形態(tài)考量，其他連通分量通常為離主干較遠(yuǎn)的枝干，基于枝干的生長(zhǎng)方向通常也是從離主干較近的某個(gè)點(diǎn)開(kāi)始生長(zhǎng)這一自然現(xiàn)象，提出以下枝干生成策略：

時(shí)選定作為主干上的主節(jié)點(diǎn)，記點(diǎn)集中的任意一點(diǎn)為，計(jì)算到的歐氏距離Di，直線(xiàn)與的夾角，到點(diǎn)集中某一點(diǎn)的距離。

2.4　骨架三維可視化

得到完整的骨架點(diǎn)以及骨架連接關(guān)系后，利用pyvista三維可視化庫(kù)進(jìn)行骨架三維可視化。連接每段骨架，用圓柱類(lèi)代替骨架，基于大豆植株形態(tài)特征考量，賦予每段圓柱半徑參數(shù)，并在過(guò)渡處做平滑處理，最后隨機(jī)添加樹(shù)葉，完成三維可視化工作。

2.4.1骨架半徑設(shè)置

隨機(jī)添加樹(shù)葉，最終得到的pyvista三維可視化圖如圖7所示。

3　實(shí)驗(yàn)結(jié)果分析

3.1　骨架提取的均勻性分析

對(duì)2種不同骨架形態(tài)特征的植株進(jìn)行了實(shí)驗(yàn)，結(jié)果表明，本文方法提取骨架點(diǎn)的速度更快，骨架點(diǎn)分布更均勻，在噪聲較大的情況下，骨架提取質(zhì)量仍較好，見(jiàn)圖8。

圖8　點(diǎn)云骨架點(diǎn)提取

3.2骨架連接的正確性分析

對(duì)不同的植株骨架點(diǎn)進(jìn)行了骨架連接，結(jié)果表明，骨架連接正確性良好，對(duì)不同的植株，均能較好地完成連接和還原植株骨架形態(tài)，見(jiàn)圖9。

圖9　完整骨架連接

3.3　骨架點(diǎn)生成及骨架連接時(shí)間分析

對(duì)不同植株點(diǎn)云的分層和聚類(lèi)方法選擇及連接方式進(jìn)行了時(shí)間測(cè)試，實(shí)驗(yàn)表明，本文方法均能較快地對(duì)多植株點(diǎn)云數(shù)據(jù)進(jìn)行骨架點(diǎn)獲取和骨架連接。為方便實(shí)驗(yàn)對(duì)比，本文同時(shí)對(duì)2株大豆植株點(diǎn)云和1株較大的樹(shù)木點(diǎn)云骨架點(diǎn)獲取和連接時(shí)間進(jìn)行了實(shí)驗(yàn)（表1），結(jié)果表明，當(dāng)點(diǎn)云數(shù)較小時(shí)，聚類(lèi)和骨架點(diǎn)獲取的時(shí)間較長(zhǎng)，連接的時(shí)間較短，而當(dāng)點(diǎn)云數(shù)較大時(shí)，隨著骨架點(diǎn)的增多，近鄰搜索的時(shí)間隨之大幅增加，骨架點(diǎn)連接所需時(shí)間長(zhǎng)于骨架點(diǎn)獲取時(shí)間?？傮w而言，本文方法可對(duì)小型大豆植株進(jìn)行快速重建。

表1　植株點(diǎn)云重建耗時(shí)

3.4　魯棒性分析

受Kinect精度和植株枝葉茂盛影響，采集的點(diǎn)云數(shù)據(jù)噪聲和遮擋較多，以及因深度部分缺失導(dǎo)致點(diǎn)云部分缺失。針對(duì)以上問(wèn)題，本文通過(guò)去除離群點(diǎn)等處理，效果有較大提升，當(dāng)某個(gè)角度拍攝的植株有枝葉遮擋時(shí)，可通過(guò)旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)拍攝多幀圖片，經(jīng)點(diǎn)云配準(zhǔn)得到更完備的植株空間信息，并利用配準(zhǔn)后的點(diǎn)云再配準(zhǔn)。對(duì)枝葉更為稠密的點(diǎn)云，可增加聚類(lèi)參數(shù)，設(shè)置更多分層，避免丟失植物空間信息。由于本文方法依賴(lài)植株枝葉的空間間隔，因此，當(dāng)植物枝葉茂密且枝葉間幾乎無(wú)間隔時(shí)效果欠佳，對(duì)擴(kuò)散性生長(zhǎng)、具有明顯枝葉間隔的植物效果較好。

3.5　樹(shù)木骨架重建方法對(duì)比及適用性分析

本文將樹(shù)木骨架重建方法應(yīng)用于大豆植株點(diǎn)云，整體而言，擴(kuò)散性生長(zhǎng)的樹(shù)木骨架重建方法對(duì)大豆植株的重建有一定借鑒意義，但由于大小和生長(zhǎng)形態(tài)上的差異，且根部的營(yíng)養(yǎng)運(yùn)輸受高度影響，樹(shù)木的根部半徑和枝條半徑差異較大，故不能直接用樹(shù)木骨架重建方法處理大豆植株。

基于大豆植株的擴(kuò)散性生長(zhǎng)特點(diǎn)，本文直接將文獻(xiàn)［10］的樹(shù)木重建方法應(yīng)用于大豆植株點(diǎn)云（圖10），由圖10可知，植株根部十分粗大，末梢十分細(xì)小，失真度較高。同樣將該方法應(yīng)用于非大豆植株，實(shí)驗(yàn)結(jié)果表明，對(duì)形態(tài)相似的外擴(kuò)生長(zhǎng)的植物具有一定的參考意義。

圖10　樹(shù)木重建方法應(yīng)用于大豆植株點(diǎn)云

而將本文方法應(yīng)用于非大豆植株時(shí)，實(shí)驗(yàn)結(jié)果表明，本文方法對(duì)形態(tài)相似的外擴(kuò)生長(zhǎng)的植物具有一定參考意義。圖11為應(yīng)用本文方法時(shí)一棵樹(shù)的骨架點(diǎn)提取，圖12為其骨架連接，可見(jiàn)其骨架點(diǎn)提取均勻，骨架連接基本與樹(shù)木形態(tài)吻合。

圖11　樹(shù)木點(diǎn)云骨架點(diǎn)提取

圖12　樹(shù)木點(diǎn)云骨架連接

4　結(jié)語(yǔ)

在植物表型鑒定中，研究植株的形態(tài)結(jié)構(gòu)對(duì)研究植物的生長(zhǎng)發(fā)育規(guī)律和培育育種有重要意義，植物的形態(tài)結(jié)構(gòu)可分為幾何結(jié)構(gòu)和拓?fù)浣Y(jié)構(gòu)，骨架是對(duì)表型結(jié)構(gòu)特征的簡(jiǎn)明表示，有助于描述形狀和三維物體的基本拓?fù)浣Y(jié)構(gòu)。

基于大豆植株的點(diǎn)云，以歐氏距離為度量，用空間區(qū)分層次的方法對(duì)植株進(jìn)行點(diǎn)云分層，并以歐氏聚類(lèi)的中心點(diǎn)為骨架點(diǎn)，根據(jù)大豆植株的生長(zhǎng)特性設(shè)計(jì)算法，進(jìn)行骨架連接，最后根據(jù)大豆植株的特點(diǎn)設(shè)置參數(shù)，三維可視化具有結(jié)構(gòu)真實(shí)感的植株模型，將其用于植株的精確表型鑒定。在方法的普適性和魯棒性上仍有提升空間，未來(lái)工作將聚焦于以下四方面：

4.1 由于Kinect的精度問(wèn)題，配準(zhǔn)后的植株仍有較多的噪聲點(diǎn)，當(dāng)枝干過(guò)于稠密或遮擋較多時(shí)，基于空間歐氏距離的分層聚類(lèi)方法，將對(duì)最終的配準(zhǔn)精度造成很大影響，需繼續(xù)研究如何去噪。

4.2 植株點(diǎn)云骨架點(diǎn)提取，對(duì)枝干較為復(fù)雜的大豆植株，如果分層較少，則不能很好地還原植株真實(shí)拓?fù)浣Y(jié)構(gòu)，分層過(guò)多則算法運(yùn)行時(shí)間增加，且稠密的骨架點(diǎn)易產(chǎn)生錯(cuò)誤連接，影響植株的真實(shí)感，對(duì)大豆植株形態(tài)的復(fù)雜性進(jìn)行度量并自動(dòng)分層是今后新的努力方向。

4.3 數(shù)據(jù)集聚類(lèi)自適應(yīng)尺度問(wèn)題。若要將本方法應(yīng)用于不同植物，則需要重新設(shè)置歐氏聚類(lèi)的搜索半徑和最小聚類(lèi)，操作較煩瑣，如能找到一種自適應(yīng)尺度的聚類(lèi)方法，則可能具有更好的泛化性。

4.4 參數(shù)化重建。本文可抽象出幾個(gè)重點(diǎn)參數(shù)進(jìn)行植物重建，如分層數(shù)、近鄰搜索設(shè)置的值、歐氏聚類(lèi)的搜索參數(shù)鄰域半徑等，其中分層數(shù)的增加會(huì)增加植物骨架的細(xì)節(jié)，增加算法運(yùn)行復(fù)雜度，近鄰搜索的值，需權(quán)衡植物點(diǎn)云局部連接的正確性和全局連通性，歐氏聚類(lèi)則取決于重建植物的尺度。

［1］BLUM H. Biological shape and visual science （Part I）［J］. Journal of Theoretical Biology， 1973， 38（2）： 205-287. DOI： 10.1016/0022-5193（73）90175-6

［2］CAO J， TAGLIASACCHI A， OLSON M， et al. Point cloud skeletons via laplacian based contraction［C］//2010 Shape Modeling International Conference. Piscataway： IEEE， 2010： 187-197. DOI： 10.1109/SMI.2010.25.

［3］DEY T K， ZHAO W L. Approximating the medial axis from the Voronoi diagram with a convergence guarantee［J］. Algorithmica， 2004， 38（1）： 179-200. DOI： 10.1007/s00453-003-1049-y

［4］SHINAGAWA Y， KUNII T L. Constructing a Reeb graph automatically from cross sections［J］. IEEE Computer Graphics and Applications， 1991 （6）： 44-51. DOI： 10.1109/38.103393.

［5］HUANG H， WU S H， COHEN-OR D， et al.1-medial skeleton of point cloud［J］. ACM Transactions on Graphic，2013， 32（4）：65. DOI： 10.1145/2461912. 2461913.

［6］SHARF A， LEWINER T， SHAMIR A， et al. On the fly curve skeleton computation for 3D shapes［J］. Computer Graphics Forum， 2007， 26（3）： 323-328. DOI： 10.1111/j.1467-8659.2007.01054.x

［7］NIBLACK C W， GIBBONS P B， CAPSON D W. Generating skeletons and centerlines from the distance transform［J］. CVGIP： Graphical Models and Image Processing， 1992， 54（5）： 420-437. DOI： 10.1016/1049-9652（92）90026-T

［8］WU F C， MA W C， LIOU P C， et al. Skeleton extraction of 3D objects with visible repulsive force［C］//KOBBELT L，SCHEDER P，HOPDE H.Eurographics Symposium on Geometry Processing. New York： ACM Press， 2003.

［9］LIVNY Y， YAN F， OLSON M， et al. Automatic reconstruction of tree skeletal structures from point clouds［J］. ACM Transaction of Graphics， 2010， 29（6）：151. DOI： 10.1145/1866158.1866177

［10］DU S L， LINDENBERGH R， LEDOUX H， et al. AdTree： Accurate， detailed， and automatic modelling of laser-scanned trees［J］. Remote Sensing， 2019， 11（18）： 2074. DOI： 10.3390/rs11182074

［11］BREMER M， RUTZINGER M， WICHMANN V. Derivation of tree skeletons and error assessment using LiDAR point cloud data of varying quality［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2013， 80： 39-50. DOI： 10.1016/j.isprsjprs. 2013.03.003

［12］張?zhí)彀?，云挺，薛?lián)鳳，等. 基于骨架提取的樹(shù)木主枝干三維重建算法［J］. 南京師范大學(xué)學(xué)報(bào)（工程技術(shù)版）， 2014， 14（4）： 51-57. DOI： 10.3969/j.issn. 1672-1292.2014.04.009

ZHANG T A， YUN T， XUE L F， et al. Three-Dimensional reconstruction algorithm of tree limbs based on skeleton extraction［J］. Journal of Nanjing Normal University （Engineering and Technology Edition）， 2014， 14（4）： 51-57. DOI： 10.3969/j.issn. 1672-1292.2014.04.009

［13］PFEIFER N， WINTERHALDER D. Modelling of tree cross sections from terrestrial laser scanning data with free-form curves［C］//International Archives of Photogrammetry， Remote Sensing and Spatial Information Sciences. Nice： ISPRS， 2004： 76-81.

［14］RUTZINGER M， PRATIHAST A K， OUDE ELBERINK S， et al. Detection and modelling of 3D trees from mobile laser scanning data［C］//International Archives of Photogrammetry， Remote Sensing and Spatial Information Sciences. Nice： ISPRS， 2010： 520-525.

［15］TEOBALDELLI M， PUIG A D， ZENONE T， et al. Building a topological and geometrical model of poplar tree using portable on-ground scanning LIDAR［J］. Functional Plant Biology， 2008， 35（10）： 1080-1090. DOI： 10.1071/FP08053.

［16］XU H， GOSSETT N， CHEN B Q. Knowledge and heuristic-based modeling of laser-scanned trees［J］. ACM Transactions on Graphics， 2007， 26（4）： 19-es. DOI： 10.1145/1289603.1289610

［17］BUCKSCH A， LINDENBERGH R. CAMPINO： A skeletonization method for point cloud processing［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2008， 63（1）： 115-127. DOI： 10. 1016/j.isprsjprs.2007.10.004

［18］鐘南，羅錫文，秦琴. 基于生長(zhǎng)函數(shù)的大豆根系生長(zhǎng)的三維可視化模擬［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2008， 24（7）： 151-154. DOI： 10.3321/j.issn：1002-6819. 2008.07.031

ZHONG N， LUO X W， QIN Q. Modeling and visualization of three-dimensional soybean root system growth based on growth functions［J］. Transactions of the Chinese Society of Agricultural Engineering， 2008， 24（7）： 151-154. DOI： 10.3321/j.issn：1002-6819.2008.07.031

［19］劉閣，周?chē)?guó)民，胡林. 基于 L 系統(tǒng)的開(kāi)心形蘋(píng)果樹(shù)枝干模型［J］. 安徽農(nóng)業(yè)科學(xué)， 2009， 37（16）： 7795-7796， 7804. DOI： 10.3969/j.issn.0517-6611.2009. 16.191

LIU G， ZHOU G M， HU L. Trunk and branch model of open-center apple tree based on the L system［J］. Journal of Anhui Agricultural Sciences， 2009， 37（16）： 7795-7796， 7804. DOI： 10.3969/j.issn.0517-6611.2009.16.191

［20］陳動(dòng)，張振鑫，王臻，等. 骨架優(yōu)化下的地面激光樹(shù)木點(diǎn)云重建方法［J］. 地球信息科學(xué)學(xué)報(bào)， 2019， 21（2）： 236-248. DOI：10.12082/dqxxkx.2019.180223

CHEN D， ZHANG Z X， WANG Z， et al. Individual tree modeling from terrestrial laser scanning point clouds via skeleton-based optimization［J］. Journal of Geo-Information Science， 2019， 21（2）： 236-248. DOI：10.12082/dqxxkx.2019.180223

Rapid 3D reconstruction of bean plant for accurate phenotype identification

FU Rujia1, XIAN Chuhua1, LI Guiqing1, WAN Juanjie2, CAO Cheng2, YANG Cunyi2, GAO Yuefang2

(1,,510006,;2,,510640,)

Using computer vision and image technology to digitally reconstruct plants is an important means for plant phenotyping. In this paper, we take the common grain crop legume plants in China as the research object, study the rapid three-dimensional digital reconstruction of the bean plants based on the depth images collected by the RGB-D depth camera for accurate phenotype identification. Firstly, the skeleton points are extracted from the point cloud of bean plant by employing a hierarchical clustering algorithm. Secondly, the backbone skeleton points of the first stage are connected according to the shortest distance of each skeleton point to the root node. According to the morphological characteristics, the connection points of the subgraph and the backbone graph are filtered out and the path growth of the subgraph is performed. Finally, the 3D plant model is reconstructed based on the connected skeleton. Experiments show that, under a single frame and registration data of multiple real soybean plants point cloud, the method of this article can carry out rapid three-dimensional reconstruction of the soybean plants with different morphological characteristics, and it is robust for situations such as low resolution, large noise interference, and large registration error.

plant phenotyping; plant 3D reconstruction; skeleton extraction; plant modeling

10.3785/j.issn.1008-9497.2021.05.002

TP 391.41

A

1008?9497（2021）05?531?09

2020?12?08.

廣東省自然科學(xué)基金資助項(xiàng)目（2021A1515011849，2019A1515011793）；中央高?；究蒲袠I(yè)務(wù)費(fèi)項(xiàng)目（2020ZYGXZR042）；國(guó)家自然科學(xué)基金項(xiàng)目（51978271）.

傅汝佳（1996—），ORCID：https：//orcid.org/0000-0003-4088-2805，男，碩士研究生，主要從事計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)研究，E-mail：964219224@qq.com.