陳海波，劉圣搏，王樂樂，王朝鋒，向星嵐，趙英杰，蘭玉彬

基于Kinect V3的單株作物自動(dòng)化三維重建與驗(yàn)證

陳海波1,4，劉圣搏2,4，王樂樂2,4，王朝鋒2,4，向星嵐3，趙英杰2,4，蘭玉彬2,4※

（1. 華南農(nóng)業(yè)大學(xué)基礎(chǔ)實(shí)驗(yàn)與實(shí)踐訓(xùn)練中心，廣州 510642；2. 華南農(nóng)業(yè)大學(xué)電子工程學(xué)院（人工智能學(xué)院），廣州 510642；3. 華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣州 510642；4. 國(guó)家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國(guó)際聯(lián)合研究中心，廣州 510642）

為高效、精確地對(duì)單株作物進(jìn)行三維重建，以點(diǎn)云方式無損測(cè)量作物表型信息，該研究提出一種基于Kinect V3深度相機(jī)的三維重建系統(tǒng)。使用步進(jìn)電機(jī)搭建了一個(gè)旋轉(zhuǎn)臺(tái)，并將旋轉(zhuǎn)臺(tái)面設(shè)計(jì)成多顏色同心圓，利用同心圓計(jì)算平面法向量及圓心兩特征信息，用于點(diǎn)云水平校準(zhǔn)以及獲取點(diǎn)云間的旋轉(zhuǎn)平移矩陣；將Kinect V3采集的多視角點(diǎn)云變換到同一坐標(biāo)系下，并結(jié)合裁剪迭代最近點(diǎn)（Trimmed Iterative Closest Point，TrICP）算法實(shí)現(xiàn)了多視角點(diǎn)云的粗配準(zhǔn)與精配準(zhǔn)，完成了作物三維重建。為檢驗(yàn)該研究的三維重建效果，選取菜心、黃瓜苗為試驗(yàn)對(duì)象，與多視圖立體視覺-運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（Multi-View Stereo and Structure From Motion，MVS-SFM）算法重建點(diǎn)云進(jìn)行對(duì)比，并提取葉面積參數(shù)與人工測(cè)量值進(jìn)行比較。結(jié)果表明，兩種方法下重建后的菜心點(diǎn)云間平均距離誤差為0.59 cm，黃瓜苗點(diǎn)云間平均距離誤差為0.67 cm，具有較高的相似度，而相較于MVS-SFM算法，該研究提出的方法的重建速度提高了約90%；該研究提出的方法所重建點(diǎn)云，菜心葉面積提取與標(biāo)準(zhǔn)參考值相對(duì)誤差均值為5.88%，均方根誤差為3.83 cm2，黃瓜苗葉面積提取與標(biāo)準(zhǔn)參考值相對(duì)誤差均值別為6.50%，均方根誤差為2.08 cm2，都顯現(xiàn)出較高的準(zhǔn)確性。該研究提出的方法能對(duì)單株作物進(jìn)行快速三維重建，能有效提取葉面積參數(shù)，可為作物育種、栽培和農(nóng)業(yè)生產(chǎn)提供高效技術(shù)手段和數(shù)據(jù)支持。

作物；三維重建；點(diǎn)云配準(zhǔn)；葉面積；旋轉(zhuǎn)臺(tái)特征；Kinect V3

0 引 言

利用計(jì)算機(jī)視覺技術(shù)對(duì)植物進(jìn)行快速三維重建，獲取作物的形態(tài)結(jié)構(gòu)，并進(jìn)行表型參數(shù)高通量無損測(cè)量是植物表型組學(xué)當(dāng)前的熱點(diǎn)研究?jī)?nèi)容之一，不但可以為基礎(chǔ)研究服務(wù)，還可為作物育種、栽培和農(nóng)業(yè)生產(chǎn)等應(yīng)用研究提供理論基礎(chǔ)和高效技術(shù)手段[1-3]。

基于三維點(diǎn)云來獲取植物表型參數(shù)的方法[4-6]，不僅可以避免傳統(tǒng)人工測(cè)量對(duì)植物造成的損傷，還可以避免二維圖像方法上由于葉片之間的遮擋、葉片的卷曲等所導(dǎo)致的測(cè)量誤差。運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（Structure From Motion，SFM）算法是植物表型領(lǐng)域中常用的被動(dòng)三維重建技術(shù)，已被廣泛證明適用于植物表型參數(shù)提取[7-9]。Hui等[10]利用MVS-SFM算法重建作物點(diǎn)云并與激光掃描儀重建點(diǎn)云進(jìn)行對(duì)比，驗(yàn)證了兩種方法重建點(diǎn)云有較高的相似度。陳輝等[11]利用MVS-SFM算法對(duì)多種植物進(jìn)行三維重建，并基于Delaunay三角網(wǎng)格剖分計(jì)算葉面積，其平均相對(duì)誤差為6.25%；蘇寶峰等[12]利用SFM算法對(duì)赤霞珠葡萄植株進(jìn)行三維重建，并利用滾球算法重建葉片表面計(jì)算葉面積，其平均相對(duì)誤差為4.67%。此方法僅需要一個(gè)低成本的RGB相機(jī)，圍繞著植物拍攝多視角圖片即可重建出植物的三維點(diǎn)云，但計(jì)算量大，稠密重建需要消耗大量的時(shí)間，不適用于大規(guī)模且要求實(shí)時(shí)性的表型信息提取，因此高效精確的點(diǎn)云三維重建是首先要解決的問題之一。

近年來隨著科技的發(fā)展，利用激光雷達(dá)、雙目相機(jī)、基于飛行時(shí)間算法（Time of Flight，ToF）的深度相機(jī)等三維傳感器的主動(dòng)式三維重建已經(jīng)被廣泛用于植物表型信息提取[13-16]。重建過程通常包括數(shù)據(jù)采集、點(diǎn)云預(yù)處理、點(diǎn)云配準(zhǔn)及表面重建等一系列步驟，其中點(diǎn)云配準(zhǔn)是三維重建的核心步驟。陸健強(qiáng)等[17]利用標(biāo)定球?qū)⑷S激光掃描儀所獲取的多視角點(diǎn)云進(jìn)行初配準(zhǔn)，進(jìn)而使用迭代最近點(diǎn)（Iterative Closest Point，ICP）算法完成精確配準(zhǔn)，但采用作物固定、移動(dòng)三維傳感器的方式將不可避免地造成空間浪費(fèi)。激光掃描儀獲取的點(diǎn)云數(shù)據(jù)精度高、噪點(diǎn)少，但存在著價(jià)格昂貴的問題，且通常需要與額外的相機(jī)進(jìn)行標(biāo)定以獲取紋理信息。以Kinect V2為代表的低成本深度相機(jī)性價(jià)比高、性能穩(wěn)定，在植物三維重建領(lǐng)域獲得了推廣和應(yīng)用[18-21]。Sun等[22]利用Kinect V2結(jié)合特殊設(shè)計(jì)的高精度旋轉(zhuǎn)臺(tái)實(shí)現(xiàn)了多視角植物點(diǎn)云配準(zhǔn)，并與Eva手持三維掃描儀重建點(diǎn)云進(jìn)行對(duì)比，驗(yàn)證了兩方法下重建的點(diǎn)云有較高的相似度，并測(cè)量株高、冠層最大寬度等參數(shù)驗(yàn)證其精度；Hu等[23]利用Kinect V2結(jié)合高精度旋轉(zhuǎn)臺(tái)上的標(biāo)記點(diǎn)實(shí)現(xiàn)多視角點(diǎn)云配準(zhǔn)，通過采集18個(gè)視角的點(diǎn)云來提高重建精度，但重建耗時(shí)長(zhǎng)。以上研究受限于Kinect V2的性能，所采集的作物點(diǎn)云缺失細(xì)節(jié)信息與紋理信息，建模后適合提取如株高、冠層最大寬度等完整植株層面的表型參數(shù)，但無法獲取涉及紋理特征的表型參數(shù)。Kinect V3是微軟推出的深度傳感器，精度更高、抗干擾能力強(qiáng)[24]，比起其前代產(chǎn)品Kinect V2，分辨率更高且成像范圍更廣。

針對(duì)作物三維重建成本高、耗時(shí)長(zhǎng)與細(xì)節(jié)、紋理信息缺失等問題，該研究以菜心、黃瓜苗作為試驗(yàn)對(duì)象，設(shè)計(jì)了一種基于Kinect V3與旋轉(zhuǎn)臺(tái)的低成本單株作物自動(dòng)三維重建平臺(tái)，提出了一種基于旋轉(zhuǎn)臺(tái)面特征信息的三維重建方法，以實(shí)現(xiàn)單株作物的三維重建，為作物表型參數(shù)的準(zhǔn)確提取提供技術(shù)支持。

1 材料與方法

試驗(yàn)隨機(jī)選取8株菜心在（1～8號(hào)）與8株黃瓜苗（1～8號(hào)）兩種形態(tài)結(jié)構(gòu)復(fù)雜程度不同的作物作為研究對(duì)象，分別在移栽后的第25、35、45天（D25、D35、D45）進(jìn)行三維重建試驗(yàn)，該時(shí)間段處于葉片的生長(zhǎng)期，可以更好地關(guān)注葉片的重建效果。重建流程如圖1所示，分為旋轉(zhuǎn)平臺(tái)特征信息的提取和作物三維重建兩部分。調(diào)整Kinect V3位姿使作物與旋轉(zhuǎn)臺(tái)面都能夠在相機(jī)成像范圍內(nèi)，對(duì)空載旋轉(zhuǎn)臺(tái)每旋轉(zhuǎn)36°采集一次旋轉(zhuǎn)臺(tái)點(diǎn)云，共采集10視角旋轉(zhuǎn)臺(tái)點(diǎn)云，用于獲取旋轉(zhuǎn)臺(tái)的法向量與圓心特征信息；之后將目標(biāo)作物置于旋轉(zhuǎn)臺(tái)上，使用程序控制旋轉(zhuǎn)臺(tái)順時(shí)針轉(zhuǎn)動(dòng)，每隔預(yù)設(shè)角度采集一次原始點(diǎn)云，轉(zhuǎn)盤轉(zhuǎn)過360°后得到多視角原始點(diǎn)云，本試驗(yàn)預(yù)設(shè)旋轉(zhuǎn)角度為90°和60°兩種方案進(jìn)行對(duì)比，即分別采集4和6個(gè)視角點(diǎn)云，下文用V3-90與V3-60代替，其中V3代表選用Kinect V3相機(jī)進(jìn)行重建?；谛D(zhuǎn)臺(tái)法向量與圓心對(duì)原始點(diǎn)云進(jìn)行預(yù)處理與粗配準(zhǔn)，最后使用TrICP算法對(duì)多視角點(diǎn)云兩兩實(shí)現(xiàn)精配準(zhǔn)，并對(duì)完整作物點(diǎn)云進(jìn)行平滑處理以及統(tǒng)計(jì)濾波二次處理，優(yōu)化作物三維模型。

完成作物三維建模后，與MVS-SFM算法重建作物點(diǎn)云進(jìn)行對(duì)比，統(tǒng)計(jì)點(diǎn)云距離誤差，并基于點(diǎn)云計(jì)算葉面積，將之與真實(shí)測(cè)量值進(jìn)行對(duì)比以驗(yàn)證本研究三維重建方法的精度，同時(shí)基于本研究的重建方法使用Kinect V2相機(jī)，預(yù)設(shè)90°和60°兩種方案，下文用V2-90與V2-60代替，對(duì)同樣作物進(jìn)行三維重建進(jìn)行對(duì)比，進(jìn)一步分析Kinect V3在單株作物三維重建中的優(yōu)勢(shì)。

1.1 三維重建平臺(tái)

三維重建平臺(tái)如圖2a所示。該試驗(yàn)平臺(tái)包括Kinect V3以及基于步進(jìn)電機(jī)搭建的可控旋轉(zhuǎn)臺(tái)，旋轉(zhuǎn)臺(tái)的表面設(shè)計(jì)成黃、藍(lán)兩種顏色的同心圓，如圖2b中斜線與豎線填充部分所示，用于計(jì)算獲取旋轉(zhuǎn)平臺(tái)的平面法向量與圓心。可控旋轉(zhuǎn)臺(tái)可以結(jié)合Kinect V3根據(jù)預(yù)設(shè)角度獲取作物多視角點(diǎn)云，并通過本研究提出的重建方法變換到圖2a中所示以旋轉(zhuǎn)臺(tái)中心為原點(diǎn)的世界坐標(biāo)系下。

圖1 三維重建流程圖

a.示意圖a. Sketch mapb. 實(shí)物圖b. Physical map旋轉(zhuǎn)平臺(tái)表面The surface of the turntable

旋轉(zhuǎn)臺(tái)以STM32單片機(jī)作為控制器，TB6600作為電機(jī)驅(qū)動(dòng)器，編程實(shí)現(xiàn)兩相步進(jìn)電機(jī)轉(zhuǎn)動(dòng)角度的精準(zhǔn)控制，帶動(dòng)旋轉(zhuǎn)臺(tái)實(shí)現(xiàn)轉(zhuǎn)動(dòng)功能。其中，步進(jìn)電機(jī)的步距角為1.8°，電機(jī)驅(qū)動(dòng)器最高可以實(shí)現(xiàn)32細(xì)分，細(xì)分后重復(fù)定位精度可達(dá)0.056 25°，減少了手動(dòng)轉(zhuǎn)動(dòng)轉(zhuǎn)盤帶來的人為誤差。經(jīng)過試驗(yàn)將旋轉(zhuǎn)臺(tái)的轉(zhuǎn)速設(shè)為每圈36 s，可以帶動(dòng)作物平穩(wěn)轉(zhuǎn)動(dòng)。

Kinect V3具有彩色照相機(jī)和深度傳感器，該研究中彩色相機(jī)采用RGBA模式，分辨率為1 920×1 080（像素），深度信息采用寬視場(chǎng)（Wide Field of View，WFOV）非壓縮模式，分辨率為1 024×1 024（像素），幀率15幀/s，工作范圍為0.25～2.21 m。

數(shù)據(jù)采集與處理使用配備Intel core i5 10400處理器、32 GB內(nèi)存以及NVIDIA GeForce RTX 3060 12 G顯卡的圖形工作站，在Visual Studio 2019 編程環(huán)境下，使用Kinect V3驅(qū)動(dòng)程序Azure Kinect DK開發(fā)包、PCL（Point Cloud Library）點(diǎn)云庫(kù)、OpenCV庫(kù)、Open3D庫(kù)[25]，使用C/C++和python語言混合編程實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)采集和數(shù)據(jù)處理。

1.2 旋轉(zhuǎn)臺(tái)特征信息獲取

本研究所提出的重建方法需要獲取旋轉(zhuǎn)臺(tái)面的平面法向量以及旋轉(zhuǎn)臺(tái)圓心坐標(biāo)。首先根據(jù)顏色閾值分割方法將10組旋轉(zhuǎn)臺(tái)面的藍(lán)色點(diǎn)云與黃色點(diǎn)云分割出來，如圖3中斜線與豎線區(qū)域所示，其中斜線代表黃色點(diǎn)云，豎線代表藍(lán)色點(diǎn)云；接著使用隨機(jī)采樣一致性算法（Random Sample Consensus，RANSAC）平面檢測(cè)方法檢測(cè)出各圓所在平面方程，如式（1）所示。

式中平面所在坐標(biāo)系的系數(shù)即為第個(gè)圓的平面法向量v=（A, B, C），最終會(huì)獲取10組黃、藍(lán)同心圓共20個(gè)法向量信息，對(duì)3個(gè)系數(shù)分別求均值作為旋轉(zhuǎn)臺(tái)面法向量。在世界坐標(biāo)系中水平面的法向量是（0, 0, 1），通過矩陣運(yùn)算計(jì)算出旋轉(zhuǎn)平臺(tái)表面法向量變換到到世界坐標(biāo)系水平面法向量的水平校準(zhǔn)矩陣1。

將1應(yīng)用到分割后的黃、藍(lán)同心圓點(diǎn)云，使得旋轉(zhuǎn)臺(tái)面與世界坐標(biāo)系-平面保持平行，如圖3所示。對(duì)10組分割且水平校準(zhǔn)后的黃、藍(lán)同心圓，分別使用凸包檢測(cè)算法獲取其外圓輪廓點(diǎn)云，最后使用RANSAC圓擬合算法求解出10組同心圓共20個(gè)外圓輪廓點(diǎn)云的圓心坐標(biāo)w，進(jìn)行均值計(jì)算作為旋轉(zhuǎn)臺(tái)面的圓心=（,），其中、為旋轉(zhuǎn)臺(tái)面圓心處于世界坐標(biāo)系中的坐標(biāo)，用于計(jì)算點(diǎn)云粗配準(zhǔn)的旋轉(zhuǎn)平移矩陣。完成上述特征信息獲取即可開始作物三維重建。

注：ijk表示旋轉(zhuǎn)臺(tái)面所在坐標(biāo)系，v、w表示旋轉(zhuǎn)臺(tái)面法向量和中心。

針對(duì)旋轉(zhuǎn)臺(tái)特征參數(shù)的提取效果，該研究計(jì)算同次特征信息獲取的20個(gè)法向量間的夾角分析旋轉(zhuǎn)臺(tái)面法向量特征計(jì)算穩(wěn)定程度，并將提取的旋轉(zhuǎn)臺(tái)面圓心坐標(biāo)與cloudcompare軟件中自帶的尋找中心功能求取圓心進(jìn)行對(duì)比，分析圓心特征計(jì)算準(zhǔn)確度。

1.3 數(shù)據(jù)獲取與預(yù)處理

通過微軟公司推出的Kinect V3配套SDK（Software Development Kit）可編程實(shí)現(xiàn)將深度圖像和彩色圖像進(jìn)行像素點(diǎn)匹配，從而獲得三維彩色點(diǎn)云。以V3-90方案中D25-2號(hào)菜心為例，所采集的原始點(diǎn)云如圖4所示。

a.0°視角點(diǎn)云a. 0°view anglespoint cloudb. 90°視角點(diǎn)云b. 90°view anglespoint cloudc. 180°視角點(diǎn)云c. 180°view anglespoint cloudd. 270°視角點(diǎn)云d. 270°view anglespoint cloud

使用深度相機(jī)獲取點(diǎn)云數(shù)據(jù)不可避免地會(huì)存在一定的噪聲以及背景等無關(guān)點(diǎn)云，導(dǎo)致采集得到的點(diǎn)云數(shù)據(jù)量大。為了減少后續(xù)步驟的計(jì)算量，提高重建速度，首先需對(duì)點(diǎn)云進(jìn)行預(yù)處理以獲取目標(biāo)植株點(diǎn)云。

1.4 多視角點(diǎn)云配準(zhǔn)

1.4.1 點(diǎn)云粗配準(zhǔn)

式中T表示將旋轉(zhuǎn)臺(tái)中心移動(dòng)到圓心坐標(biāo)=（,）的平移矩陣，R表示第片點(diǎn)云繞旋轉(zhuǎn)臺(tái)中心的旋轉(zhuǎn)矩陣。

1.4.2 點(diǎn)云精配準(zhǔn)

Chetverikov等[26]提出的TrICP算法可以通過預(yù)設(shè)兩片點(diǎn)云間的重疊度作為參考值實(shí)現(xiàn)點(diǎn)云配準(zhǔn)，有效避免了經(jīng)典ICP算法由于點(diǎn)云的非重疊部分的點(diǎn)所造成的誤差，適用于部分重疊且初始位姿良好的點(diǎn)云配準(zhǔn)。假設(shè)經(jīng)過粗配準(zhǔn)的兩片點(diǎn)云A、B，其點(diǎn)云數(shù)量分別為A、B，其中待配準(zhǔn)點(diǎn)云A有一個(gè)個(gè)數(shù)為·N的點(diǎn)集合，在滿足距離閾值的前提下其都能在目標(biāo)點(diǎn)云B中找到正確對(duì)應(yīng)點(diǎn)，則為點(diǎn)云重疊度。對(duì)于經(jīng)過粗配準(zhǔn)且已知重疊度的兩片點(diǎn)云，使用表示迭代次數(shù)，則基于TrICP的點(diǎn)云精配準(zhǔn)步驟如下：1）若迭代次數(shù)小于預(yù)設(shè)值max，對(duì)待配準(zhǔn)點(diǎn)云A中的所有點(diǎn)A查找其在目標(biāo)點(diǎn)云B中的最近鄰點(diǎn)B，并計(jì)算其距離平方d2；2）對(duì)所有d2進(jìn)行排序，保留最小的前個(gè)點(diǎn)對(duì)（預(yù)設(shè)重疊個(gè)數(shù)）作為本次迭代的點(diǎn)集合，并計(jì)算點(diǎn)對(duì)之間的距離均方誤差d；3）通過奇異值分解法（SingularValueDecomposition，SVD）求解旋轉(zhuǎn)平移矩陣（R，T），用求得的矩陣對(duì)待配準(zhǔn)點(diǎn)云A進(jìn)行變換得到新點(diǎn)云A；4）若點(diǎn)對(duì)距離均方誤差小于給定閾值或兩次迭代距離均方誤差絕對(duì)差值足夠小時(shí)停止迭代，否則轉(zhuǎn)到步驟1）。

該研究預(yù)設(shè)90°與60°兩種采集方案，理論上所對(duì)應(yīng)的TrICP重疊率應(yīng)設(shè)為50%與66%，每一視角點(diǎn)云以其前一視角點(diǎn)云作為參考，在粗配準(zhǔn)后點(diǎn)云初始位姿良好的基礎(chǔ)上使用TrICP算法實(shí)現(xiàn)多視角點(diǎn)云全局精配準(zhǔn)。

1.5 點(diǎn)云二次處理

經(jīng)過上述方法進(jìn)行全局配準(zhǔn)之后的作物點(diǎn)云，因?yàn)樯疃认鄼C(jī)的系統(tǒng)誤差、配準(zhǔn)算法的誤差及葉片之間的遮擋導(dǎo)致最后重建的植株點(diǎn)云表面較為粗糙且出現(xiàn)葉片殘缺、分層現(xiàn)象。本研究還將進(jìn)一步使用移動(dòng)最小二乘法[27]對(duì)點(diǎn)云曲面進(jìn)行平滑處理優(yōu)化三維重建效果，從而提高后續(xù)表型參數(shù)信息提取的精度。

1.6 重建效果評(píng)價(jià)指標(biāo)

為了檢驗(yàn)本研究提出的三維重建方法效果，與基于MVS-SFM算法的VisualSFM三維重建軟件[28]從效率、重建點(diǎn)云密度、精度以及相似程度等多因素進(jìn)行比較。不同方法重建的點(diǎn)云尺度不一，且處于不同坐標(biāo)系中，因此首先需要進(jìn)行尺度恢復(fù)，并將不同重建方案的點(diǎn)云變換到同一坐標(biāo)系下，使之高度重疊。統(tǒng)計(jì)本研究重建方法所重建點(diǎn)云與參照組之間對(duì)應(yīng)點(diǎn)的距離分布，并以均方根誤差（Root Mean Square Error，RMSE）量化分析重建相似度，RMSE越小，代表點(diǎn)云越相似。

為進(jìn)一步分析本研究方法的重建效果，于D45重建試驗(yàn)中，針對(duì)分割后的單葉片葉片點(diǎn)云使用Delaunay 2.5D三角網(wǎng)格化算法進(jìn)行葉片表面重建，并使用拉普拉斯平滑對(duì)葉片進(jìn)行平滑處理，基于葉片三角網(wǎng)格近似測(cè)量葉面積，并使用萬深LA-S系列葉面積儀對(duì)葉片進(jìn)行離體人工測(cè)量葉面積作為參考值，驗(yàn)證三維重建的準(zhǔn)確度。在計(jì)算出葉面積后，統(tǒng)計(jì)單葉片點(diǎn)云數(shù)量NP葉片點(diǎn)云密度（個(gè)/cm2），量化分析葉片重建效果。

2 結(jié)果與分析

2.1 旋轉(zhuǎn)臺(tái)特征參數(shù)提取分析

本研究共進(jìn)行了10次旋轉(zhuǎn)臺(tái)特征參數(shù)提取分析試驗(yàn)。試驗(yàn)結(jié)果表明同一次法向量特征參數(shù)提取的20個(gè)同心圓法向量間夾角均小于0.1°，具有穩(wěn)定性，可以用于對(duì)點(diǎn)云進(jìn)行水平校準(zhǔn)；進(jìn)一步將所提取的旋轉(zhuǎn)臺(tái)面圓心坐標(biāo)與cloudcompare軟件中自帶的尋找中心功能求取圓心進(jìn)行對(duì)比，結(jié)果顯示，同一次圓心計(jì)算中，20個(gè)同心圓圓心與其均值圓心的平均點(diǎn)位距離誤差均值為0.28 cm，求解之后的均值圓心與cloudcompare軟件上所尋求的圓心平均點(diǎn)位距離誤差均值為0.27cm，具有一定的準(zhǔn)確性，可用于粗配準(zhǔn)中作為多視角點(diǎn)云旋轉(zhuǎn)中心。

2.2 點(diǎn)云預(yù)處理結(jié)果

以V3-90方案中D25-2號(hào)菜心0°視角原始點(diǎn)云為例，如圖5a所示，其中帶有真實(shí)色彩的點(diǎn)云為未經(jīng)過水平校準(zhǔn)的原始點(diǎn)云，可以明顯地看到其與坐標(biāo)系存在傾斜角度，經(jīng)水平校準(zhǔn)后的點(diǎn)云如圖5a中藍(lán)色部分所示，可以看出旋轉(zhuǎn)臺(tái)面部分點(diǎn)云與世界坐標(biāo)系-平面平行；使用統(tǒng)計(jì)濾波后的效果如圖5b所示，其中紅色點(diǎn)為所計(jì)算出來的噪點(diǎn)，可以明顯看出噪聲被合理濾除，所留下的葉片點(diǎn)云邊緣更加分明，點(diǎn)云數(shù)量減少約15%。

a.水平校準(zhǔn)效果a.The effect of horizontal correctionb.統(tǒng)計(jì)濾波效果b. The effect of statistical filtering

2.3 配準(zhǔn)結(jié)果及誤差分析

圖6所示為V3-90方案中D25-2號(hào)菜心其中兩片相鄰視角點(diǎn)云配準(zhǔn)效果。

a.粗配準(zhǔn)效果a.Effects of coarse registration b.統(tǒng)精配準(zhǔn)效果b. Effects of precise registration

對(duì)比發(fā)現(xiàn)，粗配準(zhǔn)的點(diǎn)云存在分層、錯(cuò)位現(xiàn)象，而精配準(zhǔn)后的點(diǎn)云在相同部位葉片重合度有所提高。統(tǒng)計(jì)每次試驗(yàn)中兩兩相鄰視角點(diǎn)云的距離均方根誤差以量化分析精配準(zhǔn)前后的配準(zhǔn)誤差。結(jié)果顯示，V3-90方案中兩相鄰視角點(diǎn)云粗配準(zhǔn)后的配準(zhǔn)誤差均值為3.84cm，精配準(zhǔn)后配準(zhǔn)誤差均值為2.75cm；V3-60方案中兩相鄰視角點(diǎn)云粗配準(zhǔn)后的配準(zhǔn)誤差均值為2.76cm，精配準(zhǔn)后配準(zhǔn)誤差均值為1.7 cm，對(duì)比可以看出精配準(zhǔn)后誤差有所下降，且初始重疊度越高配準(zhǔn)誤差越?。╒3-60方案配準(zhǔn)效果優(yōu)于V3-90方案配準(zhǔn)效果）。

2.4 重建結(jié)果及誤差分析

不同方案下的完整重建效果如圖7所示。對(duì)比V3和V2方案重建效果可以明顯看出V3重建后單株作物的點(diǎn)云保留了更多細(xì)節(jié)及紋理信息。V2的深度檢測(cè)范圍為0.5 ～4.5 m，深度分辨率為512×424（像素），而V3在WFOV非壓縮模式下深度檢測(cè)范圍為0.25～2.21 m，分辨率為1 024×1 024（像素），可以更關(guān)注于目標(biāo)作物而非背景等冗余信息，獲取更多的作物細(xì)節(jié)；對(duì)比90°與60°方案可以看出60°方案下重建的作物更完整，而在90°重建方案中出現(xiàn)了點(diǎn)云缺失的情況，這一現(xiàn)象在V2上更為明顯。綜上，在本試驗(yàn)中優(yōu)選V3-60方案作為作物的重建方案。

注：V3、V2分別代表利用Kinect V3和Kinect V2相機(jī)采集。-60、-90分別代表預(yù)設(shè)旋轉(zhuǎn)角度60°和90°。MVS-SFM代表使用MVS-SFM算法所重建的點(diǎn)云。下同。

圖8進(jìn)一步展示了部分V3-60方案下重建的菜心與黃瓜苗點(diǎn)云，從中可以看出Kinect V3在本研究提出的方法下重建的作物點(diǎn)云可以保留部分清晰的紋理與細(xì)節(jié)，但有的葉片紋理則顯得模糊，這一現(xiàn)象黃瓜苗比菜心更加明顯，而圖7中MVS-SFM方案下重建的點(diǎn)云紋理清晰且邊界分明。分析得出該研究使用作物旋轉(zhuǎn)的方式獲取多視角點(diǎn)云，基于拼接的方式進(jìn)行重建，而旋轉(zhuǎn)過程中難免出現(xiàn)作物晃動(dòng)現(xiàn)象，導(dǎo)致重建后的葉片出現(xiàn)分層的現(xiàn)象，造成部分葉片紋理細(xì)節(jié)因點(diǎn)云堆疊而模糊，黃瓜苗莖細(xì)且長(zhǎng)晃動(dòng)幅度更大因此該現(xiàn)象更加明顯，而MVS-SFM本身更關(guān)注圖像的紋理特征，因此有更好的紋理細(xì)節(jié)信息。

圖8 V3-60方案部分重建效果

對(duì)3個(gè)時(shí)期的8株菜心和8株黃瓜苗在不同方案下重建的共48組點(diǎn)云數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，平均重建時(shí)間、重建后單株作物點(diǎn)云數(shù)量均值、以及重建后單株作物點(diǎn)云與參照組點(diǎn)云的平均點(diǎn)對(duì)距離均方根誤差如表1所示，Kinect V3比Kinect V2所重建的作物點(diǎn)云數(shù)量更接近MVS-SFM方案下重建的作物點(diǎn)云，進(jìn)一步表明Kinect V3可以獲取更多的作物細(xì)節(jié)。

表1 本研究提出的方法與MVS-SFM算法重建對(duì)比

注：為平均重建時(shí)間；平均重建點(diǎn)云數(shù)量；RMSEds為平均點(diǎn)對(duì)距離均方根誤差。

Note:is average time of reconstruction;is average number of reconstructed point clouds; RMSEdsis average root mean square error of distances sets.

V3-60方案重建的菜心點(diǎn)云與MVS-SFM算法重建的點(diǎn)云點(diǎn)對(duì)距離均方根誤差為0.59 cm，其中64.45%點(diǎn)對(duì)距離誤差小于0.5 cm，90.63%點(diǎn)對(duì)距離誤差小于1cm，黃瓜苗則為0.67cm，其中60.09%點(diǎn)對(duì)距離誤差小于0.5 cm，85.45%點(diǎn)對(duì)距離誤差小于1 cm，相較于V2方案，均表現(xiàn)出了較高的相似性；而該研究提出的方法平均單株重建速度相較于MVS-SFM算法提升了約90%，更具有工程價(jià)值。

圖9展示了部分V3-60方案重建點(diǎn)云與MVS-SFM重建點(diǎn)云間的距離分布，其距離均方根誤差分別為0.58、0.56、0.79 cm，可以看出大體上兩種方法重建點(diǎn)云接近一致，說明本研究重建方法所重建點(diǎn)云與MVS-SFM所重建點(diǎn)云具有較高的相似性。

a. D25-2號(hào)菜心a. D25-2 flowering Chinese cabbageb. D45-2號(hào)菜心b. D45-2 flowering Chinese cabbagec. D35-1號(hào)黃瓜苗c. D35-1 cucumber seedlings

2.5 葉面積提取結(jié)果與誤差分析

在D45重建試驗(yàn)中，對(duì)葉片進(jìn)行離體測(cè)量葉面積，剔除小葉片以及建模過程中丟失點(diǎn)云的葉片，最終統(tǒng)計(jì)計(jì)算31片菜心葉片葉面積與47片黃瓜苗葉片的葉面積以及葉片點(diǎn)云密度。不同方案下重建的單葉片平均點(diǎn)云密度、在本研究提出的方法下測(cè)量的葉面積平均絕對(duì)誤差、葉面積平均相對(duì)誤差及葉面積均方根誤差如表2所示。

表2 單葉片重建效果分析

注：為平均點(diǎn)云密度；AE為平均絕對(duì)誤差；RE為平均相對(duì)誤差；RMSE為均方根誤差。

Note:average density of point cloud; AE is average absolute error; RE is average relative error; RMSE is root mean square error.

從表2中可以看出，V2方案下重建的葉片點(diǎn)云密度低于V3方案與MVS-SFM方案。高密度的點(diǎn)云在葉片表面重建過程中可以更好地?cái)M合葉片曲面，從而增加細(xì)節(jié)，提高葉面積計(jì)算精度，因此相較于V2方案，V3方案與MVS-SFM方案提取的葉面積更為接近真實(shí)測(cè)量葉面積，誤差更??；由于菜心葉片彎曲程度大，空間結(jié)構(gòu)較為復(fù)雜，而黃瓜苗葉片平整，空間結(jié)構(gòu)較為簡(jiǎn)單，本研究所使用的萬深LA-S系列葉面積儀需要將葉片展平，基于葉片二維圖像計(jì)算葉面積，測(cè)量方法上本身丟失了三維上的空間結(jié)構(gòu)信息，在對(duì)菜心葉面積進(jìn)行真實(shí)測(cè)量的過程中可能由于操作不當(dāng)（未能完全展平）導(dǎo)致葉面積標(biāo)準(zhǔn)參考值本身具有誤差，因此菜心的葉面積誤差略大于黃瓜苗。

3 討 論

本研究所提出的的三維重建方法不受相機(jī)擺放位姿的影響，可以在多場(chǎng)景快速搭建用于作物三維重建，提取完旋轉(zhuǎn)臺(tái)特征信息后，在不移動(dòng)相機(jī)與圓盤的前提下，可以連續(xù)性的對(duì)多組植株進(jìn)行快速三維重建，具有靈活性與操作簡(jiǎn)便性的優(yōu)點(diǎn)，所重建單株作物點(diǎn)云與MVS-SFM算法重建點(diǎn)云有較高的相似性，而重建速度比后者提高約90%，本研究重建方法由于配準(zhǔn)誤差造成部分紋理因分層而缺失，而MVS-SFM算法本身更關(guān)注紋理特征信息，相比之下本文的配準(zhǔn)精度還有待進(jìn)一步提高。對(duì)比Kinect v2，得益于Kinect V3更合理的成像范圍以及更高的分辨率，重建后的點(diǎn)云細(xì)節(jié)與紋理都有所提升。此外，該試驗(yàn)還基于點(diǎn)云測(cè)量了葉面積并與人工測(cè)量進(jìn)行對(duì)比，以V3-60方案為例，本研究提出的方法重建后菜心葉面積的計(jì)算絕對(duì)誤差均值為3.23cm2，相對(duì)誤差均值為5.88%，均方根誤差為3.83 cm2，黃瓜苗葉面積的計(jì)算絕對(duì)誤差均值為1.74 cm2，相對(duì)誤差均值為6.50%，均方根誤差為2.08 cm2，接近陳輝等[11]與蘇寶峰等[12]基于SFM算法重建植物點(diǎn)云所提取的葉面積誤差，有較高的準(zhǔn)確度。試驗(yàn)中發(fā)現(xiàn)無論是托普云農(nóng)YMJ-B型夾持式葉面積儀器對(duì)葉片在體測(cè)量還是本研究所選用的萬深LA-S系列葉面積儀對(duì)葉片進(jìn)行離體測(cè)量，對(duì)于像菜心、黃瓜苗這種葉片柔軟的作物都會(huì)造成一定的損傷，而在三維重建的基礎(chǔ)上測(cè)量作物的葉面積可以在精度得以保證的前提下，實(shí)現(xiàn)真正意義上的在體無損檢測(cè)。

進(jìn)一步分析本研究方法的誤差來源主要包括：

1）使用傳感器獲取點(diǎn)云難以避免出現(xiàn)點(diǎn)云近密遠(yuǎn)疏的情況，本研究使用單一預(yù)設(shè)值的統(tǒng)計(jì)濾波算法無法達(dá)到最優(yōu)濾波效果，且在實(shí)際應(yīng)用中難免會(huì)因?yàn)橹参锉旧淼那o、葉片等的相互遮擋，出現(xiàn)部分信息缺失的情況。

2）胡楊[29]指出使用ToF原理的深度相機(jī)會(huì)因?yàn)槿~片本身的材質(zhì)使得相機(jī)所發(fā)出的測(cè)量光線在葉片內(nèi)部產(chǎn)生折射和透射，導(dǎo)致測(cè)量的葉片點(diǎn)云偏離真實(shí)值，從而導(dǎo)致從多角度獲取的同一葉片點(diǎn)云出現(xiàn)分層現(xiàn)象；本研究在試驗(yàn)過程中發(fā)現(xiàn)旋轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)時(shí)的不平穩(wěn)會(huì)導(dǎo)致植株晃動(dòng)，也將造成重建的植株點(diǎn)云出現(xiàn)葉片分層現(xiàn)象。

下一步可以研究缺失點(diǎn)云的補(bǔ)全方法，進(jìn)一步提升重建完整度；也可以繼續(xù)優(yōu)化配準(zhǔn)算法，結(jié)合改進(jìn)的非剛性迭代最近點(diǎn)算法（Nonrigid Iterative Closest Point，NICP），進(jìn)一步提高配準(zhǔn)精度，使得重建后的作物點(diǎn)云可以保留更多的細(xì)節(jié)、紋理信息。

4 結(jié) 論

本研究選用Kinect V3相機(jī)結(jié)合特殊設(shè)計(jì)的旋轉(zhuǎn)臺(tái)，以菜心與黃瓜苗為研究對(duì)象，通過作物多視角點(diǎn)云采集、旋轉(zhuǎn)臺(tái)特征信息獲取、點(diǎn)云預(yù)處理、點(diǎn)云配準(zhǔn)以及點(diǎn)云平滑等步驟實(shí)現(xiàn)了單株菜心植株、黃瓜苗植株的快速三維重建，主要結(jié)論如下：

1）提出一種基于Kinect V3與旋轉(zhuǎn)臺(tái)法向量與圓心特征的植株三維重建方法，并與多視圖立體視覺-運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（Multi-View Stereo and Structure From Motion，MVS-SFM）算法進(jìn)行對(duì)比。本研究方法重建的菜心點(diǎn)云與MVS-SFM算法重建的點(diǎn)云距離誤差為0.59 cm，其中64.45%點(diǎn)對(duì)距離誤差小于0.5 cm，90.63%點(diǎn)對(duì)距離誤差小于1 cm，黃瓜苗點(diǎn)云距離誤差為0.67 cm，其中60.09%點(diǎn)對(duì)距離誤差小于0.5 cm，85.45%點(diǎn)對(duì)距離誤差小于1 cm，相似程度高，但重建速度更快，提高了約90%，且操作簡(jiǎn)單，更具有工程意義，適用于大規(guī)模的植物表型檢測(cè)任務(wù)；相比Kinect V2，Kinect V3有更適用于作物三維重建的性能參數(shù)，可以更有效關(guān)注作物的細(xì)節(jié)信息。

2）通過三角網(wǎng)格化算法對(duì)單葉片點(diǎn)云進(jìn)行表面重建以獲取葉面積，菜心葉片面積、黃瓜苗葉片面積與標(biāo)準(zhǔn)參考值的絕對(duì)誤差均值分別為3.23、1.74cm2，相對(duì)誤差均值分別為5.88%、6.50%，均方根誤差分別為3.83、2.08 cm2，驗(yàn)證了本研究重建方法可用于提取作物表型信息，具有一定的準(zhǔn)確性。

[1] 徐凌翔，陳佳瑋，丁國(guó)輝，等. 室內(nèi)植物表型平臺(tái)及性狀鑒定研究進(jìn)展和展望[J]. 智慧農(nóng)業(yè)（中英文），2020，2(1)：23-42.

Xu Lingxiang, Chen Jiawei, Ding Guohui, et al. Indoor phenotyping platforms and associated trait measurement: Progress and prospects[J]. Smart Agriculture, 2020, 2(1): 23-42. (in Chinese with English abstract)

[2] 趙春江. 植物表型組學(xué)大數(shù)據(jù)及其研究進(jìn)展[J]. 農(nóng)業(yè)大數(shù)據(jù)學(xué)報(bào)，2019，1(2)：5-18.

Zhao Chunjiang. Big Data of plant phenomics and its research progress[J]. Journal of Agricultural Big Data, 2019, 1(2): 5-18. (in Chinese with English abstract)

[3] Houle D, Govindaraju D R, Omholt S. Phenomics: The next challenge[J]. Nature Reviews Genetics, 2010, 11(12): 855-66.

[4] 何海清，嚴(yán)椰麗，凌夢(mèng)云，等. 結(jié)合三維密集點(diǎn)云的無人機(jī)影像大豆覆蓋度提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(2)：201-209.

He Haiqing, Yan Yeli, Ling Mengyun, et al. Extraction of soybean coverage from UAV images combined with 3D dense point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 201-209. (in Chinese with English abstract)

[5] Ma H, Zhu X, Ji J T, et al. Rapid estimation of apple phenotypic parameters based on 3D reconstruction[J]. International Journal of Agricultural and Biological Engineering, 2021, 14(5): 180-188.

[6] 黃成龍，李曜辰，駱樹康. 基于結(jié)構(gòu)光三維點(diǎn)云的棉花幼苗葉片性狀分析方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(8)：243-248，288.

Huang Chenglong, Li Yaochen, Luo Shukang, et al. Cotton seedling leaf traits extraction method from 3D point cloud based on structured light imaging[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(8): 243-248, 288. (in Chinese with English abstract)

[7] 柴宏紅，邵科，于超，等. 基于三維點(diǎn)云的甜菜根表型參數(shù)提取與根型判別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(10)：181-188.

Chai Honghong, Shao Ke, Yu Chao, et al. Extraction of phenotypic parameters and discrimination of beet root types based on 3D point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(10): 181-188. (in Chinese with English abstract)

[8] Liu J G, Xu X M, Liu Y H, et al. Quantitative potato tuber phenotyping by 3D imaging[J]. Biosystems Engineering, 2021, 210: 48-59.

[9] 趙明巖，林敏，徐鵬，等. 基于三維重構(gòu)的哈蜜瓜均瓣雕花算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(19)：276-283.

Zhao Mingyan, Lin Min, Xu Peng, et al. Algorithm for the uniform petal carving of Hami melon based on three-dimensional reconstruction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 276-283. (in Chinese with English abstract)

[10] Hui F, Zhu J Y, Hu P C, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations[J]. Annals of Botany, 2018(5): 1079-1088.

[11] 陳輝，王婷婷，代作曉，等. 基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的無規(guī)則植物葉片面積三維測(cè)量方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(4)：230-238.

Chen Hui, Wang Tingting, Dai Zuoxiao, et al. 3D measurement method for area of irregular plant leaf based on structure from motion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(4): 230-238. (in Chinese with English abstract)

[12] 蘇寶峰，劉易雪，王琮，等. 基于三維點(diǎn)云的葉面積估算方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(12)：240-246，254.

Su Baofeng, Liu Yixue, Wang Cong, et al. Leaf area estimation method based on three-dimensional point cloud[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(12): 240-246, 254. (in Chinese with English abstract)

[13] Su W, Zhang M Z, Liu J M, et al. Automated extraction of corn leaf points from unorganized terrestrial LIDAR point clouds[J]. International Journal of Agricultural and Biological Engineering, 2018, 11(3), 166-170.

[14] 朱超，苗騰，許童羽，等. 基于骨架的玉米植株三維點(diǎn)云果穗分割與表型參數(shù)提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(6)：295-301.

Zhu Chao, Miao Teng, Xu Tongyu, et al. Ear segmentation and phenotypic trait extraction of maize based on three-dimensional point cloud skeleton[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 295-301. (in Chinese with English abstract)

[15] Ji L, Tang L. Developing a low-cost 3D plant morphological traits characterization system[J]. Computers & Electronics in Agriculture, 2017, 143: 1-13.

[16] Guo Q H, Wu F F, Pang S X, et al. Crop 3D—A LiDAR based platform for 3D high-throughput crop phenotyping[J]. Science China Life Sciences, 2018, 61(3): 1-12.

[17] 陸健強(qiáng)，蘭玉彬，毋志云，等. 植物三維建模ICP點(diǎn)云配準(zhǔn)優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(2)：183-191.

Lu Jianqiang, Lan Yubin, Wu Zhiyun, et al. Optimization of ICP point cloud registration in plants 3D modeling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 183-191. (in Chinese with English abstract)

[18] 彭程，李帥，苗艷龍，等. 基于三維點(diǎn)云的番茄植株莖葉分割與表型特征提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(9)：187-194.

Peng Cheng, Li Shuai, Miao Yanlong, et al. Stem-leaf segmentation and phenotypic trait extraction of tomatoes using three-dimensional point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 187-194. (in Chinese with English abstract)

[19] Zhou S Z, Kang F, Li W B, et al. Point cloud registration for agriculture and forestry crops based on calibration balls using kinect v2[J]. International Journal of Agricultural and Biological Engineering, 2020, 13(1), 198-205.

[20] 付昱興，李承明，朱江，等. Alpha-shape算法構(gòu)建棗樹點(diǎn)云三維模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(22)：214-221.

Fu Yuxing, Li Chengming, Zhu Jiang, et al. Three-dimensional model construction method and experiment of jujube tree point cloud using Alpha-shape algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(22): 214-221. (in Chinese with English abstract)

[21] 鄭立華，王露寒，王敏娟，等. 基于Kinect相機(jī)的油麥菜自動(dòng)化三維點(diǎn)云重建[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(7)：159-168.

Zheng Lihua, Wang Luhan, Wang Minjuan, et al. Automated 3D reconstruction of leaf lettuce based on kinect camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 159-168. (in Chinese with English abstract)

[22] Sun G, Wang X. Three-dimensional morphological measurement method for a fruit tree canopy based on kinect sensor self-calibration[J]. Agronomy, 2019, 9, 741.

[23] Hu Y, Wang L, Xiang L R, et al. H. Automatic non-destructive growth measurement of leafy vegetables based on kinect[J]. Sensors, 2018, 18(3), 806.

[24] 李修華，魏鵬，何嘉西，等. 基于Kinect V3深度傳感器的田間植株點(diǎn)云配準(zhǔn)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(21)：45-52.

Li Xiuhua, Wei Peng, He Jiaxi, et al. Field plant point cloud registration method based on Kinect V3 depth sensors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 45-52. (in Chinese with English abstract)

[25] Zhou Q Y, Park J, Koltun V. Open3D: A modern library for 3D data processing[EB/OL]. arXiv preprint arXiv:1801.09847, 2018 [2022-05-21] http://open3d.org/.

[26] Chetverikov D, Stepanov D, Krsek P. Robust Euclidean alignment of 3D point sets: The trimmed iterative closest point algorithm[J]. Image and Vision Computing, 2005, 23(3): 299-309.

[27] 曾清紅，盧德唐. 基于移動(dòng)最小二乘法的曲線曲面擬合[J]. 工程圖學(xué)學(xué)報(bào)，2004，25(1)：84-89.

Zeng Qinghong, Lu Detang. Curve and surface fitting based on moving least square method[J]. Journal of Engineering Graphics, 2004, 25(1): 84-89. (in Chinese with English abstract)

[28] Wu C C. VisualSFM: A visual structure from motion system[EB/OL].[2022-05-21] http://ccwu.me/vsfm/,2011.

[29] 胡楊. 基于深度相機(jī)的葉菜類作物三維重建與生長(zhǎng)測(cè)量方法研究[D]. 杭州：浙江大學(xué)，2018.

Hu Yang. Study on 3D Reconstruction and Growth Measurement Methods for Leafy Crops Based on Depth Camera[D]. Hangzhou: Zhejiang University, 2018. (in Chinese with English abstract)

Automatic 3D reconstruction and verification of an individual crop using Kinect V3

Chen Haibo1,4, Liu Shengbo2,4, Wang Lele2,4, Wang Chaofeng2,4, Xiang Xinglan3, Zhao Yingjie2,4, Lan Yubin2,4※

(1.,,510642,;2.,,510642,;3.,,510642,;4.,510642,)

3D point clouds can be expected to acquire plant phenotypic traits at present. The damage to crops can be reduced significantly, compared with the traditional manual direct contact measurement. The measurement errors caused by the occlusion between leaves and leaf curl in the two-dimensional images can also be avoided. In this study, a 3D reconstruction system was proposed using Kinect V3, in order to efficiently and accurately reconstruct 3D models of individual crops for the nondestructive measurements of crop phenotype traits by the point cloud. A turntable was also built using a stepping motor. The table surface was designed into multi-color concentric circles. The plane normal vector and central point of the turntable were calculated automatically using concentric circles, which were used for the horizontal alignment of the point cloud and for the calculation of the transformation matrix between multi-view point clouds. The point clouds of crops captured at the multiple view angles by Kinect V3 were transformed to the same coordinate system for the coarse registration using the transformation matrix. Then, the Trimmed Iterative Closest Point (TrICP) was used for the precise registration, thereby completing the 3D reconstruction of individual crops. More importantly, Chinese flowering cabbage and cucumber seedlings were selected as the experimental objects for the 3D reconstruction. Firstly, the reference point clouds were reconstructed by the Multi-View Stereo and Structure From Motion (MVS-SFM). The reason was that the MVS-SFM previously presented sufficient accuracy for the crop 3D reconstruction and high-throughput crop phenotyping analysis. A counting was performed on the distribution frequency for the set of distances between the reconstructed and reference point cloud. The results show that the reconstruction speed of the proposed model was improved by about 90%, compared with the MVS-SFM. In the Chinese flowering cabbage, the average error of distance between the reconstructed and the reference point clouds was 0.59 cm; while 64.45% and 90.63% of the distances sets were less than 0.5 and 1.0 cm, respectively. In the cucumber seedlings, the average error of distance was 0.67cm; while 60.09% and 85.45% of the distances sets were less than 0.5 and 1.0 cm, respectively. Both of the groups showed a high level of overlap. Secondly, the single leaf area was extracted by calculating the area of the surface mesh model that was reconstructed using the Delaunay triangular meshing algorithm. The Root Mean Square Error (RMSE) and the average relative error of the Chinese flowering cabbage leaf area were 3.83 cm2and 5.88%, respectively, compared with the manual measurement using a leaf area meter. The RMSE and the average relative error of cucumber seedling leaf area were 2.08 cm2and 6.50%, respectively. Both of the groups showed high correlation and accuracy. In addition, the Kinect V3 was compared with the predecessor, Kinect v2, indicating sufficient accuracy for the crop 3D reconstruction. The results show that the Kinect V3 can be used to capture much denser point clouds than the Kinect V2, indicating the high accuracy of crop 3D reconstruction and extraction of leaf area. The proposed model can be expected to quickly reconstruct the individual crops and then effectively extract the leaf area parameters, indicating that it can provide efficient technical tools and data support for crop breeding, cultivation, and agricultural production.

crops; 3D reconstruction; registration of point cloud; leaf area; characteristic information of turntable; Kinect V3

10.11975/j.issn.1002-6819.2022.16.024

TP391.4

A

1002-6819(2022)-16-0215-09

陳海波，劉圣搏，王樂樂，等. 基于Kinect V3的單株作物自動(dòng)化三維重建與驗(yàn)證[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(16)：215-223.doi：10.11975/j.issn.1002-6819.2022.16.024 http://www.tcsae.org

Chen Haibo, Liu Shengbo, Wang Lele, et al. Automatic 3D reconstruction and verification of an individual crop using Kinect V3[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 215-223. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.024 http://www.tcsae.org

2022-05-21

2022-08-10

嶺南現(xiàn)代農(nóng)業(yè)實(shí)驗(yàn)室科研項(xiàng)目（NT2021009）；廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃項(xiàng)目（2019B020214003）；廣東省青年基金項(xiàng)目（2021A1515110554）

陳海波，博士，高級(jí)實(shí)驗(yàn)師，研究方向?yàn)檗r(nóng)業(yè)機(jī)械化智能化及信息化。Email：huanongchb@scau.edu.cn

蘭玉彬，博士，教授，博士生導(dǎo)師，研究方向?yàn)榫珳?zhǔn)農(nóng)業(yè)航空。Email：ylan@scau.edu.cn