朱 超，苗 騰，許童羽，李 娜，鄧寒冰，周云成

·研究速報·

基于骨架的玉米植株三維點云果穗分割與表型參數(shù)提取

朱 超，苗 騰※，許童羽，李 娜，鄧寒冰，周云成

（1. 沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，沈陽 110866；2. 遼寧省農(nóng)業(yè)信息化工程技術(shù)研究中心，沈陽 110866）

當(dāng)前三維點云處理技術(shù)難以在玉米植株點云上對果穗進行識別和表型參數(shù)提取。針對該問題，該研究采用基于骨架的玉米植株器官分割流程對植株三維點云的果穗器官進行分割和表型參數(shù)提取。首先，優(yōu)化基于骨架的玉米植株莖葉分割方法，在成熟期植株點云上實現(xiàn)植株骨架的提取、器官子骨架的分解以及器官點云的分割；再根據(jù)器官高度、子骨架長度、圓柱特征和點云數(shù)量4個約束條件從器官點云中識別出果穗點云；最后提取果穗相關(guān)的表型參數(shù)。試驗結(jié)果表明，該研究方法對玉米果穗的識別率為91.3%；果穗點云分割的平均1分?jǐn)?shù)、精確度、召回率分別為0.73、0.82和0.70；穗位高、穗長、穗粗、株高穗位高比4個表型參數(shù)的提取值與人工實測值線性關(guān)系顯著，決定系數(shù)分別為0.97、0.78、0.85和0.96，均方根誤差分別為3.23 、4.98、 0.73 cm和0.07。該研究方法具備提取果穗器官點云和表型參數(shù)的能力，可為玉米高通量表型檢測、玉米三維重建等研究和應(yīng)用提供技術(shù)支持。

植物；表型；機器視覺；玉米果穗；點云分割；骨架提取

0 引 言

玉米是世界上最重要的糧食作物之一，其產(chǎn)量對保障全球糧食供應(yīng)至關(guān)重要。高通量、自動化地對玉米表型參數(shù)進行測量對提高玉米育種效率、促進玉米科學(xué)發(fā)展具有重要意義[1-2]。

果穗相關(guān)的表型參數(shù)是一類重要的農(nóng)藝性狀。例如，穗位高直接影響著玉米產(chǎn)量、抗倒伏性及生態(tài)適應(yīng)性[3]；適宜的株高穗位高比有利于機械收獲[4]；果穗大小及形狀決定了玉米的籽粒產(chǎn)量[5]。很多研究面向玉米考種工作的實際需求，利用計算機視覺技術(shù)對果穗二維數(shù)字圖像進行分析，自動測量穗長、穗粗、穗行、行粒數(shù)等果穗表型參數(shù)[6-11]。一些研究者在二維植株圖像中識別果穗像素，進而實現(xiàn)了果穗的自動計數(shù)[12-13]以及生長過程的連續(xù)監(jiān)測[14]。但是二維圖像只能表示果穗在某一特定方向上的投影，難以對完整的三維結(jié)構(gòu)進行恢復(fù)。

隨著三維激光掃描儀[15-16]、飛行時間相機[17-18]以及激光雷達[19-20]等三維傳感器的普及，部分研究者開始進行基于三維點云的果穗結(jié)構(gòu)重建與表型解析相關(guān)研究。王傳宇等通過雙目立體視覺技術(shù)重建各視角下的玉米果穗表面點云，再通過點云配準(zhǔn)拼接獲得整個果穗表面點云[21]。溫維亮等對果穗點云進行收縮，通過歐式聚類的方法實現(xiàn)了果穗籽粒的分割[22]，并基于Voronoi圖的網(wǎng)格重建方法重構(gòu)了果穗網(wǎng)格模型[23]。上述技術(shù)方法均是針對收獲后的果穗單獨進行三維重建，難以對玉米植株點云上的果穗進行原位信息提取，因此無法自動測量穗位高、株高穗位高比等表型參數(shù)。針對玉米植株點云處理方法的研究多圍繞早期玉米植株的莖葉分割和表型檢測[24-25]開展工作。朱超等提出一種基于骨架的早期玉米莖葉分割方法[26], 該方法利用拉普拉斯點云骨架提取方法[27]獲得玉米植株骨架，并根據(jù)骨架拓?fù)湫畔ηo、葉器官進行定位和識別，最后采用自上向下的分割策略實現(xiàn)了莖葉點云的精確分割。相比早期玉米植株，長有果穗的成熟期玉米植株拓?fù)涓訌?fù)雜，器官類別和數(shù)量更多，而且果穗的形態(tài)特征與葉、莖差異較大，因此現(xiàn)有的莖葉分割算法均難以進行果穗的原位點云提取。

針對該問題，本研究改進了基于骨架的玉米莖葉分割方法[26]，通過優(yōu)化器官子骨架提取算法、引入果穗點云識別算法，嘗試直接在玉米植株點云上對果穗進行分割和參數(shù)提取，為玉米高通量表型檢測、三維幾何重建等研究和應(yīng)用提供技術(shù)手段。

1 材料與方法

1.1 點云數(shù)據(jù)獲取與預(yù)處理

田間試驗于2019年5月至10月在沈陽農(nóng)業(yè)大學(xué)玉米試驗田（123.56E，41.82N）進行。供試玉米品種為先玉335、遼單586、遼單502、遼單1281和遼單145，玉米種植行距60 cm，株距25 cm。

數(shù)據(jù)采集時，將田間植株移植到盆中，并人工測量株高、穗位高、穗長和穗粗4種表型參數(shù)，之后將植株轉(zhuǎn)移到室內(nèi)進行點云獲取。使用FreeScan X3手持激光掃描儀進行三維點云獲取，由于該掃描儀需要借助激光感光片進行三維定位，因此數(shù)據(jù)采集時，將粘貼有感光片的多個支架圍在植株四周，保證激光線能同時掃描到植株和感光片，數(shù)據(jù)獲取過程如圖1a所示。掃描得到的原始點云數(shù)據(jù)中除了植株外，還包含了部分支架和花盆的點云如圖1b所示。使用三維點云處理軟件CloudCompare將支架點和花盆點云手動去除，并進行下采樣處理，得到最終的玉米植株點云（圖1c）。下采樣后，每個植株點云包含10 000左右個點，該數(shù)量的點云即可保留玉米果穗的形態(tài)特征，也能對植株骨架進行高效提取。獲取點云之后，人工測量。

1.2 果穗分割方法流程

本研究提出的果穗分割方法以植株散亂點云為輸入，通過基于骨架的器官點云分割、果穗識別和表型參數(shù)提取3個主要步驟，實現(xiàn)對果穗點云的分割和穗位高、株高穗位高比、穗長、穗粗4種表型參數(shù)的自動測量。

1.3 基于骨架的器官點云分割

本研究采用文獻[26]中所述的點云分割流程進行玉米器官點云分割。文獻[26]方法主要針對包含莖、葉兩種器官的早期玉米植株，而長有雄穗、果穗的成熟期玉米植株拓?fù)湫螒B(tài)更加復(fù)雜，器官數(shù)量更多，因此該方法中的骨架提取、骨架分解、點云分割等關(guān)鍵步驟不適合處理成熟期植株點云。本研究對這些步驟進行優(yōu)化，實現(xiàn)成熟期植株點云的器官分割。

1.3.1 骨架提取

與文獻[26]相同，采用拉普拉斯骨架提取算法[27]生成玉米植株骨架，并用連通無向圖對骨架進行表示。與早期玉米植株相比，成熟期玉米植株點云在雄穗?yún)^(qū)域有時會出現(xiàn)點云缺失、密度低的問題，導(dǎo)致該區(qū)域形成的骨架與其他器官形成的骨架分離，造成植株骨架成為非連通無向圖。為解決該問題，本研究采用廣度優(yōu)先搜索方法獲得植株骨架的所有連通分支，保留頂點數(shù)量最多的連通分支作為玉米植株骨架，其余連通分支形成的小骨架均刪除，確保植株骨架為連通無向圖。圖2a為本研究提取的成熟期植株骨架圖。

1.3.2 骨架分解

在骨架分解時，本研究借鑒文獻[26]思路，首先基于迪杰斯特拉算法[28]將植株骨架分解為多個器官子骨架，之后根據(jù)器官形態(tài)特征，將器官子骨架分類為1個莖子骨架和多個非莖子骨架。文獻[26]僅通過器官子骨架之間的夾角特征進行類型判別，但面對成熟期植株骨架時會出現(xiàn)誤分類現(xiàn)象。本研究在夾角特征基礎(chǔ)上，引入點云圓柱特征輔助進行子骨架類型的判別。

為計算植株點云任意點的圓柱特征，首先采用kd-tree空間搜索算法[29]尋找其在植株點云中的32個近鄰點；之后利用主成分分析方法[30]計算這些近鄰點在3個主成分方向上的特征值1、2、3（1≥2≥3），則點的圓柱特征f用下式計算

植株莖、雄穗和果穗?yún)^(qū)域點云的圓柱特征值較大，而葉片的圓柱特征較小。

本研究首先通過夾角特征從所有器官子骨架中得到多個候選的莖子骨架，之后計算每個候選子骨架周邊點云的圓柱特征平均值，值最大的候選器官子骨架為莖子骨架，其余所有器官子骨架均為非莖子骨架（圖2b）。從圖2b中可以看出，每個器官子骨架均為一個單向連通圖。但本研究生成的器官子骨架存在2個問題：

1）存在一個器官對應(yīng)多個器官子骨架的情況，例如雄穗會產(chǎn)生多個子骨架。

2）產(chǎn)生的器官子骨架并不是器官點云的完整中軸表示，例如一些葉片子骨架只是葉片上半?yún)^(qū)域點云的中軸，果穗的子骨架只是果穗尖端部分點云的中軸。

但上述2個問題對果穗器官分割的影響不大，本研究只需將果穗尖端區(qū)域點云的子骨架提取出來就能夠?qū)崿F(xiàn)后續(xù)的果穗分割和識別。

1.3.3 點云分割

采用文獻[26]方法，首先利用器官子骨架對莖和非莖器官進行點云粗分割，再以粗分割的器官點云作為種子點，通過從植株頂部到底部的順序，依次對未分割的點進行器官分類，最終實現(xiàn)器官的精細(xì)分割。

早期植株頂部新生葉片互相包裹，從而造成新葉分割困難。為解決該問題，文獻[26]采用了最優(yōu)傳輸距離作為點云器官分類的依據(jù)。但最優(yōu)傳輸距離的計算量大，隨著點云數(shù)量的增加，整個分割算法的效率會大幅降低。成熟期玉米植株的點云數(shù)量較多，并且果穗器官處于植株中部，不存在器官互相包裹的問題，因此本研究采用歐式距離替代最優(yōu)傳輸距離，從而提高器官點云分割的效率。

圖2c為器官分割的可視化結(jié)果圖，從圖中可以看出，植株上部的器官比中下部的器官分割效果差。這是由于上部器官間距近、器官間的點云邊界不明顯，從而造成提取出的器官骨架不完整，進而影響了分割精度。而果穗與周邊葉片的邊界相對明顯，因此果穗點云能較完整地分割出來，為后續(xù)果穗器官的識別和表型提取奠定了基礎(chǔ)。

1.莖器官子骨架 2.非莖器官子骨架

1. Stem organ sub-skeleton 2.Non stem organ sub-skeleton

注：子圖2c中不同器官點集采用不同顏色進行表示。

Note: The point clouds of different organs are represented by different colors in subgraph 2c.

圖2 基于骨架的器官點云分割示意圖

Fig.2 Schematic diagram of organ point cloud segmentation based on skeleton

1.4 果穗器官識別

采用器官高度、器官子骨架長度、圓柱特征、點云數(shù)量4個約束條件在非莖器官點集（圖3a）中識別果穗器官點集，同時滿足上述4個約束的器官被認(rèn)為是果穗器官。

1）器官高度約束

觀察發(fā)現(xiàn)，果穗位置通常在玉米植株的中下部，因此可通過器官高度排除植株上部的器官。計算植株點云每個點到莖根頂點的距離，其中距離最小值和最大值分別用符號0（cm）、1（cm）表示。對于一個非莖器官集合，找到集合內(nèi)點到莖根頂點距離的最大值，如果該值不大于2/3 (0+1)，則該器官滿足器官高度約束（圖3b）。

2）器官子骨架長度約束

觀察發(fā)現(xiàn)，果穗長度比葉片長度小，因此可排除長度較大的器官點集。計算所有器官子骨架長度的平均值，子骨架長度小于該平均值的器官滿足長度約束（圖3c）。

3）圓柱特征約束

在非莖器官中，相比于葉片，果穗形態(tài)更接近圓柱形，因此可通過點云圓柱特征來識別果穗。對于一個器官，如果其點云圓柱特征的平均值大于閾值e，則該器官滿足圓柱特征約束（圖3d）。本研究將e設(shè)為0.18。

4）點云數(shù)量約束

本研究將點云個數(shù)較少的器官點集看作是某個器官過分割的結(jié)果，因此只有當(dāng)器官點集的點云數(shù)量大于閾值n時被認(rèn)為滿足點云數(shù)量約束（圖3e）。本研究將n設(shè)為30。

圖3為果穗器官識別過程的示意圖。在進行果穗識別時，通過器官高度約束可將植株上方分割效果較差的雄穗和新葉排除掉。利用器官子骨架長度約束可以排除掉器官子骨架提取效果較好的中下部葉片器官。圓柱特征會將絕大多數(shù)的葉片排除。點云數(shù)量約束主要排除由于誤分割導(dǎo)致的小區(qū)域點云，防止這些點云同時滿足其他3種約束。圖3f為果穗器官識別結(jié)果。

1.5 表型參數(shù)提取

利用識別出的果穗器官點集提取穗位高、株高穗位高比、穗長和穗粗4個表型形狀參數(shù)。

果穗器官點集中如果包含噪聲點，會影響表型參數(shù)的精度，因此在提取表型參數(shù)之前，先對果穗器官進行去噪處理。首先計算每個點到其8近鄰點的平均歐式距離，然后估算所有平均距離的均值和方差。如果某個點到其8近鄰點的平均距離不小于與的和，則該點為噪聲，從果穗器官點集中刪除。

由于穗位高被定義為最高穗著生點到地面的距離[4]，因此穗位高和株高穗位高比兩個參數(shù)只與最上方的果穗有關(guān)。為提取株高和穗位高參數(shù)，首先計算莖根頂點到中軸()的投影點s，之后計算所有點云到()的投影點與s的歐式距離，其中的最大距離為株高參數(shù)，果穗點云投影點與s的最大距離為穗位高參數(shù)，兩者比值為株高穗位高比參數(shù)。

提取每個果穗器官點云的有向最小包圍盒，其中包圍盒最長邊的長度為穗長參數(shù)，其余兩個邊長度的平均值作為穗粗參數(shù)。

1.8 性能評估

使用識別率來評估本研究方法對果穗器官的識別能力。對于植株上的一個果穗，如果分割出的果穗器官點集中包含該果穗的點云，則認(rèn)為該果穗被成功識別。果穗的識別率等于成功識別的果穗數(shù)量除以植株果穗總數(shù)。使用精確度（Precision）、召回率（Recall）、1分?jǐn)?shù)（1 score）對點云的分割精度進行評估[26]。采用線性回歸分析評價人工測量的表型參數(shù)與本研究參數(shù)提取值之間的關(guān)系，并使用決定系數(shù)2和均方根誤差RMSE進行定量化評估。

2 結(jié)果與分析

2.1 果穗點云識別和分割結(jié)果

算法在配置為2.2GHZ CPU、DDR32G內(nèi)存的筆記本工作站上進行了測試。本文算法處理約10 000個點左右的玉米植株，平均處理時間在24 s，其中75%的時間用于骨架提取。

為了評價本研究方法的準(zhǔn)確性，在“先玉335”、“遼單586”、“遼單502”、“遼單1281”和“遼單145”5個品種中各選擇3株成熟期玉米植株進行測試。15個植株中，8株長有2個穗，7株長有1個穗，本研究稱上方的果穗為第1果穗，下方的果穗為第2果穗。利用CloudCompare軟件獲得點云手動分割結(jié)果。

圖4是不同品種玉米果穗的識別和分割結(jié)果可視化圖。從圖中可以看出，所有植株的第1果穗均被識別出來，識別率為100%；第2果穗中有2個果穗未被識別出來，分別為圖4b中第2個植株和圖4c中第1個植株，識別率為75%；果穗總識別率為91.3%。

本研究方法的果穗分割結(jié)果如表1所示。全部果穗的點云分割的平均1分?jǐn)?shù)、平均精確率和平均召回率分別為0.73、0.82和0.70，其中第1果穗的上述3個分割指標(biāo)分別為0.81、0.92和0.74，識別出的6個第2果穗的3個分割指標(biāo)分別為0.78、0.85和0.75，全部8個第2果穗的3個分割指標(biāo)分別為0.52、0.56和0.50。2個未被識別出的第2果穗的3個分割指標(biāo)均視作0。

表1 果穗分割精度

本研究分割的精確率要遠高于召回率，說明本研究方法將非果穗點云分割成果穗點云的情況較少，但果穗點云被誤分割為其他器官的情況較多，從而造成果穗的欠分割，從圖4中也可以看出，很多果穗分割的并不完整，這是點云欠分割的典型特征。

在第1果穗中，1分?jǐn)?shù)和召回率的最低值分別為0.67和0.55，均出現(xiàn)在圖4c中的第1個植株樣本；精確率的最低值為0.80，出現(xiàn)在圖4a中的第1個植株樣本。在識別出的第2果穗中，1分?jǐn)?shù)和召回率最低值分別為0.67和0.57，均來自圖4b中第1個樣本；精確率的最低值為0.73，來自圖4d中的第1個樣本。對照圖4中的可視化結(jié)果，能夠看出上述這些指標(biāo)低的果穗樣本均出現(xiàn)了較明顯的欠分割現(xiàn)象。當(dāng)然，個別樣本也存在過分割的現(xiàn)象，如圖4e中第1個植株樣本的第2果穗、圖4b中第2個植株樣本的第1果穗，這兩個果穗將其周邊其他器官的點云誤分割成果穗點云。但不論是欠分割還是過分割，發(fā)生錯誤的區(qū)域均在果穗與其他器官的交界處，說明本研究分割方法在識別果穗和其他器官交界區(qū)域的能力有待提高。

本研究識別和分割果穗時，要求穗尖區(qū)域點云遠離其他器官。如果果穗尖端區(qū)域與鄰近的器官緊挨在一起，會導(dǎo)致果穗點云與鄰近器官的點云邊界不清晰。例如圖 4b中第2個植株，其第2果穗穗尖與第1果穗和鄰近的穗位葉緊密地挨在一起；圖4c中第1個植株，其第2果穗穗尖與莖挨在一起。這兩個果穗點云與鄰近器官點云均混合在一起，沒有較清晰的邊界。而處理這類果穗點云時，本研究骨架提取方法只會生成1個子骨架作為果穗點云和其鄰近器官點云的中軸，從而導(dǎo)致果穗子骨架提取失敗，進而無法分割和識別出果穗器官點云。本研究對第2果穗的識別率要低于第1果穗也同樣是這個原因，本研究選取的植株測試樣本的第2果穗都未成熟，因此果穗都較小，其更容易出現(xiàn)穗尖區(qū)域不明顯的現(xiàn)象。

2.2 表型參數(shù)提取結(jié)果

各表型參數(shù)提取結(jié)果與人工測量結(jié)果的對比如圖5所示。根據(jù)穗位高定義，穗位高和株高穗位高比兩個參數(shù)只考慮第1果穗，因此這兩個參數(shù)分別有15組數(shù)據(jù)；穗長和穗粗參數(shù)考慮了所有成功識別的果穗，共20組數(shù)據(jù)。由于植株上的果穗點云含有苞葉，因此實測的穗長和穗粗?jǐn)?shù)據(jù)是在有苞葉的果穗上測量得到。穗位高、穗長、穗粗和株高穗位高比自動提取值與實測值線性關(guān)系顯著，決定系數(shù)2分別為0.97、0.78、0.85和0.96，均方根誤差RMSE分別為3.23、4.98、0.73 cm和0.07。

穗位高、株高穗位高比兩個表型參數(shù)提取值與實測值非常接近，說明本研究方法能夠較好地估算出果穗在植株上的相對位置。提取的穗位高值整體上略高于實測值、株高穗位高比略低于實測值，這是由于本研究方法在分割果穗時更容易出現(xiàn)欠分割，導(dǎo)致果穗著生點位置比實測值高造成的。本研究方法的欠分割問題，也會導(dǎo)致分割出的果穗點云不完整，從而造成穗長、穗粗參數(shù)提取值的誤差。

總體上看，本研究提取的表型參數(shù)具有較低的誤差，與人工實測值之間具有較高的相關(guān)性，一定程度上驗證了本研究表型參數(shù)提取方法的實用性和穩(wěn)定性。

3 結(jié) 論

本研究采用基于骨架的玉米植株器官分割流程對植株三維點云的果穗器官進行分割和表型參數(shù)提取，驗證了在玉米成熟期植株點云上識別、分割果穗器官的可能性。通過分析本研究試驗結(jié)果，得出以下結(jié)論：

1）本研究方法對果穗總識別率為91.3%，其中，第1果穗的識別率達到100%，第2果穗的識別率為75%。

2）本研究對果穗的點云分割的平均1分?jǐn)?shù)、平均精確率和平均召回率分別為0.73、0.82和0.70，其中第1果穗的上述指標(biāo)分別為0.81、0.92和0.74，識別出的6個第2果穗的3個指標(biāo)分別為0.78、0.85和0.75。

3）穗位高、穗長、穗粗、株高穗位高比4個表型參數(shù)提取值與實測值的決定系數(shù)分別為0.97、0.78、0.85和0.96，均方根誤差分別為3.23、4.98、0.73 cm和0.07。

結(jié)果表明，本研究方法具有提取果穗器官點云和表型參數(shù)的能力，可為玉米高通量表型檢測、玉米三維重建等研究和應(yīng)用提供技術(shù)手段。

[1]Tester M, Langridge P. Breeding technologies to increase crop production in a changing world[J]. Science, 2010, 327(5967): 818-822.

[2]Benjamin K, Andreas G. NGS technologies for analyzing germplasm diversity in genebanks[J]. Briefings in Functional Genomics, 2012, 11(1): 38-50.

[3]Lu S, Li M, Zhang M, et al. Genome-wide association study of plant and ear height in maize[J]. Tropical Plant Biology, 2020, 13(3): 262-273.

[4]Zsubori Z, Gyenes-Hegyi Z, Illés O, et al. Inheritance of plant and ear height in maize (L. )[J]. Acta Agraria Debreceniensis, 2002, 8: 34-38.

[5]Miller N D, Haase N J, Lee J, et al. A robust, high-throughput method for computing maize ear, cob, and kernel attributes automatically from images[J]. Plant Journal, 2017, 89(1): 169-178.

[6]劉長青，陳兵旗. 基于機器視覺的玉米果穗?yún)?shù)的圖像測量方法[J]. 農(nóng)業(yè)工程學(xué)報，2014，30(6)：131-138. Liu Changqing, Chen Bingqi. Method of image detection for ear of corn based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(6): 131-138. (in Chinese with English abstract)

[7]周金輝，馬欽，朱德海，等. 基于機器視覺的玉米果穗產(chǎn)量組分性狀測量方法[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(3)：221-227. Zhou Jinhui, Ma Qin, Zhu Dehai, et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221-227. (in Chinese with English abstract)

[8]杜建軍，郭新宇，王傳宇，等. 基于穗粒分布圖的玉米果穗表型性狀參數(shù)計算方法[J]. 農(nóng)業(yè)工程學(xué)報，2016，32(13)：168-176. Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Computation method of phenotypic parameters based on distribution map of kernels for corn ears[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 168-176. (in Chinese with English abstract)

[9]杜建軍，郭新宇，王傳宇，等. 基于全景圖像的玉米果穗流水線考種方法及系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(13)：195-202. Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Assembly line variety test method and system for corn ears based on panoramic surface image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 195-202. (in Chinese with English abstract)

[10]宋鵬，張晗，羅斌，等. 基于多相機成像的玉米果穗考種參數(shù)高通量自動提取方法[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(14)：181-187. Song Peng, Zhang Han, Luo Bin, et al. High throughput automatic extraction method of corn ear parameters based on multiple cameras images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 181-187. (in Chinese with English abstract)

[11]Makanza R, Zaman-Allah M, Cairns J E, et al. High-throughput method for ear phenotyping and kernel weight estimation in maize using ear digital imaging[J]. Plant Methods, 2018, 15(1): 49.

[12]Yu Z H, Zhou H B, Li C N. An image based automatic recognition method for the flowering stage of maize[C]// International Symposium on Multispectral Image Processing and Pattern Recognition, Xiangyang, China, SPIE Digital library, 2017.

[13]Jia H L, Qu M H, Wang G, et al. Dough-stage maize (L) ear recognition based on multiscale hierarchical features and multifeature fusion[J]. Mathematical Problems in Engineering, 2020, 2020(2): 1-14.

[14]Brichet N, Fournier C, Turc O, et al. A robot-assisted imaging pipeline for tracking the growths of maize ear and silks in a high-throughput phenotyping platform[J]. Plant Methods, 2017, 13(1): 96-108.

[15]Paulus S, Schumann H, Kuhlmann H, et al. High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants[J]. Biosystems Engineering, 2014, 121: 1-11.

[16]Paulus S, Dupuis J, Riedel S, et al. Automated analysis of barley organs using 3D laser scanning: an approach for high throughput phenotyping[J]. Sensors, 2014, 14(7): 12670-12686.

[17]Chéné Y, Rousseau D, Lucidarme P, et al. On the use of depth camera for 3D phenotyping of entire plants[J]. Computers and Electronics in Agriculture, 2012, 82: 122-127.

[18]Busemeyer L, Mentrup D, M?ller K, et al. BreedVision: A multi-sensor platform for non-destructive field-based phenotyping in plant breeding[J]. Sensors, 2013, 13(3): 2830-2847.

[19]Lin Y. LiDAR: An important tool for next-generation phenotyping technology of high potential for plant phenomics?[J]. Computers and Electronics in Agriculture, 2015, 119: 61-73.

[20]Garrido M, Paraforos D S, Reiser D, et al. 3D maize plant reconstruction based on georeferenced overlapping lidar point clouds[J]. Remote Sensing, 2015, 7(12): 17077-17096.

[21]王傳宇，郭新宇，吳升，等. 基于計算機視覺的玉米果穗三維重建方法[J]. 農(nóng)業(yè)機械學(xué)報，2014，45(9)：274-279. Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Three dimensional reconstruction of maize ear based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 274-279. (in Chinese with English abstract)

[22]溫維亮，郭新宇，楊濤，等. 玉米果穗點云分割方法研究[J]. 系統(tǒng)仿真學(xué)報，2017，29(12)：3030-3034，3041. Wen Weiliang, Guo Xinyu, Yang Tao, et al. Point cloud segmentation method of maize ear[J]. Journal of System Simulation, 2017, 29(12): 3030-3034, 3041. (in Chinese with English abstract)

[23]溫維亮，王勇健，許童羽，等. 基于三維點云的玉米果穗幾何建模[J]. 中國農(nóng)業(yè)科技導(dǎo)報，2016，18(5)：88-93. Wen Weiliang, Wang Yongjian, Xu Tongyu, et al. Geometric modeling of maize ear based on three-dimensional point cloud[J]. Journal of Agricultural Science and Technology, 2016, 18(5): 88-93. (in Chinese with English abstract)

[24]Elnashef B, Filin S, Lati R N. Tensor-based classification and segmentation of three-dimensional point clouds for organ-level plant phenotyping and growth analysis[J]. Computers and Electronics in Agriculture, 2019, 156: 51-61.

[25]Jin S C, Su Y J, Wu F F, et al. Stem-leaf segmentation and phenotypic trait extraction of individual maize using terrestrial LiDAR data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(3): 1336-1346.

[26]朱超，苗騰，許童羽，等. 基于骨架和最優(yōu)傳輸距離的玉米點云莖葉分割和表型提取[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(4)：188-198. Zhu Chao, Miao Teng, Xu Tongyu, et al. Segmentation and phenotypic trait extraction of maize point cloud stem-leaf based on skeleton and optimal transportation distances[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 188-198. (in Chinese with English abstract)

[27]Cao J J, Tagliasacchi A, Olson M, et al. Point cloud skeletons via Laplacian based contraction[C]//IEEE International Conference on Shape Modeling and Applications, Aix-en-Provence, France, Institute of Electrical and Electronics Engineers, 2010.

[28]Dijkstra E W. A note on two problems in connexion with graphs[J]. Numerische Mathematik, 1959, 1(1): 269-271.

[29]Miller F P, Vandome A F, Mcbrewster J. Kd-tree[M]. San Francisco, California, USA: Alpha Press, 2009.

[30]Whitlark D, Dunteman G H. Principal components analysis[J]. Journal of Marketing Research, 1990, 27(2): 243.

Ear segmentation and phenotypic trait extraction of maize based on three-dimensional point cloud skeleton

Zhu Chao, Miao Teng※, Xu Tongyu, Li Na, Deng Hanbing, Zhou Yuncheng

(1.,,110866,; 2,110866,)

Accurate and high-throughput maize plant phenotyping is vital for crop breeding and cultivation research. Ear related phenotypic parameters are important agronomic traits. However, fully automatic and fine ear organ segmentation of maize shoots from three-dimensional (3D) point clouds is still challenging. To address this issue, a skeleton-based maize plant organ segmentation process was used to segment the ear organs of the plant and extract phenotypic parameters. Firstly, the Laplace based skeleton extraction algorithm was utilized to generate plant skeleton. In this study, breadth first search method was used to obtain all the connected branches of the plant skeleton. The connected branches with the largest number of vertices were retained as the plant skeleton, while the small skeletons formed by the other connected branches were deleted to ensure that the plant skeleton is a connected undirected graph. Secondly, the plant skeleton was decomposed into several organ sub skeletons using Dijkstra algorithm, and then the organ sub skeletons were divided into stem sub skeletons and non-stem sub skeletons according to the angle features of sub skeletons and point cloud cylinder features. After that, the organ sub skeletons were used to obtain the seed points of each organ, and then the unsegmented points were classified in the order from the top to the bottom of the plant in turn, to get the final organ segmentation results. Four constraints (organ height constraint, sub-skeleton length constraint, cylindrical feature constraint, and the point cloud number constraint) were used to identify ear organs from all organ instances. Four constraints (organ height constraint, sub-skeleton length constraint, cylindrical feature constraint, and the point cloud number constraint) were used to identify ear organs from all organ instances. Four phenotypic traits, ear height, ear length, ear diameter and the ratio of plant height to ear height, were extracted using the ear organ instance. The segmentation method was tested on 15 maize plants. This study took about 24 seconds to process the maize plant with 10 000 point clouds. The result showed that the proposed method had a strong ability of ear recognition. The ear recognition accuracy was 91.3%. The average1 score, average precision, and average recall of the all the ear organs were 0.73, 0.82, and 0.70 respectively. Furthermore, to compare with the phenotypic parameters obtained by the proposed method in this paper and those obtained by manual measurement, the regression analysis was done and the results showed that the determination coefficients of ear height, ear length, ear diameter and the ratio of plant height to ear height, were 0.97, 0.78, 0.85, and 0.96, respectively, the root mean square error were 3.23, 4.98, 0.73 cm, and 0.07, respectively. There were also some problems in this method. First of all, if the distance between the ear tip point cloud and the other organ point cloud was too close, the ear skeleton might fail to be extracted, resulting in the ear could not be segmented, which often occurred in the second ear with a smaller volume. Secondly, the ability of the segmentation method to identify the boundary between the ear and other organs needs to be improved, which would lead to false segmentation of the ear point cloud, and more probability of under segmentation. The proposed algorithm cloud extract the point cloud and phenotypic parameters of ear organs. As far as we know, this was the first method to obtain this effect. The proposed approach might play an important role in further maize research and applications, such as genotype-to-phenotype study, geometric reconstruction, and dynamic growth monitoring.

plant; phenotype; computer vision; maize ear; point cloud; segmentation; skeleton extraction

朱超，苗騰，許童羽，等. 基于骨架的玉米植株三維點云果穗分割與表型參數(shù)提取[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(6)：295-301.doi：10.11975/j.issn.1002-6819.2021.06.036 http://www.tcsae.org

Zhu Chao, Miao Teng, Xu Tongyu, et al. Ear segmentation and phenotypic trait extraction of maize based on three-dimensional point cloud skeleton[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 295-301. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.06.036 http://www.tcsae.org

2020-12-13

2021-02-11

國家自然科學(xué)基金（31901399）；遼寧省重點研發(fā)計劃項目（2019JH2/10200002）；中國博士后基金（2018M631821）

朱超，博士生，研究方向為作物表型檢測技術(shù)。Email：20161008@stu.syau.edu.cn

苗騰，博士，副教授，研究方向為數(shù)字植物技術(shù)和表型檢測技術(shù)。Email：miaoteng@syau.edu.cn

10.11975/j.issn.1002-6819.2021.06.036

TP391.4

A

1002-6819(2021)-06-0295-07