中圖分類號:S126 文獻標志碼:A 文章編號:1008-0864(2025)07-0090-11
Nondestructive Segmentation and Extraction of Stem and Leaf Phenotypes During Tomato Plant Growth
WANG Yaxin,LYU Yangcheng,WANG Wenqi,LIU Qi, YANG Jie,REN Guihong, ZHANG Wuping,LI Fuzhong* (School of Software,Shanxi Agricultural University,Shanxi Taigu O3O8O1,China)
Abstract:Aiming at thecurentproblem that itisdiffcult toextract thephenotypic parameters of tomato plants without any loss,the stem and leaf segmentation and phenotypic extraction method of tomato plants based on 3D reconstruction was proposed.Firstly,the multi-view image sequences of tomato plants were colected to construct a 3D modelof the plant,anda combinationof multiple filtering algorithms was used to complete the pre-processing. The skeletonof thepre-processed point cloud was extracted using theLaplace-based skeleton extraction algorithm, andthe segmentationof the stemand leaves was completed basedonthe skeleton of the plant,and the segmentation of the single leaveswas completedusing the method based on theclusteringof hyperbolomers.6 phenotypic parameters including the heightoftheplant,thethickness of the stem,theangleoftheinclinationoftheleaf,the lengthof theleaf,the widthoftheleaf,and theareaof theleaf werealso extracted.Theresultsshowed thatthe average accuracy,average recalland average F1 score of stemand leaf segmentation were O.88,0.8O and 0.84, respectively,andthesegmentationindexes werebeter thantheother4segmentationalgorithms.Thecoefficientsof determination between the calculatedand measured values of plant height,stem thickness,leaf inclination,leaf length,leaf width and leaf area were0.97,O.84,0.88,0.94,0.92 and0.93,respectively,and theroot mean square errors were2.17cm,0.346cm,5.65°,3.18cm,2.99 cm and 8.79cm2.The measured valuesof the proposed method hadastrongcorelation with thecalculated values,which provided technical support for high-throughput phenotypic parameter extraction in tomato plants.
Key words:tomato;three-dimensional reconstruction;stemand leaf segmentation;phenotype extraction
番茄具有較高的營養(yǎng)價值和經(jīng)濟價值,在世界各地被廣泛種植。植物表型是指在基因和環(huán)境相互作用下產(chǎn)生的能反映植物生長狀態(tài)的特征及性狀,如株高、莖粗、葉傾角等2。植物表型參數(shù)的分析與育種息息相關(guān),對表型參數(shù)進行分析可輔助遺傳育種篩選,有利于進一步提高產(chǎn)量與品質(zhì)。但傳統(tǒng)的人工測量法效率低、主觀性強,還會造成破壞3。因此,開發(fā)準確、無損的表型提取方法對提高植物表型測量效率、促進育種至關(guān)重要。
隨著計算機視覺技術(shù)的發(fā)展,基于二維圖像和三維點云的表型提取方法被廣泛應(yīng)用于植物表型參數(shù)提取?;诙S圖像處理的方法存在設(shè)備要求較低、處理速度較快等優(yōu)點4,但伴隨著植株的動態(tài)生長,植株冠層會出現(xiàn)相互粘連和遮擋的情況,使得二維圖像中的冠層器官信息大量缺失,嚴重影響測量結(jié)果。三維點云不僅具有顏色信息,同時可以更完整地獲取植株形態(tài)結(jié)構(gòu),減少冠層遮擋給表型提取帶來的影響。常見的點云獲取設(shè)備包括激光掃描儀激光雷達TOF相機,但以上設(shè)備價格昂貴,極大地限制了其使用的普遍性[]?;谶\動恢復(fù)結(jié)構(gòu)(structurefrommotion,SFM)的重建方法只需要通過普通RGB相機采集數(shù)據(jù)便可進行重建,具有重建成本低、受周圍環(huán)境影響小的特點,已被廣泛用于農(nóng)作物的重建與表型獲取。Rose等采集不同角度的圖像序列,使用SFM法構(gòu)建了番茄植株點云模型,并提取了株高、冠幅、整體葉面積等不同表型參數(shù)。賈奧博等采集多視角二維圖像結(jié)合運動恢復(fù)結(jié)構(gòu)法構(gòu)建了不同品種的煙草點云,提取了株高、頂寬、底寬等表型參數(shù),并結(jié)合集成學習算法實現(xiàn)了株型分類。
已有研究主要集中于獲取完整植物點云數(shù)據(jù),然而為了獲得更詳細的器官水平或基于植物部位的信息,需要將植物模型分割成單個器官[14]。陽旭[5采用隨機采樣一致擬合圓柱的方法完成了棉花莖稈與葉片的分割。李少辰等采用基于曲率的區(qū)域生長算法實現(xiàn)了苗期玉米葉片的分割。然而,相對于棉花與玉米植株,番茄屬于共生分支結(jié)構(gòu),形態(tài)更復(fù)雜,難以通過固定的方式進行分割。Wang等基于番茄植株的器官尺度提取了17個表型參數(shù),但分割器官時依賴大量人工手動操作,不能滿足高通量表型測量的要求。針對番茄器官難以自動分割的問題,彭程等[8通過提取番茄植株點云骨架尋找骨架點的方式,對葉柄與主莖進行了分割,但由于番茄葉片粘連嚴重,提取骨架時會出現(xiàn)骨架閉環(huán)現(xiàn)象,易造成葉片欠分割,影響分割精度。
為解決因番茄結(jié)構(gòu)復(fù)雜造成的器官分割與表型提取困難的問題,本研究對構(gòu)建的番茄植株點云使用骨架提取、尋找最高點路徑、高度約束、半徑約束,結(jié)合基于歐式距離的超體素聚類實現(xiàn)了莖葉分割,并提取株高、莖粗、葉傾角、葉長、葉寬和葉面積共6個表型性狀,為番茄植株的三維模型重建、高通量表型提取提供了技術(shù)支持。
1材料與方法
1.1 圖像數(shù)據(jù)獲取
試驗在山西農(nóng)業(yè)大學番茄產(chǎn)業(yè)研究院(20 (40°40′54′′N,113°9′34′′E) 完成。試驗用番茄品種為優(yōu)萃8850,番茄種植壟間距約 50cm ,株距約40cm ,番茄幼苗于2023年5月15日定植。選擇12株長勢相近或一致的番茄作為試驗對象,于定植后7、14、21、30、45、60d采集點云。拍攝時間選擇在8:00—9:00或 17:00-18:00 ,此時光照較弱,植株受光均勻,重建后點云色彩差異較??;同時在重建范圍放置邊長為 3cm 的紅、藍標定塊,用于求取植株點云縮放系數(shù)。使用CannonEOS70D單反相機(佳能公司)在側(cè)視角和俯視角環(huán)繞蕃茄植株360° 獲取圖像,獲取方式如圖1所示,針對不同株型,共拍攝30\~100幅不等的圖像組成多視角圖像序列,相鄰圖像的重疊度需達到 70%~80% 。
1.2點云重建與預(yù)處理
將獲取的番茄植株多視角圖像序列作為輸入,采用 0penMVG+OpenMVS 框架[19構(gòu)建番茄植株的稠密點云(圖2A),最終輸出帶有顏色信息的.ply文件。重建后的稠密點云含有大量的環(huán)境點和噪聲點,這些點會影響后續(xù)處理速度,本研究通過使用多種濾波方式結(jié)合的方式去除噪聲點[2]。首先遍歷所有點,根據(jù)每個點的顏色分量計算超綠分量值(excessgreen,EXG),將 EXGlt;30 的點視為環(huán)境點進行濾除,計算公式如下。
EXG=2G-R-B
式中, .R,G,B 表示紅、綠、藍顏色分量。
去除環(huán)境點云后,葉片與莖稈之間仍存在大量離群噪聲點,使用統(tǒng)計濾波的方式去除,統(tǒng)計濾波中鄰域點數(shù) (n) 和標準差系數(shù) (α) 為濾波的關(guān)鍵參數(shù),通過比較多組 n 與 α 組合的濾除結(jié)果,當n=30,α=2.0 時能有效去除番茄植株中的離散點和噪聲點,并保留葉尖、邊緣和莖部細節(jié)(圖2B)。最后,采用體素濾波的方法來精簡點云數(shù)據(jù),提高算法計算的效率,對于苗期、開花坐果期、結(jié)果期的番茄,分別把體素參數(shù)voxel_size設(shè)置為0.03、0.05、0.07時,可以在不影響整體形態(tài)結(jié)構(gòu)的情況下完成點云精簡(圖2C),此時番茄植株點云的個數(shù)統(tǒng)一在12000\~15000,最終獲得不同生長時間的番茄植株點云(圖2D)。
1.3 莖葉分割方法
根據(jù)形態(tài)結(jié)構(gòu)可以將番茄器官分為莖稈點云和葉片點云,本研究提出的莖葉分割方法將植株點云作為輸入求取點云骨架,以點云骨架為基礎(chǔ)將莖稈與葉片分離,最后通過基于歐式距離的超體素聚類分割單葉。
1.3.1骨架提取采用基于拉普拉斯收縮的方法2提取番茄植株骨架。首先,對輸入番茄點云進行Delaunay鄰域估計,基于Laplacian算子對原始點云的Delaunay鄰域進行多次迭代收縮得到骨架點集C(圖3A;通過拓撲連接的方法將任意的兩個相鄰頂點連接成一條邊,獲取最終的無向圖點云骨架T(圖3B)。植株骨架由骨架邊和骨架頂點構(gòu)成,骨架頂點可分為根頂點、連接頂點和分支頂點。根頂點是只與1條骨架邊相連的頂點,如莖稈底部或葉片邊緣頂點;連接頂點是用于延伸2條骨架邊的頂點,如莖稈、葉柄骨架邊中負責延伸的頂點;分支頂點是有2條以上骨架邊與之相連的頂點,如莖稈與葉柄連接處的頂點,該頂點會用于后續(xù)高度約束分離莖稈與頂端葉片。
1.3.2基于骨架的莖稈提取莖稈提取包括植株坐標系校正、尋找骨架最高點路徑、高度約束、半徑約束共4個步驟。 ① 植株坐標系校正。重建后植株點云所在的坐標系與空間坐標系的關(guān)系是隨機的,不利于后續(xù)的處理。通過主成分分析(principalcomponentsanalysis,PCA)[22]法將植株骨架所在坐標系變換至空間坐標系下,轉(zhuǎn)換后植株的生長方向與點云在空間坐標系下Z軸所指的方向一致(圖4A)。 ② 尋找骨架最高點路徑。首先利用KdTree搜索機制遍歷整個骨架點云尋找莖稈根頂點;然后使用迪杰斯特拉算法23沿生長方向求取莖稈根頂點到最高連接點的最小生成樹(minimumspanningtree,MST)路徑[24],求取的最小生成樹路徑即為莖稈所在的路徑,將提取的莖桿路徑與對應(yīng)點云擬合即可得到莖稈點云(圖4B)。③ 高度約束。最頂端的葉片在骨架化后會與莖桿骨架誤歸為一類,難以區(qū)分。為解決以上問題,使用高度約束的方法進行分離。對莖稈骨架中的所有骨架點排序,并按由上向下的順序遍歷所有頂點,找到第1個出現(xiàn)的分支頂點作為頂端葉片骨架與莖桿骨架的連接點,將該頂點的Z坐標值作為閾值,把高于閾值的點從莖稈中移除,得到約束后莖稈點云(圖4C)。 ④ 半徑約束。半徑約束指超出莖稈擬合圓半徑的點大概率為葉片。由上到下遍歷莖稈骨架的所有分支頂點,采用隨機一致采樣法(random sample consensus,RANSAC)[25]以莖稈骨架分支頂點為圓心對該處的莖稈進行圓擬合,獲取該處莖稈擬合圓的最小半徑 (r) 。如果植株點云中某個點到圓心的距離大于 r ,則將這些點去除,去除的點即為葉片點云(圖4D)。完成以上步驟后,便可以實現(xiàn)莖稈與冠層葉片的分離(圖4E),但此時的冠層葉片還為一個整體,后續(xù)采用超體素聚類的方法分割單葉。
1.3.3基于超體素聚類的單葉分割由于去除莖稈后的番茄植株冠層葉片點云密度不均勻且存在遮擋、粘連等情況,仍需進一步分割才能精準提取表型參數(shù)。對去除莖稈后的葉片采取基于歐式距離的超體素聚類方法2進行分割,首先將需要分割的點云進行超體素處理,獲取葉片超體素塊(圖5B);然后使用局部凸包連接(locallyconvexconnectedpatches,LCCP)算法對超體素鄰接圖的公共邊進行凹凸性判斷,判斷方式如式(2)(3)所示。當相鄰體素塊的連接屬性系數(shù) (L)?0 時,判斷為凸屬性;反之,則為凹屬性;最后根據(jù)邊緣屬性將超體素點云重新聚類,實現(xiàn)葉片之間的分割,輸出的不同顏色聚類即為1個葉片(圖5C)。
L=nId-n2d
式中, d 為兩質(zhì)心的單位向量; n1,n2 為兩個鄰接體素塊的法向量; x1,x2 為鄰接體素塊的質(zhì)心向量。
1.4番茄植株表型參數(shù)提取方法
本研究提取株高、莖粗、葉傾角、葉長、葉寬和葉面積共6個參數(shù)。株高通過構(gòu)建植株的有向包圍盒(orientedboundingbox,OBB)[28]求取,分別通過包圍盒Z分量方向的最大坐標值與最小坐標值的差值來確定(圖6A)。莖粗通過統(tǒng)一截取地上5cm處的莖桿點云作為測量位置,進行圓擬合得到莖粗(圖6B)。葉傾角為葉柄與莖桿的夾角,分別提取莖稈的向量(V1)和葉柄的向量(V2),計算V1與V2之間的角度即為葉傾角(圖6C)。葉長采用基于K近鄰(K-nearestneighbor,KNN)算法[4擬合葉中脈的方式提取,通過設(shè)置K值的方式遍歷找到葉尖點與葉柄點,兩點之間的最短曲線即為葉長;OBB包圍盒 X 分量方向的差值距離即為葉寬(圖6D、E)。葉面積通過貪婪投影三角算法[28得到若干個三角網(wǎng)格(圖6F),通過海倫公式計算空間三角網(wǎng)格的總面積,求得的總面積即為葉面積0 ΔSleaf) ,計算公式如式(4)所示。
式中, Pi 表示三角形網(wǎng)格的 ci 表示三角形的邊長; n 為三角面片個數(shù)。
由于番茄植株三維模型和實際番茄大小存在縮放關(guān)系,通過式(5求得縮放系數(shù) (r) 。
式中, Hreal 為標定塊真實的邊長; Hreconstructed 為標定塊點云的邊長。
真實表型參數(shù)在拍照結(jié)束后立即用卷尺對株高、葉長、葉寬進行測量,使用游標卡尺測量莖粗,使用量角器測量葉傾角,以上參數(shù)均手動測量3次,取3次的平均值作為真實表型參數(shù)。葉面積實測值通過對植株進行破壞性取樣得到離體葉片的圖像通過圖像處理技術(shù)求取。
1.5 評價指標
莖葉分割通過統(tǒng)計正確分割的葉片點云數(shù)量評價其分割效果,莖葉分割的真值通過Cloudcompare軟件(Version2.10.1,GPL)手動分割獲得,將算法分割結(jié)果與真值進行比較完成評價。屬于葉片點云的器官被正確分割的數(shù)量用TP表示,屬于葉片點云的器官未被正確分割或分割為莖稈的數(shù)量用FN表示,非葉片點云器官被分割為葉片點云的數(shù)量用FP表示,基于上述3個參數(shù)計算準確率(precision,P)、召回率(recall,R)、F分數(shù)1 F1 -score, F1) 。公式如下。
表型提取采用線性回歸的方法評價,計算點云測量值與實際值的決定系數(shù) (R2) 、均方根誤差(rootmeansquareerror,RMSE),評估各參數(shù)的精度和誤差,計算公式如下。
式中, Xi,Yi 分別為第 i 個真實值和計算值; 和Y分別為真實值與計算值的平均值; n 為真實值或計算值的總數(shù)量。
2 結(jié)果與分析
2.1 莖葉分割結(jié)果
2.1.1算法參數(shù)對葉片分割結(jié)果的影響影響單葉分割效果的參數(shù)主要有種子分辨率 (Rseed) 、體素分辨率 (Rvoxel) 和最小分割尺寸 (Smin) 。分析不同參數(shù)對葉片分割結(jié)果的影響,對生成的超體素塊數(shù)量、分割運行時間進行了統(tǒng)計。由表1可知,當參數(shù)設(shè)置數(shù)值過小時,如 Rseed=0.05,Rvoxel= 0.01,Smin=0.1 和 Rseed=0.1,Rvoxel=0.01,Smin=0.1 會造成生成的超體素塊數(shù)過多,此時需要進行更多的凹凸性判斷,導(dǎo)致算法計算時間增長,同時也會使葉片分割為多部分,造成過分割(圖7A)。隨著參數(shù)設(shè)置逐漸增大,如 Rsed=0.25,Rvoxel=0.1 Smin=0.3 和 時,超體素塊數(shù)量減少,相鄰體素塊之間的凹凸性特征減少,此時雖然節(jié)約了計算時間,但會出現(xiàn)沒有足夠的特征用于凹凸判斷完成分割的問題,導(dǎo)致葉片處于粘連狀態(tài),造成葉片欠分割(圖7B)。
對于苗期與開花坐果期的番茄(7\~30d),該時期葉片較少,葉柄之間分布距離較遠,易于分割,但植株頂部葉片密集會出現(xiàn)葉尖粘連或葉片邊緣小部分重疊的情況,對于該類情況,將參數(shù)設(shè)置為 時,可達到較好的分割效果。對于結(jié)果期番茄(45\~60d),該時期番茄葉片較多且尺寸較大,雖然葉柄之間距離較遠,但由于葉片朝不同方向生長,會出現(xiàn)相鄰葉片交叉且葉片表面大部分重疊的情況,這時的點云更密集,應(yīng)根據(jù)粘連面積的大小及點云密度適當調(diào)整參數(shù)的值,經(jīng)過多次試驗,設(shè)置 Rseed=
時,可達到較好的分割效果(圖7C)。
2.1.2莖葉分割總體效果定植后7、14、21、30、45、60d,各取12株番茄進行莖葉分割,手動分割真值與算法分割結(jié)果對比分別如圖8A和圖8B所示,使用紅色表示莖稈點云,不同顏色的每一類表示不同的葉片。通過可視化結(jié)果發(fā)現(xiàn),使用算法得到的整體分割結(jié)果較理想,但有個別葉片出現(xiàn)了分割失敗的情況。如當葉片斷裂時,會造成過分割,將1個葉片分割為多個;當莖稈與葉柄連接處生出側(cè)芽時,有時會將側(cè)芽與葉柄歸為一類;當分割個別大面積粘連或緊湊生長的葉片時,也會出現(xiàn)2片葉子分割失敗的情況。
不同生長時期的葉片分割精度如表2所示,定植后第5、14、21天的葉片分割準確率和召回率分別為0.88、0.91、0.92和0.80、0.84、0.85,準確率和召回率均隨植株生長而逐漸上升,這是因為苗期的番茄頂端結(jié)構(gòu)生長密集,會誤把頂部的葉心或未完全展開的小葉片劃分為葉片,導(dǎo)致準確率較低,而隨著生長發(fā)育頂部緊湊程度降低,這一情況得以緩解。但隨著葉片間距不斷增大,交叉情況減少,更利于提取葉片的分割。
定植后第30、45、60天的分割準確率和召回率開始下降,分別為0.88、0.86、0.84和0.82、0.77、0.74。隨著植株的生長,一方面是誤將葉柄處生出的側(cè)芽當作葉片同時進行分割,造成誤分割,另一方面由于葉片形態(tài)過大,分割葉片時會出現(xiàn)單葉過分割的情況,將過分割的部分歸為新葉片,導(dǎo)致準確率降低;同時召回率降低說明隨植株生長植株形態(tài)過大,葉片重疊遮擋嚴重,難以將其進行分割。
2.1.3不同分割方法的分割效果對比將本研究莖葉分割方法與現(xiàn)有常用的點云分割方法進行對比,包括基于骨架提取的分割方法[18]、法線微分差異法[4、區(qū)域生長法[1基于凹凸性的分割方法[27],
不同算法的分割效果如圖9所示?;诠羌艿奶崛》椒▽o粘連、遮擋較少的葉片具有較好的分割效果,但該算法無法分割莖稈最頂端的葉片,會將頂端葉片與莖桿歸為一類,同時由于該方法提取骨架時會發(fā)生骨架偏移現(xiàn)象,導(dǎo)致葉柄骨架之間易發(fā)生骨架閉環(huán)現(xiàn)象,會影響葉片的分割精度;法線微分差異法、區(qū)域生長分割法和基于凹凸性的分割方法在分割時會將曲率閾值、距離閾值、法線信息等參數(shù)作為器官分割的依據(jù),這類算法對單一且粘連較少的葉片分割效果較好,但當葉片與莖桿連接緊密時,由于曲率、法線信息過于復(fù)雜,無法完整的將莖稈與葉片分離。
5種方法的莖葉分割精度結(jié)果如表3所示,本研究提出的莖葉分割方法分割效果最好,平均準確率遠遠高于其他4種分割算法,其平均準確率、平均召回率、平均F分數(shù)分別為0.88、0.80、0.84,說明本研究構(gòu)建的莖葉分割方法更適合番茄植株的點云分割。
2.2表型參數(shù)提取結(jié)果
由圖10A株高計算值與人工實測值的擬合效果可知, R2 和RMSE分別為0.97和 2.17cm ,表明本研究方法的測量值與手工測量值具有較高相關(guān)性,可以采用本研究方法準確測量株高。莖粗和葉傾角的計算值與人工實測值的擬合效果如圖10B、C所示, R2 和RMSE分別為0.84和 0.346cm 、0.88和 5.65° ,這2個性狀的相關(guān)性系數(shù)均低于90% ,誤差相對于其他表型參數(shù)而言較高,說明提升的空間還很大。造成莖粗誤差的原因可能是,測量時將莖的橫截面擬合為一個圓,將擬合圓的直徑作為莖粗,但隨著番茄生長莖稈的橫截面可能更近似于一個橢圓,而實際測量的距離更接近橢圓的短軸的長度,因此造成誤差;在測量葉傾角時,葉片相互重疊導(dǎo)致求取的葉柄向量會有一定偏移,影響葉傾角的測量結(jié)果。
通過本研究方法測量的葉長、葉寬和葉面積結(jié)果與手工測量值之間具有很強的相關(guān)性,誤差較小,擬合效果如圖10D\~F所示。葉長、葉寬、葉面積的 R2 和RMSE分別為0.94、0.92、0.93和 3.18cm.2.99cm.8.79cm2 ,說明本研究方法可以準確測量葉片相關(guān)參數(shù),且具有較好的魯棒性。造成誤差的原因主要有3方面: ① 當通過半徑約束提取莖稈時,會出現(xiàn)因擬合圓半徑大于莖稈真實半徑,導(dǎo)致葉柄部分被誤歸為莖稈,葉片的測量值出現(xiàn)偏小的情況; ② 在進行單葉分割時,超體素聚類分割會出現(xiàn)部分葉尖或葉片內(nèi)側(cè)點云歸為另一類的情況,導(dǎo)致提取部分測量結(jié)果偏大; ③ 隨著植株的增長,葉片遮擋嚴重,重建時遮擋部分重建不完全,葉片成功分割后也會因葉片缺失而造成表型測量結(jié)果偏小。
2.3算法效率分析
本研究所用到的全部算法被配置在一臺Intel(R)Core(TM) i7-13700KF以及NVIDIAGeForceRTX4080GPU的服務(wù)器上進行。為評估本研究的算法效率,共記錄了不同大小共60株番茄的運行時間,算法運行平均耗時如表4所示。平均總用時為 26.11min ,點云重建、莖葉分割以及表型提取的平均用時分別為17.89、5.25和
2.97min 。算法效率受植株株型的影響較大,株型越大拍攝的圖像越多,導(dǎo)致重建時間相應(yīng)增加,這樣也使得重建后的點云個數(shù)增多,后續(xù)處理時間增加;莖葉分割過程有 80% 的時間在進行預(yù)處理和骨架提取,株型越大,點云數(shù)量越多,耗費時間就越多;同樣,越大的植株器官數(shù)量也越多,提取表型參數(shù)時計算量相應(yīng)增大,耗時更久。
3討論
本研究方法相對于傳統(tǒng)的測量方法,具有非接觸、精度高的優(yōu)點,降低了人工測量的誤差和工作強度。與二維圖像測量相比,三維點云能更好地降低因器官相互遮擋造成的表型提取誤差。已有研究探討了利用三維點云分割植株器官[8-11,13-16],雖能有效地分割器官并提取表型參數(shù),但其間依賴大量的人為干預(yù)。本研究提出的番茄點云器官分割及表型提取方法與已有研究[8,12.17-18]相比,在一定程度上解決了因番茄生長結(jié)構(gòu)復(fù)雜造成的器官分割及表型提取困難等問題,提高了表型分析的效率和準確度。本研究提出的莖葉分割方法對于不同生長時間番茄的莖葉分割平均準確率、平均召回率、平均F1分數(shù)分別為0.88、0.80、0.84,與基于骨架的分割方法、法線微分差異法、區(qū)域生長法和基于凹凸性的分割方法相比,平均準確率均提高;同時莖稈與葉片的精準分割使表型參數(shù)的測量更加快速準確,株高、莖粗、葉傾角、葉長、葉寬和葉面積測量值與實測值的決定系數(shù)分別為0.97,0.84,0.88,0.94,0.92 和0.93,具有較強的相關(guān)性,符合農(nóng)藝生產(chǎn)的要求。本研究算法的平均總用時為 26.11min ,相比于Wang等[7所用時間,算法效率提高 62.5% 。以上結(jié)果表明,本研究方法能夠快速分割番茄植株器官,為多分枝作物高通量自動化表型提取提供高效的技術(shù)支持。
然而本研究也有一些局限性。第一,本研究依舊通過人工獲取圖像數(shù)據(jù),不能完全實現(xiàn)自動化,后期考慮將多個相機與控制系統(tǒng)結(jié)合,實現(xiàn)圖像數(shù)據(jù)的自動采集;第二,通過時效分析發(fā)現(xiàn),重建過程耗費時間過長,導(dǎo)致整體效率下降,后續(xù)將通過尋找最優(yōu)重建策略24的方式進一步縮短重建所需時間,提高工作效率;第三,莖葉分割方法對大多數(shù)葉片取得較好的分割效果,但面對大面積重疊或生長緊湊的葉片時,分割會受到影響,針對因遮擋導(dǎo)致的分割精度低的問題,后期將考慮采用深度學習的方式對器官進行分割,實現(xiàn)更精準地分割。
參考文獻
[1]CHITWOOD-BROWN J,VALLAD G E,LEE T G,et al.. BreedingforresistancetoFusariumwiltof tomato:areview[J/OL]. Genes,2021,12(11):1673 [2023-12-30].https://doi.org/10.3390/ genes12111673.
[2]ROOHANITAZIANIR,DE MAAGDRA,LAMMERSM, et al.. Exploration of a resequenced tomato core collection for phenotypicand genotypic variation inplant growth and fruit quality traits [J/OL].Genes,2020,11(11): 1278 [2023-12-30]. https://doi.org/10.3390/genes11111278.
[3]SHAKOOR N,LEE S,MOCKLER T C.High throughput phenotyping to accelerate crop breeding and monitoring of diseasesinthefield[J].Curr.Opin.PlantBiol.,2017,38:184-192.
[4]張慧春,張萌,邊黎明,等.基于YOLOv5的植物葉綠素含量 估測與可視化技術(shù)[J].農(nóng)業(yè)機械學報,2022.53(4):313-321. ZHANGHC,ZHANGM,BIANLM,etal..Estimationand visualization of chlorophyllcontent in plant based on YOLO v5 [J]. Trans. Chin.Soc.Agric.Mach.,2022,53(4): 313-321.
[5]LU C P,LIAWJJ,WUTC, et al. Development of a mushroom growth measurement system applying deep learning for image recognition[J/OL]. Agronomy,2019,9(1):32 [2023-12-30].https:// doi.org/10.3390/agronomy9010032.
[6]WANG D D,LICY,SONG HB,et al.Deep learning approach for apple edge detection to remotely monitor apple growth in orchards [J]. IEEE Access,2020,8: 26911-26925.
[7]陸健強,蘭玉彬,毋志云,等.植物三維建模ICP點云配準優(yōu) 化[J].農(nóng)業(yè)工程學報,2022,38(2):183-191. LUJQ,LAN Y B,WU ZY,et al..Optimization of ICP point cloud registration in plants 3D modeling[J]. Trans. Chin. Soc. Agric.Eng.,2022,38(2): 183-191.
[8]楊征鶴,喻晨,楊會民,等.基于LiDAR的溫室番茄冠層幾 何參數(shù)提取[J].新疆農(nóng)業(yè)科學,2021,58(10):1909-1917. YANG Z H, YU C, YANG H M,et al. Geometric parameters extraction of tomato canopy in greenhouse based on LiDAR [J]. Xinjiang Agric.Sci.,2021, 58(10): 1909-1917.
[9]陳海波,劉圣搏,王樂樂,等.基于KinectV3的單株作物自動 化三維重建與驗證[J].農(nóng)業(yè)工程學報,2022,38(16):215-223. CHEN H B,LIU SB,WANG LL,et al..Automatic 3D reconstructionand verification ofanindividualcropusingKinect V3[J].Trans.Chin.Soc. Agric.Eng.,2022,38(16): 215-223.
[10]JINSC,SUYJ,WUFF,et al.Stem-leaf segmentation and phenotypic trait extraction of individual maize using terrestrial LiDAR data [J].IEEE Trans.Geosci. Remote. Sens.,2019, 57(3): 1336-1346.
[11]李玉超.基于多視角圖像的苗期玉米植株三維重建和表型 測量研究[D].保定:河北農(nóng)業(yè)大學,2022. LI YC.Three-dimensional reconstruction andphenotype measurement of maize plants at seedling stage based on multiview images [D].Baoding: Hebei Agricultural University,2022.
[12]ROSEJC,PAULUS S, KUHLMANN H.Accuracy analysis of a multi-view stereo approach for phenotyping of tomato plants at the organ level[J].Sensors,2015,15(5): 9651-9665.
[13]賈奧博,董天浩,張彥,等.基于三維點云和集成學習的大 田煙草株型特征識別[J].浙江大學學報(農(nóng)業(yè)與生命科學 版),2022,48(3): 393-402. JIA AB,DONG T H,ZHANG Y, et al..Recognition of fieldgrown tobacco plant type characteristics based on threedimensional point cloud and ensemble learning [J]. J. Zhejiang Univ.(Agric.Life Sci.),2022,48(3):393-402.
[14]肖奕同,劉帥,侯晨連,等.基于三維點云的大豆植株器官分 割及表型分析[J].中國農(nóng)業(yè)科技導(dǎo)報,2023,25(8):115-125. XIAO Y T,LIU S,HOU C L,et al..Organ segmentation and phenotypic analysis of soybean plantsbased on three-dimensional point clouds[J].J.Agric.Sci. Technol.,2023,25(8):115-125.
[15]陽旭.基于多時相點云數(shù)據(jù)的作物表型參數(shù)獲取及動態(tài)量 化方法研究[D].武漢:華中農(nóng)業(yè)大學,2019. YANG X. Research on crop phenotypic parameter acquisition and dynamic quantification method based on multi-temporal point cloud data [D].Wuhan: Huazhong Agricultural University, 2019.
[16]李少辰,張愛武,張希珍,等.葉片尺度的玉米幼苗三維表型 信息提取方法[J].激光與光電子學進展,2023,60(2):61-69. LI S C, ZHANG A W, ZHANG X Z, et al..3D phenotypic information extraction method of maize seedlings at leaf scale [J]. Laser Optoelectron.Prog.,2023,60(2): 61-69.
[17]WANGYH,HUS T,RENH, et al..3DPhenoMVS: a low-cost 3D tomato phenotyping pipeline using 3D reconstruction point cloud based on multiview images [J/OL].Agronomy,2022,12(8): 1865 [2023-12-30]. htps://doi.org/10.3390/agronomy12081865.
[18]彭程,李帥,苗艷龍,等.基于三維點云的番茄植株莖葉分 割與表型特征提取[J].農(nóng)業(yè)工程學報,2022,38(9):187-194. PENG C,LI S,MIAO Y L,et al.. Stem-leaf segmentation and phenotypic trait extraction of tomatoes using three-dimensional point cloud [J]. Trans.Chin. Soc.Agric. Eng.,2022,38(9):187-194.
[19]李百明,吳茜,吳,等.基于多視角自動成像系統(tǒng)的作物 三維點云重建策略優(yōu)化[J].農(nóng)業(yè)工程學報,2023,39(9): 161-171. LIBM,WUQ,WUJ,etal..Optimization of crop 3D point cloudreconstruction strategybased on the multi-view automatic imaging system [J].Trans.Chin.Soc.Agric.Eng.,2023,39(9): 161-171.
[20]CAO JJ, TAGLIASACCHI A,OLSON M,et al..Point cloud skeletons via Laplacian based contraction[C]//2o1o Shape Modeling International Conference.IEEE,201o: 187-197.
[21]WANGYW,CHENYF,ZHANGXN,etal..Researchon measurement method of leaf length and width based on point cloud[J/OL].Agriculture,2021,11(1): 63 [2024-12-30].https:// doi.org/10.3390/agriculture11010063.
[22]DIJKSTRA E W.A note on two problems in connexion with graphs [J]. Numer.Math.,1959,1(1): 269-271.
[23]任棟宇,李曉娟,林濤,等.基于Kinectv2傳感器的果樹枝干 三維重建方法[J].農(nóng)業(yè)機械學報,2022,53(增刊2):197-203. RENDY,LI XJ,LIN T,et al..3D reconstruction method for fruittree branchesbased on Kinect v2 sensor[J]. Trans.Chin. Soc.Agric.Mach.,2022,53(S2): 197-203.
[24]WUQH,LIUJC,GAO C, et al.. Improved RANSAC point cloud spherical target detection and parameter estimation method based on principal curvature constraint [J/OL]. Sensors,2022, 22(15): 5850 [2023-12-30]. htps://doi.org/10.3390/s22155850.
[25]LIAO LF,TANG SJ,LIAO JH, et al..A supervoxel-based random forest method for robust and effective airborne LiDAR point cloud classification [J/OL]. Remote. Sens., 2022,14(6): 1516 [2024-12-30]. htps://doi.org/10.3390/rs14061516.
[26]ZHENG L,WANG L,WANG M,et al..Automatic 3D point cloud reconstruction ofLeaf lettuce based on Kinect camera [J]. Trans. Chin.Soc.Agric.Mach.,2021,52(7): 159-168.
[27]賴亦斌,陸聲鏈,錢婷婷,等.植物三維點云分割[J].應(yīng)用科 學學報,2021,39(4):660-671. LAI YB,LU SL, QIAN TT,et al.. Three-dimensional point cloud segmentation for plants [J].J. Appl. Sci., 2021,39(4): 660-671.
[28]ZHANG ZC,MA XD,GUAN HO,et al.A method for calculating the leaf inclination of soybean canopy based on 3D point clouds [J].Int.J.Remote.Sens.,2021,42(15): 5719-5740.