肖順夫，劉升平，李世娟，杜鳴竹，呂純陽，劉大眾，楊菲菲，劉航

改進(jìn)區(qū)域增長算法的植株多視圖幾何重建

肖順夫，劉升平，李世娟，杜鳴竹，呂純陽，劉大眾，楊菲菲，劉航

（中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京 100081）

【】通過研究3種不同復(fù)雜程度植株冠層的三維重建，為更加精準(zhǔn)獲取植株冠層表型參數(shù)提供新方法?！尽勘疚氖紫扔脝畏聪鄼C(jī)獲取3種不同復(fù)雜程度植株冠層圖片序列，通過三維重建得到各植株稠密點(diǎn)云；隨后還原植株點(diǎn)云原始尺度，過濾稠密點(diǎn)云中的噪聲，再使用改進(jìn)區(qū)域增長算法分割植株點(diǎn)云冠層；之后借助激光掃描儀，利用手動測量和激光掃描方法分別從二維和三維兩個(gè)方面對多視圖幾何重建的葉片進(jìn)行精度評價(jià)，二維精度評價(jià)為葉片長寬的實(shí)際測量值分別與激光掃描儀獲取的葉片的長寬值和多視圖幾何重建葉片的長寬值進(jìn)行統(tǒng)計(jì)分析，三維精度評價(jià)使用傳統(tǒng)的網(wǎng)格對比方法豪斯多夫距離與更加精準(zhǔn)的工業(yè)級網(wǎng)格3D精度對比檢測軟件Geomagic Qualify?！尽慷嘁晥D幾何重建的植株葉片表型信息與手動測量值間的判定系數(shù)（R）均高于0.96，激光掃描方法獲取的植株葉片表型信息與手動測量值間的判定系數(shù)（R）均高0.99；多視圖幾何重建的葉片與激光掃描得到的葉片在0—±1mm偏差范圍內(nèi)的比例大部分達(dá)到97%以上；以激光掃描的葉片網(wǎng)格為參考，多視圖幾何重建的葉片網(wǎng)格的豪斯多夫距離90%以上分布在0—2 mm。本研究的多視圖幾何重建方法與改進(jìn)區(qū)域增長算法相結(jié)合能對不同復(fù)雜程度的植株取得比較理想的重建結(jié)果?！尽勘疚奶岢龅亩嘁晥D幾何方法與改進(jìn)區(qū)域增長算法相結(jié)合的重建方法可以彌補(bǔ)區(qū)域增長算法的不足，對表面不平滑的植株冠層具有更好的分割效果，適合不同復(fù)雜程度植株三維重建，為育種研究獲取植株表型提供一定的參考。

多視圖幾何；三維重建；植株；區(qū)域增長算法；數(shù)碼相機(jī)

0 引言

【研究意義】自2014年以來，全世界糧食不足人數(shù)不斷增長，2017年達(dá)到8.21億，約占全世界人口的9%[1]。未來幾十年中，人類將面臨巨大的糧食挑戰(zhàn)，為提高全球糧食的產(chǎn)量，改良育種與栽培管理至關(guān)重要。高效改良育種與優(yōu)化栽培的基礎(chǔ)是深入理解與描述植株的功能與結(jié)構(gòu)，其依賴于將植株表型性狀與基因組結(jié)合起來，通過表型解析復(fù)雜的遺傳性狀[2-3]，因此，研究植株三維重建的方法，獲取更加精準(zhǔn)的植株表型對于改良育種乃至解決全球糧食不足問題具有重要意義?！厩叭搜芯窟M(jìn)展】大數(shù)據(jù)時(shí)代的到來，傳統(tǒng)的人工測量植株表型的方法無法獲取高通量表型信息，不能滿足表型與基因型分析[4]。為解決這個(gè)問題，許多研究人員用不同傳感器技術(shù)開展研究，如雙目立體視覺法[5-6]、激光掃描法[7-9]，深度相機(jī)法[10-13]等。其中Chen等[5]在植株工廠上構(gòu)建雙目相機(jī)，對生菜進(jìn)行三維信息提取，并測得株高等生物量。Nguyen等[6]利用相機(jī)陣列對田間不同生長時(shí)期的向日葵進(jìn)行重建。ElI等[8]提出一種基于激光測距儀（LRF）精確三維測量和自動數(shù)據(jù)處理的表型分析新方法，通過對2個(gè)擬南芥幼苗的三維表面進(jìn)行測量，成功確定葉片表面方向和葉片表觀方向這2個(gè)新性狀。Paulus等[9]利用高精度激光掃描儀對大麥的莖葉進(jìn)行表型提取，并且與手動測量表型進(jìn)行對比，R達(dá)到0.85—0.97。Azzari等[10]利用Kinect一代傳感器獲取2個(gè)物種植株的深度圖像，并將該結(jié)果與手動測量結(jié)果相比較，試驗(yàn)表明深度圖像與人工測量的植株大小的水平和垂直測量結(jié)果能很好吻合。Yang等[13]使用kinect V2深度傳感器，利用轉(zhuǎn)盤旋轉(zhuǎn)植株的方法來采集紅辣椒的多幅圖像并進(jìn)行三維重建，實(shí)現(xiàn)三維重建的系統(tǒng)配置和算法實(shí)現(xiàn)。上述幾類方法雖然可以獲取高精度的植株點(diǎn)云，但是儀器過于昂貴，且對于環(huán)境要求比較但嚴(yán)格，對探測距離也有一定的要求，在一定程度上限制他們的使用。運(yùn)動恢復(fù)結(jié)構(gòu)的三維重建方法（structure from motion，SFM），利用多幅連續(xù)拍攝的植株二維照片來重建稀疏點(diǎn)云，該方法以其設(shè)備簡單、環(huán)境限制小且不受室外環(huán)境干擾等特點(diǎn)在重建植株三維特征方面更加具有優(yōu)勢。研究人員多將運(yùn)動恢復(fù)結(jié)構(gòu)方法（structure from motion，SFM）與多視圖立體視覺（multiple view stereo，MVS）結(jié)合，生成稠密的植株點(diǎn)云，再使用區(qū)域增長算法，分割植株冠層，從而提取冠層表型參數(shù)[14-15]?！颈狙芯壳腥朦c(diǎn)】目前，許多研究者僅僅使用區(qū)域增長算法[16]分割冠層，該算法僅僅以法線和曲率為分割條件，為保證植株冠層完全分割，分割后的各個(gè)植株葉片均有部分點(diǎn)云被歸于未分類的紅色點(diǎn)云而被丟棄，且隨著冠層葉片越小、葉片表面起伏越大，該現(xiàn)象越明顯[14-15]。為彌補(bǔ)區(qū)域增長算法[16]的不足，許多研究者多先使用區(qū)域增長算法分割冠層，得到單獨(dú)葉片點(diǎn)云，再進(jìn)行網(wǎng)格化，對網(wǎng)格存在的漏洞與凸起進(jìn)行修復(fù)與平滑[14-15]。該方法應(yīng)用于面積較大且表面平滑的植株時(shí)，精度滿足要求，但是對于一些冠層葉片較多、葉片面積較小且表面起伏較大的植株而言，該方法會丟失掉葉片的部分真實(shí)屬性。【擬解決的關(guān)鍵問題】本文將SFM與MVS方法結(jié)合，并提出一種基于聚類思想的改進(jìn)區(qū)域增長算法，對辣椒、黃瓜與番茄3種不同復(fù)雜程度的植株進(jìn)行三維重建。并從二維與三維兩個(gè)維度將重建結(jié)果分別與手動測量數(shù)據(jù)和激光掃描儀數(shù)據(jù)進(jìn)行精度對比，證實(shí)本文方法對不同復(fù)雜程度的植株冠層三維重建的可行性，且對冠層表面起伏較大的植株具有更好的效果。

1 材料與方法

本文利用SFM與MVS方法重建3種植株冠層的三維形態(tài)，選取葉片大而寬且表面略起伏彎曲的黃瓜、葉片小而寬且表面平滑的辣椒以及葉片為羽狀復(fù)葉型的番茄3種植株作為重建對象。主要步驟如下（圖1）：（1）單反相機(jī)獲取植株圖片序列；（2）植株圖片序列重建得到植株稠密點(diǎn)云并由花盆直徑恢復(fù)植株點(diǎn)云尺度；（3）去除植株噪點(diǎn)并使用改進(jìn)區(qū)域增長算法分割冠層；（4）激光掃描儀獲取單株植株點(diǎn)云；（5）多視圖幾何重建點(diǎn)云與激光掃描獲取葉片點(diǎn)云分別構(gòu)建表面和平滑表面；（6）獲取多視圖幾何重建葉片網(wǎng)格與激光掃描儀獲取的葉片網(wǎng)格表型參數(shù)（葉片長與寬），分別與真實(shí)測量值進(jìn)行精度對比；（7）多視圖幾何重建葉片表面與激光掃描獲取的葉片表面3D精度對比。

圖1 植株三維重建與精度評價(jià)流程圖

1.1 試驗(yàn)環(huán)境

試驗(yàn)在中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所溫室進(jìn)行，溫度維持在18—28℃，濕度維持在40%—50%RH。選取移植15 d后的盆栽黃瓜、辣椒、番茄各2盆作為重建對象，其中黃瓜為3—4片葉期，辣椒為5—6片葉期，番茄為5—6簇葉期。利用單反相機(jī)（Cannon EOS 5DsR）獲取盆栽圖片序列，有效分辨率為2 200萬。采集盆栽時(shí)間為上午10：00—12：00，將待取樣盆栽放置轉(zhuǎn)盤上，用固定于三腳架上的單反相機(jī)以45°左右的傾角向下拍攝盆栽，相機(jī)鏡頭到盆栽冠層的距離為60—80 cm，相機(jī)與盆栽的位置參照如圖2所示。相機(jī)拍照模式為光圈優(yōu)先模式（AV），拍照時(shí)光圈大小為6.0，感光度（ISO）為1 200。拍照時(shí)，一人控制轉(zhuǎn)盤，一人采集盆栽照片，轉(zhuǎn)盤每旋轉(zhuǎn)一個(gè)度數(shù)，待盆栽靜止，使用單反獲取盆栽圖像。分別以4°、5°、6°、7°旋轉(zhuǎn)盆栽360°，最終每盆盆栽分別得到90張、72張、60張、52張圖片用于重建。盆栽激光點(diǎn)云數(shù)據(jù)采集時(shí)間為當(dāng)天的13：00—14：00，三維激光掃描儀選用北京天遠(yuǎn)三維科技有限公司的手持式激光掃描儀FreeScan X3，精度可達(dá)0.03 mm，F(xiàn)reeScan X3將特制標(biāo)記點(diǎn)貼于待掃描物體上，更加精準(zhǔn)拼接不同方位點(diǎn)云。本次試驗(yàn)將標(biāo)記點(diǎn)貼于盆栽附近的輔助工具從而得到完整的盆栽點(diǎn)云信息。

圖2 相機(jī)位置參照

1.2 基于圖像序列的點(diǎn)云重建與去噪

使用基于運(yùn)動恢復(fù)結(jié)構(gòu)算法（structure from motion）的VisualSFM[17]軟件與基于CMVS算法的CMVS[18]軟件分別實(shí)現(xiàn)圖像序列的稀疏點(diǎn)云與稠密點(diǎn)云重建。流程如圖3所示（以番茄植株為例）。

使用C++語言基于點(diǎn)云庫PCL（point cloud library）[19]實(shí)現(xiàn)稠密點(diǎn)云的尺度恢復(fù)與去噪。多次測量稠密點(diǎn)云的花盆直徑，將其平均值與花盆的真實(shí)直徑進(jìn)行對比，利用得到的尺度信息還原稠密點(diǎn)云。點(diǎn)云去噪包括以下幾個(gè)步驟：（1）顏色濾波過濾掉背景。植株點(diǎn)云為綠色，噪點(diǎn)一般是藍(lán)色的花盆與棕色土壤，將顏色過濾條件定為g＞r且g＞b。（2）統(tǒng)計(jì)濾波去掉離群點(diǎn)。

圖3 多視圖幾何生成點(diǎn)云流程圖

1.3 基于改進(jìn)區(qū)域增長算法的分割算法

改進(jìn)區(qū)域增長算法流程如下：采用區(qū)域增長算法[16, 20]對去噪后點(diǎn)云進(jìn)行初始分割，參數(shù)調(diào)節(jié)至冠層全部分割；采用聚類方法，將葉片損失的點(diǎn)云聚類回原本葉片，分割冠層的同時(shí)保留完整的葉片點(diǎn)云信息，其中，區(qū)域增長算法采用C++語言基于點(diǎn)云庫PCL（point cloud library）[19]實(shí)現(xiàn)，點(diǎn)云的聚類算法采用C++語言實(shí)現(xiàn)。

原始的區(qū)域增長算法[16, 20]按照曲率排序所有點(diǎn)，曲率最小點(diǎn)放入種子點(diǎn)集合，為種子點(diǎn)找到相鄰點(diǎn)。具體步驟如下：（1）測試種子點(diǎn)與當(dāng)前點(diǎn)的法線角度，如果小于法線閾值，則當(dāng)前點(diǎn)算為該種子點(diǎn)的相鄰點(diǎn)。（2）檢查每個(gè)鄰居點(diǎn)曲率，如果其曲率小于曲率閾值，則該點(diǎn)被添加到種子點(diǎn)集合。（3）檢查后的種子點(diǎn)從種子點(diǎn)集中移除。算法的輸出分為兩部分，一部分是若干個(gè)分好類的點(diǎn)集，另外一部分是未分類的紅色點(diǎn)集。試驗(yàn)中發(fā)現(xiàn)，閾值設(shè)置得太小時(shí)（number of neighbours：60，smoothness threshold：14.0/180.0×π，curvature threshold：1.0），葉片均可分割開，但是部分葉片彎曲部分由于曲率變化太大而被歸于未分類的紅色點(diǎn)集（圖4-a）；閾值設(shè)置過大（number of neighbours：100，smoothness threshold：16.0/180.0×π，curvature threshold：1.5），則不能分開曲率與法線較為接近的葉片（圖4-b）。

為分割冠層每片葉片且保留葉片完整的原始點(diǎn)云，改進(jìn)區(qū)域增長算法的步驟如下：（1）去噪后點(diǎn)云輸入?yún)^(qū)域增長算法原始分割，設(shè)置較小的法線閾值與曲率閾值完全分割植株冠層（圖4-a）。（2）所有未分類紅色點(diǎn)云進(jìn)行歐氏聚類，使未分類的紅色點(diǎn)云重新聚類回原本葉片點(diǎn)云，即循環(huán)所有未分類的紅色點(diǎn)云，每個(gè)紅色點(diǎn)云與分割后每個(gè)葉片點(diǎn)云每個(gè)點(diǎn)計(jì)算兩點(diǎn)之間的歐氏距離，如果紅色點(diǎn)云與該葉片點(diǎn)云集合所有點(diǎn)的最小歐氏距離小于閾值，則將紅色點(diǎn)歸入該葉片點(diǎn)云集合，并從紅色點(diǎn)云集合中刪除該點(diǎn)。原始分割的葉片（圖5-a）與改進(jìn)的分割葉片（圖5-b）結(jié)果表明，原始的區(qū)域增長算法處理后，葉片表面部分曲率過大的點(diǎn)被劃分到未分類紅色點(diǎn)集，而改進(jìn)區(qū)域增長算法則將這部分點(diǎn)重新聚類回其原本的點(diǎn)云中，保留葉片的原始信息。（3）將分類后的葉片點(diǎn)云進(jìn)行手動處理，將其粘連的葉柄點(diǎn)云去掉。試驗(yàn)中，由于番茄葉片太多，每盆番茄取一簇（5—9片）進(jìn)行分割處理與后續(xù)試驗(yàn)。

圖4 不同參數(shù)的區(qū)域增長算法對辣椒植株的分割結(jié)果

1.4 表面重建與參數(shù)提取

表面重建采用C++語言基于點(diǎn)云庫PCL（point cloud library），實(shí)現(xiàn)貪婪投影三角化算法[21]，該算法的原理是將三維點(diǎn)通過法線投影到某一平面，然后對投影得到的點(diǎn)云作平面內(nèi)的三角化，從而得到各個(gè)點(diǎn)的連接關(guān)系。在平面區(qū)域的三角化過程中用到基于Delaunay的空間區(qū)域增長算法，通過選取一個(gè)樣本三角片作為初始曲面，不斷擴(kuò)張曲面邊界，然后形成一張完整的三角網(wǎng)格曲面，最后根據(jù)投影點(diǎn)云的連接關(guān)系確定各原始三維點(diǎn)間的拓?fù)溥B接，所得的三角網(wǎng)格即為重建得到的曲面模型。

該算法能快速三角化點(diǎn)云，但是不能光滑曲面與孔洞修復(fù)。因此，本文隨后采用Geomagic Studio（Raindrop Geomagic, Morrisville，NC，USA）軟件進(jìn)行光滑曲面、孔洞修復(fù)以及葉片曲面參數(shù)的提取（長寬）。其中，提取葉長與葉寬等表型信息時(shí)，葉長是指從葉基到葉尖的曲面距離，葉寬是與葉長垂直的最大曲面距離。

1.5 精度對比

1.5.1 二維精度對比 激光掃描儀獲取的葉片的長寬與實(shí)際測量值進(jìn)行統(tǒng)計(jì)分析，并將多視圖重建葉片的長寬與實(shí)際測量值進(jìn)行統(tǒng)計(jì)分析，包括方差分析（ANOVA）、協(xié)方差分析（ANCOVA）、線性回歸等。待評估值和參照值的吻合程度用均方根誤差（）、和決定系數(shù)（R）進(jìn)行描述。其中公式如下：

式中，p和y分別為第個(gè)待評估值和參照值；為待評估值或參照值的個(gè)數(shù)。

1.5.2 三維精度對比 分別采用傳統(tǒng)的網(wǎng)格比較方法豪斯多夫距離[22]（hausdorff distance）與更加精準(zhǔn)的工業(yè)級網(wǎng)格3D精度對比檢測軟件Geomagic Qualify[23]來進(jìn)行比較。計(jì)算網(wǎng)格的豪斯多夫距離時(shí)，選取的采樣點(diǎn)為網(wǎng)格的頂點(diǎn)，計(jì)算過程在Meshlab軟件中實(shí)現(xiàn)，兩個(gè)網(wǎng)格的豪斯多夫距離越大，則兩個(gè)網(wǎng)格的近似程度越低，差別越大。Geomagic Qualify軟件被廣泛應(yīng)用于工業(yè)界的硬件精度對比，如激光掃描得到的航天發(fā)動機(jī)葉片與CAD構(gòu)建的發(fā)動機(jī)葉片精度檢測等[24-25]，具有很高對比精度。本文多視圖幾何重建葉片3D精度檢測步驟如下：（1）在Geomagic Qualify將多視圖葉片與激光掃描葉片依次設(shè)置為檢測對象與參考對象，運(yùn)用最佳擬合對齊，比較2個(gè)葉片曲面的法線方向，當(dāng)法線擬合最多時(shí)，將2個(gè)葉片對齊。（2）在Geomagic Qualify軟件中運(yùn)用3D對比，比較2個(gè)曲面的最大偏差、平均偏差以及各個(gè)偏差區(qū)域曲面的概率分布，并生成偏差色譜，便于直觀偏差。（3）將對齊的多視圖葉片與激光掃描葉片導(dǎo)入Meshlab軟件，計(jì)算豪斯多夫距離，并且統(tǒng)計(jì)不同最大豪斯多夫距離下網(wǎng)格頂點(diǎn)所占所有網(wǎng)格頂點(diǎn)的百分比。

2 結(jié)果

2.1 點(diǎn)云處理結(jié)果

多視圖幾何重建得到的各植株點(diǎn)云如圖6-a所示（均以90張圖片重建為例），由圖可知，3種植株均能很好地展現(xiàn)出三維形態(tài)。改進(jìn)區(qū)域增長算法得到的分割結(jié)果如圖6-b所示。其中每一種顏色的點(diǎn)云代表一個(gè)葉片；在分割點(diǎn)云基礎(chǔ)上，每片葉片能保留完整的原始點(diǎn)云信息。圖6-c為多視圖幾何重建方法最終得到的各植株的重建效果，葉片能還原比較真實(shí)的三維形態(tài)，并且附帶部分紋理信息。圖-6d為激光掃描的各植株葉片結(jié)果，可知植被葉片很光滑且具有真實(shí)感。

為對重建植株冠層的表型信息有一個(gè)更加直觀的認(rèn)知，圖7為本次試驗(yàn)重建盆栽（辣椒、黃瓜與番茄各2盆）各葉位葉寬與葉長的比較示意圖（取90張圖片重建結(jié)果為例）。由圖7可知，同一個(gè)時(shí)期下，黃瓜的葉片的長與寬最大，辣椒的次之，番茄則最小。隨著葉位的上移，黃瓜與辣椒的葉長與葉寬都趨向于一個(gè)先增加后減小的趨勢，但是番茄一簇最上面葉位的葉片一般葉長與葉寬反而較大。

2.2 精度評價(jià)

分析表明，黃瓜、辣椒與番茄植株重建精度隨著重建照片數(shù)量下降依次降低（90張、72張、60張、52張），且黃瓜與番茄2種植株在重建照片數(shù)量小于60張時(shí)，點(diǎn)云過于稀疏，效果不佳，因此精度評價(jià)不予統(tǒng)計(jì)。

表1為各植株葉片實(shí)際長寬測量值分別與激光掃描葉片長寬值和多視圖重建葉片長寬值的精度對比。激光掃描儀掃描精度很高，3種植株2均大于0.99（＜0.01），能夠?yàn)槎嘁晥D重建結(jié)果提供3D精度對比的參考標(biāo)準(zhǔn)。辣椒和黃瓜的多視圖重建精度比較高，其中，葉片長度2均高于0.98，葉片寬度2均高于0.99（＜0.05）；番茄的R相比于辣椒和黃瓜較低，為0.96，這是由于番茄葉片為卵形或矩圓形且邊緣不規(guī)則片，在重建過程中葉片的邊緣重建效果較差，因此測量葉片的表型參數(shù)時(shí)不準(zhǔn)確。整體來說，基于多視圖重建三維重建精度能夠滿足植株表型獲取植株參數(shù)的需求。

表1 多視圖幾何方法重建植株、激光重建植株的葉片長度與寬度分別與手動測量值結(jié)果比較

下標(biāo)1代表激光與手動測量值對比結(jié)果，下標(biāo)2代表多視圖幾何重建與手動測量值結(jié)果

Subscript 1 represents comparison between multi-view geometry reconstruction and manual measurement and subscript 2 represents comparison between laser scanning and manual measurement

圖6 植株點(diǎn)云處理與重建效果圖

圖7 辣椒、黃瓜與番茄葉位與葉長、葉寬關(guān)系圖

表2為各植株多視圖幾何重建葉片網(wǎng)格與激光掃描儀獲取葉片網(wǎng)格的豪斯多夫距離各區(qū)間概率分布，由表可知，各植株的豪斯多夫距離90%以上均在0—2 mm之間，表明多視圖幾何重建的葉片網(wǎng)格與激光掃描的網(wǎng)格差別較小，重建質(zhì)量較高。

Geomagic Qualify對比結(jié)果如表3所示，將偏差按照5個(gè)等級（0-±0.5 mm、0-±1 mm、±1-±1.5 mm、±1.5-±2 mm以及±2-±2.5 mm）進(jìn)行劃分，得到各植株在對應(yīng)偏差下網(wǎng)格所占的百分比并獲取其整體標(biāo)準(zhǔn)偏差。由表2可知，辣椒的重建效果最優(yōu)，在0-±0.5 mm的偏差范圍內(nèi)其所占比例高達(dá)90%；辣椒、黃瓜與番茄的偏差在0-±1mm上百分比均達(dá)到85%以上，其中辣椒與番茄高達(dá)97%以上，3種植株的整體重建精度都較理想。但相比于番茄與辣椒，黃瓜葉片的重建效果較差，在0-±0.5mm和0-±1mm范圍內(nèi)占比分別在60%和85%左右，且標(biāo)準(zhǔn)偏差較大。這是由于黃瓜葉片面積大、表面有白色柔毛且稍有卷縮，2個(gè)表面的擬合對齊會存在一些誤差。另外，由于多視圖照片獲取時(shí)間與激光儀器掃描時(shí)間存在一定的采樣間隔，導(dǎo)致黃瓜在2次數(shù)據(jù)獲取時(shí)邊緣形態(tài)發(fā)現(xiàn)細(xì)微的變化，從而產(chǎn)生精度的下降。一般認(rèn)為，一旦表型性狀的誤差超過5%，就無法在育種計(jì)劃中篩選出基因突變體[26]，但本次實(shí)驗(yàn)葉片偏差的5%為1.5—2 mm，3種植株在此范圍內(nèi)的概率分布達(dá)到95%以上，滿足表型精度要求。

表2 基于多視圖幾何與激光掃描的各植株三維模型的豪斯多夫距離各區(qū)間概率分布

表3 基于多視圖幾何重建與激光掃描的各植株葉片偏差概率分布

為更加直觀地分析不同植株葉片重建具體偏差情況，在Geomagic Qualify對比結(jié)果的基礎(chǔ)上，取辣椒、黃瓜與番茄各1株，對三維偏差進(jìn)行可視化（圖8）。綠色代表多視圖與激光掃描所得到葉片的擬合度較好，精度較高；紅色和藍(lán)色代表重建精度較差。從圖中可知，辣椒大部分為綠色，重建精度最高；番茄次之；黃瓜大部分區(qū)域也都為綠色，表明重建精度也很高，但是在葉片邊緣以及葉基部分呈現(xiàn)藍(lán)色，表明重建精度較差。這是由于葉片邊緣的彎曲與卷縮造成的。

圖8 基于偏差的植株重建質(zhì)量可視化

3 討論

試驗(yàn)中發(fā)現(xiàn)，不同植株由于冠層結(jié)構(gòu)復(fù)雜度不同，用于重建的圖像數(shù)量以及圖像獲取的方式均有所不同。辣椒在重建圖像達(dá)到50張時(shí)，重建完整度達(dá)到90%。番茄黃瓜則在重建圖像達(dá)到60張以上時(shí)，重建完整度達(dá)到90%。當(dāng)數(shù)量達(dá)到70張以上時(shí)，3種植株重建完整度均可達(dá)到95%以上。拍攝照片時(shí)，由于相機(jī)曝光過度或者曝光時(shí)間過長轉(zhuǎn)臺轉(zhuǎn)動導(dǎo)致拍攝時(shí)植株晃動，都會造成點(diǎn)云重建精度的丟失，導(dǎo)致后期生成網(wǎng)格的質(zhì)量下降。對于生長過于密集的植株的葉片部分，可以適當(dāng)抬高或者降低相機(jī)，來獲取更多的有效信息，對于特別復(fù)雜的作物，則可以使用半球型拍攝方式[27-28]，以滿足高精度的需要。

本文在分割植株冠層時(shí)提出一種改進(jìn)區(qū)域增長算法，有助于彎曲葉片完整分割，進(jìn)而準(zhǔn)確獲取葉片表型信息。與以往的植株冠層分割不同的是，前人大多僅僅使用區(qū)域增長算法以法線與曲率為標(biāo)準(zhǔn)來分割植株冠層，彎曲葉片分割后往往會丟失部分區(qū)域的點(diǎn)，生成葉片網(wǎng)格之后再進(jìn)行補(bǔ)洞與平滑修復(fù)，由此生成的葉片網(wǎng)格的彎曲區(qū)域會丟失葉片原來的真實(shí)形態(tài)[14-15]。本文提出的改進(jìn)區(qū)域增長算法，先采用區(qū)域增長算法分割植株冠層，再采用聚類的思想，將區(qū)域增長算法丟失的點(diǎn)聚類回來，保留分割后葉片完整點(diǎn)云，對于彎曲葉片，具有更加顯著的效果。由本文的多視圖幾何重建葉片網(wǎng)格與激光掃描葉片網(wǎng)格的豪斯多夫距離分析可得，本文的方法與胡鵬程等[15]的研究方法相比，在較大且稍有彎曲的黃瓜葉片的重建精度上，稍有提高；在比較平滑的辣椒等葉片的重建精度上，沒有較大的改善。

本試驗(yàn)還有一些不足，多視圖三維重建采用手動拍攝的圖片序列，過程復(fù)雜且耗時(shí)，不能大規(guī)模的自動化測量表型信息，且提出的改進(jìn)區(qū)域增長算法不具有尺度不變性。因此研究自動化獲取表型信息的算法與尺度不變的區(qū)域增長算法是下一步工作之一。隨著深度相機(jī)的發(fā)展，將多視圖重建與深度相機(jī)結(jié)合，利用深度值來提高重建精度也是一個(gè)趨勢。此外，在人工智能的沖擊下，基于深度學(xué)習(xí)的三維重建[29-31]也是一個(gè)熱門的方向，特別是對于紋理稀疏、非漫反射的物體的三維重建的精度會有很大的提升。但目前基于深度學(xué)習(xí)的三維重建在植被上的應(yīng)用很少，因此，在未來結(jié)合深度學(xué)習(xí)進(jìn)一步研究復(fù)雜結(jié)構(gòu)植株三維重建的方法也是下一步工作之一。

4 結(jié)論

本文利用多視圖幾何方法與改進(jìn)區(qū)域增長算法對3種不同復(fù)雜程度的植株（葉片大而寬且表面略起伏彎曲的黃瓜、葉片小而寬且表面平滑的辣椒以及葉片為羽狀復(fù)葉型的番茄）冠層進(jìn)行三維重建，評估其葉片長寬等表型參數(shù)與手動測量值的精度，并且采用激光掃描儀獲取的葉片網(wǎng)格對多視圖幾何重建的植株冠層進(jìn)行3D評估。多視圖幾何重建的葉片長寬等表型參數(shù)的精度，與手動測量的對照值的2均大于0.96（＜0.05）；激光掃描儀獲取的葉片網(wǎng)格與多視圖幾何重建葉片的網(wǎng)格的偏差基本都在±1mm范圍內(nèi)，其中，辣椒、番茄所占比例均高于97%；多視圖幾何重建葉片的網(wǎng)格與激光掃描儀獲取的葉片網(wǎng)格的豪斯多夫距離90%以上均在0—2 mm之間。該分析結(jié)果表明，本文提出的多視圖幾何方法與改進(jìn)區(qū)域增長算法相結(jié)合的重建方法可以彌補(bǔ)區(qū)域增長算法的不足，適合不同復(fù)雜程度植株三維重建，為育種研究獲取植株表型提供一定的參考。

[1] 糧農(nóng)組織, 農(nóng)發(fā)基金, 兒基會, 糧食署, 世衛(wèi)組織. 2018年世界糧食安全和營養(yǎng)狀況:增強(qiáng)氣候抵御能力,促進(jìn)糧食安全和營養(yǎng). 羅馬: 糧農(nóng)組織, 2018.

Food and Agriculture Organization, International Fund for Agricultural Development, United Nations Children's Fund, The World Food Programme, World Health Organization.. Rome: FAO, 2018. (in Chinses)

[2] DAVID H, GOVINDARAJU D R, STIG O. Phenomics: the next challenge, 2010, 11(12): 855-866.

[3] KLODT M, HERZOG K, T?PFER R, CREMERS D. Field phenotyping of grapevine growth using dense stereo reconstruction, 2015, 16(1): 1-11.

[4] FURBANK R T, TESTER M. Phenomics-technologies to relieve the phenotyping bottleneck, 2011, 16(12): 635-644.

[5] CHEN W T, YEH Y H F, LIU T Y, LIN T T. An automatic plant growth measurement system for plant factory, 2013, 46(4): 323-327.

[6] NGUYEN T T, SLAUGHTER D C, TOWNSLEY B, CARRIEDO L, MALOOF J N, SINHA N. Comparison of structure-from-motion and stereo vision techniques for full in-field 3D reconstruction and phenotyping of plants: An investigation in sunflower//. American Society of Agricultural and Biological Engineers(ASABE), Orlando, Florida, USA, 2016.

[7] DORNBUSCH T, WERNECKE P, DIEPENBROCK W. A method to extract morphological traits of plant organs from 3D point clouds as a database for an architectural plant model, 2007, 200(1): 119-129.

[8] ELI K, NAOHIKO H, YUKO T, NAOKI Y, NOBUHARU G, NAOKI O, AKIHIKO K, MINAMI M, TETSURO T. Automatic quantification of morphological traits via three-dimensional measurement of Arabidopsis, 2010, 38(2): 358-365.

[9] PAULUS S, SCHUMANN H, KUHLMANN H, LéON J. High- precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants, 2014, 121(18): 1-11.

[10] AZZARI, GEORGE, GOULDEN, MICHAEL L, RUSU, RADU B. Rapid characterization of vegetation structure with a Microsoft Kinect Sensor, 2013, 13(2): 2384-2398.

[11] M H V D G W A, SONG Y, HORGAN G, POLDER G, DIELEMAN J A, BRINK M C A M, PALLOIX A, EEUWIJK V F A, GLASBEY C. SPICY: towards automated phenotyping of large pepper plants in the greenhouse, 2012, 39(10/11): 870-877.

[12] SONG Y, GLASBEY C A, POLDER G, van der HEIJDEN G W A M. Non-destructive automatic leaf area measurements by combining stereo and time-of-flight images, 2014, 8(5): 391-403.

[13] YANG M, CUI J S, JEONG E S, CHO S I. Development of high-resolution 3D phenotyping system using depth camera and RGB camera. American Society of Agricultural and Biological Engineers (ASABE), Spokane, Washington, USA, 2017.

[14] HUI F, ZHU J Y, HU P C, MENG L, ZHU B L, GUO Y, LI B G, MA Y T. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations, 2018, 121(5): 1079-1088.

[15] 胡鵬程, 郭焱, 李保國, 朱晉宇, 馬韞韜. 基于多視角立體視覺的植株三維重建與精度評估農(nóng)業(yè)工程學(xué)報(bào), 2015, 31(11): 209-214.

Hu P C, GUO Y, Li B G, Zhu J Y, Ma Y T. Three-dimensional reconstruction and its precision evaluation of plant architecture based on multiple view stereo method., 2015, 31(11): 209-214. (in Chinese)

[16] RABBANI T, HEUVEL F A V D, VOSSELMAN G. Segmentation of point clouds using smoothness constraint., 2006, 36(5): 248-253.

[17] WU C C. VisualSFM: A visual structure from motion system. http://www.cs.washington.edu/homes/ccwu/vsfm, 2011.

[18] FURUKAWA Y, PONCE J. Accurate, dense, and robust multiview stereopsis, 2010, 32(8): 1362-1376.

[19] RUSU R B, COUSINS S. 3D is here: Point cloud library (PCL)//. Institute of Electrical and Electronic Engineers(IEEE), Shanghai, China, 2011.

[20] RUSU R B, MARTON Z C, BLODOW N, DOLHA M, BEETZ M. Towards 3D Point cloud based object maps for household environments, 2008, 56(11): 927-941.

[21] DICKERSON M T, DRYSDALE R L S, MCELFRESH S A, WELZL E. Fast greedy triangulation algorithms, 1997, 8(2): 67-86.

[22] CIGNONI P, ROCCHINI C, SCOPIGNO R. Metro: measuring error on simplified surfaces., 1998, 17(2): 167-174.

[23] 杰魔軟件有限公司. 三維檢測軟件Geomagic Qualify航空制造技術(shù), 2009(20): 99-99.

Geomagic Software Co., Ltd. 3D detection software of Geomagic Qualify., 2009(20): 99-99. (in Chinese)

[24] 陳細(xì)濤. 航空葉片原位檢測方法與實(shí)驗(yàn)研究[D]. 武漢: 華中科技大學(xué), 2012.

CHEN X T. Aero-engine blade in-situ inspection method and its experimental study[D]. WuHan: Huazhong University of Science and Technology, 2012. (in Chinese)

[25] 王秀鵬. 基于面結(jié)構(gòu)光的航空零部件三維測量和精度檢測[D]. 武漢: 華中科技大學(xué), 2012.

WANG X P. The Measurement and accuracy of detection for the aviation parts and components based on structured light 3D[D]. WuHan: Huazhong University of Science and Technology, 2012. (in Chinese)

[26] LEWIN R. Proposal to sequence the human genome stirs debate, 1986, 232(4758): 1598-1600.

[27] NGUYEN C V, FRIPP J, LOVELL D R, FURBANK R, KUFFNER P, DAILY H, SIRAULT X. 3D scanning system for automatic high- resolution plant phenotyping//. Institute of Electrical and Electronic Engineers(IEEE), Gold Coast, Australia, 2016.

[28] NGUYEN T T, SLAUGHTER D C, TOWNSLEY B T, CARRIEDO L, MALOOF J N, SINHA N. In-field plant phenotyping using multi- view reconstruction: an investigation in eggplant//. The International Society of Precision Agriculture, St. Louis, Missouri, USA, 2016.

[29] GALLIANI S, LASINGER K, SCHINDLER K. Massively parallel multiview stereopsis by surface normal diffusion//. Institute of Electrical and Electronic Engineers(IEEE), Santiago, Chile, 2015.

[30] JI M Q, GALL J, ZHENG H T, LIU Y B, LU F. SurfaceNet: An end-to-end 3D neural network for multiview stereopsis. Institute of Electrical and Electronic Engineers(IEEE), Venice, Italy, 2017.

[31] YAO Y, LUO Z, LI S, TIAN F, LONG Q. MVSNet: Depth inference for unstructured multi-view stereoInstitute of Electrical and Electronic Engineers(IEEE), Munich, Germany, 2018.

Multi-View geometric reconstruction of plant based on improved region-Growing algorithm

XIAO ShunFu, LIU ShengPing, LI ShiJuan, DU MingZhu, Lü ChunYang, LIU DaZhong, YANG FeiFei, LIU Hang

(Agricultural Information Institute, Chinese Academy of Agricultural Sciences, Beijing 100081)

【】Three-dimensional reconstruction of three kinds of plants canopy with different levels of complexity was studied to provide a new method for more accurate acquisition of plants canopy phenotypic characteristics. 【】In this paper, a sequence of pictures of three kinds of plant canopy with different levels of complexity were gotten by using a SLR camera, and dense point clouds of plants were gotten by using three-dimensional reconstruction method. Then, the original scale of dense point clouds of plants was restored, and noisy point of dense point clouds and segmenting plants canopy were filtered by using improved region-growing algorithm with the help of laser scanner, then the accuracy of leaves reconstructed from multi-view geometry method was evaluated from two-dimensional and three-dimensional aspects by manual measurement and laser scanning. Two-dimensional accuracy evaluation was carried out by statistical analysis of actual measured values of leaves length and width and comparing with leaves length and width reconstructed by multi-view geometry method and leaves length and width obtained by laser scanner, respectively. Three-dimensional accuracy was evaluated by using the traditional mesh comparison method Hausdorff distance and Geomagic Qualify software, which was a better accurate 3D accuracy comparison software in industrial meshes comparing. 【】The results showed that the judgment coefficients (R) between the phenotypic information of plants leaves and manual measurements were higher than 0.96. The judgment coefficients (R) between the phenotypic information of plant leaves obtained by laser scanning and manual measurements were higher than 0.99. The proportion of leaves obtained by multi-view geometric reconstruction and laser scanning was more than 97% in the deviation range of 0-±1 mm. Taking the leaves mesh scanned by laser as a reference, more than 90% of the Hausdorff distance of the leaves mesh reconstructed by multi-view geometry was between 0-2 mm. It was proved that the combination of the multi-view geometric reconstruction method with the improved region-growing algorithm could achieve ideal reconstruction results for plants with different complexity. 【】The reconstruction method combining multi-view geometry method with the improved region-growing algorithm proposed in this paper could make up for the shortcomings of region-growing algorithm. It had better segmentation effect on the surface of uneven plants canopy, and was suitable for three-dimensional reconstruction of plants with different complexity. It could provide some reference for breeding research to obtain plant phenotypes.

multi-view geometry; three-dimensional reconstruction; plant; region-growing algorithm; digital camera

2019-03-30；

2019-05-15

中央級公益性科研院所基本科研業(yè)務(wù)費(fèi)專項(xiàng)（Y2019XK24-01，JBYW-AII-2019-29）

肖順夫，E-mail：15501219150@163.com。

劉升平，E-mail：liushengping@caas.cn

（責(zé)任編輯 楊鑫浩）