陳 輝 王婷婷 代作曉 黃云峰

(1.上海電力大學自動化工程學院, 上海 200090； 2.中國科學院上海技術(shù)物理研究所, 上海 200083)

0 引言

葉片是植物進行光合作用、制造氧氣、合成營養(yǎng)物質(zhì)的主要器官，是進行蒸騰作用進而為根提供從外界吸收和運輸水分動力的主要途徑[1-2]，在植物生長過程中不可或缺。葉片面積影響光截獲[3]、表面蒸發(fā)以及生長量等，是研究植物生長最常用的指標之一，快速、準確、無損傷的植物葉片面積三維測量對指導現(xiàn)代農(nóng)業(yè)生產(chǎn)具有重要意義。傳統(tǒng)的植物葉片面積測量方法一般基于單個葉片進行接觸式面積測量，如方格作圖法、稱紙重法、打孔稱重法、回歸方程法和數(shù)字圖像處理法等[4-5]，這些方法易對葉片表面造成損傷，影響三維測量結(jié)果。文獻[6]提出一種基于Android手機的植物葉片面積快速無損測量系統(tǒng)，該系統(tǒng)可測量多種不同形狀的植物葉片面積，由于生長形態(tài)和變形等因素使葉片不可能是一個絕對的平面，直接采用二維圖像進行測量，其葉片卷曲部分將會導致測量誤差。文獻[7]利用不同方位光源照射下的圖像明暗特征來擬合葉片空間平面，恢復葉片空間傾斜信息，雖然該方法利用了葉片在三維空間中的形態(tài)特征，但僅對于葉片無遮擋條件下的測量精度較高。文獻[8]利用超體素分割和KD-tree紋理映射的貪婪投影三角化算法結(jié)合三維激光掃描點云對樹木枝葉進行分割和三維重建，但三維激光掃描點云數(shù)量巨大，數(shù)據(jù)處理復雜，且所需成本高。文獻[9]應用結(jié)構(gòu)光視覺測量技術(shù)，利用體素濾波實現(xiàn)降采樣，并進行平滑處理，對分割后的不同類別點云進行線性擬合，實現(xiàn)了棉花幼苗葉片性狀解析，但基于結(jié)構(gòu)光的深度圖像系統(tǒng)對光照環(huán)境的配置要求較高。

植物葉片面積測量的難點主要是：在不接觸葉片時恢復葉片的三維結(jié)構(gòu)，從繁雜的背景中提取葉片結(jié)構(gòu)，以及從重疊葉片中分離出單個葉片?；谏鲜鰡栴}，本文提出一種基于智能手機的非接觸式植物葉片面積三維測量方法，從多個角度對自然生長條件下的多類別植株進行拍照，通過運動恢復結(jié)構(gòu)(Structure from motion, SfM)進行三維重建，利用特征點匹配算法得到植株葉片的三維點云模型，采用顏色特征空間閾值分割對三維點云去噪，利用模糊C均值(Fuzzy C-means, FCM)聚類算法分割重疊葉片中的單個葉片，以期實現(xiàn)葉片面積三維測量。

1 材料與方法

1.1 植株樣本材料

實驗樣本植株信息如表1所示，主要以四季青幼苗植株作為實驗對象，分別從葉片數(shù)量及重疊率兩方面分析方法可靠性，另外選擇楊樹、銀杏樹、梧桐樹3類葉片完全不同的植物進行采樣，從葉片形狀復雜性的角度來進一步驗證本文方法的有效性。

1.2 總體框架

本文方法總體結(jié)構(gòu)如圖1所示，主要分為圖像采集、三維點云模型重建、葉片面積計算3部分。

表1 實驗樣本植株信息Tab.1 Plant information of experiment materials

1.2.1圖像采集

使用智能手機相機作為采集設(shè)備，為保證平臺采集的穩(wěn)定性和可行性，整個采集過程中手機相機設(shè)置為自動對焦模式，禁止閃光燈及獲取HDR圖像。在距離植株0.5 m范圍內(nèi)采集植株圖像，確保相機中心共線以完成全景拼接。以植株為中心，旋轉(zhuǎn)一周，每隔10°～20°拍攝一幅圖像。采集的圖像尺寸均為4 032像素×3 024像素，保存為JPG格式。

圖2為實驗采集的植株樣本，A組為四季青幼苗樣本，其中，A1號植株采集55幅圖像，A2號植株采集86幅圖像，A3號植株采集100幅圖像；B1號植株為楊樹苗植株樣本，采集74幅圖像；C1號植株為銀杏樹苗植株樣本，采集78幅圖像；D1號植株為梧桐樹苗植株樣本，采集79幅圖像。

1.2.2三維點云模型重建

基于1.2.1節(jié)中采集的圖像集，利用SfM方法進行三維重建。通過尺度不變特征轉(zhuǎn)換算法(SIFT)在已建立的圖像尺度空間中尋找極值點，檢測其潛在的特征點[10-11]，并選擇最穩(wěn)健點作為最終特征點。計算特征點之間歐氏距離可決定匹配度，歐氏距離越短，匹配度越高。然而，SIFT匹配在搜索相似特征時會產(chǎn)生錯誤匹配對點，對后續(xù)稀疏點云重建造成影響，本文采用隨機抽樣一致性算法[12-13]對匹配點進行篩選，以剔除錯誤匹配對。由于在計算位姿時易存在噪聲干擾，在此采用光束平差法[14]進行參數(shù)優(yōu)化。

SfM方法獲得的三維點云具有稀疏性，采用基于面片的三維多視角立體視覺算法[15]進一步擴展，獲取稠密點云的三維重建結(jié)果(圖3)，其中A1號植株得到2 411 949個密集點云，A2號植株得到2 657 958個密集點云，A3號植株為2 993 183個密集點云；B1號植株為2 089 776個密集點云，C1號植株為2 873 681個密集點云，D1號植株為2 067 818個密集點云。

1.2.3葉片面積計算

基于三維點云模型進行葉片面積計算，主要分為點云去噪、單個葉片分割、葉片表面網(wǎng)格重建、葉片面積計算。

(1)點云去噪

點云獲取過程中，由于人為擾動或設(shè)備本身缺陷易產(chǎn)生噪聲點云，使所測數(shù)據(jù)與實際物體之間存在偏差，因此，需對原始三維點云模型進行去噪與平滑，主要分為背景分離和植株去噪。對于存在大片背景點云的植株，使用Meshlab軟件中的濾波器工具從背景點云中提取植株，得到去除背景和樹干的完整植株葉片點云，如圖4所示。

從圖4中可以看出，植株葉片部分由于表面反光或葉片遮擋產(chǎn)生了白色噪點，難以去除。以噪點顏色與葉片點云顏色特征不同為依據(jù)去除噪點。典型的顏色空間[16]有RGB顏色空間、YUV顏色空間、HSV顏色空間，其中HSV顏色空間類似于人類感知顏色的方式，可直觀表達色彩的色調(diào)、明暗，更利于顏色提取。因此，選取HSV顏色空間作為特征，提取葉片的顏色閾值創(chuàng)建掩膜函數(shù)，在Color Threshold可視化界面中，提取葉片顏色特征邊界值[17]。通道1的閾值為[0.175,0.413]，通道2的閾值為[0.164,0.829]，通道3的閾值為[0.121,0.641]，輸出掩膜矩陣，利用掩膜矩陣生成去噪后的植株葉片光滑點云，如圖5所示。去噪后，點云數(shù)量發(fā)生明顯變化，其中A1號植株點云數(shù)為325 289個，A2號植株點云數(shù)為492 496個，A3號植株點云數(shù)為585 366個；B1號植株點云數(shù)為536 566個，C1號植株點云數(shù)為129 783個，D1號植株點云數(shù)為1 058 048個。

(2)單個葉片分割

根據(jù)葉片在三維空間中的分布情況，任意兩片葉片之間存在空隙，為單個葉片分割提供了前提條件。為減少運算時間，先對葉片點云按比例采樣再分割。本文采用FCM聚類[18]進行單個葉片分割，通過隸屬度矩陣和聚類中心把x個樣本點劃分為C個不同的類別，即利用拉格朗日乘數(shù)法最小化目標函數(shù)，進而得到聚類中心和隸屬度矩陣的迭代公式，不斷更新聚類中心和隸屬度矩陣，直到滿足迭代終止條件輸出聚類結(jié)果，葉片點云聚類分割結(jié)果如圖6所示。

(3)葉片表面網(wǎng)格重建

由于植物葉片表面存在不平整現(xiàn)象，直接使用離散點云求取面積，會造成最終結(jié)果不準確，為解決該問題，本文采用Delaunay三角網(wǎng)格剖分[19-20]重建葉片表面網(wǎng)格模型，以有效識別曲面邊界，完成表面網(wǎng)格重建。

Delaunay三角網(wǎng)格剖分基本步驟[21]為：①首先構(gòu)造一個包含所有點的超級三角形。②再插入散點，根據(jù)空圓特性找出其外接圓包含插入點的三角形，刪除影響三角形的公共邊。③循環(huán)執(zhí)行步驟②，直到?jīng)]有多余的散點能夠形成三角形，圖形化結(jié)果如圖7所示。圖8為葉片表面網(wǎng)格重建效果圖。

(4)葉片面積計算

葉片點云表面網(wǎng)格重建后，表面形成多個小三角形，計算所有三角形的面積總和可得出葉片的總面積。葉片點云中的各點可作為各個三角形的頂點，而各點坐標已知，以圖7d中單個三角形PBC為例，根據(jù)3個頂點的坐標可確定各邊邊長為

(1)

(2)

(3)

式中DPB、DBC、DCP——三角形PBC的各邊邊長

(xB,yB,zB)——三角形頂點B的坐標

(xP,yP,zP)——三角形頂點P的坐標

(xC,yC,zC)——三角形頂點C的坐標

根據(jù)海倫公式可得該三角形的面積[22]為

(4)

其中

p=(DPB+DBC+DCP)/2

式中SPBC——三角形PBC的面積

在整個點云模型表面網(wǎng)格中

(5)

式中r——葉片點云表面網(wǎng)格重建的三角形數(shù)量

Si——第i個三角形的點云面積

S——葉片的點云面積

借鑒二維圖像計算面積的方法[23]，求解葉片真實面積。為與植株點云顏色區(qū)別以及減小誤差，制作一黑一紅兩個邊長為4 cm的正方形小方塊作為參照物。

(6)

式中SC——參照物點云面積

Sy——葉片的實際面積

2 結(jié)果與討論

為驗證所提出葉片面積三維測量方法的有效性，進行實驗分析，同時與二維圖像法以及網(wǎng)格作圖法計算面積進行對比分析。圖像采集設(shè)備為iPhone 6s手機，后置攝像頭為1 200萬像素，光圈為f/2.2，運行內(nèi)存2 GB。

二維圖像法計算面積是基于所求葉片區(qū)域的圖像像素數(shù)與整個圖像像素數(shù)的比值等于所求葉片面積與整個圖像面積的比值，再通過比例尺計算出葉片實際面積。利用PhotoShop軟件得到相關(guān)區(qū)域像素數(shù)并用標尺工具測量圖像與實際物體間的比例尺，計算出葉片面積[24-25]。在網(wǎng)格作圖法實驗中，要求葉片展平并按壓平整，在單位為1 mm×1 mm標準的網(wǎng)格紙上用細筆勾畫出葉片輪廓，然后統(tǒng)計網(wǎng)格個數(shù)，求和即可得葉片面積。

對比實驗采用離體葉片，從植株上收割葉片，在充分按壓平整的條件下進行實驗。由于最小網(wǎng)格面積為1.00 mm2，網(wǎng)格數(shù)對葉片面積影響微乎其微，因此只要作圖和統(tǒng)計過程較為精準，可將其視為真值參照。對于植株A1、A2、A3、B1、C1、D1，3種方法的葉片面積計算結(jié)果如圖9所示。

四季青組內(nèi)誤差對比和植株組間誤差對比結(jié)果分別如表2和表3所示，A組中，本文方法與網(wǎng)格作圖法相比，3次實驗的平均絕對誤差為0.99 cm2，相對誤差為5.96%；二維圖像法與網(wǎng)格作圖法相比，3次實驗結(jié)果的平均絕對誤差為1.16 cm2，相對誤差為6.94%，從計算結(jié)果可知，本文方法較二維圖像法準確度提高了0.98個百分點。在B1、C1、D1組中，本文方法與網(wǎng)格作圖法相比，3次實驗結(jié)果的平均絕對誤差為2.74 cm2，相對誤差為4.81%；二維圖像法與網(wǎng)格作圖法相比，3次實驗結(jié)果的平均絕對誤差為2.59 cm2，相對誤差為4.38%。相較A組實驗樣本，B、C、D組樣本葉片形狀復雜度提高，但由于葉片面積的增大，本文方法與網(wǎng)格作圖法的相對誤差的平均值和二維圖像法與網(wǎng)格作圖法的相對誤差的平均值都有一定程度的降低，說明本文方法和二維圖像法都更適合較大的葉片面積測量。

表2 四季青組內(nèi)誤差分析結(jié)果Tab.2 Analysis results of within error of Sijiqing group

另外，對A2、C1、D1的測量結(jié)果分析可知，本文方法誤差平均值略高于二維圖像法，其原因為：對于植株A2，由于底層葉片被遮擋而無法重建，葉面積誤差會略微增大，但該誤差在重建過程中是可預見、可處理的(為簡化實驗以及保證實驗的真實性，本文中未做多余補全缺失點云處理)；對于植株C1、D1來說，其葉片類別復雜度較高，不僅存在葉片卷曲、不平整等普通葉片的常見問題，還會出現(xiàn)裂口、倒刺等其他問題。二維圖像法需要人工進行葉片預處理，即需要整理并按壓平整等，本文方法不需要搭載復雜的系統(tǒng)及人工干預，簡單便捷，且不會對植株造成不可逆轉(zhuǎn)的傷害，具有一定的可靠性和穩(wěn)定性。

表3 組間誤差分析結(jié)果Tab.3 Intergroup error analysis results

為進一步驗證本文方法的有效性，選取枝葉茂密的香樟樹苗，如圖10a所示，在該植株中選擇樹葉重復率和遮蓋率較高的部分作為本次驗證實驗的主體樣本，共28片樹葉，具體葉片細節(jié)如圖10b所示，經(jīng)過去噪處理(圖10c)后，由FCM聚類分割葉片，如圖10d所示。由圖10d可知，葉片能被大致分割，但在個別相交部分，存在混雜情況，對于該情況采用手動刪除已聚類部分后再重新聚類剩余部分，直至全部分割完成，葉片面積計算結(jié)果如圖11所示。葉片誤差分析見表4，本文方法與網(wǎng)格作圖法相比，實驗結(jié)果的平均絕對誤差為0.64 cm2，相對誤差為6.25%；二維圖像法與網(wǎng)格作圖法相比，實驗結(jié)果的通過上述實驗結(jié)果分析可知，除了形狀復雜的葉片之外，本文方法計算所得的葉片面積比二維圖像法計算所得的葉片面積精確度更高，操作更加簡單、成本低廉，且具有不破壞植株的優(yōu)點。從數(shù)據(jù)結(jié)果來看，相較于網(wǎng)格作圖法，本文方法測得的葉片面積存在部分數(shù)據(jù)偏大或偏小的情況，這是由于葉片面積測定結(jié)果與點云面積關(guān)聯(lián)較大。測定結(jié)果偏大原因為：由于獲取點云時并非利用高精度的設(shè)備，故點云會存在微小的錯位情況，植物葉片的卷曲度可能在一定程度上變大，導致點云面積增大；某些葉片產(chǎn)生反射或噪點顏色與葉片顏色接近，在點云去噪過程中不能完全去除，導致點云面積增大。測定結(jié)果偏小原因：葉片在按壓過程中，由于葉片較軟且參差不齊，葉片邊緣部分存在內(nèi)折無法展開，導致用二維圖像法或網(wǎng)格作圖法所測葉面積結(jié)果偏小；在相機繞植株一周時，存在某些葉片被其他葉片遮擋的情況，相機無法捕捉該部分葉片，在重建過程中該部分點云缺失，導致點云面積減小。

平均絕對誤差為0.72 cm2，相對誤差為7.02%，根據(jù)表4可知，相比二維圖像法本文方法準確度提高了0.77個百分點。

表4 葉片誤差分析結(jié)果Tab.4 Blade error analysis result

3 結(jié)束語

提出了一種在普通環(huán)境下利用智能手機相機和運動恢復結(jié)構(gòu)獲取三維點云的葉面積測量方法。以四季青、楊樹、銀杏、梧桐植株為實驗對象進行了葉片面積測量，結(jié)果表明，在葉片重疊率和復雜性角度上，本文方法面積測量的平均相對誤差分別為6.25%和4.81%。本文方法更適合于處理普通形狀葉片，對于普通重疊率的整個植株葉片總面積測量結(jié)果比采用二維圖像法的面積測量結(jié)果精確度提高0.98個百分點，對重疊率高的葉片提高了0.77個百分點。相較二維圖像法和網(wǎng)格作圖法而言，本文方法測量工作量大大降低，成本低，可操作性強，且不會對植物造成不可逆轉(zhuǎn)的傷害，能夠滿足實際農(nóng)業(yè)生產(chǎn)的測量需要。