謝運(yùn)鴻，荊雪慧，孫 釗，丁志丹，李 睿，李豪偉，孫玉軍

(北京林業(yè)大學(xué)森林資源和環(huán)境管理國(guó)家林業(yè)和草原局重點(diǎn)開(kāi)放性實(shí)驗(yàn)室，北京 100083)

樹(shù)冠是森林資源調(diào)查與監(jiān)測(cè)中重要的樹(shù)木測(cè)量指標(biāo)之一[1]，基于實(shí)地調(diào)查的樹(shù)冠測(cè)量雖然能夠提供可靠的相關(guān)信息[2-3]，但耗時(shí)耗力。因此，迫切需要一種快速、準(zhǔn)確地檢測(cè)樹(shù)冠的新思路。遙感技術(shù)在森林調(diào)查中的應(yīng)用提供了有效準(zhǔn)確的樹(shù)木測(cè)量，例如，無(wú)人機(jī)可以在高空間分辨率下探測(cè)到詳細(xì)的森林信息[4]。史結(jié)清等[5]指出，無(wú)人機(jī)遙感在高郁閉度或植被茂密的林分無(wú)法被充分利用，只能通過(guò)人工判讀獲取目標(biāo)林分的郁閉度，但因?yàn)楦哂糸]度林分中樹(shù)冠特征復(fù)雜，人工判讀也會(huì)存在一定的偏差。包括局部最大/最小檢測(cè)[6]、邊緣檢測(cè)[7]、分水嶺[8]、區(qū)域生長(zhǎng)[9]和模板匹配[10]等傳統(tǒng)分割方法，無(wú)法充分挖掘或提取無(wú)人機(jī)圖像中的所有可用信息，利用新的方法快速、準(zhǔn)確、自動(dòng)測(cè)量和監(jiān)測(cè)森林屬性越來(lái)越引起人們的興趣。實(shí)例分割[11]是基于圖像深度學(xué)習(xí)的一種技術(shù)，它不再依賴(lài)于一致的光譜特征或基于規(guī)則的算法，并已被證明能夠超越經(jīng)典的遙感技術(shù)。在林業(yè)方面，深度學(xué)習(xí)已成功應(yīng)用于單木檢測(cè)[9]、植物病害和健康檢測(cè)[12]、森林樹(shù)種制圖[13]等等。Mask R-CNN作為基于掩碼區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)[14]，是近年來(lái)前沿的模型，它集成了目標(biāo)檢測(cè)任務(wù)和語(yǔ)義分割任務(wù)來(lái)執(zhí)行實(shí)例分割。本研究試驗(yàn)了基于無(wú)人機(jī)RGB影像和Mask R-CNN實(shí)例分割的一種適合高郁閉度人工純林單木樹(shù)冠提取的模型，比較低郁閉度與高郁閉度林分的樹(shù)冠提取效果，為高郁閉度單木樹(shù)冠提取提供新思路。

1 研究區(qū)概況與數(shù)據(jù)來(lái)源

本研究共選擇了2個(gè)研究區(qū)，高郁閉度林分的影像采集點(diǎn)位于福建省三明市將樂(lè)縣國(guó)有林場(chǎng)（26°41′ N，117°27′ E），低郁閉度林分的影像取自于江西省贛州市大余縣集體林區(qū)（25°21′ N，114°19′ E）。2個(gè)研究區(qū)均為杉木純林，其中于福建獲取影像總面積13.7 hm2，2021年7月使用大疆悟2無(wú)人機(jī)拍攝，影像地面采樣距離(GSD)為4 cm；于江西獲取影像總面積為27.8 hm2，2018年8月使用大疆精靈4Pro無(wú)人機(jī)拍攝，GSD為4 cm。影像均采用瑞士Pix4d公司的無(wú)人機(jī)數(shù)據(jù)處理軟件Pix4dmapper進(jìn)行圖像處理，合成的數(shù)字正射影像如圖1所示。各選取94份512 ×512像素的影像，分別包含3769、5170個(gè)樹(shù)冠，利用VIA軟件手動(dòng)勾繪單木樹(shù)冠邊緣以完成樹(shù)冠標(biāo)注，輸出的標(biāo)注和影像作為模型的樣本，分為訓(xùn)練集40張，驗(yàn)證集24張，測(cè)試集30張，示例樣本見(jiàn)圖1（d ～ g），數(shù)據(jù)集各參數(shù)統(tǒng)計(jì)見(jiàn)表1。

圖1 研究區(qū)概況示意圖(b和c分別為高郁閉度林分和低郁閉度林分無(wú)人機(jī)影像)Fig. 1 Survey map of the study area（b and c are UAV images of high canopy density forest and low canopy density forest, respectively）

表1 數(shù)據(jù)集參數(shù)統(tǒng)計(jì)Table 1 Parameters statistics of dataset

2 研究方法

2.1 實(shí)例分割模型：Mask R-CNN

Mask R-CNN作為Faster R-CNN[15]的擴(kuò)展模型，以Faster R-CNN為基礎(chǔ)在目標(biāo)檢測(cè)末端框架中加入1個(gè)掩膜分支，借助全連接層（FC）使得每個(gè)輸出建議框?qū)崿F(xiàn)實(shí)例分割。Mask R-CNN的架構(gòu)分為3個(gè)階段，第一階段通過(guò)主干網(wǎng)絡(luò)從輸入圖像中提取特征圖，分別選取7種主干網(wǎng)絡(luò)，如表2所示，第二階段將特征圖傳輸給區(qū)域建議網(wǎng)絡(luò)（RPN）生成興趣區(qū)域（RoIs），最后階段由RPN生成的ROIs映射至共享特征圖中提取相應(yīng)的目標(biāo)特征，經(jīng)過(guò)興趣區(qū)域?qū)R層（ROIAlign）對(duì)齊，然后分別輸出到FC和全卷積網(wǎng)絡(luò)（FCN）中進(jìn)行目標(biāo)分類(lèi)和實(shí)例分割，在此過(guò)程中生成了分類(lèi)置信度、邊界框和分割實(shí)例之間的掩膜。

表2 模型主干Table 2 Backbone of model

2.2 模型訓(xùn)練

模型訓(xùn)練環(huán)境為Windows 10操作系統(tǒng)，顯示核心（GPU）為NAVIDIA RTX2070，顯存為8 GB，中央處理器（CPU）為英特爾i7-9750，內(nèi)存為32 GB，基于Python3.6編程平臺(tái)，利用Pytorch搭建實(shí)例分割Mask R-CNN各個(gè)模型。各模型參數(shù)設(shè)置基本一致，學(xué)習(xí)率設(shè)置為0.00025，各部分損失權(quán)重初始值設(shè)為1，權(quán)重衰減系數(shù)設(shè)為0.0001，批量為1，置信度閾值設(shè)為0.7。模型輸出結(jié)果包括每張圖像中每個(gè)實(shí)例的類(lèi)別預(yù)測(cè)、邊界框預(yù)測(cè)、置信度以及掩膜預(yù)測(cè)，模型的訓(xùn)練損失主要包括2個(gè)部分：RPN的訓(xùn)練損失和多分支預(yù)測(cè)網(wǎng)絡(luò)中的訓(xùn)練損失，訓(xùn)練過(guò)程中損失值穩(wěn)定后代表訓(xùn)練完成，所有模型迭代4000次后總損失值均達(dá)到穩(wěn)定狀態(tài)。

2.3 林分參數(shù)提取與精度評(píng)價(jià)

訓(xùn)練完成后，每個(gè)模型對(duì)應(yīng)1個(gè)權(quán)重文件，將預(yù)測(cè)圖像和權(quán)重文件輸入至模型中，實(shí)例分割結(jié)果經(jīng)過(guò)OpenCV工具包的轉(zhuǎn)換，在圖像中每個(gè)實(shí)例繪畫(huà)掩膜、邊界框和標(biāo)注類(lèi)別，因?yàn)楸驹囼?yàn)實(shí)例只含單個(gè)類(lèi)別而且圖像大小較小，在結(jié)果后處理過(guò)程中將不標(biāo)注類(lèi)別。實(shí)例分割結(jié)果中的掩膜和邊界框是以數(shù)組的形式展現(xiàn)的，掩膜數(shù)組包含所有實(shí)例邊緣像素的圖像空間坐標(biāo)，邊界框數(shù)組涵蓋4個(gè)角點(diǎn)的圖像空間坐標(biāo)，由此可進(jìn)行林分參數(shù)提取。假設(shè)模型對(duì)一張影像（默認(rèn)xy像元一致，影像寬高為w和h） 預(yù)測(cè)出n株 樹(shù)，影像的地面采樣距離為gsd，第i（i≦n） 株單木的樹(shù)冠預(yù)測(cè)邊界框Bi=(y1,y2,y3,y4)， 類(lèi)別為Ci（Ci值為0或1，0代表背景，1代表杉木），掩膜為Mi（Mi內(nèi)元素個(gè)數(shù)等于影像的高與寬的乘積，內(nèi)部元素值為0或1，0元素代表背景像素，1元素代表樹(shù)冠像素），整張圖像的預(yù)測(cè)結(jié)果S=((B1,C1,M1),…,(Bi,Ci,Mi),…,(Bn,Cn,Mn))。 則該影像中單木株樹(shù)N=n， 第i株單木東西冠幅EWi=∣y3-y1∣×gsd2， 第i株 單木南北冠幅SNi=∣y4-y2∣×gsd2，第i株 單木樹(shù)冠面積Gi=sum(Mi)×gsd2（ s um為元素求和函數(shù)），整張影像的林分郁閉度。采用交并比（IoU）、邊界框平均精度（Box-AP）和分割平均精度（Segm-AP）對(duì)樹(shù)冠實(shí)例分割結(jié)果進(jìn)行評(píng)價(jià)，采用均方根誤差和預(yù)測(cè)決定系數(shù)進(jìn)行單木參數(shù)和林分參數(shù)提取的評(píng)估。

3 結(jié)果

3.1 樹(shù)冠實(shí)例分割結(jié)果

7個(gè)模型的實(shí)例分割結(jié)果如圖2所示，c ～i為低郁閉度林分可視化結(jié)果，影像中林分稀疏，單木樹(shù)冠之間邊緣可明顯區(qū)分；l ～ r為高郁閉度林分可視化結(jié)果，由于林分密集，樹(shù)冠與樹(shù)冠之間重疊比例比低郁閉度林分高，相鄰樹(shù)冠之間較難區(qū)分邊緣，而且樹(shù)冠邊緣復(fù)雜，對(duì)樹(shù)冠分割是一項(xiàng)挑戰(zhàn)。各個(gè)模型均能夠分割相鄰樹(shù)冠，得到較為清晰的樹(shù)冠邊緣。對(duì)7個(gè)模型進(jìn)行精度評(píng)價(jià)，不同郁閉度各模型的Box-AP和Segm-AP值如圖3所示，低郁閉度測(cè)試集的Box-AP和Segm-AP平均值分別為55.89%、57.29%，比高郁閉度測(cè)試集的Box-AP平均值（46.00%）和Segm-AP平均值（44.45%）高出9.89%、12.84%。低郁閉度測(cè)試集中，分割性能最優(yōu)的模型為R50-DC5，Box-AP和Segm-AP值分別為57.63%、58.83%；高郁閉度測(cè)試集中，各模型AP值差異不明顯，分割性能最優(yōu)的模型為R101-DC5，Box-AP和Segm-AP值分別為47.93%、47.22%。

圖2 低/高郁閉度林分影像分割結(jié)果可視化（c ～ i, l ～ r分別為R50-C4、R50-DC5、R50-FPN、R101-C4、R101-DC5、R101-FPN和X101-FPN實(shí)例分割結(jié)果）Fig. 2 Visual segmentation results of low/high canopy density forest images(c ～ i, l ～ r are R50-C4, R50-DC5,R50-FPN, R101-C4, R101-DC5, R101-FPN and X101-FPN instance segmentation results)

圖3 AP圖Fig. 3 AP figure

3.2 單木參數(shù)提取

分別在7個(gè)模型測(cè)試集中抽取300個(gè)IoU≥0.5樹(shù)冠，進(jìn)行精度評(píng)價(jià)（見(jiàn)表3）。低郁閉度林分東西冠幅、南北冠幅和樹(shù)冠面積參數(shù)提取平均RMSE分別為0.161、0.179和0.341，平均R2分別為0.912、0.918和0.957，東西冠幅、南北冠幅和樹(shù)冠面積參數(shù)提取最優(yōu)模型分別為R101-FPN、R101-C4和R101-C4。ResNet101在樹(shù)冠提取性能優(yōu)于ResNet50，更深層次的殘差網(wǎng)絡(luò)對(duì)特征的準(zhǔn)確提取有著一定的優(yōu)勢(shì)，但是在低郁閉度林分中優(yōu)勢(shì)不明顯。高郁閉度林分東西冠幅、南北冠幅和樹(shù)冠面積參數(shù)提取平均RMSE分別為0.479、0.497和1.256，平均R2分別為0.806、0.762和0.936。隨著林分郁閉度的增加，影像中單木特征逐漸復(fù)雜，參數(shù)提取偏差變大，但是低/高郁閉度林分單木樹(shù)冠面積提取的R2僅相差0.021，說(shuō)明實(shí)例分割模型在高郁閉度林分仍能夠做到較準(zhǔn)確提取樹(shù)冠參數(shù)。高郁閉度林分中各參數(shù)提取最佳模型均為R101-FPN，RMSE分別為0.369、0.395和1.079，R2分別為0.886、0.861和0.948，R101-FPN更適應(yīng)于高郁閉度林樹(shù)冠參數(shù)的提取。

表3 單木樹(shù)冠冠幅和面積提取評(píng)價(jià)Table 3 Evaluation table of crown width and area extraction of single tree

3.3 林分參數(shù)提取

各實(shí)例分割模型低、高郁閉度測(cè)試集的林分單木株數(shù)提取結(jié)果如圖4所示，縱坐標(biāo)為單木株數(shù)，折線(xiàn)的每個(gè)折點(diǎn)代表不同單木株數(shù)的等面積樣地。低郁閉度林分影像中各模型單木株數(shù)提取偏差均比高郁閉度低，且隨著林分單木株數(shù)的增加偏差也不會(huì)呈明顯的增加的趨勢(shì)，反觀(guān)高郁閉度林分單木株數(shù)提取結(jié)果，隨著林分單木株數(shù)的增加偏差呈一定的增加趨勢(shì)，代表株數(shù)密度越大，提取性能呈下降趨勢(shì)。R101-FPN模型在高郁閉度測(cè)試集的表現(xiàn)最好，根據(jù)圖4（m）中隨著樣地內(nèi)單木株數(shù)越來(lái)越多，參考株數(shù)與預(yù)測(cè)株數(shù)的偏差沒(méi)有呈現(xiàn)越來(lái)越大的趨勢(shì)，因此該模型對(duì)各株數(shù)密度的林分的提取有著一定的穩(wěn)定性。如圖5所示，在對(duì)測(cè)試集的林分郁閉度預(yù)測(cè)中，低、高郁閉度林分郁閉度預(yù)測(cè)性能最優(yōu)的模型均為R101-FPN，R2分別為0.873、0.865。綜上所述，在7個(gè)實(shí)例分割模型中，各郁閉度的林分參數(shù)提取綜合性能最優(yōu)的為R101-FPN模型。

圖4 低/高郁閉度林分單木株數(shù)預(yù)測(cè)散點(diǎn)圖（a～g, h～n分別為低/高郁閉度散點(diǎn)圖）Fig. 4 Scatter plots of single tree number prediction in low/ high canopy density forest(a～g, h～n are low/high canopy density scatterplots, respectively)

圖5 低/高郁閉度林分郁閉度預(yù)測(cè)散點(diǎn)圖（a～g, h～n分別為低/高郁閉度散點(diǎn)圖）Fig. 5 Scatter plots of canopy density number prediction in low/high canopy density forest(a～g, h～n are low/high canopy density scatterplots, respectively)

4 討論

依托7個(gè)Mask R-CNN實(shí)例分割模型，利用無(wú)人機(jī)遙感影像，展示了一種自動(dòng)化、準(zhǔn)確、計(jì)算高效的提取杉木純林單木樹(shù)冠的方法。與馮靜靜等[16]對(duì)組成結(jié)構(gòu)簡(jiǎn)單且分辨率為0.2 m的青海云杉成熟純林進(jìn)行灰度梯度圖像分割方法的樹(shù)冠提取相比，本研究的高郁閉度復(fù)雜特征林分單木樹(shù)冠面積預(yù)測(cè)（以R101-FPN為例）R2與簡(jiǎn)單特征青海云杉成熟純林灰度梯度圖像分割方法相當(dāng)，均為0.95，本研究的實(shí)例分割模型可以實(shí)行批量分割，容錯(cuò)率更高，更輕易獲得每個(gè)單木樹(shù)冠的冠幅、面積和林分的郁閉度參數(shù)。面對(duì)無(wú)人機(jī)影像中樹(shù)冠之間相互粘連的情況，傳統(tǒng)數(shù)字圖像處理的樹(shù)冠提取方法的圖像分割參數(shù)需要多次試驗(yàn)后手動(dòng)設(shè)定，且較難做到精準(zhǔn)提取單木和應(yīng)用于不同的場(chǎng)景。例如李明華等[17]對(duì)水杉人工林影像（分辨率為0.3 m）進(jìn)行分水嶺分割，樹(shù)冠面積預(yù)測(cè)R2高于0.9的區(qū)域只存在單木分布均一、樹(shù)冠之間有明顯間隙、樹(shù)木冠幅和長(zhǎng)勢(shì)基本一致的林分。面對(duì)高郁閉度林分樹(shù)冠的提取，實(shí)例分割模型做到了一定精度的單木樹(shù)冠提取。影響實(shí)例分割模型提取樹(shù)冠精度的因素除了林分條件外，還有影像分辨率，在林分稀疏且結(jié)構(gòu)組成簡(jiǎn)單、分辨率為亞米級(jí)的影像，各種分割方法[8,18-19]能夠做到單木計(jì)數(shù)和粗略的樹(shù)冠邊緣描繪，適用于不要求高精度的大范圍林分樹(shù)冠信息獲取。但是要求在林分樹(shù)冠特征復(fù)雜的動(dòng)態(tài)變化監(jiān)測(cè)[20]、樹(shù)冠形態(tài)檢測(cè)、建立以樹(shù)冠參數(shù)為基礎(chǔ)的林分模型等高精度研究試驗(yàn)中，性?xún)r(jià)比高且便捷的無(wú)人機(jī)則更適合，其分辨率為厘米級(jí)的影像與合適的方法能更精準(zhǔn)地描繪樹(shù)冠的邊緣，更準(zhǔn)確地進(jìn)行單木計(jì)數(shù)。無(wú)人機(jī)厘米級(jí)影像可以依靠神經(jīng)網(wǎng)絡(luò)提取更多的樹(shù)冠特征以及更多的樹(shù)冠邊緣信息，神經(jīng)網(wǎng)絡(luò)相比其他傳統(tǒng)圖像處理方法，能提取到更多特征信息從而做到精準(zhǔn)單木樹(shù)冠提取。本研究中也有不少模型對(duì)高郁閉度林分存在漏分割的現(xiàn)象，所以在后續(xù)工作中，將無(wú)人機(jī)航拍影像生成的數(shù)字表面模型與數(shù)字高程模型運(yùn)算而得的冠層高度模型加入實(shí)例分割的運(yùn)算中，冠層高度模型蘊(yùn)含豐富的樹(shù)冠3D信息，與之前的RGB影像2D信息結(jié)合或許將得到更高的單木樹(shù)冠提取精度。

5 結(jié)論

本研究試驗(yàn)了基于實(shí)例分割模型進(jìn)行從低到高郁閉度的杉木純林單木樹(shù)冠提取的方法，實(shí)現(xiàn)了高精度、自動(dòng)化樹(shù)冠提取。主要結(jié)論：1）7個(gè)實(shí)例分割對(duì)單木樹(shù)冠的提取精度能夠達(dá)到林業(yè)生產(chǎn)實(shí)踐的需求，所有模型對(duì)低郁閉度測(cè)試集的Box-AP和Segm-AP平均值分別為55.89%、57.29%，對(duì)高郁閉度測(cè)試集的Box-AP和Segm-AP平均值分別為46.00%、44.45%；2）低郁閉度林分東西冠幅、南北冠幅和樹(shù)冠面積參數(shù)提取平均RMSE分別為0.161、0.179和0.341，平均R2分別為0.912、0.918和0.957，高郁閉度林分東西冠幅、南北冠幅和樹(shù)冠面積參數(shù)提取平均RMSE分別為0.479、0.497和1.256，平均預(yù)測(cè)R2分別為0.806、0.762和0.936；3）R101-FPN模型在高郁閉度測(cè)試集的表現(xiàn)最好，對(duì)各株數(shù)密度的林分的提取有著一定的穩(wěn)定性；4）低郁閉度林分郁閉度預(yù)測(cè)性能最好的模型為R101-FPN，預(yù)測(cè)R2可達(dá)0.873，高郁閉度林分郁閉度預(yù)測(cè)性能最好的為R101-FPN模型，預(yù)測(cè)R2可達(dá)0.865；5）綜合各評(píng)價(jià)指標(biāo)，R101-FPN模型具有樹(shù)冠提取精度高的特點(diǎn)。