曹明蘭，李亞昆，張力小，武俊喜，李亞東

（1.北京工業(yè)職業(yè)技術(shù)學(xué)院，北京 100042；2.北京市城市空間信息工程重點實驗室，北京 100042；3.內(nèi)蒙古烏蘭壩國家級自然保護區(qū)管理局，內(nèi)蒙古 赤峰 735499；4.北京師范大學(xué) 環(huán)境學(xué)院 環(huán)境模擬與污染控制國家重點聯(lián)合實驗室，北京 100875；5.中國科學(xué)院地理科學(xué)與資源研究所，北京 100101）

城市行道樹作為城市生態(tài)系統(tǒng)的重要組成部分，對改善城市環(huán)境、凈化空氣、降噪遮陰等方面具有重要意義[1]。傳統(tǒng)的城市行道樹調(diào)查主要采用人員實地測量、儀器設(shè)備測量等方法手段，其工作量大、費時費力、效率低，無法滿足管理部門高效監(jiān)測的需求[2-3]。無人機數(shù)據(jù)采集具有成本低、周期短、影像分辨率高、操作簡單、機動靈活等優(yōu)點[4]，已成為新的資源調(diào)查技術(shù)手段。無人機遙感進行城市行道樹信息提取可以在很大程度上提高外業(yè)效率，降低外業(yè)工作成本。但由于內(nèi)業(yè)處理需要空三加密、人工編輯DEM 和生成正射影像等流程，需要人工進行作業(yè)，內(nèi)業(yè)成本較高，整體效率提升不大。深度學(xué)習(xí)的實例分割方法使自動從無人機影像中識別不同類型樹種和分割樹冠成為可能。

樹冠是反映林分生長狀況的重要參數(shù)[5]，利用樹冠參數(shù)可建立模型估測城市綠化樹的生長量等情況。近年來，主要采用的樹冠分割算法有局部最大值法[6]、梯度分割法[7]、面向?qū)ο蠓指罘╗8]、區(qū)域增長分割法[9]、分水嶺分割法[10]和水平集分割法[11]等，雖積累了一定研究基礎(chǔ)，但由于樹冠影像紋理的復(fù)雜性和樹冠邊緣的不規(guī)則性等原因，這些方法對樹冠分割結(jié)果的精確度仍有待提高。隨著計算機視覺和人工智能算法的日漸成熟，越來越多的學(xué)者開始關(guān)注深度學(xué)習(xí)在城市行道樹調(diào)查方面的應(yīng)用[12]。深度學(xué)習(xí)領(lǐng)域的語義分割方法通過建立深層卷積神經(jīng)網(wǎng)絡(luò)并訓(xùn)練，可自動學(xué)習(xí)圖像的特征，進行端到端的分類學(xué)習(xí)，大大提升了語義分割的精確度[13]。將語義分割的代表性模型U-Net 引入無人機影像樹冠分割，可有效減少傳統(tǒng)方法難以區(qū)分的地表綠色植被影響[14-15]。但語義分割是像素級的圖像分類，只能分割同一類對象，無法分割不同樹種。

本研究基于深度學(xué)習(xí)的實例分割代表性算法Mask R-CNN 模型，對無人機遙感城市行道樹影像進行樹冠分割，試圖改善U-net 與分水嶺等方法受樹冠間局部灰度值差異影響而難以分割的問題。

1 材料與方法

掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask regionconvolutional neural network，Mask RCNN） 是較先進的深度學(xué)習(xí)模型，本研究嘗試將計算機視覺和深度學(xué)習(xí)領(lǐng)域的先進算法應(yīng)用于樹冠分割領(lǐng)域。采用無人機搭載光學(xué)相機獲得大比例尺高分影像和POS 數(shù)據(jù)，通過攝影測量軟件結(jié)合地面控制點將影像處理為具有CGCS 2000 高斯3°帶投影坐標的快拼正射影像（Digital orthophoto map，DOM）。借助深度學(xué)習(xí)的實例分割Mask R-CNN模型訓(xùn)練，構(gòu)建單樹樹冠和樹種預(yù)測模型。利用驗證數(shù)據(jù)對模型訓(xùn)練的學(xué)習(xí)狀況進行監(jiān)測和評價，選出最優(yōu)模型。再用測試數(shù)據(jù)對構(gòu)建的學(xué)習(xí)模型做適應(yīng)性評價，評估其樹冠分割效果。技術(shù)路線如圖1 所示。

圖1 技術(shù)路線Fig.1 Flow chart

1.1 研究區(qū)數(shù)據(jù)集構(gòu)建

研究區(qū)位于云南省昆明市（102°10＇～103°40＇E，24°23＇～26°22＇N），研究區(qū)內(nèi)行道樹包括香樟1 446 株、法國梧桐417 株和銀樺114 株。于2019 年6 月25 日和2019 年7 月3 日利用大疆無人機DJI Phantom 4pro，搭載DJI FC6310 相機，焦距9 mm，以航高200 m、航向重疊度90%、旁向重疊度75%，共獲取1 200 張航攝像片，圖像分辨率為5 472×3 648。在研究區(qū)內(nèi)設(shè)置了多個GCP，生成空間分辨率為5.0 cm 的快拼影像圖。將第一次獲取的數(shù)據(jù)以7∶3 的比例構(gòu)建訓(xùn)練集和驗證集，將訓(xùn)練集用于訓(xùn)練模型以達到最佳估計精度，驗證集則用于監(jiān)測模型的學(xué)習(xí)進度和訓(xùn)練數(shù)據(jù)的過度學(xué)習(xí)。將第2次獲取的數(shù)據(jù)作為測試集，用于測試模型的估計結(jié)果，并基于參照數(shù)據(jù)作精度評價。參照數(shù)據(jù)的株數(shù)為實地調(diào)查獲得，單樹樹冠多邊形通過皮尺測量樹冠南北冠幅a和東西冠幅b，再根據(jù)樹冠多邊形面積S=πab公式計算獲得。

1.2 MaskR-CNN 原理

基于深度學(xué)習(xí)的實例分割是對每個目標進行像素級的分類，將所有目標都區(qū)別開作為不同的目標，兼具語義分割和目標檢測的特性。掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Mask-RCNN（Mask regionconvolutional neural network） 是在Faster_RCNN基礎(chǔ)上提出網(wǎng)絡(luò)結(jié)構(gòu)，主要實現(xiàn)目標檢測和實例分割。MaskR-CNN 思想是將Faster R-CNN 和FCN 結(jié)合起來，首先利用卷積神經(jīng)網(wǎng)絡(luò)提取特征，然后區(qū)域生成網(wǎng)絡(luò)（Region Propasal Network,RPN）得到可能存在目標的候選框( Region of interest,RoI)，RoIAlign 將RoI 映射成固定尺寸的特征圖（Fixed size feature map），特征圖通過檢測分支的全連接層（Fully connected layers）進行目標分類（Classification）和邊界框回歸（Box regression），通過分割分支的FCN 進行采樣得到分割圖，如圖2 所示。

圖2 Mask R-CNN 網(wǎng)絡(luò)模型Fig.2 Mask R-CNN network model

RoIAlign 在將特征圖中的RoI 池化為固定大小的特征圖時，將每個單元的像素由原圖四周真實像素利用雙線性插值法獲得該點像素，特征圖的像素完整保留了原圖像素和精確的空間位置，實現(xiàn)了像素到像素的匹配。實例分割是對RoIAlign輸出的特征圖進行分類、回歸和分割，檢測每個ROI 的類別和邊界框坐標，對每個類別獨立預(yù)測一個二值掩膜。如果把整個網(wǎng)絡(luò)看作多任務(wù)操作，則損失函數(shù)是多任務(wù)的相加。在訓(xùn)練期間，采樣RoI 多任務(wù)損失函數(shù)為L，則：

L=Lcls+Lbox+Lmask。

式中：Lcls為分類損失函數(shù)；Lbox為邊界框損失函數(shù)；Lmask為掩膜損失函數(shù)。

1.3 深度學(xué)習(xí)算法改進

MaskR-CNN 對每一類具有重疊的多個檢測物利用非極大值抑制NMS（Non-maximum suppression）算法來抑制同一物體被重復(fù)檢測。NMS 對同一類型的兩個重疊檢測物的邊界框超過閾值IoU（Intersection of union）時，僅保留得分最高的邊界框。對城市行道樹普遍存在的樹冠粘連情況，強制去掉得分低的預(yù)測框會導(dǎo)致漏檢，不適用于樹木類物體的檢測，而且速度慢，算法涉及多重循環(huán)，在進行大量預(yù)測框的計算時耗時較長。本研究先不考慮類別，而對所有檢測樹進行NMS。由于城市行道樹影像的邊界框中存在大量無行道樹的空白部分，會影響取舍選擇的準確性。因此，在模型建立后的估計階段不強制丟棄得分低的預(yù)測框，但降低NMS 估計結(jié)果的得分，使檢測密集樹冠目標時不至于漏檢，有效提高了準確率。在結(jié)果輸出后添加掩模處理：先在所有檢測物中得分高的認定為檢測樹，然后計算已檢測的樹冠區(qū)域和待檢測掩模的重疊區(qū)域占待檢測掩模面積的比例。如果該比例超過閾值0.5，則判斷重復(fù)檢測；如果比例小于閾值0.5，則只將未重疊區(qū)域認定為新的檢測樹區(qū)域。

本研究采用檢測率DR（正確檢測的數(shù)量比參照樹的數(shù)量）、誤檢率FDR（錯誤檢測的數(shù)量比參照樹的數(shù)量）、漏檢率LDR（未被檢測樹的數(shù)量比所有檢測樹的數(shù)量）、分類精度CA（檢測樹中被分類正確的數(shù)量比所有檢測樹的數(shù)量）和總體精度TA（檢測率與分類精度的乘積）等指標作為精度評價指標。按照以下步驟判斷樹冠檢測是否正確。1）計算所有參照樹和檢測樹的重心間距；2）根據(jù)重心間最短距離確認對應(yīng)關(guān)系；3）去除已確認對應(yīng)關(guān)系的參照樹與檢測樹，重復(fù)第二步直至確認全部。將參照數(shù)據(jù)出現(xiàn)的余數(shù)視為未檢測樹，將檢測樹產(chǎn)生的余數(shù)視為錯誤檢測；4）確認對應(yīng)關(guān)系后，參照數(shù)據(jù)和檢測樹的樹冠多邊形有重疊才視為正確檢測，沒有重疊則視為錯誤檢測。

2 結(jié)果與分析

2.1 深度學(xué)習(xí)框架與模型訓(xùn)練

本研究中的數(shù)據(jù)訓(xùn)練和測試均采用Windows系統(tǒng)GTX1080TI 顯卡（12 GB 顯存）的同一臺服務(wù)器。開發(fā)環(huán)境為Ubuntu 16.04、Python 3.5.2、TensorFlow 1.9.0 和Keras 2.2.4 等。利用VIA 圖像標注工具進行行道樹樹冠范圍的標繪和樹種的標注，并保存在Json 文件。選取可移植性高、支持多種深度學(xué)習(xí)模型的人工智能學(xué)習(xí)系統(tǒng)TensorFlow 機器學(xué)習(xí)框架，同時選取了在深度學(xué)習(xí)應(yīng)用方面具有多線程計算、簡易和快速原型設(shè)計等優(yōu)點的Keras 人工神經(jīng)網(wǎng)絡(luò)庫。選用ResNet-101作為主干網(wǎng)絡(luò)，使用COCO 數(shù)據(jù)集根據(jù)事先學(xué)習(xí)過的權(quán)重進行精細調(diào)整（Fine-tuning），以適應(yīng)單樹冠和樹種分類問題。此外，使用隨機梯度下降法（Stochastic gradient descent；SGD）作為網(wǎng)絡(luò)中權(quán)重的優(yōu)化算法，設(shè)置反復(fù)訓(xùn)練數(shù)epoch 為500、初始學(xué)習(xí)率為0.001，Moments 系數(shù)為0.9，權(quán)重衰減系數(shù)為0.000 1。

2.2 模型性能分析

在模型訓(xùn)練階段，使用訓(xùn)練數(shù)據(jù)和驗證數(shù)據(jù)計算的掩膜損失值，進行學(xué)習(xí)狀況監(jiān)測和測試數(shù)據(jù)的模型篩選。模型篩選時，隨著模型訓(xùn)練迭代次數(shù)的增加，訓(xùn)練數(shù)據(jù)和驗證數(shù)據(jù)的網(wǎng)絡(luò)掩膜損失值均逐漸減小并趨于穩(wěn)定，且在訓(xùn)練100 次以內(nèi)下降速度很快。當(dāng)模型訓(xùn)練次數(shù)在300～500 時，總體精度均值與損失值趨于穩(wěn)定，網(wǎng)絡(luò)達到收斂狀態(tài)，掩膜損失值最終減少到1.4左右，如圖3所示。

圖3 模型訓(xùn)練損失值與總體精度Fig.3 Model training loss and total accuracy

本研究改進Mask R-CNN 模型在431epoch 時，模型的整體精度值最高，選擇其作為最佳模型。最佳模型的總體精度TA 平均值為0.839（DR=0.858，CA=0.978），誤檢率平均值為0.130。

2.3 改進Mask R-CNN 模型驗證

本研究基于相同的數(shù)據(jù)源，利用驗證集建立的最佳模型估計測試集數(shù)據(jù)，并將本方法與人工提取方法進行對比分析。人工提取方法利用GIS軟件，人工采集單木樹冠和目視判斷樹種類型。圖4 展示了不同方法對3 種行道樹的分割效果，同時在本方法提取結(jié)果的基礎(chǔ)上，對識別率低的數(shù)據(jù)進行人工修正作為第3 種方式進行對比分析。測試數(shù)據(jù)的每棵樹都被分割出樹冠邊界，同時賦予了樹種信息，結(jié)合參照數(shù)據(jù)計算3 種方法的精度評價指標，結(jié)果如表1 所示。

表1 不同方法精度對比Table 1 Comparison of precision between different methods

圖4 檢測與分割結(jié)果Fig.4 Detection and segmentation results

圖4 分別展示了原圖、本方法分割和人工提取樹冠多邊形的示例。作為行道樹，法國梧桐一行、香樟樹一行同時栽植在道路兩側(cè)，而銀樺則在道路兩側(cè)同時栽植2 行。圖4a 的左圖中有香樟樹和法國梧桐，右圖則分布2 行銀樺行道樹。其中香樟樹的冠形呈橢圓、邊緣規(guī)則，法國梧桐樹由于樹齡較小，葉片稀疏，樹葉呈深棕色。銀樺樹的樹齡也較小，剛剛發(fā)出數(shù)層樹葉，還未形成銀樺典型樹冠形狀，樹冠冠幅較小，呈不規(guī)則形。圖4b 為本方法對3 種行道樹樹冠的分割效果，對樹冠邊緣清晰、樹冠形狀規(guī)則的香樟樹分割效果與圖4c 中人工提取效果最接近。本方法的法國梧桐樹冠邊界提取較平滑、樹冠范圍提取比人工提取稍大，包含一些空白部分，沒有人工提取精細。

本方法中，3 種行道樹的平均總體精度能達到0.865，而在此基礎(chǔ)上對識別率低的數(shù)據(jù)經(jīng)過人工參與簡單修正后至少提高了8.3%。而本方法的平均檢測率和分類精度也達到了0.887 和0.974，再經(jīng)人工修正后，行道樹的平均檢測率提高了7.8%。本方法能夠降低樹冠粘連的密集樹冠目標的漏檢率，統(tǒng)計結(jié)果表明，本方法的平均漏檢率僅為0.089，再經(jīng)過人工修正后，漏檢率大幅降低至0.017。本方法不論是檢測率還是分類精度，均能夠滿足城市行道樹的調(diào)查要求，而且識別率低的數(shù)據(jù)經(jīng)過針對性人工修正后數(shù)據(jù)精度顯著提高（DR=0.965，CA=0.982），與純?nèi)斯ぬ崛》椒ǖ木龋―R=0.978，CA=0.992）無較大差別，但能夠節(jié)省大量的外業(yè)實地調(diào)查時間和內(nèi)業(yè)人工提取工作量。

3 種行道樹在本方法的樹冠檢測與分割中，香樟樹的總體精度最高，為0.922（DR=0.941，CA=0.980），銀樺為0.852（DR=0.877，CA=0.971），法國梧桐最低，為0.821（DR=0.844，CA=0.972）。香樟樹的樹冠形狀規(guī)則而且訓(xùn)練數(shù)據(jù)量相對較多，因此其檢測率最高，比銀樺高6.4%，比法國梧桐高9.7%。而分類精度CA 雖然在3 種行道樹之間存在偏差，但總體結(jié)果良好，未發(fā)現(xiàn)較大差異。由于樹齡較小的香樟樹的樹冠和銀樺樹冠之間比較相似，導(dǎo)致出現(xiàn)一定的誤檢測，但誤檢測水平較低，且3 種行道樹之間無較大差異。本方法對不同行道樹的整體檢測效果較好，但仍有一些漏檢情況出現(xiàn)。法國梧桐樹的漏檢率（LDR=0.132）稍高于香樟和銀樺，是因為數(shù)據(jù)采集時法國梧桐樹葉呈淺棕色，與影像中背景馬路的顏色非常接近導(dǎo)致邊緣不清晰，加上其冠形不規(guī)則、樹葉較稀疏，導(dǎo)致出現(xiàn)一定的漏檢情況。

3 結(jié)論與討論

3.1 結(jié) 論

本研究使用無人機系統(tǒng)采集了高空間分辨率行道樹影像，基于深度學(xué)習(xí)的Mask R-CNN 實例分割模型實現(xiàn)了城市行道樹樹冠的自動檢測與分割，并與本方法人工參與修正和人工提取方法進行了對比分析。結(jié)果表明，本方法的行道樹樹冠自動分割平均總體精度為0.865、平均檢測率為0.887，如果再經(jīng)過人工簡單修正，則行道樹樹冠分割平均總體精度能達到0.948、平均檢測率能達到0.965。

1）本研究中，城市行道樹的樹冠檢測與分割方法采用非極大值抑制NMS 算法對所有檢測樹進行非極大值抑制，在模型估計階段不強制丟棄得分低的預(yù)測框，而是將其保留但降低NMS 估計結(jié)果的得分，從而降低了粘連樹冠目標檢測時的漏檢率，有效地提高了準確率。

2）本方法可面向單株樹冠進行實例分割，不需要采用形態(tài)學(xué)處理粘連樹冠，自動化程度較高。該方法不僅能檢測株數(shù)，還能分割不同樹種類別，進而判斷樹種組成，對城市行道樹調(diào)查具有現(xiàn)實意義。

本方法的檢測率和分類精度受行道樹的樹冠形狀和樹齡影響。冠形規(guī)則、顏色均勻、樹葉茂密樹種的檢測率和分類精度均高于冠形不規(guī)則、顏色接近背景色、樹葉稀疏的樹種。樹冠大小與樹齡成正比，不同樹齡的樹冠形狀有所變化，從而影響分類精度。一般，對于冠形不規(guī)則、樹葉稀疏的目標，均衡考慮樣本數(shù)量可降低冠形和樹齡對精度的影響。行道樹分布稀疏，樹木附近往往有道路、圍欄等障礙物，外業(yè)人工調(diào)查成本高、效率低。無人機可非接觸式快速高效地采集行道樹數(shù)據(jù)，結(jié)合深度學(xué)習(xí)的Mask R-CNN 實例分割算法能自動提取較準確的樹冠檢測與輪廓分割信息，可節(jié)省大量外業(yè)調(diào)查和內(nèi)業(yè)數(shù)據(jù)處理時間，對提升城市行道樹監(jiān)測效率和自動化水平具有重要意義。

3.2 討 論

隨著計算機數(shù)據(jù)處理能力和深度學(xué)習(xí)方法的快速發(fā)展，能夠全自動獲取單樹級信息的方法也不斷出現(xiàn)創(chuàng)新型探索，因此面向?qū)嶋H需求需要解決的問題也很多。為了提高模型的實際可用性，有必要建立一個不受林分條件限制的模型，因此不能忽視以下幾個方面：

1）探索針對單株樹冠和樹種估計的最佳方法。本研究采用了實例分割的Mask R-CNN 方法，但相繼又出現(xiàn)了TensorMask、SOLOv2 等實例分割的新方法，可在其中選擇針對單株樹冠分割的最佳方法。

2）數(shù)據(jù)輕量化和學(xué)習(xí)效率的提高。與機器學(xué)習(xí)方法相比，基于深度學(xué)習(xí)的實例分割Mask R-CNN方法需要更多的訓(xùn)練數(shù)據(jù)進行充分的學(xué)習(xí)，適合較大范圍的無人機數(shù)據(jù)采集，不適合小規(guī)模、小范圍的臨時性任務(wù)。因此，能否利用更少的數(shù)據(jù)構(gòu)建更高精度的模型仍然是今后研究和探索的方向。本方法中參考數(shù)據(jù)的制作需要一定的經(jīng)驗和時間，因此，探索最佳的數(shù)據(jù)擴展方法和數(shù)據(jù)輸入模式等方面需要進一步深入研究。

3）構(gòu)建數(shù)據(jù)收集系統(tǒng)。要想提高樹種分類和泛化性能，則需要各地區(qū)各時期的不同數(shù)據(jù)構(gòu)建訓(xùn)練數(shù)據(jù)集，可通過聯(lián)合各地區(qū)林業(yè)管理部門共建共享聯(lián)合數(shù)據(jù)庫，以提高制作參考數(shù)據(jù)的效率。