黃彥曉,方陸明,黃思琪,高海力,楊來邦,樓雄偉

(1.浙江農(nóng)林大學 信息工程學院,杭州 311300；2.林業(yè)感知技術與智能裝備國家林業(yè)和草原局重點實驗,杭州 311300；3.浙江省林業(yè)智能監(jiān)測與信息技術研究重點實驗室,杭州 311300； 4.浙江農(nóng)林大學 暨陽學院,浙江 諸暨 311800；5.浙江農(nóng)林大學 林業(yè)與生物技術學院,杭州 311300)

樹冠是樹木進行光合作用和蒸騰作用的重要場所,冠幅是樹冠結(jié)構(gòu)的重要特征因子之一,是預測樹木生物量、樹冠表面積、林分郁閉等的重要變量[1]。因此,在森林資源調(diào)查中,對樹冠信息的獲取具有重要意義。傳統(tǒng)的測量冠幅大小的方法,是以實地調(diào)查為主[2]。但是這種方法不僅要消耗大量的人力與物力,同時還具有調(diào)查周期長、受天氣制約、存在人為誤差、更新困難等缺陷,不利于森林資源的科學管理和集約化經(jīng)營[3]。遙感(Remote Sensing,RS)技術的發(fā)展,為森林資源調(diào)查提供了新的數(shù)據(jù)獲取手段。國內(nèi)外學者對于樹冠信息的獲取進行了大量的研究。劉玉鋒等[4]利用WorldView-2高空間分辨率衛(wèi)星遙感數(shù)據(jù)從林木樹冠的空間幾何特征出發(fā),通過分析天山云杉林木樹冠的形態(tài)特征及其在遙感圖像上的成像規(guī)律,結(jié)合多尺度斑點檢測和梯度矢量流Snake模型來提取樹冠信息；李永亮等[5]基于相鄰木特征與對象木冠幅間的復雜關系,以杉木為研究對象,提出了一種基于自適應神經(jīng)模糊系統(tǒng)的冠幅估算方法；Erfanifard等[6]以0.06m空間分辨率的UltraCam-D航空影像為基礎,通過Taguchi方法來優(yōu)化支持向量機(Support Vector Machines,SVM)分類技術[7]識別樹冠,總準確率達到了97.7%；Wu等[8]利用基于圖論的局部等高線方法,捕捉森林的拓撲結(jié)構(gòu),量化樹冠的拓撲關系,并通過對地形圖識別樹冠的類比,對單個樹冠進行分割,相比于分水嶺與局部最大值算法提高了1.8%～4.5%的精度。

近年來,隨著機器學習(Machine Learning,ML)和神經(jīng)網(wǎng)絡的發(fā)展,深度學習(Deep Learning,DL)[9]技術慢慢滲入到森林資源調(diào)查領域中。本研究以杭州市臨安區(qū)青山湖綠道中的水杉林為數(shù)據(jù)源,通過無人機拍攝獲得高分辨率的正射影像圖,利用基于改進的目標檢測(Object Detection)方法Faster R-CNN[10]模型進行樹冠提取研究。

1 數(shù)據(jù)獲取與準備

1.1 研究區(qū)概況

研究區(qū)(30°14′26″～30°14′30″N,119°44′39″～119°44′55″E)位于杭州市臨安區(qū)內(nèi)。臨安地處浙江省西北部、中亞熱帶季風氣候區(qū)南緣,屬季風型氣候,溫暖濕潤、光照充足、雨量充沛、四季分明。該研究區(qū)的兩塊樣地(圖1)都位于青山湖綠道,為水杉純種林木,樹種組成簡單,地勢平坦,林分郁閉度較高。這兩塊樣地背景復雜,樹冠之間存在相連和覆蓋的情況,與背景顏色相似,不易區(qū)分,且因為拍攝時間已近秋,部分水杉樹冠樹葉已逐漸開始變黃,同樣增加了樹冠識別難度。

注(a)為Google衛(wèi)星地圖上兩塊水杉林的位置,其中紅色方框內(nèi)為樣地1,黃色方框內(nèi)為樣地2；(b),(c)分別為無人機拍攝樣地1和樣地2得到的正射影像圖。

1.2 無人機影像數(shù)據(jù)獲取

本研究利用大疆Phantom4 Pro V2.0無人機飛行拍攝進行數(shù)據(jù)采集,該無人機配備1英寸2 000萬像素影像傳感器,最大上升速度為6m/s,最大飛行時間為30min。為了無人機成像時光線充足和減少地面陰影影響,選取天氣晴朗、無風和太陽照射強度穩(wěn)定時段進行無人機影像數(shù)據(jù)獲取。無人機飛行時,遙控器前端搭載Pix4Dcapture軟件來進行飛行控制。本實驗設置的影像重疊率為90%,速度為72km/h。

拍攝得到的無人機攝影數(shù)據(jù)包含POS數(shù)據(jù)以及精準的GPS坐標(WGS84),將這些數(shù)據(jù)導入Agisoft Photo Scan軟件中。該軟件對導入的影像數(shù)據(jù)進行處理生成高分辨率正射影像圖,主要步驟為:對齊照片、建立密集點云、生成網(wǎng)格、生成高分辨率正射影像圖。具體的研究區(qū)位置和生成的正射影像圖如圖1所示。

其中樣地1的無人機飛行高度為60m,獲得的正射影像圖大小為18 181×14 536像素,分辨率為0.012 71m每像素；樣地2的無人機飛行高度為50m,獲得的正射影像圖大小為24 425×15 376像素,分辨率為0.011 55m每像素。由于每張正射影像圖的分辨率已知,可以根據(jù)圖中的像素點測量出每個樹冠上的長和寬的實際距離,長寬的平均值就是實際的冠幅大小。

1.3 數(shù)據(jù)集制作

將樣地1的整張正射影像圖和樣地2正射影像圖的一部分進行裁剪作為樣本。每張樣本的大小為500×500像素左右,并包含若干水杉樹冠,共制作256張樣本。將樣地2的正射影像圖中未進行裁剪的部分作為測試集,共112株水杉。

這些樣本用LabelImg軟件進行人工注釋。LabelImg是一個常用的用于深度神經(jīng)網(wǎng)絡訓練的數(shù)據(jù)集注釋工具,采用Python編寫而成,并使用Qt作為其圖形界面。該軟件用矩形邊框標注出每張樣本中的樹冠,每張圖片標記后的注釋以PASCAL VOC格式[11]保存為XML文件,文件內(nèi)容包含圖片的路徑、名稱、大小以及已標注的所有目標的類別名和邊框坐標等信息。目標類別名用樹冠的英文單詞“CTree”表示,目標邊框位置信息用邊框的左上角(xmin,ymin)和右下角(xmax,ymax)坐標表示。

2 方法

2.1 Faster R-CNN

Faster R-CNN模型是真正意義上端到端的目標檢測模型,最大的改進地方是廢除了選擇性搜索(Selective Search)[12],引入了區(qū)域提取網(wǎng)絡(Region Proposal Network,RPN)來提取候選區(qū)域(Region Proposal),節(jié)省了大部分時間。

Faster R-CNN由RPN和Fast R-CNN[13]這兩個模塊組成,進行聯(lián)合訓練,總體流程如圖2所示,將整張圖像輸入網(wǎng)絡得到相應的特征圖,使用RPN結(jié)構(gòu)生成候選框,并投影到特征圖上獲得相應的特征矩陣,使用感興趣區(qū)域池化(ROI Pooling)將每個特征矩陣映射為相同尺寸的特征向量,最后把特征向量經(jīng)過全連接層傳送給分類器判別屬于某一個類,對于屬于某一類的邊框位置,用回歸器進行進一步調(diào)整。

圖2 Faster R-CNN算法流程圖

2.2 基于Faster R-CNN的改進方法

Faster R-CNN模型的基礎網(wǎng)絡是VGG16[14],VGG16是由若干卷積層和池化層堆疊而成的,卷積核大小都為3×3的具有16層結(jié)構(gòu)的簡單網(wǎng)絡。當圖像在進行卷積操作時,總會出現(xiàn)信息丟失的情況。本研究采用ResNet101作為基礎網(wǎng)絡來提取特征。ResNet101采用殘差[15]結(jié)構(gòu)解決了網(wǎng)絡在加深層次的同時克服了梯度消失等問題。殘差結(jié)構(gòu)能將低層的特征圖直接映射到高層次的特征圖中,建立恒等映射,使前面的信息更多地傳遞給后面,增加了提取目標特征的深度,保留了更多有效的信息。ResNet101共101層,具體網(wǎng)絡結(jié)構(gòu)圖如3所示。

圖3 Resnet 101網(wǎng)絡結(jié)構(gòu)圖

特征金字塔網(wǎng)絡(Feature Pyramid Network,FPN)[16]是傳統(tǒng)CNN網(wǎng)絡表達輸出圖片信息方法的增強,該網(wǎng)絡利用特征金字塔在不同層次的特征進行尺度變化后,進行信息融合,從而提取到較為低層的信息,使得小物體的信息也能夠比較完整地反映出來。FPN主要有3個步驟:自下向上不同尺度特征圖的生成、自上向下的特征增強和橫向連接。假設自下向上生成不同層級的卷積結(jié)果為Cx,那么中間生成的特征圖為Mx,最后融合得到的特征圖為Px,三者相互對應。

FPN在Faster R-CNN模型的改進為基于RPN的改進,即將RPN中的尺度分離。在結(jié)合ResNet101作為基礎網(wǎng)絡和融合FPN改進后的Faster R-CNN_Res101_FPN模型的具體結(jié)構(gòu)如圖4所示。

圖4 基于改進的Faster R-CNN模型結(jié)構(gòu)圖

2.3 模型評估

對于模型評估,共有兩個方面,即樹冠識別和冠幅提取。對于樹冠識別,采用分類指標精確率(Precision)、召回率(Recall)和準確率(Accuracy)來衡量；對于冠幅提取,通過與真實的冠幅值比較,可以用回歸指標均方根誤差(RMSE)、平均絕對誤差(MAE)和決定系數(shù)(R2)來表示。

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)增強

一般情況下,利用神經(jīng)網(wǎng)絡進行目標檢測都需要成千上萬的圖片來訓練,進行調(diào)參追求模型損失較低的最佳點,以得到理想的效果。但是現(xiàn)實中所拍攝得到的可標注數(shù)據(jù)集往往是有限的。因此,為了獲得更多的數(shù)據(jù),需要對現(xiàn)有的數(shù)據(jù)集進行微小的改變,這就是數(shù)據(jù)增強(Data Augmentation)[17]。

常用的數(shù)據(jù)增強方法有隨機裁剪、隨機旋轉(zhuǎn)、翻轉(zhuǎn)變換等,但是這些變換只是簡單地增加了數(shù)據(jù)集數(shù)量,對提升網(wǎng)絡提取樹冠特征的影響較小。針對樹冠具有單一顏色聚集分布明顯,但是內(nèi)部亮度變化不均衡、大小和形狀各不相同的特點,實驗利用增大或減小樣本亮度和對比度的方法來擴充數(shù)據(jù)集,同化和增強了樹冠的顏色特征。圖5以其中一張樣本為例,展示了數(shù)據(jù)增強的效果。

圖5 數(shù)據(jù)增強效果圖

3.2 實驗步驟

原始的Faster R-CNN模型使用在ImageNet數(shù)據(jù)集[18]上預訓練的VGG16模型作為初始化訓練,總共迭代了40 000次,batch size為8,學習率為0.001；改進后的Faster R-CNN_Res101_FPN模型在與FPN融合中,設定P2,P3,P4,P5和P6這5層特征層分別定義不同尺寸的anchor,即32×32,64×64,128×128,256×256和512×512,每個anchor又有1∶1,1∶2和2∶1這3種長寬比例,共15種不同大小的anchor。模型使用在ImageNet數(shù)據(jù)集上對已經(jīng)預訓練好的ResNet101網(wǎng)絡進行訓練,batch size設為1,總共迭代了20 000次。前5 000次迭代的學習率為0.001,后5 000次為0.000 01,中間10 000次的學習率則為0.000 1。這兩個模型訓練的損失函數(shù)如圖6所示?？梢钥吹?這兩個模型分別在20 000次迭代和7 500次迭代后的損失值趨于穩(wěn)定。

這兩個實驗均在Windows10系統(tǒng),Intel(R)Xeon(R)Silver 4110 CPU @ 2.10GHz(32 CPUs),2.1GHz處理器,64GB內(nèi)存和GPU為NVIDIA GeForce GTX 1080 Ti,11GB顯存的計算機配置下實現(xiàn)。實驗環(huán)境為Python 3.6,Tensorflow[19]1.14.0。

3.3 實驗結(jié)果與分析

為了更好地展示模型識別樹冠的效果,實驗將整張樣地2的正射影像圖輸入訓練好的模型中進行檢測。正射影像圖中每個被檢測到的樹冠用紅色邊框標注其位置,并顯示樹冠的編號,根據(jù)分辨率計算得出冠幅大小和置信度。圖7展示了兩個模型檢測結(jié)果中部分測試集的效果圖。通過簡單觀察可以發(fā)現(xiàn),未改進的Faster R-CNN模型樹冠漏識別情況較嚴重,且對于冠幅大小的提取不如改進后的模型更精確。

兩個模型在測試集上各指標值的對比如表1所示?？梢钥吹?改進后的Faster R-CNN_Res101_FPN模型與原來的Faster R-CNN相比,各個指標都得到了提升。其中,精確率、召回率和準確率分別提升了0.06%,5.36%和5.31%,分別達到了99.06%,93.75%和92.92%的水平；均方根誤差和平均絕對誤差分別降低了0.10和0.04,而決定系數(shù)則提高了0.12,3項指標分別達到了0.36,0.27和0.84的水平。結(jié)合圖8展示的冠幅真實值和兩個模型預測值的線性模型圖,證明了基于改進的Faster R-CNN模型的優(yōu)越性。

表1 模型評價指標對比表

4 結(jié)論

本研究通過無人機拍攝兩個水杉林樣地獲得的高分辨率正射影像圖為數(shù)據(jù)源,利用原始的Faster R-CNN模型和改進后的Faster R-CNN_Res101_FPN模型進行樹冠提取的實驗。改進后模型樹冠識別的準確率達到了92.92%,冠幅提取的R2達到了0.84,兩項指標分別比改進前的模型提高了5.31%和0.12,證明了利用目標檢測算法提取樹冠的可行性和基于改進的Faster R-CNN模型的優(yōu)越性。