羅仙仙，許松芽，嚴(yán)洪，肖美龍，陳正超

(1.泉州師范學(xué)院 數(shù)學(xué)與計算機科學(xué)學(xué)院，福建 泉州 362000；2.福建省大數(shù)據(jù)管理新技術(shù)與知識工程重點實驗室，福建 泉州 362000；3.泉州師范學(xué)院教育科學(xué)學(xué)院，福建 泉州 362000；4.福建省林業(yè)調(diào)查規(guī)劃院，福建 福州 350000；5.泉州市林業(yè)局森林資源管理站，福建 泉州 362000；6.中國科學(xué)院空天信息創(chuàng)新研究院，北京 100094)

隨著“數(shù)字林業(yè)”不斷推進(jìn)，遙感用于森林資源調(diào)查與監(jiān)測取得豐碩成果.航空遙感和衛(wèi)星遙感運行高度高，云霧天氣影響樹種識別的遙感數(shù)據(jù)獲取與識別精度.因此，提高樹種識別精度是國際性關(guān)注的學(xué)術(shù)問題.解決這一問題突破口在于[1-2]：一是獲取好的遙感數(shù)據(jù)源，二是采取好的數(shù)據(jù)處理方法，包括遙感圖像預(yù)處理與選擇合適的分類方法.

無人機(unmanned aerial vehicle，UAV)作為一種低空遙感工具，具有全天候、高分辨率、實時性、操作靈活、拍攝時間自由、飛行成本低等優(yōu)點[3-4]，與傳統(tǒng)遙感相比，無人機低空航拍受天氣影響小，作業(yè)方式靈活；平臺建設(shè)與后期維護(hù)成本低；飛行高度較低，獲取的影像比例尺大、精度高、重疊率高，提高了后期處理影像的可靠性，這為林業(yè)遙感研究提供了新的技術(shù)手段.然而，傳統(tǒng)人工目視解譯方法和遙感圖像處理方法，并不能地對無人機遙感圖像進(jìn)行自動識別，而且精度難以保證.深度學(xué)習(xí)是人工智能研究的一個重要分支，于2006年由多倫多大學(xué)Hinton教授提出[5]，是一種有效的特征提取及分類方法.其在計算機視覺領(lǐng)域快速發(fā)展，并取得了良好的效果，這為遙感圖像處理等領(lǐng)域提供了一種新的技術(shù)方法.深度學(xué)習(xí)方法用于無人機影像樹種識別初見端倪，該研究領(lǐng)域既可以實現(xiàn)計算機對樹種自動識別，也可以進(jìn)行森林調(diào)查自動區(qū)劃.總結(jié)無人機影像用于樹種識別的研究成果，指出當(dāng)前研究存在問題，展望未來研究方向，以期為無人機技術(shù)在樹種識別、森林資源調(diào)查提供參考，以期更好改進(jìn)和完善我國森林資源監(jiān)測體系.

1 無人機類型與外業(yè)飛行參數(shù)設(shè)計

1.1 無人機類型

無人機主要根據(jù)大小和飛行動力進(jìn)行區(qū)分，根據(jù)飛行原理和結(jié)構(gòu)可分為固定翼、旋翼和特殊構(gòu)型無人機[6].無人機遙感系統(tǒng)由無人機平臺、無人機載荷、地面控制系統(tǒng)與遙感數(shù)據(jù)處理系統(tǒng)組成[7].無人機可以搭載不同類型的傳感器，如普通數(shù)碼相機(可見光)、激光雷達(dá)掃描儀、多光譜影像儀、高光譜影像儀等，利用不同數(shù)據(jù)源應(yīng)用于林業(yè)病蟲監(jiān)測、林火監(jiān)測、野生動植物監(jiān)測與識別、森林資源調(diào)查、林業(yè)執(zhí)法等[8].在林業(yè)中，最常用的是旋翼無人機，可實現(xiàn)目標(biāo)懸停，更容易獲取森林的樹冠信息.

1.2 無人機樹種識別外業(yè)飛行參數(shù)設(shè)計

采集影像質(zhì)量直接影響后續(xù)分類效果.根據(jù)機器學(xué)習(xí)方法所需要訓(xùn)練樣本與測試樣本，確定每個樹種所要拍攝相片的張數(shù)，根據(jù)研究區(qū)域大小、樹種分布情況合理規(guī)劃好無人機飛行計劃，包括總體飛行次數(shù)、每次飛行區(qū)域大小、飛行的預(yù)計時間.為考慮樣本多樣性，飛行季節(jié)在春、秋兩季較多；為減少陰影對分類影響，飛行時間盡量選擇正午時間；飛行高度是無人機外業(yè)飛行的重要參數(shù)，根據(jù)文獻(xiàn)[11-19]，無人機樹種識別飛行高度在20～280 m，應(yīng)根據(jù)研究目的、研究區(qū)域大小來確定.

1.3 無人機高光譜影像樹種識別現(xiàn)狀

高光譜具有非常窄的光譜波段，高空遙感的高光譜圖像常常用于樹種識別與提取.但因設(shè)備昂貴，搭載無人機的高光譜樹種識別研究較少.以高光譜遙感圖像為數(shù)據(jù)源的樹種識別算法主要分為基于光譜特征、基于光譜匹配和基于統(tǒng)計分析方法[20].楊禮基于無人機獲取的高光譜正射影像，在最小噪聲分離變換的基礎(chǔ)上，采用光譜角匹配方法對5個樹種進(jìn)行識別研究，總體精度達(dá)54.05%[21].四川雙利合譜科技有限公司運用大疆的無人機M600 Pro自主研發(fā)的高光譜相機GaiaSky-mini2在上海交通大學(xué)閔行校區(qū)植物園進(jìn)行數(shù)據(jù)采集，采用最佳指數(shù)法進(jìn)行3個波段的特征選取，并采用see5.0決策樹方法進(jìn)行自動分類，但未對拼接好的無人機高光譜影像數(shù)據(jù)進(jìn)行不同樹種的分類識別[22].

2 傳統(tǒng)機器學(xué)習(xí)方法用于無人機樹種識別研究現(xiàn)狀

機器學(xué)習(xí)方法可分為監(jiān)督分類、非監(jiān)督分類、半監(jiān)督分類和強化學(xué)習(xí)[23].無人機樹種分類常用監(jiān)督分類方法，包括隨機森林、決策向量機、決策樹等.Franklin等選取加拿大安大略省東部0.1 km2硬闊林為研究區(qū)域，采用隨機森林方法，對4種成熟落葉樹種(糖槭、紅槭、白樺、山楊)進(jìn)行研究，總體精度達(dá)78%[14].Brovkina等選取捷克共和國中2個50 m×50 m方形樣地，同時進(jìn)行無人機多光譜數(shù)據(jù)獲取與地面調(diào)查，地面調(diào)查因子包括基本林分因子、枯立木與活立木、活力因子.基于對象圖像分析方法對云杉、冷杉、山毛櫸、枯死木總體分類精度達(dá)78.4%[15].Liu等選取廣東省韶關(guān)市丹霞山內(nèi)12 km2為研究區(qū)域，采用8波段多光譜成像系統(tǒng)搭載無人機，包括3個RGB通道和5個多光譜波段(550、600、700、750、850 nm)，拍照721次.采用支持向量機與植被指數(shù)等構(gòu)成3級分類方法，對稀少瀕危樹種——丹霞梧桐進(jìn)行提取，識別精度達(dá)76.9%[13].Sothe等以巴西南部約25 ha亞熱帶森林研究對象，采用支持向量機對12個樹種進(jìn)行識別研究.研究表明,結(jié)合3D高光譜點云數(shù)據(jù)、可見光/近紅外波段、冠層高度模型、植被指數(shù)4類特征識別效果最佳，總體精度達(dá)到72.4%，Kappa達(dá)到70%[19].

3 基于卷積神經(jīng)網(wǎng)絡(luò)的無人機樹種識別研究進(jìn)展

3.1 卷積神經(jīng)網(wǎng)絡(luò)方法及其優(yōu)化算法

卷積神經(jīng)網(wǎng)絡(luò)典型模型包括Let5、Caffenet、AlexNet、VGG[1].近年來，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不斷改進(jìn)與優(yōu)化，2014年Goodfellow等提出生成對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)[24]，其核心思想是用神經(jīng)網(wǎng)絡(luò)來指導(dǎo)神經(jīng)網(wǎng)絡(luò)，彼此之間通過相互學(xué)習(xí)和對抗達(dá)成一種納什均衡的狀態(tài).2015年Girshick等提出區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-based CNN，R-CNN)[25]、Ren等提出Faster R-CNN[26]、Long等提出全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional neural networks，F(xiàn)CN)[27]、Ronneberger提出U-Net[28]、Szegedy提出GoogleNet[29].2016年Dai等提出區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)(R-FCN)[30].2017年Howard等提出MobileNets[31]、Tsung等提出RetinaNet[32]、Chen等提出DeepLabV3[33]、Huang等提出DenseNet[34]、Jégou等提出FC-DenseNet[35]、Badrinarayanan等提出SegNet[36].2018年Redmo等提出YOLOv3[37].

3.2 無人機樹種識別的數(shù)據(jù)集及其數(shù)據(jù)增強技術(shù)

數(shù)據(jù)集質(zhì)量、大小決定了卷積神經(jīng)網(wǎng)絡(luò)用于無人機樹種識別精度.無人機樹種識別數(shù)據(jù)集總結(jié)如表1所示，研究區(qū)域面積在0.2 km2以下；識別樹種類型最多為7類；樣本總數(shù)在[225，15 786]，遠(yuǎn)遠(yuǎn)少于1 400萬的大型可視化數(shù)據(jù)庫ImagNet和6萬條數(shù)據(jù)的手寫數(shù)字識別數(shù)據(jù)集MNIST；從具體樹種分類上看，國外研究多于國內(nèi)研究，南方樹種識別較多，尚未見北方樹種識別；從總體精度上看，最低精度75.67%，最高精度為97.8%，精度與訓(xùn)練樣本、測試樣本大小有直接關(guān)系，部分研究尚未介紹外業(yè)采集方式、每個樹種樣本大小，這不利于數(shù)據(jù)集建設(shè)與共享.

表1 無人機樹種識別數(shù)據(jù)集Tab.1 Datasets of tree species identification from UAV

無人機樹種識別數(shù)據(jù)采集應(yīng)考慮季節(jié)、時間、高度、光照強度等因素，以增加樣本的多樣性，提高卷積神經(jīng)網(wǎng)絡(luò)識別能力和泛化能力.同時，應(yīng)采取數(shù)據(jù)增強技術(shù)進(jìn)行樣本擴充，減少外業(yè)數(shù)據(jù)采集工作和提升模型識別效果，數(shù)據(jù)增強通常采用幾何運算中的平移、旋轉(zhuǎn)、縮放、鏡像、栽剪、扭曲、加噪中的一種或幾種.戴鵬欽等對原始圖像及其水平翻轉(zhuǎn)后分別旋轉(zhuǎn)90°、180°、270°將訓(xùn)練樣本量增加到原來的8倍[10].Onishi等采用隨機旋轉(zhuǎn)、高度和寬度變換、剪切、縮放、翻轉(zhuǎn)等對原始樣本擴充至21倍[16].林志瑋等采用隨機角度旋轉(zhuǎn)的方式對影像進(jìn)行10次旋轉(zhuǎn)，將原數(shù)據(jù)集數(shù)量擴充10倍，同時，采用水平鏡像和垂直鏡像將原數(shù)據(jù)集數(shù)量擴充2倍[12].生成對抗網(wǎng)絡(luò)生成的圖像也可以作數(shù)據(jù)增強，但尚未見文獻(xiàn)報道利用此方法作無人機樹種識別數(shù)據(jù)增強.

3.3 卷積神經(jīng)網(wǎng)絡(luò)樹種識別研究現(xiàn)狀

3.3.1 卷積神經(jīng)網(wǎng)絡(luò)用于無人機樹種識別研究現(xiàn)狀 卷積神經(jīng)網(wǎng)絡(luò)用于無人機樹種識別剛處于超步階段.Onishi等對日本京都大學(xué)神木實驗站的北部(0.11 km2)為研究區(qū)域，于2016年11月20日，利用大疆精靈4搭載1/2.3CMOS傳感器，獲取RGB圖像，采用GoogleNet方法對7類樹種進(jìn)行分類，總體識別精度達(dá)89.0%[16].林志瑋以福建省安溪縣崩崗區(qū)為研究區(qū)域，采用無人機獲取20 m和40 m高的光學(xué)圖像，研究表明隨著航拍高度的上升，分類正確率呈現(xiàn)下降趨勢.隨著模型網(wǎng)絡(luò)層數(shù)的增加，模型分類精度出現(xiàn)下降現(xiàn)象，DenseNet121 模型分類精度高于DenseNet169模型分類精度[12].同時，林志瑋利用FC-DenseNet-103對馬尾松、檸檬桉和芒萁3 類優(yōu)勢樹種進(jìn)行分類，分類精度分別為79%、70%和78%.利用Dense模塊提取樹種圖像特征并增強深層網(wǎng)絡(luò)信息，上下采樣層的功能也有所不同，上層主要采集數(shù)據(jù)特征信息，而下層則是為了凸顯圖像的特征信息.實驗表明FC-DenseNet-103在進(jìn)行優(yōu)勢樹種分類任務(wù)中有良好的表現(xiàn)，同時該方法還能夠有效解決數(shù)據(jù)集樣本數(shù)量不足、模型分割結(jié)果邊緣存在噪聲所導(dǎo)致的實驗精度不足的問題[38].Natesan等以加拿大安大略省彼得華華保護(hù)林為研究對象利用無人機搭載尼康D810單反相機，采集等紅松、白松、香脂冷杉、白云杉、東方白柏等5個樹種共9 772個樣本，采用DenseNet121網(wǎng)絡(luò)進(jìn)行樹種識別，總體精度達(dá)84%[39].Santos等選取巴西中西部城市3個研究區(qū)域，利用大疆精靈4搭載CMOS傳感器，于2018年8月至2019年2月，進(jìn)行6次飛行任務(wù)，對城市瀕危樹種巴魯仁進(jìn)行識別研究，獲取RGB圖像(2 000萬像素)392張，共110棵樹.比較3種卷積神經(jīng)網(wǎng)絡(luò)(Faster R-CNN、YOLOv3、RetinaNet)樹種識別優(yōu)劣，研究表明RetinaNet取得最好識別精度，總體精度達(dá)到92.64%[18].Torres等借用Santos創(chuàng)建的數(shù)據(jù)集，選取其中225個樣本，比較五種全卷積神經(jīng)網(wǎng)絡(luò)(SegNet、U-Net、FC-DenseNet、DeepLabv3+Xception、DeepLabv3+MobileNetV2)，研究表明FC-DenseNet網(wǎng)絡(luò)結(jié)構(gòu)取得最好識別精度，總體精度達(dá)到96.7%[40].戴鵬欽等基于Res-U-Net 模型的全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行5類樹種識別，發(fā)現(xiàn)融合了可見光差異植被指數(shù)VDVI和過紅減過綠指數(shù)ExG-ExR的Res-U-Net方法可提高馬尾松與杉木的區(qū)分度[10].

3.3.2 利用遷移學(xué)習(xí)的無人機樹種識別研究現(xiàn)狀 遷移學(xué)習(xí)是運用已存有的知識對不同但相關(guān)領(lǐng)域問題進(jìn)行求解的一種新的機器學(xué)習(xí)方法[41].將經(jīng)過一項任務(wù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的知識“遷移”到訓(xùn)練相關(guān)任務(wù)的另一個網(wǎng)絡(luò)，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的可解釋性,其紋理、輪廓、形狀、顏色等特征提取器是通用的，將訓(xùn)練好的模型中的一些權(quán)值和中間層遷移到新模型中，可以節(jié)省訓(xùn)練時間和提高識別精度.近兩年，有遷移學(xué)習(xí)用于無人機樹種識別引起相關(guān)研究者的關(guān)注與應(yīng)用.王莉影等運用遷移學(xué)習(xí)方法，采用ImageNet上訓(xùn)練的Inception-v3模型進(jìn)行對樹種圖像進(jìn)行特征提取，利用東北林業(yè)大學(xué)實驗林場數(shù)據(jù)集重新訓(xùn)練一個新的全連接層和Softmax層，進(jìn)行針葉林、闊葉林分類研究，樣本1 300張低空遙感數(shù)據(jù)，總體分類精度為98.4%，Kappa系數(shù)為0.987[42].滕文秀等以江蘇省東臺市東臺林場為研究區(qū)域，對4類樹種進(jìn)行識別研究，提出了樹種分類與制圖的深度遷移學(xué)習(xí)方法，采用在ImageNet數(shù)據(jù)集上性能較好的VGG16作為預(yù)訓(xùn)練模型，利用全局平均池化壓縮特征并與全連接層每個節(jié)點連接.采用簡單線性迭代聚類(SLIC)算法，對原始無人機高分影像進(jìn)行超像素分割，最終生成樹種專題地圖.較好解決數(shù)據(jù)量不足引起的過擬合問題[9].Natesan等以加拿大安大略省彼得華華保護(hù)林為研究對象，采用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練過的ResNet50模型，并外加最大池化層與4層全連接層，基于Kera框架對3類樹種進(jìn)行識別，總體精度達(dá)80%，研究表明當(dāng)樣本量增大時，可以提高識別精度[17].目前，2020年5月谷歌推出計算機視覺領(lǐng)域先進(jìn)的遷移學(xué)習(xí)模型BigTransfer(BiT)，BiT是一組經(jīng)過預(yù)先訓(xùn)練的模型，在新數(shù)據(jù)集上進(jìn)行簡單的遷移學(xué)習(xí)就能獲得優(yōu)秀的性能[43].

4 無人機遙感樹種識別的未來研究方向

深度學(xué)習(xí)方法用于無人機樹種識別研究初見端倪，與人工智能技術(shù)融合將加速發(fā)展，但阻礙該研究領(lǐng)域的是無人機樹種識別數(shù)據(jù)集建設(shè)與共享.目前，尚沒開放的無人機樹種識別數(shù)據(jù)集，國家或行業(yè)應(yīng)加強此項領(lǐng)域建設(shè)，以促進(jìn)智慧林業(yè)研究.同時，應(yīng)充分利用對抗生成網(wǎng)絡(luò)作數(shù)據(jù)增強.

卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)不斷優(yōu)化，針對無人機采集不同數(shù)據(jù)源及不同樹種，應(yīng)逐步建立基于卷積神經(jīng)網(wǎng)絡(luò)的無人機影像樹種識別的技術(shù)體系、標(biāo)準(zhǔn)與規(guī)范，包括建立優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)標(biāo)、超參數(shù)配置等.利用遷移學(xué)習(xí)方法，在相關(guān)數(shù)據(jù)集訓(xùn)練完成模型的權(quán)重參數(shù)作為新模型訓(xùn)練時的初始權(quán)重，以提升訓(xùn)練時間與識別精度.利用谷歌的遷移學(xué)習(xí)模型BigTransfer用于無人機樹識別也是一個重要方向.

針對無人機采集圖像快、影像分辨率高、數(shù)據(jù)量大等特點，采用嵌入式設(shè)備，集成GPU資源，采用框架技術(shù)(如Spark-streaming流式處理組件)進(jìn)行實時與批量計算，從而實現(xiàn)實時動態(tài)監(jiān)測.在此基礎(chǔ)上，應(yīng)拓展研究內(nèi)容，如復(fù)雜林分樹種識別、天然林演替、森林資源調(diào)查中小班自動勾劃、森林火災(zāi)監(jiān)測等，在樣地、林分尺度，甚至更大尺度開展森林健康監(jiān)測，從而改進(jìn)和完善森林資源監(jiān)測體系.