董秀春,蔣怡,楊玉婷,郭濤,李宗南,李章成
(四川省農(nóng)業(yè)科學(xué)院遙感與數(shù)字農(nóng)業(yè)研究所,成都市,610066)
柑橘是全球重要的經(jīng)濟(jì)作物,在中國(guó)種植面積廣、產(chǎn)量大,已成為農(nóng)村經(jīng)濟(jì)發(fā)展、農(nóng)民脫貧致富的支柱產(chǎn)業(yè)[1-3]。近年來,我國(guó)柑橘生產(chǎn)擴(kuò)張明顯,種植集中化、規(guī)?;厔?shì)加強(qiáng),形成以江西、湖南、湖北、廣東、廣西、浙江、福建、四川、重慶等省市為主要產(chǎn)區(qū)的空間分布格局[4-6]。柑橘的快速擴(kuò)增導(dǎo)致柑橘價(jià)格下滑、耕地減少、景觀格局改變、果園面源污染等問題[1, 7-8],及時(shí)獲取準(zhǔn)確的柑橘種植空間分布信息,有助于地方農(nóng)業(yè)部門進(jìn)行柑橘產(chǎn)業(yè)的合理規(guī)劃、信息化管理、產(chǎn)量預(yù)測(cè)、果園環(huán)境風(fēng)險(xiǎn)評(píng)價(jià)等[9]。傳統(tǒng)人工調(diào)查方法費(fèi)時(shí)耗力,獲取的柑橘數(shù)據(jù)對(duì)空間信息表達(dá)不足,遙感方法具有及時(shí)、客觀優(yōu)勢(shì),在作物種植信息提取中應(yīng)用廣泛。相關(guān)研究人員基于Landsat TM/OLI[10]、Sentinel-2[11]、無人機(jī)影像[12]、GF-1 PMS[13]等遙感數(shù)據(jù),采用隨機(jī)森林、可見光植被指數(shù)法、面向?qū)ο蟮确椒ǎ_展了柑橘果園種植信息提取方法研究。由于柑橘果園受地形、樹齡以及管理水平差異等因素影響,導(dǎo)致其具有較復(fù)雜的景觀特征,同物異譜現(xiàn)象明顯,尤其是在種植結(jié)構(gòu)復(fù)雜地區(qū),常用分類方法獲取的結(jié)果存在較大不確定性。
高分辨率遙感影像具有豐富的空間信息,可清晰反映果園的紋理特征。深度學(xué)習(xí)語(yǔ)義分割模型通過構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò),從大量、復(fù)雜特征樣本數(shù)據(jù)集中經(jīng)多個(gè)卷積和池化操作,進(jìn)行由低層到高層的圖像特征提取;再根據(jù)標(biāo)注信息學(xué)習(xí)、推理圖像中像素的類別,實(shí)現(xiàn)端到端圖像分類[14],在高分辨率遙感影像分類及地物信息提取中表現(xiàn)出色[15-16],較傳統(tǒng)分類方法具有較高的精度和效率優(yōu)勢(shì),為復(fù)雜特征的果園信息提取帶來新的機(jī)遇。研究人員基于無人機(jī)、Worldview系列等高分辨率遙感影像和深度學(xué)習(xí)方法,開展了柑橘[17]、核桃[18]和橄欖園[19]等果園空間信息提取研究。隨著國(guó)內(nèi)外高分辨率遙感影像和開源深度學(xué)習(xí)框架平臺(tái)增加,地方農(nóng)業(yè)部門、農(nóng)戶使用開放的數(shù)據(jù)源和便捷的處理工具獲取區(qū)縣級(jí)的柑橘空間信息成為可能。研究以四川柑橘重點(diǎn)產(chǎn)區(qū)的蒲江縣為研究區(qū),使用開源人工智能平臺(tái),通過收集高分辨率Google earth圖像和地面果園調(diào)查數(shù)據(jù),訓(xùn)練柑橘園語(yǔ)義分割模型,實(shí)現(xiàn)柑橘種植空間信息提取,以期為地方農(nóng)業(yè)部門使用高分辨率遙感和開源的深度學(xué)習(xí)分類模型快速提取果園空間信息提供參考。
蒲江縣(圖1)屬四川省成都市,位于成都平原西南邊;地勢(shì)為西南高、東北低,地貌以淺丘為主,兼有平壩、深丘和山地;屬亞熱帶濕潤(rùn)季風(fēng)氣候,年平均氣溫16.4 ℃,降水1 280 mm,氣候溫和,雨量充沛;土壤肥沃,農(nóng)業(yè)資源豐富,適合柑橘種植。近年來,該縣通過農(nóng)業(yè)產(chǎn)業(yè)生態(tài)化發(fā)展,建設(shè)國(guó)家級(jí)特色水果現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)園,建成全國(guó)優(yōu)質(zhì)晚熟柑橘基地,形成以不知火、春見等雜柑為主要類型的種植規(guī)模和區(qū)域品牌效應(yīng),已成為四川省柑橘重點(diǎn)產(chǎn)區(qū),對(duì)促進(jìn)地區(qū)經(jīng)濟(jì)的發(fā)展、農(nóng)民增收具有重大作用。
數(shù)據(jù)包括實(shí)地調(diào)查數(shù)據(jù)和影像數(shù)據(jù)。經(jīng)實(shí)地調(diào)查,采集各類典型地物標(biāo)志點(diǎn)位置信息約120個(gè)。研究區(qū)內(nèi)主要作物為柑橘、獼猴桃、茶,其余地物為道路、居民點(diǎn)、林地、耕地等。根據(jù)標(biāo)志點(diǎn)和高分辨率影像,繪制調(diào)查樣方地物分布圖,為樣本數(shù)據(jù)集建立和精度驗(yàn)證提供支持。
高分辨率的Google earth圖像在農(nóng)作物地面樣方調(diào)查和種植信息提取等多項(xiàng)研究中均有應(yīng)用[20-21]。柑橘屬闊葉常綠樹種,對(duì)影像獲取時(shí)相要求較低。通過Google earth獲取研究區(qū)清晰無云、空間分辨率為0.5 m 的RGB合成影像為數(shù)據(jù)源。其中,影像拍攝時(shí)間為2020年5月17日和2018年4月3日;矩形區(qū)域(圖1)為訓(xùn)練區(qū),用于樣本生產(chǎn)和模型訓(xùn)練,某鄉(xiāng)鎮(zhèn)為測(cè)試區(qū),用于模型預(yù)測(cè)和精度評(píng)價(jià)。經(jīng)重投影、影像鑲嵌等預(yù)處理,形成覆蓋研究區(qū)的高分辨率圖像。
圖像語(yǔ)義分割即圖像標(biāo)注,是將圖像進(jìn)行自動(dòng)分割并識(shí)別出圖像內(nèi)容,為圖像上各像素點(diǎn)分配語(yǔ)義標(biāo)簽,由此應(yīng)用到遙感領(lǐng)域可解決影像分類問題[22-23]。常用深度學(xué)習(xí)語(yǔ)義分割模型包括U-net[24]和DeepLabv3+[25],是全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network,F(xiàn)CN)的改進(jìn)和延伸,均利用下采樣提取特征、上采樣還原圖像尺寸的語(yǔ)義分割的思想,實(shí)現(xiàn)圖像的語(yǔ)義標(biāo)注,在遙感影像的地物信息提取和影像分類應(yīng)用廣泛[26-27]。
U-net模型的結(jié)構(gòu)如圖2所示,因網(wǎng)絡(luò)整體結(jié)構(gòu)類似于大寫的英文字母U而得名。該網(wǎng)絡(luò)是標(biāo)準(zhǔn)的編碼器—解碼器網(wǎng)絡(luò),上邊是由4個(gè)含有2個(gè)卷積層和1個(gè)最大池化層的模塊構(gòu)成的編碼器,逐層進(jìn)行影像特征提取、減少特征圖的分辨率;同樣,下邊是由4個(gè)含有1個(gè)反卷積和2個(gè)卷積層的模塊構(gòu)成的解碼器,通過上采樣操作減少特征圖維數(shù)、依次還原圖像尺寸;同時(shí)通過跳躍連接,以拼接的方式將解碼器和編碼器中相同分辨率的特征圖進(jìn)行特征融合,幫助解碼器更好地恢復(fù)目標(biāo)細(xì)節(jié)。該網(wǎng)絡(luò)參數(shù)少、計(jì)算快,一般場(chǎng)景適應(yīng)性強(qiáng)[17]。
圖2 U-net模型結(jié)構(gòu)圖
DeepLabv3+總體結(jié)構(gòu)如圖3所示,是1個(gè)帶空洞的空間金字塔池化的編碼—解碼結(jié)構(gòu)。編碼器包括深度卷積神經(jīng)網(wǎng)絡(luò)DCNN(Deep convolution neural network)和空洞卷積空間金字塔池化ASPP(Atrous spatial pyramid pooling)兩個(gè)模塊,前者是通過改進(jìn)的Xception作為骨架網(wǎng)絡(luò)對(duì)原始圖像進(jìn)行特征提取,以提高模型語(yǔ)義分割的健壯性和運(yùn)行速率;后者是在不改變特征圖大小的同時(shí)控制感受野,提取多尺度信息,對(duì)DCNN提取特征的信息進(jìn)一步優(yōu)化。解碼器利用跳級(jí)結(jié)構(gòu)將DCNN提取的低層特征圖與經(jīng)過4倍雙線性內(nèi)插上采樣的高層特征圖進(jìn)行融合,細(xì)化對(duì)象分割邊界,再經(jīng)上采樣操作恢復(fù)至原始圖像的分辨率,實(shí)現(xiàn)圖像的語(yǔ)義分割和像素預(yù)測(cè),在對(duì)圖像信息的深層次挖掘方面具有較強(qiáng)優(yōu)勢(shì)。
圖3 DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)圖
1.4.1 環(huán)境依賴搭建
模型訓(xùn)練環(huán)境為Ubuntu 18.04,采用GPU為NVIDIA RTX 3090,顯存為24 G,CUDA版本為11.0;使用開源深度學(xué)習(xí)框架PaddlePaddle平臺(tái)下的圖像分割套件PaddleSeg,搭建U-net和DeepLabv3+柑橘園空間信息提取模型。
1.4.2 建立柑橘語(yǔ)義分割數(shù)據(jù)集
采用規(guī)則格網(wǎng)裁減研究區(qū)影像,形成空間分辨率為0.5 m、尺寸大小為256×256的影像數(shù)據(jù)集,并轉(zhuǎn)換成jpg格式,用于模型訓(xùn)練和評(píng)估。結(jié)合研究區(qū)地面調(diào)查結(jié)果,根據(jù)果樹新種到成林的過程將柑橘園按樹齡分為1~2年生、3~4年生、5年以上三類,其圖像特征分別為點(diǎn)狀、大點(diǎn)狀、條狀或成林狀,典型柑橘園樣本見圖4。在訓(xùn)練區(qū)選取有代表性的影像數(shù)據(jù)進(jìn)行柑橘地塊人工標(biāo)記,生成png格式的柑橘園地塊標(biāo)注數(shù)據(jù),由此建立柑橘訓(xùn)練樣本數(shù)據(jù)集,共計(jì)400個(gè)影像—標(biāo)簽對(duì),其中,350個(gè)樣本參與模型訓(xùn)練,50個(gè)樣本用于模型評(píng)估。
1.4.3 語(yǔ)義分割模型訓(xùn)練和保存
加入樣本數(shù)據(jù)集分別進(jìn)行U-net和DeepLabv3+模型訓(xùn)練、精度評(píng)估和保存。在訓(xùn)練過程中,主要參數(shù)設(shè)置包括網(wǎng)絡(luò)優(yōu)化函數(shù)為adam,學(xué)習(xí)率下降方法為poly,初始學(xué)習(xí)率為0.001,批處理大小為4,迭代次數(shù)為300,訓(xùn)練的損失函數(shù)為Softmax,DeepLabv3+的模型骨架網(wǎng)絡(luò)選取Xception_65;訓(xùn)練完成后導(dǎo)出模型及參數(shù)配置文件。
1.4.4 基于語(yǔ)義分割模型的柑橘園空間信息提取
基于Python端的模型預(yù)測(cè)腳本,使用訓(xùn)練后效果最優(yōu)的U-net和DeepLabv3+模型對(duì)測(cè)試區(qū)影像進(jìn)行預(yù)測(cè),然后為分割預(yù)測(cè)結(jié)果添加空間坐標(biāo)信息,經(jīng)拼接、柵格轉(zhuǎn)矢量、刪除細(xì)小圖斑等后處理,得到研究區(qū)柑橘園空間分布信息。
1.4.5 面積精度評(píng)價(jià)
在測(cè)試區(qū)建立地面樣方,目視解譯獲取樣方內(nèi)柑橘園的面積和空間分布,作為模型分類精度驗(yàn)證真值,計(jì)算模型預(yù)測(cè)結(jié)果中柑橘園的總體精度和Kappa系數(shù),評(píng)價(jià)語(yǔ)義分割方法提取柑橘園的性能;對(duì)樣方內(nèi)各柑橘園地塊面積排序,分區(qū)間統(tǒng)計(jì)面積精度,評(píng)價(jià)準(zhǔn)確識(shí)別的最小斑塊面積。
基于驗(yàn)證樣本數(shù)據(jù),U-net和DeepLabv3+模型的總體精度、Kappa系數(shù)、IOU等精度評(píng)估指標(biāo)及訓(xùn)練耗時(shí)等結(jié)果見表1。U-net和DeepLabv3+模型的總體精度在87%~89%之間,Kappa系數(shù)和IOU差異較小,模型精度接近,表明兩種語(yǔ)義分割模型在少量樣本和復(fù)雜應(yīng)用場(chǎng)景下具有較強(qiáng)的圖像處理能力,對(duì)柑橘園信息提取表現(xiàn)出較好的分類效果,可滿足柑橘園遙感監(jiān)測(cè)需要;對(duì)比U-net和DeepLabv3+模型訓(xùn)練所需時(shí)間,DeepLabv3+耗時(shí)較多,在少量訓(xùn)練樣本條件下,結(jié)構(gòu)較為簡(jiǎn)單的U-net模型的訓(xùn)練效率和精度略優(yōu)于DeepLabv3+。
表1 U-net和DeepLabv3+模型的評(píng)價(jià)指標(biāo)Tab. 1 Evaluation indicators between U-net and DeepLabv3+
基于U-net和DeepLabv3+模型預(yù)測(cè)測(cè)試區(qū)影像柑橘園圖斑,計(jì)算驗(yàn)證樣方的混淆矩陣,結(jié)果見表2。測(cè)試區(qū)柑橘園分類提取的總體精度約87%左右,Kappa系數(shù)高于0.72,驗(yàn)證結(jié)果接近模型評(píng)估結(jié)果,表明訓(xùn)練的模型適應(yīng)性良好,可用于柑橘園的空間信息提取。對(duì)比分析錯(cuò)分、漏分誤差等指標(biāo),兩種模型的錯(cuò)分誤差相當(dāng),但DeepLabv3+漏分誤差略高于U-net。分析測(cè)試區(qū)柑橘園的漏分、錯(cuò)分原因,主要是公路兩旁的綠化植被、少量林地以及極少量獼猴桃園的遙感特征與成林的柑橘園相似,因而被錯(cuò)分為柑橘園;新種的柑橘樹因樹苗較小,遙感特征接近裸地,紋理特征不明顯,不能被準(zhǔn)確識(shí)別和提取;少量坡地的柑橘園呈梯坎狀分布,其遙感特征與平地果園有差異,漏分現(xiàn)象明顯。
表2 基于語(yǔ)義分割模型的柑橘園提取精度Tab. 2 Precision analysis of citrus extraction between U-net and DeepLabv3+
測(cè)試區(qū)U-net模型預(yù)測(cè)結(jié)果及局部區(qū)域見圖5,小地塊果園面積遙感識(shí)別精度分析見圖6。
圖5 測(cè)試區(qū)U-net預(yù)測(cè)結(jié)果
圖6 地塊面積與識(shí)別精度
該區(qū)域柑橘種植分布密集,除靠城區(qū)附近平壩及海拔較高的區(qū)域種植較少之外,其余區(qū)域均以柑橘為主,種植區(qū)域在空間上呈現(xiàn)規(guī)?;?、集中化的分布特征。局部區(qū)域放大圖顯示:測(cè)試區(qū)內(nèi)不同特征的柑橘園地塊分割準(zhǔn)確,能較好地將柑橘園與其他地物進(jìn)行區(qū)分。根據(jù)圖6,地塊面積在120 m2以下的果園遙感識(shí)別精度不穩(wěn)定,各區(qū)間均低于80%;當(dāng)面積大于120 m2時(shí),各個(gè)區(qū)間的果園遙感面積精度高于85%,且隨著地塊面積增加,果園的遙感識(shí)別精度整體呈上升趨勢(shì),表明該研究基于U-net訓(xùn)練的柑橘園空間信息提取模型在0.5 m 高分辨率遙感圖像能準(zhǔn)確識(shí)別的最小圖斑約為120 m2。
本文通過高分辨率Google earth圖像和U-net、DeepLabv3+模型初步實(shí)現(xiàn)柑橘園空間信息精準(zhǔn)提取。構(gòu)建的柑橘園語(yǔ)義分割模型是基于開源平臺(tái),用戶僅需下載開放使用的高分辨率影像,通過云平臺(tái)服務(wù)即可便捷實(shí)現(xiàn)信息提取,對(duì)比傳統(tǒng)人工調(diào)查效率更高。經(jīng)統(tǒng)計(jì),測(cè)試區(qū)柑橘種植面積約0.45 khm2,與該地區(qū)的農(nóng)業(yè)調(diào)查統(tǒng)計(jì)數(shù)據(jù)(0.42 khm2)比較,模型預(yù)測(cè)的面積估算精度約為92%,綜上,U-net模型適合在小樣本數(shù)據(jù)集下獲得較好的分類精度,能滿足地方農(nóng)業(yè)部門快速、自動(dòng)獲取區(qū)縣范圍柑橘園種植信息的需求。
Google earth圖像通過開放獲取,便于數(shù)據(jù)收集和模型訓(xùn)練驗(yàn)證,但該圖像數(shù)據(jù)僅有RGB三通道,在區(qū)分紋理特征相似的成林柑橘園、部分綠化植被、少量林地等地物時(shí),因缺少光譜特征導(dǎo)致不能取得較好的分割效果,從而影響柑橘園分類提取精度。隨著國(guó)產(chǎn)高分辨率光學(xué)遙感衛(wèi)星數(shù)量增加和性能提升,各地農(nóng)業(yè)部門可采用含藍(lán)、綠、紅、紅邊、近紅外等多波段的國(guó)產(chǎn)高分辨率影像開展基于高分遙感和深度學(xué)習(xí)分類模型的果園空間信息調(diào)查工作。
本文僅使用小區(qū)域的樣本進(jìn)行模型訓(xùn)練,在研究區(qū)內(nèi)取得較好的預(yù)測(cè)結(jié)果。由于國(guó)內(nèi)小農(nóng)經(jīng)濟(jì)模式的果園較多,品種、種植密度、樹齡、管理方式等存在差異,導(dǎo)致柑橘園遙感特征較為復(fù)雜,因而不同區(qū)域或大范圍的柑橘園空間信息提取,需要考慮加入更多地區(qū)及類型的訓(xùn)練樣本,以提高模型穩(wěn)健性和預(yù)測(cè)的效率和精度。
1) 使用0.5 m分辨率的RGB遙感圖像建立柑橘園樣本數(shù)據(jù),訓(xùn)練開源的語(yǔ)義分割模型U-net和DeepLabv3+,建立柑橘園空間信息遙感模型,提取研究區(qū)柑橘園空間信息。
2) U-net和DeepLabv3+模型的柑橘園分類總精度分別為88.30%和86.79%,Kappa系數(shù)為0.75和0.72,建議區(qū)縣范圍的果園信息提取工作采用模型結(jié)構(gòu)更為精簡(jiǎn)的U-net模型。
3) 使用高分辨率遙感影像和深度學(xué)習(xí)語(yǔ)義分割方法可準(zhǔn)確提取區(qū)域的柑橘園空間信息,最小識(shí)別圖斑面積可達(dá)120 m2。該研究對(duì)地方農(nóng)業(yè)部門應(yīng)用開放遙感數(shù)據(jù)快速調(diào)查本地果園空間信息具有參考作用。