陸妍如，毛輝輝，賀 琰，宋現(xiàn)鋒,2*

（1. 中國科學(xué)院大學(xué)資源與環(huán)境學(xué)院，北京 100049；2. 中國科學(xué)院地理科學(xué)與資源研究所，北京 100101）

傳統(tǒng)的面向?qū)ο蠓椒ê蜋C(jī)器學(xué)習(xí)方法在高分辨率遙感影像信息提取方面發(fā)揮了重要作用[1-9]。近年來，卷積神經(jīng)網(wǎng)絡(luò)（CNN）發(fā)展迅速[10-19]。當(dāng)前這些方法均在一定程度上提升了圖像分類精度，但是仍然存在著一些不足之處。Deeplab v3+[20]是Deeplab系列的最新改進(jìn)模型版本，具有多尺度捕捉對象信息、獲取目標(biāo)清晰邊界的優(yōu)點(diǎn)，是目前最新的語義分割網(wǎng)絡(luò)之一。為了實現(xiàn)自動化程度更高、結(jié)果更精確的高分辨率遙感影像特征信息提取，本文深入分析Deeplab v3+模型結(jié)構(gòu)，基于GF-2 米級與無人機(jī)亞米級遙感影像與其他網(wǎng)絡(luò)模型開展地物分類對比實驗，探究了該模型在高分影像幾何結(jié)構(gòu)特征提取方面的優(yōu)勢和有效性。

1 Deeplab v3+網(wǎng)絡(luò)模型

1.1 模型結(jié)構(gòu)

DeepLab v3+網(wǎng)絡(luò)由兩部分組成：編碼和解碼模塊，編碼模塊由改進(jìn)的Xception 網(wǎng)絡(luò)[20]和ASPP[21]模塊組成。如圖1 所示，訓(xùn)練樣本經(jīng)由Xception 網(wǎng)絡(luò)提取特征，然后經(jīng)ASPP 獲取多尺度信息并聚合全局特征，最后經(jīng)1×1卷積輸出具有深層特征的特征圖。將該特征圖做雙線性上采樣，同時把對Xception 網(wǎng)絡(luò)對應(yīng)的同分辨率淺層特征做1×1卷積。最后將淺層特征和深層特征做卷積融合連接，對該多尺度特征做雙線性上采樣并實現(xiàn)分類預(yù)測。

圖1 Deeplab v3+網(wǎng)絡(luò)結(jié)構(gòu)

1.2 Xception改進(jìn)模塊

如圖2所示，Xception網(wǎng)絡(luò)框架分為三部分：入口流、中間流和出口流。入口流用于對輸入圖像下采樣以減小空間尺寸，而中間流則用于連續(xù)學(xué)習(xí)關(guān)聯(lián)關(guān)系和優(yōu)化特征，出口流對特征進(jìn)行排序以獲得粗略的得分圖。結(jié)構(gòu)圖中的紅色部分為改進(jìn)部分：①中間流層數(shù)變多，深度可分離卷積層的線性堆疊由重復(fù)8 次改為16 次；②將原來簡單的池化層改成了stride 為2 的深度可分離卷積；③額外的RELU 層和歸一化操作添加在每個3×3 深度卷積之后。

圖2 Xception改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3 ASPP和編解碼模塊

ASPP 模塊包含兩部分：一是使用多個不同大小的空洞卷積核并行地對輸入特征圖進(jìn)行特征提取，獲取不同感受野大小的特征圖；二是將輸入特征圖做全局平均池化來取得圖像上下文信息，然后將這些不同尺度特征融合以獲取更精準(zhǔn)的深層語義特征。

在編碼階段，網(wǎng)絡(luò)通過卷積等操作減小圖片尺寸并學(xué)習(xí)輸入圖像的特征圖；在解碼階段，通過卷積、上采樣等方法逐漸恢復(fù)目標(biāo)細(xì)節(jié)和空間信息。編解碼器能夠極大提升神經(jīng)網(wǎng)絡(luò)前向、后向傳播效率，減少內(nèi)存資源的使用。

1.4 擴(kuò)張卷積和深度可分離卷積

擴(kuò)張卷積[22]是在標(biāo)準(zhǔn)卷積的核中注入空洞，使其不通過池化層也能有較大的感受野，在不降低分辨率的情況下聚合范圍更廣的特征信息。如圖3 所示，以3×3的卷積核為例說明感受野的增加情況?？斩绰蕿?的3×3 卷積核的感受野已經(jīng)增大為7×7。同理，空洞率為4的3×3卷積能達(dá)到15×15。

圖3 擴(kuò)張卷積

深度可分離卷積[20]把標(biāo)準(zhǔn)卷積分解為深度卷積和逐點(diǎn)卷積（圖4），其中深度卷積獨(dú)立對每個輸入通道做空間卷積，逐點(diǎn)卷積用于結(jié)合深度卷積輸出。深度可分離卷積極大地抑制模型參數(shù)的增加。Deeplab v3+網(wǎng)絡(luò)將擴(kuò)張分離卷積，應(yīng)用于ASPP和解碼器模塊。

圖4 深度可分離卷積

2 實驗設(shè)計

本文利用高分辨率遙感影像為實驗數(shù)據(jù)集，開展Deeplab v3+和UNet、SegNet、FCN8s 的地物分類對比實驗，比較分類精度和分析地物識別存在差異的原因，探查Deeplab v3+模型在富含紋理特征的高空間分辨率遙感影像分類上的有效性與適用性。

2.1 數(shù)據(jù)集選擇

本文采用2 種遙感影像實驗數(shù)據(jù)集（圖5），GID數(shù)據(jù)集[23]空間分辨率為4 m，光譜為可見光波段（RGB）和近紅外波段（NIR），地物類型6 類（耕地、植被、建筑用地、道路、水系以及其他）。CCF數(shù)據(jù)集空間分辨率為0.3 m，光譜為可見光波段（RGB），地物類型5 類（植被、建筑、水體、道路以及其他用地）。

圖5 數(shù)據(jù)集示例

2.2 訓(xùn)練樣本構(gòu)建

兩組圖像覆蓋范圍都比較大，空間分辨率高，圖像尺寸大且不統(tǒng)一，直接輸入整幅圖像訓(xùn)練模型會造成內(nèi)存溢出。本文以128 像素為步長、以256×256 像素為裁剪尺寸，對影像進(jìn)行從左到右、從上到下的滑動窗口裁剪以獲取訓(xùn)練樣本切片數(shù)據(jù)。此外，原始數(shù)據(jù)存在類別分布不均衡問題（表1），本文去除0值像元占面積70%以上的訓(xùn)練切片，以平衡正負(fù)樣本量。

表1 兩個數(shù)據(jù)集地物分布占比

數(shù)據(jù)增強(qiáng)可以在數(shù)據(jù)集有限的情況下達(dá)到擴(kuò)充訓(xùn)練數(shù)據(jù)的效果，即數(shù)據(jù)增多使得模型過擬合概率降低，增強(qiáng)了模型泛化能力。本文采用旋轉(zhuǎn)、翻轉(zhuǎn)等方法，獲得GID有效樣本82 264個，訓(xùn)練集和驗證集按4∶1比例進(jìn)行劃分，CCF有效樣本54 304個，訓(xùn)練集和驗證集按3∶1比例進(jìn)行劃分。

2.3 分類精度評價

混淆矩陣是比較遙感影像分類結(jié)果與參考結(jié)果的常見統(tǒng)計方法，其分類精度評價指標(biāo)包括總體精度（overall accuracy，OA）、精確度（Precision）、召回率（Recall）、F1值、交并比（IoU）和Kappa 系數(shù)。其中，總體精度表示正確分類的像素占總像素的比例；精確度表示在預(yù)測該類別像素中被預(yù)測正確的比例；召回率表示該類別在真實像素中被預(yù)測正確的比例；F1值為召回率和準(zhǔn)確率的調(diào)和均值；交并比反映了實際類別樣本和預(yù)測類別樣本的交集和并集之比。

式中，TP是分類準(zhǔn)確的正類；FP是被錯分為正類的負(fù)類；TN是分類準(zhǔn)確的負(fù)類；FN是被錯分為負(fù)類的正類。

2.4 實驗平臺及參數(shù)設(shè)置

本文實驗以Pytorch 為開發(fā)框架，OS 為Ubuntu，CUDA版本為11.0，顯卡RTX2080TI GPU的顯存11 G*8，機(jī)器內(nèi)存為48 G。GID 數(shù)據(jù)集分類模型的超參數(shù)：通道 個 數(shù) 為4，類 別 數(shù) 為6，batch size 為8，epoch 為20，優(yōu)化算法Adam，基礎(chǔ)學(xué)習(xí)率0.000 3。CCF 數(shù)據(jù)集分類模型的超參數(shù)：通道個數(shù)為3，類別數(shù)為5，batch size 為8，epoch 為50，優(yōu)化算法Adam，基礎(chǔ)學(xué)習(xí)率0.001。此外，訓(xùn)練樣本類別不平衡造成的信息失衡會對網(wǎng)絡(luò)分類的性能產(chǎn)生較大影響。本文在訓(xùn)練過程中采用了Lovasz-Softmax[24]，它是一種基于IoU 的損失函數(shù)，可有效減弱上述影響。

3 結(jié)果分析

3.1 不同語義分割網(wǎng)絡(luò)對GF-2影像的地物分類結(jié)果比較

使用GID數(shù)據(jù)集對Deeplab v3+、UNet、SegNet和FCN8s網(wǎng)絡(luò)進(jìn)行訓(xùn)練并將分類結(jié)果與真值比較，得到各語義分割模型的分類結(jié)果精度指標(biāo)（表2）。

表2 語義分割網(wǎng)絡(luò)分割結(jié)果指標(biāo)對比

在總體精度OA 指標(biāo)上，Deeplab v3+表現(xiàn)最優(yōu)，F(xiàn)CN8s 得分較低；在Kappa 系數(shù)方面，Deeplab v3+得分在0.9之上，相較UNet、SegNet FCN8s有明顯優(yōu)勢。

圖6 分別給出了測試影像完整圖幅和其局部特征區(qū)域的分割結(jié)果，其中第一行圖像為不同語義分割模型的完整圖幅分類結(jié)果，可以看出4 個模型對大型水系均有較好的分割效果，但FCN8s模型對建筑用地的識別效果不佳；第二行影像側(cè)重于展示各模型對橋體的提取效果，其中僅Deeplab v3+能夠精準(zhǔn)識別出細(xì)小狹長的橋體目標(biāo)；第三行影像著重顯示各模型對建筑用地與道路的劃分效果，相較于其他三類模型，Deeplab v3+能夠提取清晰的路網(wǎng)及建筑用地輪廓線；第四行影像側(cè)重于比較各模型對湖泊的提取效果，其中Deeplab v3+表現(xiàn)最佳，能夠精確的檢測出湖泊邊界。從整體視覺上看，相比于Deeplab v3+的優(yōu)異表現(xiàn)，UNet、SegNet、FCN8s的分割結(jié)果不夠理想，這是由于它們多次使用池化操作，損失了影像中的高頻成分，丟失了位置信息，造成地物分類精度較差，且分割邊界較粗糙。

圖6 地物分類結(jié)果對比

圖7 和表3 揭示了各模型對不同地物類型的識別能力。Deeplab v3+、UNet、SegNet都對水系有著較好的分割效果，F(xiàn)1值均大于0.9，這是由于水體在近紅外波段與其他地物的顯著差異性所致。對于道路等細(xì)小狹長線狀目標(biāo)，所有模型識別效果都有所降低，其原因可能在于：①道路細(xì)長的空間形態(tài)特性，使得識別不全，導(dǎo)致召回率較低；②道路像元數(shù)目在訓(xùn)練集占比很低（1.8%），稀疏樣本使得訓(xùn)練不充分；盡管如此，Deeplab v3+提取的路網(wǎng)仍然最為清晰、完整；對于建筑用地、耕地等塊狀地物分類，Deeplab v3+的F1值分別為0.956和0.938，IoU為0.916和0.888，明顯優(yōu)于其他模型。同其他3種模型相比，Deeplab v3+使用擴(kuò)張卷積替代連續(xù)池化，在不降低特征空間分辨率的情況下增大感受野，使得輸出特征更加稠密，有效解決了高分影像地物的“同物異譜”問題。針對物體的多尺度問題，ASPP 模塊以不同采樣率的擴(kuò)張卷積采樣，多比例捕捉圖像信息，提高了特征提取能力。編碼-解碼模塊則逐步重構(gòu)空間信息精確捕捉了地塊邊緣。

表3 各方法在不同地物類別上的分割效果

圖7 不同類別地物的分類結(jié)果對比

3.2 Deeplab v3+對亞米級航拍影像地物識別的有效性分析

使用CCF數(shù)據(jù)集訓(xùn)練Deeplab v3+網(wǎng)絡(luò)并進(jìn)行地物分類，對比分類結(jié)果與真值，其OA、Kappa系數(shù)分別為0.88、0.82。航拍影像紋理特征突出，同類地物內(nèi)部的幾何結(jié)構(gòu)增加了不同類別地物之間邊界的識別難度。由圖8 可以看出，Deeplab v3+分割結(jié)果和真實值比較接近，整體視覺上分割效果較好。具體而言，在建筑和道路主導(dǎo)的鄉(xiāng)鎮(zhèn)地區(qū)，模型對建筑邊界的響應(yīng)表現(xiàn)優(yōu)異，房屋陰影影響了小部分路段識別；而對于植被（耕地）主導(dǎo)的農(nóng)村地區(qū)，模型同樣能對水體和耕地進(jìn)行準(zhǔn)確的提取，且分割邊界較為平滑。

圖8 Deeplab v3+在CCF數(shù)據(jù)集上的分割結(jié)果

對比Deeplab v3+模型和文獻(xiàn)建議的分割模型[25]，CCF 數(shù)據(jù)集分類的評價指標(biāo)（圖9）表明Deeplab v3+在對水體、道路、植被和建筑這4 種地物類型的識別上表現(xiàn)優(yōu)異，相對其他語義分割模型取得了較高的F1值和IoU 值。總體而言，Deeplab v3+模型能夠滿足亞米級航拍影像的特征信息提取和影像分割需求。

圖9 各模型在CCF數(shù)據(jù)集的地物分類精度評價指標(biāo)

4 結(jié) 論

針對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型對高分辨率遙感影像分割精度不足的問題，實施了相應(yīng)對措：①本文采用Deeplab v3+模型在GID 數(shù)據(jù)集上開展地物分類研究，其分類總體精度OA 和Kappa 系數(shù)分別為0.945 和0.915。與FCN、UNet、SegNet 模型的分類結(jié)果相比，Deeplab v3+能實現(xiàn)目標(biāo)要素的完整提取，尤其是對線狀目標(biāo)的識別，具有較為明顯的精度優(yōu)勢。②針對亞米級無人機(jī)遙感影像，Deeplab v3+的分類總體精度OA和Kappa 系數(shù)分別為0.88、0.82，較之其他模型能實現(xiàn)對遙感影像中建筑物等人工地物更準(zhǔn)確的提取，具有較高的可靠性。本文對高分辨率遙感影像要素提取具有一定參考價值，為深度學(xué)習(xí)在高分辨率遙感影像地物分類中的應(yīng)用提供了參考方案。