彭程 王靖偉 高濤 申婕 王靜 諸葛迎雪 孫靜雯

摘要：遙感和人工智能的飛速發(fā)展為基于圖像的土地覆蓋自動分類提供了實現(xiàn)途徑，本文通過修改深度殘差網(wǎng)絡(luò)（ResNet50）的輸出層，并利用遷移學(xué)習(xí)將網(wǎng)絡(luò)在ImageNet數(shù)據(jù)庫上的預(yù)訓(xùn)練參數(shù)模型作為土地覆蓋分類網(wǎng)絡(luò)的初始參數(shù)模型，通過在遙感圖像數(shù)據(jù)庫上繼續(xù)訓(xùn)練實現(xiàn)對工業(yè)區(qū)、森林、停車場等7種土地覆蓋類型的分類。分類準(zhǔn)確率在RSSCN7和NWPU-RESISC45數(shù)據(jù)庫分別達(dá)到92.32%和99.29%。結(jié)果表明，基于遷移學(xué)習(xí)的ResNet50深度學(xué)習(xí)算法能夠?qū)崿F(xiàn)遙感圖像的快速、有效、精確的土地覆蓋分類識別。

關(guān)鍵詞：遷移學(xué)習(xí)；ResNet50網(wǎng)絡(luò)；土地覆蓋分類識別；遙感圖像

中圖分類號：TP79??? 文獻標(biāo)識碼：A??? doi：10.12128/j.issn.1672-6979.2023.10.010

引文格式：彭程，王靖偉，高濤，等.基于遷移學(xué)習(xí)和ResNet50的遙感圖像土地覆蓋分類［J］.山東國土資源，2023，39（10）：62-66. PENG Cheng， WANG Jingwei， GAO Tao， et al. Land Cover Classification of Remote Sensing Images Based on Transfer Learning and ResNet50［J］.Shandong Land and Resources，2023，39（10）：62-66.

0 引言

土地覆蓋分類識別對國土資源調(diào)查、城市規(guī)劃及智慧自然資源監(jiān)管［1］等領(lǐng)域有著重要的作用，對自然資源部門制定或更新土地利用決策和提高社會經(jīng)濟效益有著重要的意義。

遙感圖像土地覆蓋分類起初是靠簡單的人工目視解譯［2］，但人工目視解譯主觀性強、精度低、效率低，無法滿足遙感圖像快速分類識別。計算機時代的到來，人工神經(jīng)網(wǎng)絡(luò)［3］、支持向量機［4］、決策樹［5］和粒子群優(yōu)化算法［6］等機器學(xué)習(xí)算法應(yīng)運而生并在土地覆蓋分類等圖像處理任務(wù)取得了不錯的效果。但這些需找到描述圖像的特征和分類器，隨著遙感圖像向海量數(shù)據(jù)和高分辨率方向發(fā)展，尋找適合海量遙感圖像的特征描述和分類器成為傳統(tǒng)機器學(xué)習(xí)算法的難點;而深度學(xué)習(xí)算法為遙感圖像分類識別提供了新的途徑。深度學(xué)習(xí)算法通過多層網(wǎng)絡(luò)逐層自主學(xué)習(xí)輸入信息“由淺及深”的特征表示，不需要設(shè)定特征達(dá)到分類學(xué)習(xí)的目的，卷積神經(jīng)網(wǎng)絡(luò)（CNN）［7］作為深度學(xué)習(xí)代表性的算法被廣泛應(yīng)用到土地覆蓋分類［8］、變化檢測［9］、區(qū)域分割［10］等各個領(lǐng)域。

卷積神經(jīng)網(wǎng)絡(luò)雖能夠解決機器學(xué)習(xí)在應(yīng)對海量數(shù)據(jù)特征和分類器選擇的瓶頸，但卷積神經(jīng)網(wǎng)絡(luò)對計算機硬件的要求較高，且訓(xùn)練時長較長。而通過遷移學(xué)習(xí)［11］將大數(shù)據(jù)集上的預(yù)訓(xùn)練模型遷移到具體網(wǎng)絡(luò)上繼續(xù)訓(xùn)練，能夠在一定程度上加快網(wǎng)絡(luò)模型收斂速度，節(jié)省時間和計算資源。例如，張典范等［12］通過構(gòu)建一種基于ResNet50和遷移學(xué)習(xí)的網(wǎng)絡(luò)模型實現(xiàn)了8種輪轂的高準(zhǔn)確率分類。王艷玲等［13］通過遷移學(xué)習(xí)將ImageNet圖像數(shù)據(jù)集上訓(xùn)練成熟的AlexNet參數(shù)模型微調(diào)訓(xùn)練實現(xiàn)對番茄葉片病害識別。KIM T H等［14］則是將VGG-face Dataset數(shù)據(jù)集上訓(xùn)練的面部識別模型遷移學(xué)習(xí)到CNN模型，通過模型訓(xùn)練進行參數(shù)微調(diào)實現(xiàn)面部表情識別任務(wù)。

該文使用RSSCN7和NWPU-RESISC45數(shù)據(jù)庫中工業(yè)區(qū)、森林、停車場等7種土地覆蓋類型的遙感圖像，借助ResNet50網(wǎng)絡(luò)強大的特征表示能力，通過遷移學(xué)習(xí)將ImageNet數(shù)據(jù)庫上訓(xùn)練成熟的ResNet50參數(shù)網(wǎng)絡(luò)模型作為土地覆蓋分類網(wǎng)絡(luò)的初始參數(shù)值進行ResNet50網(wǎng)絡(luò)的迭代訓(xùn)練與泛化，得到兩數(shù)據(jù)庫土地覆蓋分類結(jié)果。

1 土地覆蓋分類網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計

1.1 土地覆蓋分類遷移學(xué)習(xí)任務(wù)

土地覆蓋分類遷移學(xué)習(xí)任務(wù)是將ResNet50網(wǎng)絡(luò)在ImageNet數(shù)據(jù)庫上分類任務(wù)（源域［15］）學(xué)習(xí)的模型參數(shù)轉(zhuǎn)移應(yīng)用到土地覆蓋分類任務(wù)中（目標(biāo)域），土地覆蓋分類網(wǎng)絡(luò)將其作為模型初始參數(shù)在土地覆蓋數(shù)據(jù)庫上繼續(xù)迭代訓(xùn)練，從而實現(xiàn)對土地覆蓋分類的識別。

設(shè)源域在ImageNet數(shù)據(jù)庫上的訓(xùn)練樣本Xi，i=1，2，……N，N為樣本總數(shù)，源域的特征空間為Xs，樣本的邊緣概率分布為Ps，Xi服從于邊緣概率分布Ps，Xsi∈｛Xs|1，2，……m｝，m為Xs的維數(shù)。Yi為樣本Xi的標(biāo)簽。那么，源域可定義為

Ds=｛Xsi，Ysi｝Ni=1（1）

土地覆蓋數(shù)據(jù)庫的目標(biāo)域為

Dt=｛Xti，Yti｝Tt=1（2）

T為土地覆蓋數(shù)據(jù)的訓(xùn)練樣本數(shù)。土地覆蓋分類遷移學(xué)習(xí)任務(wù)就是利用源域Ds中學(xué)習(xí)的知識優(yōu)化目標(biāo)域Dt中模型表達(dá)能力，使得模型能夠預(yù)測正確的土地覆蓋類型標(biāo)簽Yti。

1.2 基于遷移學(xué)習(xí)的ResNet50基本網(wǎng)絡(luò)結(jié)構(gòu)的搭建

2015年問世的殘差網(wǎng)絡(luò)（ResNet）［16］通過引入殘差單元克服了網(wǎng)絡(luò)層數(shù)升高而模型效果變差的瓶頸，圖1是ResNet50網(wǎng)絡(luò)中一個bottleneck殘差單元模塊輸入輸出關(guān)系，bottleneck殘差單元模塊輸出由多個級聯(lián)卷積層輸入與級聯(lián)卷積操作輸出共同組成，級聯(lián)卷積層輸入被稱為identity mapping（恒等映射），級聯(lián)卷積操作輸出成稱為residual mapping（殘差映射）。

圖1中x，H（x）分別為bottleneck殘差單元的輸入和輸出；F（x）為通過殘差單元輸入經(jīng)過級聯(lián)卷積后的輸出，殘差單元的輸出為

H（x）=F（x）+x（3）

當(dāng)網(wǎng)絡(luò)模型學(xué)習(xí)能力達(dá)到最優(yōu)時，若繼續(xù)加深網(wǎng)絡(luò)進行訓(xùn)練，F(xiàn)（x）會被迫訓(xùn)練成0，只剩下恒等映射H（x）=x，這樣網(wǎng)絡(luò)就會一直處于最佳狀態(tài)。

圖2所示為基于遷移學(xué)習(xí)和ResNet50的土地覆蓋分類網(wǎng)絡(luò)結(jié)構(gòu)圖，ResNet50分為5個stage和1個全連接層fc，其中stage2-stage5中是由不同參數(shù)及數(shù)量的bottleneck殘差單元組成，bottleneck殘差單元由3層級連卷積層組成，圖中［ ］為stage中bottleneck各卷積層參數(shù)。

2 土地覆蓋分類網(wǎng)絡(luò)的訓(xùn)練及評價

2.1 數(shù)據(jù)來源

遙感圖像主要來源于以下兩數(shù)據(jù)庫：

NWPU-RESISC45數(shù)據(jù)庫［17］：2017年由西北工業(yè)大學(xué)發(fā)布，其遙感圖像選自谷歌地球，覆蓋了全球100多個地區(qū)，每張圖像的空間分辨率約為0.2～30m。NWPU-RESISC45數(shù)據(jù)庫涵蓋了45類別土地覆蓋類型共計31500張256像素×256像素的遙感圖像。選取草地、森林、矩形農(nóng)田、停車場、密集住宅區(qū)、工業(yè)區(qū)和湖泊等7類用于實驗；

RSSCN7數(shù)據(jù)庫［18］：2015年由武漢大學(xué)發(fā)布，包含草地、森林、農(nóng)田、停車場、住宅區(qū)、工業(yè)區(qū)、和河湖7類別土地覆蓋類型共計2800張400像素×400像素的遙感圖像，每種類型圖片數(shù)等同，圖像采樣比例、季節(jié)及天氣都有所差異。

2.2 實驗條件

實驗中電腦處理器為12th Gen Intel（R） Core（TM） i5-12600KF CPU，顯卡為NVIDIA GeForce RTX3060，操作系統(tǒng)為Windows10，在pytorch框架下搭建深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，采用CUDA11.3并行計算框架。為驗證網(wǎng)絡(luò)結(jié)構(gòu)在土地覆蓋類型分類任務(wù)上的有效性，引入AlexNet［19］、Vgg16［20］卷積神經(jīng)網(wǎng)絡(luò)進行對比，兩數(shù)據(jù)庫分別按訓(xùn)練集∶測試集∶驗證集7∶2∶1的比例各類別等比劃分在各神經(jīng)網(wǎng)絡(luò)上迭代訓(xùn)練，實驗中各網(wǎng)絡(luò)學(xué)習(xí)率統(tǒng)一設(shè)置為0.001。

2.3 土地覆蓋分類網(wǎng)絡(luò)訓(xùn)練及結(jié)果評價

2.3.1 土地覆蓋分類網(wǎng)絡(luò)模型的訓(xùn)練

與其他CNN經(jīng)典網(wǎng)絡(luò)訓(xùn)練方法相同，訓(xùn)練時通過遷移學(xué)習(xí)將ImageNet數(shù)據(jù)庫訓(xùn)練的參數(shù)作為土地覆蓋分類網(wǎng)絡(luò)的初始參數(shù)值。訓(xùn)練集和驗證集輸入土地覆蓋分類網(wǎng)絡(luò)，經(jīng)過逐層學(xué)習(xí)前向傳播（foward propagation， FP）得到輸出標(biāo)簽值，將輸出標(biāo)簽值與圖像真實標(biāo)簽值進行對比，通過損失函數(shù)計算此次訓(xùn)練的誤差值，由反向傳播（backward propagation，BP）逐層計算誤差梯度，更新網(wǎng)絡(luò)中各層參數(shù)值。網(wǎng)絡(luò)學(xué)習(xí)過程中損失函數(shù)采用交叉熵函數(shù)（Cross Entropy），參數(shù)更新方法采用隨機梯度下降法（Stochastic Gradient Descent，SGD），網(wǎng)絡(luò)學(xué)習(xí)的速率（參數(shù)更新程度）由學(xué)習(xí)率控制。參數(shù)更新的公式如下：

θ=θ﹣η·▽θJ（x（i），y（i））（4）

式中：θ、η分別為網(wǎng)絡(luò)參數(shù)和學(xué)習(xí)率，J為網(wǎng)絡(luò)表示函數(shù)，x（i）、y（i）為訓(xùn)練樣本。

通過前向傳播計算學(xué)習(xí)誤差，后向傳播更新網(wǎng)絡(luò)參數(shù)，待訓(xùn)訓(xùn)練集、驗證集連續(xù)多輪損失趨于穩(wěn)定不再繼續(xù)下降后，土地覆蓋分類網(wǎng)絡(luò)模型訓(xùn)練完成。

2.3.2 土地覆蓋分類網(wǎng)絡(luò)結(jié)果評價

實驗中引入準(zhǔn)確率作為網(wǎng)絡(luò)結(jié)構(gòu)評價標(biāo)準(zhǔn)，準(zhǔn)確率（Accuracy）定義如下：

Accuracy=TpTp+Tn（5）

式中：Tp、Tn分別為土地覆蓋類型圖片被預(yù)測正確和錯誤的數(shù)量，兩數(shù)據(jù)庫在AlexNet、Vgg16及本文網(wǎng)絡(luò)在兩數(shù)據(jù)庫的結(jié)果如表1所示。

表1 各網(wǎng)絡(luò)的土地覆蓋分類識別準(zhǔn)確率? 單位：%數(shù)據(jù)庫AlexNetVGG16該文網(wǎng)絡(luò)RSSCN790.1889.6492.32NWPU-RESISC4597.5599.1899.29

從表1看出，基于遷移學(xué)習(xí)和ResNet50的網(wǎng)絡(luò)結(jié)構(gòu)在土地覆蓋分類任務(wù)上表現(xiàn)較好，無論是圖像間差異性較大的RSSCN7數(shù)據(jù)庫還是NWPU-RESISC45數(shù)據(jù)庫，網(wǎng)絡(luò)分類的準(zhǔn)確率都比AlexNet、Vgg16網(wǎng)絡(luò)的分類效果好，尤其是在差異性較大的RSSCN7數(shù)據(jù)庫，網(wǎng)絡(luò)的識別準(zhǔn)確率超過90%，優(yōu)于其他兩種算法至少2.14%。

圖3展示了基于遷移學(xué)習(xí)的ResNet50網(wǎng)絡(luò)在兩數(shù)據(jù)庫7種土地覆蓋類型的混淆矩陣，可以看出，NWPU-RESISC45各類別樣本識別準(zhǔn)確數(shù)量較為平均。而RSSCN7數(shù)據(jù)庫中工業(yè)區(qū)和住宅區(qū)兩種土地覆蓋類型正確識別的樣本數(shù)較低，其中工業(yè)區(qū)主要被誤判為停車場，住宅區(qū)主要被誤判為工業(yè)區(qū)，兩類別的誤判偏差也直接影響了整個數(shù)據(jù)的平均識別準(zhǔn)確率。

2.4 遷移學(xué)習(xí)對土地覆蓋分類網(wǎng)絡(luò)結(jié)果的影響

遷移學(xué)習(xí)通過將源域的預(yù)訓(xùn)練模型遷移到ResNet50網(wǎng)絡(luò)上微調(diào)訓(xùn)練土地覆蓋類型識別任務(wù)，通過參數(shù)初始化一定程度上加快網(wǎng)絡(luò)模型收斂速度，節(jié)省時間和計算資源，提高了識別的準(zhǔn)確率。

圖4給出了ResNet50網(wǎng)絡(luò)在兩數(shù)據(jù)庫下進行遷移學(xué)習(xí)和普通模型（未進行遷移學(xué)習(xí)的模型）的損失曲線，實驗中固定訓(xùn)練epoch為80。從圖中可以看出，不論是訓(xùn)練集還是驗證集，通過遷移學(xué)習(xí)，訓(xùn)練集和驗證集損失loss能夠很快收斂，且網(wǎng)絡(luò)學(xué)習(xí)已趨于穩(wěn)定。而普通模型隨著訓(xùn)練輪數(shù)的增加，訓(xùn)練集和驗證集的損失率在不斷減少，網(wǎng)絡(luò)仍在不斷學(xué)習(xí)，仍需繼續(xù)迭代訓(xùn)練。

表2總結(jié)了兩數(shù)據(jù)庫下使用遷移學(xué)習(xí)和未使用遷移學(xué)習(xí)的ResNet50網(wǎng)絡(luò)的分類準(zhǔn)確率。使用遷移學(xué)習(xí)后，不論是在圖像間差異性較大的RSSCN7數(shù)據(jù)庫，還是差異性較小的NWPU-RESISC45數(shù)據(jù)庫，ResNet50分類的準(zhǔn)確率顯著提升，分別提升了11.25%和4.7%。

3 結(jié)論

通過構(gòu)建基于遷移學(xué)習(xí)的深度殘差網(wǎng)絡(luò)（ResNet50），實現(xiàn)對工業(yè)區(qū)、森林、停車場等7種土地覆蓋類型的分類，比較AlexNet和VGG16兩種網(wǎng)絡(luò)在RSSCN7數(shù)據(jù)庫和NWPU-RESISC45數(shù)據(jù)庫的分類準(zhǔn)確率。結(jié)果表明，基于遷移學(xué)習(xí)的ResNet50深度學(xué)習(xí)算法能夠?qū)崿F(xiàn)遙感圖像的快速、有效、精確的土地覆蓋分類識別。下一步將以日照市國土資源現(xiàn)狀為基礎(chǔ)，參照《國土空間調(diào)查、規(guī)劃、用途管制用地用海分類指南》形成多級土地覆蓋類型的標(biāo)準(zhǔn)樣本庫并進行驗證。同時研究基于深度學(xué)習(xí)的遙感影像分割技術(shù)，實現(xiàn)人工智能支持下的遙感影像自動提取與分類。

參考文獻：

［1］ 王莉，尋知鋒，鄭美麗，等.空天地網(wǎng)一體化智慧監(jiān)測體系在耕地保護執(zhí)法監(jiān)管平臺中的應(yīng)用［J］.山東國土資源，2022，38（9）：63-68.

［2］ 李鎮(zhèn)，張巖，楊松，等.QuickBird影像目視解譯法提取切溝形態(tài)參數(shù)的精度分析［J］.農(nóng)業(yè)工程學(xué)報，2014，30（20）：179-186.

［3］ 伍振軍，劉吉平，劉廣潤.基于遙感和遺傳BP算法的流域土地覆蓋/利用分類方法［J］.湖北地礦，2002（2）：31.

［4］ 李楠，朱秀芳，潘耀忠，等.人工蜂群算法優(yōu)化的SVM遙感影像分類［J］.遙感學(xué)報，2018，22（4）：559-569.

［5］ 李爽，丁圣彥，錢樂祥.決策樹分類法及其在土地覆蓋分類中的應(yīng)用［J］.遙感技術(shù)與應(yīng)用，2002（1）：6-11.

［6］ 于國強，宋君陶，于軍令，等.面向遙感影像分類的時延權(quán)重及群體分類PSO改進方法［J］.山東國土資源，2022，38（8）：28-33.

［7］ 李國清，柏永青，楊軒，等.基于深度學(xué)習(xí)的高分辨率遙感影像土地覆蓋自動分類方法［J］.地球信息科學(xué)學(xué)報，2021，23（9）：1690-1704.

［8］ 李海雷，胡小娟，郭杭，等.遷移學(xué)習(xí)支持下的土地利用/土地覆被分類［J］.測繪通報，2018（9）：50-54.

［9］ 齊建偉，王偉峰，張樂，等.基于改進DeepLabV3+算法的遙感影像建筑物變化檢測［J］.測繪通報，2023（4）：145-149.

［10］ 李國庭，王德強，趙德良，等.基于多源異構(gòu)數(shù)據(jù)的糧食作物種植面積提?。跩］.山東國土資源，2022，38（8）：51-55.

［11］ PAN S J，TSANG I W，KWORK J T，et al.Domain Adaptation via Transfer Component Analysis［J］.IEEE Transactions on Neural Networks，2011，22（2）：199-210.

［12］ 張典范，楊鎮(zhèn)豪，程淑紅.基于ResNet50與遷移學(xué)習(xí)的輪轂識別［J］.計量學(xué)報，2022，43（11）：1412-1417.

［13］ 王艷玲，張宏立，劉慶飛，等.基于遷移學(xué)習(xí)的番茄葉片病害圖像分類［J］.中國農(nóng)業(yè)大學(xué)學(xué)報，2019，24（6）：7.

［14］ KIM T H，YU C，LEE S W.Facial expression recognition using feature additive pooling and progressive fine-tuning of CNN［J］．Electronics Letters，2018，54（23）：1326-1328．

［15］ PAN S J，YANG Qiang.A Survey on Transfer Learning［J］．IEEE Transactions on Knowledge and Data Engineering，2010，22（10）：1345-1359.

［16］ HE K M，ZHANG X Y，REN S Q，et al.Deep Residual Learning for Image Recognition［C］.2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），IEEE.Las Vegas，USA，2016．

［17］ CHENG G，HAN J W，LU X Q.Remote Sensing Image Scene Classification：Benchmark and State of the Art［J］.Proceedings of the IEEE，2017，105（10）：1865-1883.

［18］ ZOU Q，NI L H，ZHANG T，et al.Deep Learning Based Feature Selection for Remote Sensing Scene Classification［J］.IEEE Geoscience and Remote Sensing Letters，2015，12（11）：2321-2325.

［19］ ALEX.K，ILYA S，GEOFFREY H.ImageNet classification with deep convolutional neural networks［J］.Communications of the ACM，2017，60（6）：84-90.

［20］ KAREN S，ANDREW Z.Very Deep Convolutional Networks for Large-Scale Image Recognition［J］.CoRR，2014，abs/1409-1556.

Land Cover Classification of Remote Sensing Images

Based on Transfer Learning and ResNet50

PENG Cheng1， WANG Jingwei1，GAO Tao1， SHEN Jie1， WANG Jing1，? ZHUGE Yingxue2，SUN Jingwen3

（1. Rizhao Bureau of Natural Resources and Planning ，Shandong Rizhao，276800， China; 2.Office of the Cyberspace Affairs Commission of Rizhao Municipal Committee of the Communist Party of China， Shandong Rizhao，276800， China; 3. NanJing Research Institute of Surveying， Mapping & Geotechnical Investigation， Co.Ltd， Jiangsu Nanjing 210019， China）

Abstract： Rapid development of remote sensing technology and artificial intelligence has provided an implementation approach for image-based automatic land cover classification. In this paper， through modifing the output layer of the deep residual network （ResNet50）， by using transfer learning and the pre trained parameter model of the network on the ImageNet database as the initial parameter model of the land cover classification network， by further fine-tuning training on the remote sensing image database， the industrial zone， forest classification of 7 types of land cover， including parking lots have been realized. The classification accuracy in the RSSCN7 and NWPU - RESISC45 databases can reach 92.32% and 99.29%， respectively. The experimental results show that the ResNet50 deep learning algorithm based on transfer learning can achieve fast， effective， and accurate land cover classification and recognition of remote sensing images

Key words： Transfer learning ; ResNet50; land cover classification; remote sensing images