石文西，雷雨田，汪月婷，袁 媛*，陳靜波

(1.南京郵電大學(xué) 地理與生物信息學(xué)院，江蘇 南京 210023；2.中國科學(xué)院空天信息創(chuàng)新研究院，北京 100094)

0 引言

農(nóng)業(yè)塑料大棚是一種新興的保護(hù)地栽培設(shè)施，根據(jù)我國《土地管理法》規(guī)定，大棚用地被規(guī)劃為農(nóng)用地中的生產(chǎn)設(shè)施用地，其土地利用屬性極大地區(qū)別于建設(shè)用地。然而，近年來假借發(fā)展設(shè)施農(nóng)業(yè)之名，擅自或者變相改變農(nóng)業(yè)用途，在耕地甚至基本農(nóng)田上建設(shè)“大棚房”，在“大棚房”內(nèi)違法違規(guī)建設(shè)“私家莊園”等，嚴(yán)重沖擊了耕地紅線，對土地資源和糧食安全造成了極大危害。因此，及時、準(zhǔn)確地識別和監(jiān)測農(nóng)業(yè)大棚的位置以及空間分布，成為自然資源管理部門開展耕地“非農(nóng)化”整治工作的重點。

由于農(nóng)業(yè)大棚在外觀上具有一定隱蔽性，難以進(jìn)行人工測定和快速監(jiān)測，因此，國內(nèi)外許多學(xué)者將遙感技術(shù)應(yīng)用于大棚和地膜農(nóng)田的檢測提取，利用不同空間分辨率的光學(xué)遙感影像進(jìn)行大范圍的大棚監(jiān)測[1-4]。當(dāng)前，主流的大棚識別方法普遍遵循傳統(tǒng)的遙感圖像分類流程：先提取并篩選合適的圖像特征，再訓(xùn)練機器學(xué)習(xí)分類器將特征映射為地物類型。常用于進(jìn)行大棚識別的光譜特征包括各波段均值、標(biāo)準(zhǔn)差和比率等。此外，由于紋理特征能為區(qū)分具有相似光譜、不同空間結(jié)構(gòu)的地物提供有效信息，使用塑料大棚的紋理特征來彌補光譜特征的局限性也成為部分研究的重點。例如，Agueera等人[5]提出一種從不同窗口大小和不同灰度量化的全色圖像中提取紋理特征來提高大棚像素級分類的方法。吳錦玉等人[6]提出一種聯(lián)合歸一化植被指數(shù)特征(Normalized Difference Vegetation Index,NDVI)，PSI等光譜特征和LBP紋理特征的大棚識別方法，其總體精度達(dá)到96.3%。總體來看，現(xiàn)有大棚識別方法所采用的特征類型單一且沒有針對大棚的特殊性質(zhì)進(jìn)行優(yōu)化和改進(jìn)，難以充分表達(dá)大棚與其他相似地物的差異性。

近年來，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)憑借其泛化能力以及共享參數(shù)的優(yōu)勢，被應(yīng)用于各種圖像分類任務(wù)，使用深度學(xué)習(xí)進(jìn)行目標(biāo)檢測[7-10]也逐漸被人們熟知。2015年，He等人[11]設(shè)計了殘差神經(jīng)網(wǎng)絡(luò)(Residual Neural Network，ResNet)模型，提出了殘差模塊的概念，并利用殘差模塊克服了由于網(wǎng)絡(luò)深度增加所導(dǎo)致的梯度消失問題。戴玉超等人[12]提出一種基于深度殘差網(wǎng)絡(luò)的自上而下的多光波段遙感圖像顯著目標(biāo)檢測網(wǎng)絡(luò)。孟佳佳等人[13]將深度殘差卷積神經(jīng)網(wǎng)絡(luò)作為一種分類器，輸入待分類的像元及其領(lǐng)域像元，通過殘差網(wǎng)絡(luò)的算法模型實現(xiàn)高光譜遙感數(shù)據(jù)的分類。

CNN需要使用大規(guī)模標(biāo)記樣本進(jìn)行訓(xùn)練才能取得優(yōu)異性能。在大棚識別的實際過程中，大棚的標(biāo)記樣本往往需要通過人工目視解譯獲取，費時、費力且樣本數(shù)據(jù)量太少，很難達(dá)到深度學(xué)習(xí)方法對數(shù)據(jù)量的要求，難以發(fā)揮深度學(xué)習(xí)的優(yōu)勢。為了解決農(nóng)業(yè)場景中很難獲得大規(guī)模數(shù)據(jù)集的問題，許多學(xué)者將遷移學(xué)習(xí)應(yīng)用在農(nóng)業(yè)場景識別問題中[14-17]，應(yīng)用深度特征網(wǎng)絡(luò)參數(shù)遷移并微調(diào)訓(xùn)練模型的少數(shù)幾層就可以獲得性能良好的模型。Chew等人[16]采用VGG16結(jié)構(gòu)的ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練并遷移到糧食作物識別中。魯恒等人[17]將DCNN特征訓(xùn)練過程中得到的特征提取方法遷移到耕地提取中，其模型總體精度達(dá)到了91.1%。然而，目前遷移學(xué)習(xí)技術(shù)在大棚識別中的有效性尚缺乏研究。

本文提出以Sentinel-2高分辨率遙感影像為數(shù)據(jù)源，綜合利用CNN和遷移學(xué)習(xí)技術(shù)，構(gòu)建一種基于深度學(xué)習(xí)的高精度大棚識別方法。

1 數(shù)據(jù)材料

1.1 數(shù)據(jù)集的獲取與制作

本文以北京市大興區(qū)作為研究區(qū)域，該地區(qū)大棚分布廣泛、土地覆蓋類型多樣且典型。選取北京市大興區(qū)2017—2019年8—10月份共9期Sentinel-2高分辨率遙感圖像用于制作影像數(shù)據(jù)集，對下載后的圖像進(jìn)行預(yù)處理，包括輻射定標(biāo)、大氣校正等，生成10 m分辨率的多光譜數(shù)據(jù)。數(shù)據(jù)預(yù)處理完成后，人工標(biāo)記5類典型地物的樣本，包括大棚、耕地、林地、建設(shè)用地和水體。標(biāo)記完成后，以樣本點為中心將遙感圖像裁剪為224 pixel×224 pixel×3通道的小圖塊，裁剪尺寸符合ResNet的輸入圖像要求。該數(shù)據(jù)集共包含1 750張圖像(每類350張)，其中1 000張(每類200張)作為訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)，250張(每類50張)作為調(diào)整訓(xùn)練模型參數(shù)的驗證集，剩余500張(每類100張)作為測試集。部分?jǐn)?shù)據(jù)示例如圖1所示。

(a) 水體

1.2 數(shù)據(jù)增強

本文采用圖像數(shù)據(jù)增強技術(shù)[18]增加了訓(xùn)練樣本的多樣性，通過對訓(xùn)練圖像做一系列隨機改變，產(chǎn)生相似但又不相同的訓(xùn)練樣本，可以降低模型對于某些屬性的依賴，減少過擬合，以提升模型的泛化能力。采用的數(shù)據(jù)增強方案包括隨機裁剪、隨機旋轉(zhuǎn)、顏色增強和水平翻轉(zhuǎn)，示例如圖2所示。擴充后數(shù)據(jù)訓(xùn)練集共5 000張圖像(每類1 000張)，驗證集采用源數(shù)據(jù)集驗證集進(jìn)行模型訓(xùn)練，測試集采用源數(shù)據(jù)集測試集(500張)進(jìn)行模型測試。

(a) 原始圖像

2 研究方法

2.1 基于CNN的大棚空間特征提取

本文將CNN模型用于遙感圖像的識別和分類。與傳統(tǒng)方法人工選取光譜特征、紋理、形狀等參數(shù)相比，CNN可以逐層提取圖像高級抽象的特征屬性，極大地減少建模工作量和識別時間。CNN前面的網(wǎng)絡(luò)層可以實現(xiàn)淺層可視化特征的自動提取(如邊緣、顏色和形狀等)，但是隨著層數(shù)的增加，CNN的強特征提取能力開始增強，最后可形成抽象的高級表示組合特征。

本文采用ResNet34模型進(jìn)行大棚圖像特征的提取和識別，通過ResNet34提取的大棚圖像特征如圖3所示。

(a) Layer1

2.2 基于ResNet的大棚識別

基于ResNet34網(wǎng)絡(luò)構(gòu)建大棚識別模型，同時使用交叉熵(Cross-Entropy Method)[19]損失函數(shù)作為訓(xùn)練的損失函數(shù)，用于衡量神經(jīng)網(wǎng)絡(luò)的預(yù)測值和實際值差異。使用的ResNet34殘差結(jié)構(gòu)如圖4所示，整個ResNet34網(wǎng)絡(luò)采用了5層卷積層、1層最大池化層、1層平均池化層、1層全連接層和1層Softmax層。

圖4 ResNet34網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 ResNet34 network structure

ResNet34使用的殘差結(jié)構(gòu)如圖5所示，由2層3×3卷積層組成該結(jié)構(gòu)的主分支，右側(cè)的連接線為捷徑分支。捷徑分支上的輸出矩陣需要與主分支上的輸出矩陣大小相同，當(dāng)遇上殘差結(jié)構(gòu)輸入輸出尺寸不一致時，需要將步長調(diào)整為2來解決。

圖5 ResNet34殘差結(jié)構(gòu)Fig.5 ResNet34 residual structure

2.3 基于遷移學(xué)習(xí)的CNN大棚識別

遷移學(xué)習(xí)就是將從其他任務(wù)中獲得的知識應(yīng)用在新的分類任務(wù)中，充分利用已有知識來解決其他相關(guān)問題，從而提高解決問題的效率[20]。遷移學(xué)習(xí)主要用于解決小樣本問題和個性化問題，需要考慮源域和目標(biāo)域之間是否可遷移，即是否存在某些聯(lián)系。本文使用的基于模型的遷移學(xué)習(xí)技術(shù)，將基于ImageNet數(shù)據(jù)集[21]的ResNet預(yù)訓(xùn)練模型作為遷移學(xué)習(xí)的知識模型，通過任務(wù)相關(guān)樣本對遷移后的模型參數(shù)進(jìn)行微調(diào)，使模型中包含的圖像信息遷移至本文關(guān)注的大棚識別問題。ImageNet數(shù)據(jù)集中有1 400多萬張圖片，涵蓋2萬多個類別，其中也包括許多地物類型[22]。基于ImageNet的預(yù)訓(xùn)練網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)了相關(guān)圖像豐富的空間結(jié)構(gòu)特征和形態(tài)相關(guān)性，將其遷移到本文的模型中有利于節(jié)約模型訓(xùn)練的時間以及提高大棚識別的準(zhǔn)確度。本文遷移學(xué)習(xí)的具體過程如圖6所示。

圖6 使用ImageNet數(shù)據(jù)集遷移學(xué)習(xí)過程Fig.6 Process of transfer learning by using ImageNet data set

3 實驗

3.1 評價指標(biāo)

本次研究設(shè)置了3組實驗，根據(jù)圖像的預(yù)測結(jié)果分別得到5類地物分類結(jié)果混淆矩陣，并計算模型的總體精度和Kappa系數(shù)作為評價指標(biāo)。此外，針對大棚地物的識別結(jié)果，引入了準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和F1-Score四個指標(biāo)，定義如下：

(1)

(2)

(3)

(4)

式中，TP表示識別為正的正例個數(shù)；TN表示識別為負(fù)的負(fù)例個數(shù)；FP表示識別為正的負(fù)例個數(shù)；FN表示識別為負(fù)的正例樣本。

本實驗還將繪制出3種方法下模型訓(xùn)練時的驗證集損失率曲線，通過該曲線確定模型迭代的次數(shù)，同時結(jié)合驗證集每次迭代的準(zhǔn)確率結(jié)果曲線，對實驗結(jié)果進(jìn)行探究。

3.2 評價方法

3.2.1 基于傳統(tǒng)特征的支持向量機方法

對比實驗基于傳統(tǒng)光譜和紋理特征方法對5類用地進(jìn)行識別分類。提取圖像的NDVI[23]、歸一化建筑指數(shù)特征(Normalized Difference Built-up Index，NDBI)[24]、歸一化水體指數(shù)特征(Normalized Difference Water Index，NDWI)[25]以及灰度共生矩陣(Gray Level Co-occurrence Matrix,GLCM)[26]紋理對比度特征，將其與影像的原始光譜波段合成，構(gòu)成待分類的特征集合。選擇支持向量機(Support Vector Machine,SVM)方法進(jìn)行監(jiān)督分類[27]。其中，3類歸一化光譜指數(shù)的計算公式如下：

(5)

(6)

(7)

式中，B3，B4，B8，B11分別表示Sentinel-2影像的綠光、紅光、紅外及短波紅外波段。選取這3種指數(shù)是為了從光譜上突出大棚和植被、建筑物以及水域的區(qū)別，使用GLCM提取紋理特征是為了避免將大棚與普通農(nóng)作物混淆。

3.2.2 無遷移的CNN分類方法

首先依據(jù)ResNet34網(wǎng)絡(luò)結(jié)構(gòu)搭建模型，采用Adam優(yōu)化器[28]優(yōu)化網(wǎng)絡(luò)中的所有可訓(xùn)練參數(shù)，學(xué)習(xí)率設(shè)為0.000 1，經(jīng)過一系列試驗發(fā)現(xiàn)，該值下模型準(zhǔn)確率最高。為了評價本研究中數(shù)據(jù)擴增帶來的精度增益，分別使用擴增前和擴增后的數(shù)據(jù)集對模型進(jìn)行訓(xùn)練，記錄每次迭代的驗證集損失率和準(zhǔn)確率，使用預(yù)測集(共500張)對模型進(jìn)行評估，得到數(shù)據(jù)擴增前后預(yù)測集上的混淆矩陣和相關(guān)評價指標(biāo)。

3.2.3 基于CNN的遷移學(xué)習(xí)方法

采用基于ImageNet數(shù)據(jù)集ResNet34預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)，觀察其準(zhǔn)確率的改變。導(dǎo)入ResNet模型預(yù)訓(xùn)練權(quán)重，重新賦值全連接層的節(jié)點輸入，在訓(xùn)練和驗證過程中通過不同函數(shù)來控制執(zhí)行不同的批量標(biāo)準(zhǔn)化層，防止驗證時網(wǎng)絡(luò)層值不采用訓(xùn)練好的權(quán)重而發(fā)生變動影響模型質(zhì)量。使用遷移學(xué)習(xí)后，使用預(yù)測集對模型進(jìn)行評估，得到遷移學(xué)習(xí)結(jié)合數(shù)據(jù)擴增的預(yù)測集上的混淆矩陣和相關(guān)評價指標(biāo)。

3.3 實驗結(jié)果與討論

3.3.1 模型整體精度評價

采用基于傳統(tǒng)的SVM方法、基于ResNet34的優(yōu)化模型結(jié)合原數(shù)據(jù)集方法、基于ResNet34的優(yōu)化模型結(jié)合擴增數(shù)據(jù)集方法以及基于遷移學(xué)習(xí)的ResNet34優(yōu)化模型結(jié)合擴增數(shù)據(jù)集方法的預(yù)測集混淆矩陣如圖7所示，4種方法模型的總體精度和Kappa系數(shù)如表1所示。

(a) SVM分類結(jié)果混淆矩陣

由表1可以看出，基于SVM方法的分類結(jié)果總體精度是75.13%，Kappa系數(shù)是0.684 2；基于ResNet34的3種方法的分類結(jié)果總體精度均達(dá)到了96%以上，Kappa系數(shù)均達(dá)到0.95以上，說明在大棚等地物類型檢測分類上，ResNet的方法明顯優(yōu)于傳統(tǒng)的基于光譜和紋理特征的SVM方法。同時，使用了數(shù)據(jù)增強的模型也比未使用的準(zhǔn)確率提高了0.8%，Kappa系數(shù)增加了0.01，說明數(shù)據(jù)增強對模型性能提升有促進(jìn)作用，通過增強圖像樣本，可以減少網(wǎng)絡(luò)模型對圖片中某些屬性的依賴，緩解訓(xùn)練階段可能出現(xiàn)的過擬合狀況，從而提高模型的泛化能力[29]。使用遷移學(xué)習(xí)后，準(zhǔn)確率提高了1.6%，Kappa系數(shù)提高約0.01，具體的優(yōu)勢分析可以從100次迭代下模型損失的變化曲線和準(zhǔn)確率變化曲線中得到，如圖8和圖9所示。

圖8 模型損失值變化曲線Fig.8 Change curve of model loss value

圖9 模型準(zhǔn)確率變化曲線Fig.9 Change curve of model accuracy

由圖8和圖9可以看出，相較于使用原數(shù)據(jù)集的模型，2種使用了擴增后數(shù)據(jù)集的模型損失值和準(zhǔn)確率都有較為明顯的改善，驗證集損失值分別達(dá)到了0.086和0.065，驗證集準(zhǔn)確率分別達(dá)到了97.4%和98.2%。使用了遷移學(xué)習(xí)的藍(lán)色曲線收斂速度最快，在第30次迭代左右趨于收斂，表明遷移學(xué)習(xí)對加速網(wǎng)絡(luò)收斂有明顯的促進(jìn)作用。原因在于，遷移學(xué)習(xí)方式下，網(wǎng)絡(luò)的前端各層均已獲得良好的訓(xùn)練，模型的權(quán)重參數(shù)已接近最優(yōu)解，同時在微調(diào)階段采用了較小的學(xué)習(xí)率，保證模型不跳過最優(yōu)解，減小了模型的震蕩，得到了較高的準(zhǔn)確率。

3.3.2 大棚識別精度評價

根據(jù)混淆矩陣計算得到針對大棚識別精度的4個指標(biāo)結(jié)果如表2所示。使用逐像素切割分類方法對大棚測試集數(shù)據(jù)進(jìn)行4種模型的預(yù)測識別，識別結(jié)果對比如圖10所示。

表2 不同模型針對大棚識別的性能對比

由表2可以看出，在針對大棚識別的不同模型性能對比中，對比SVM方法，基于ResNet的大棚檢測準(zhǔn)確率提高了約8%，精確率、召回率和加權(quán)F1指標(biāo)均提升約8%～10%。根據(jù)混淆矩陣分析發(fā)現(xiàn)，SVM方法出現(xiàn)的錯分主要是大棚與建設(shè)用地、與耕地之間，這是由于大棚的光譜特征與植被相似性高，在紋理特征上又與居民地較難區(qū)分。同時，光譜亮度差異作為傳統(tǒng)方法中區(qū)分不同地物的分類標(biāo)準(zhǔn)之一，容易產(chǎn)生“椒鹽現(xiàn)象”，從而影響分類結(jié)果精度。

遷移學(xué)習(xí)方式下大棚識別的性能最優(yōu)，準(zhǔn)確率對比無遷移學(xué)習(xí)模型提高了1.6個百分點，加權(quán)F1指標(biāo)也有所提升。說明本文遷移學(xué)習(xí)模型結(jié)合數(shù)據(jù)增強技術(shù)方法對大棚的識別效果顯著優(yōu)于其他3種方法，對大棚與其他用地的錯分情況也有顯著改善。

4 結(jié)束語

本文基于北京市Sentinel-2高分辨率影像，采用目視標(biāo)記和數(shù)據(jù)增強技術(shù)制作樣本集并輸入深度遷移學(xué)習(xí)模型中進(jìn)行大棚的識別分類。為進(jìn)行對比，共進(jìn)行了3組試驗，分別為基于傳統(tǒng)光譜和紋理特征的SVM分類、基于ResNet34優(yōu)化模型分類和基于遷移學(xué)習(xí)的ResNet分類。研究表明:① 相對于傳統(tǒng)的監(jiān)督分類方法和傳統(tǒng)CNN方法，基于遷移學(xué)習(xí)的分類提高了分類精度，減弱了椒鹽噪聲的影響，加快了損失率的下降速度。② 采用數(shù)據(jù)增強技術(shù)，增加了數(shù)據(jù)量的同時提高了深度學(xué)習(xí)的泛化能力魯棒性。③ 利用遷移學(xué)習(xí)，少量的標(biāo)注類別實現(xiàn)端到端的高分辨率影像分類，為解決訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)需要百萬數(shù)據(jù)集的問題提供可行途徑。針對農(nóng)業(yè)大棚的遙感提取，在后續(xù)的學(xué)習(xí)研究中將結(jié)合文獻(xiàn)和實驗，增加一些人工特征解決特殊性問題，并應(yīng)用更多的深度學(xué)習(xí)方法來驗證改進(jìn)該算法。