陳燕生 趙麗娜 吳亞娟 田傳召 朱廣林

（1、西華師范大學(xué) 計(jì)算機(jī)學(xué)院，四川 南充637000 2、中國科學(xué)院高能物理研究所 多學(xué)科研究中心，北京100049 3、北華航天工業(yè)學(xué)院 遙感信息工程學(xué)院，河北 廊坊065000）

隨著社會(huì)的發(fā)展，人們的生活水平逐漸提高，飲食結(jié)構(gòu)的組合越來越豐富，對小宗作物的需求日益增長，小宗作物在國內(nèi)外的市場份額也逐年增大。另外，小宗作物在期貨市場的經(jīng)濟(jì)、貿(mào)易價(jià)值也不容小覷。因此開展小宗作物面積估算及產(chǎn)量估測關(guān)系到國計(jì)民生的重要研究課題，具有重要的戰(zhàn)略意義。芝麻作為一種典型的小宗作物，不但可以作為食用油料作物提取食用油、以輔料的形式出現(xiàn)在各類食品中，同時(shí)也是期貨市場中的重要交易對象。中國芝麻種植區(qū)域主要在黃河及長江中下游各省，其中河南產(chǎn)量最多，約占全國的30%左右[1]。在芝麻種植面積較大的地區(qū)，準(zhǔn)確地計(jì)算芝麻種植的面積，對該地區(qū)的農(nóng)業(yè)統(tǒng)籌、經(jīng)濟(jì)發(fā)展有著重要的意義，在后續(xù)的芝麻估產(chǎn)也有著鋪墊作用。

傳統(tǒng)的農(nóng)業(yè)方法中，對大面積的農(nóng)作物進(jìn)行及時(shí)和準(zhǔn)確的空間分布的測算，通常是通過大規(guī)模的實(shí)地調(diào)查獲得的。雖然實(shí)地調(diào)查的準(zhǔn)確度高，但成本也相對很大，且費(fèi)時(shí)費(fèi)力。近代遙感技術(shù)的出現(xiàn)，促使研究人員嘗試將遙感技術(shù)用于農(nóng)業(yè)中，即農(nóng)業(yè)遙感[2]。隨著遙感技術(shù)的發(fā)展，衛(wèi)星能提供分辨率越來越高的大面積遙感圖像，有研究人員嘗試使用逐像素分類的方法獲取遙感圖像中作物大面積的空間分布信息[3]。而提高逐像素分類精度的關(guān)鍵，是從遙感圖像中獲取更有效的像素特征[4]。

Mitra, Pabitra 等一開始嘗試使用機(jī)器學(xué)習(xí)技術(shù)支持向量機(jī)（Support Vector Machine），來對遙感圖像實(shí)現(xiàn)逐像素分類[5]。但由于SVM是淺層學(xué)習(xí)算法，難以提取遙感圖像中的高級語義特征，且SVM分割較大的遙感圖像時(shí)計(jì)算量大，所需時(shí)間長。隨著計(jì)算機(jī)硬件GPU 的高速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network）越來越多地用在了圖像分類和分割上。與SVM相比，CNN 具有提取圖像高級語義特征的能力。標(biāo)準(zhǔn)CNN 以“圖像- 標(biāo)簽”的方式工作，通過將圖像和對應(yīng)的標(biāo)簽放入網(wǎng)絡(luò)中訓(xùn)練，得出具有分辨圖像類別的模型。AlexNet[6]、GoogleNet[7]、VGG[8]網(wǎng)絡(luò)和ResNet[9]是典型的CNN 網(wǎng)絡(luò)。2015 年，Jonathan Long 等提出了一個(gè)名為“全卷積網(wǎng)絡(luò)（Fully Convolution Nnetwork）”的像素分類模型[10]，F(xiàn)CN 利用卷積層提取特征，并使用反卷積層解碼特征圖將其還原為輸入圖像的大小，以實(shí)現(xiàn)圖像的逐像素分類。在FCN 推出之后，又有一系列用于圖像像素分類的卷積網(wǎng)絡(luò)結(jié)構(gòu)被設(shè)計(jì)出來，例如SegNet[11]、DeepLab[12]、U-Net[13]和RefineNet[14]。這些網(wǎng)絡(luò)結(jié)構(gòu)上都是由編碼層和解碼層兩個(gè)部分組成，SegNet 和U-Net 的結(jié)構(gòu)清晰且易于理解，DeepLab 使用“空洞卷積”來處理更詳細(xì)的圖像，RefineNet 采用稱為多路徑優(yōu)化的結(jié)構(gòu)，生成高分辨率的語義分割圖像。

由于小宗作物種植區(qū)域小且較為零散，同時(shí)原始數(shù)據(jù)較少，這些對其面積的高精度估測提出嚴(yán)峻挑戰(zhàn)。針對上述問題，本文采用針對小數(shù)據(jù)集上仍表現(xiàn)優(yōu)異的U-Net 網(wǎng)絡(luò)，并在U-Net的基礎(chǔ)上進(jìn)行改進(jìn)，來實(shí)現(xiàn)遙感芝麻的圖像分割?；谶b感圖像不包含三維空間結(jié)構(gòu)信息，本文對傳統(tǒng)U-Net 網(wǎng)絡(luò)進(jìn)行了縮減工作以降低網(wǎng)絡(luò)的訓(xùn)練和預(yù)測花費(fèi)的時(shí)間，在此基礎(chǔ)上通過添加額外的反卷積層以融合圖像淺層和深層的特征，并且引入了殘差塊取代一部分的卷積層，緩解網(wǎng)絡(luò)多次迭代后的梯度消失問題，進(jìn)一步提高模型的準(zhǔn)確率。最終得出結(jié)果顯示，本文改進(jìn)的mU-ResPlus 以87.4%的平均準(zhǔn)確率實(shí)現(xiàn)了遙感圖像小宗作物的更高精度、邊緣更精細(xì)化的圖像分割。

本文利用高分二號衛(wèi)星獲取的遙感影像數(shù)據(jù)，以河南省上蔡縣為研究區(qū)，經(jīng)實(shí)地調(diào)研充分掌握研究區(qū)域地物分布真實(shí)樣本基礎(chǔ)上，采用深度學(xué)習(xí)的方法，綜合利用地物光譜、紋理等特征，對芝麻進(jìn)行圖像分割研究，為研究小宗作物和作物估產(chǎn)等提供數(shù)據(jù)和參考。

1 研究區(qū)和數(shù)據(jù)處理

1.1 研究區(qū)概況

研究的區(qū)域位于河南省駐馬店市上蔡縣（東經(jīng)114°21′-114°38′和北緯33°12′－33°24′），該地區(qū)以平原為主，用地面積中農(nóng)田占據(jù)了大多數(shù)，農(nóng)作物種類繁多，主要有大豆、芝麻、玉米、花生等。上蔡縣的衛(wèi)星圖像如圖1 所示。

河南是中國芝麻的主要產(chǎn)地之一，約占全國的30%左右。在研究區(qū)域中，芝麻的種植面積占了超過30%的總農(nóng)業(yè)用地，因此能及時(shí)準(zhǔn)確地預(yù)測芝麻種植面積，對當(dāng)?shù)剞r(nóng)業(yè)的發(fā)展和精準(zhǔn)農(nóng)業(yè)的研究有重要的意義。

1.2 遙感圖像

研究的區(qū)域是在圖1 右側(cè)方框中的大面積農(nóng)作物種植區(qū)域，使用分辨率分別為1m、4m 的高分二號2019 年8 月16 號拍攝的覆蓋研究區(qū)域的全色圖像和多光譜圖像。

1.3 數(shù)據(jù)預(yù)處理

GF-2 獲取的遙感圖像包含了全色和多光譜圖像，為了更好的利用圖像的信息，在開展圖像分割之前需要對圖像進(jìn)行預(yù)處理。首先對遙感圖像進(jìn)行正射校正和輻射校正，然后使用FLAASH 模型進(jìn)行大氣校正，以減弱云層對衛(wèi)星圖像成像的干擾。最后，將全色影像和多光譜影像進(jìn)行融合，融合后獲得的圖像空間分辨率為1 m，融合圖像由四個(gè)波段組成，即藍(lán)色、綠色、紅色和近紅外波段。

圖1 河南省駐馬店市上蔡縣衛(wèi)星圖像

2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 U-Net 結(jié)構(gòu)

本文所使用并改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)是U-Net。U-Net 作為一種結(jié)構(gòu)清晰的深度卷積神經(jīng)網(wǎng)絡(luò)，一開始被用于生物、醫(yī)療圖像的語義分割上。后來有研究人員嘗試用于遙感圖像的圖像分割，且分割的準(zhǔn)確度較高。Chen, Yan 等使用與U-Net 結(jié)構(gòu)相似的卷積網(wǎng)絡(luò)在遙感圖像的冬小麥空間分割上取得了很好的結(jié)果[15]。

經(jīng)典的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，它由左邊的四層編碼層、中間層和右邊的四層解碼層組成。其中編碼層是典型的卷積網(wǎng)絡(luò)結(jié)構(gòu)，每層由兩個(gè)重復(fù)的卷積核為3×3 的卷積層和一個(gè)池化層組成，為使圖像在卷積的過程中保持大小不變，一般會(huì)讓padding 為1。網(wǎng)絡(luò)使用的激活函數(shù)為非線性激活函數(shù)ReLU，池化層是步長為2 的2×2 最大池化操作。每經(jīng)過一個(gè)下采樣的步驟，特征通道數(shù)量都加倍。在解碼過程中，每一層都使用2×2 的卷積核進(jìn)行卷積運(yùn)算（反卷積）,用于減少一半的特征通道數(shù)量。然后將反卷積后的輸出和對應(yīng)的編碼層進(jìn)行疊加作為下一層的輸入，再由兩個(gè)重復(fù)的卷積核為3×3 的卷積層進(jìn)行卷積操作，且均使用ReLU 激活函數(shù)。在經(jīng)過了四個(gè)編碼層和四個(gè)解碼層的處理后，把最后一層輸出到1×1 卷積核、激活函數(shù)為softmax 或sigmoid 的卷積層進(jìn)行卷積運(yùn)算，將特征向量映射到網(wǎng)絡(luò)的輸出層完成圖像的逐像素分類。根據(jù)分類數(shù)量（多分類或二分類）選擇使用softmax 或sigmoid 作為激活函數(shù)。

2.2 U-Net 的改進(jìn)

在實(shí)驗(yàn)中，U-Net 網(wǎng)絡(luò)在本文的數(shù)據(jù)集上表現(xiàn)并不是很好。由于本文研究的目標(biāo)是形狀和顏色較為一致的農(nóng)田，在圖像的訓(xùn)練上網(wǎng)絡(luò)不需要學(xué)習(xí)過于深層和抽象的三維空間結(jié)構(gòu)，而是更需要注重于一些形狀和顏色等較為淺層的特征。

圖2 U-Net 網(wǎng)絡(luò)結(jié)構(gòu)

基于上述因素，在嘗試減小U-Net 的網(wǎng)絡(luò)層數(shù)后，觀察網(wǎng)絡(luò)在數(shù)據(jù)集上的表現(xiàn)發(fā)現(xiàn)，訓(xùn)練出來的模型依然能對圖像進(jìn)行預(yù)測。在將U-Net 的第四層編碼層和第六層解碼層去除并調(diào)整相應(yīng)參數(shù)后，發(fā)現(xiàn)減小網(wǎng)絡(luò)層數(shù)后的U-Net（后續(xù)簡稱為mU-Net）在數(shù)據(jù)集上的表現(xiàn)反而比原始的U-Net 訓(xùn)練出來的模型準(zhǔn)確率上有略微的提高，這也驗(yàn)證了之前提到的在農(nóng)作物空間分布這一任務(wù)上較淺的網(wǎng)絡(luò)更加適合這一猜想。原始U-Net 使用的損失函數(shù)為交叉熵（Cross Entropy Loss）。交叉熵是分類問題常用的損失函數(shù)，它描述了兩個(gè)概率分布之間的距離，當(dāng)交叉熵越小，說明二者之間越接近。在二分類問題上，一般使用二進(jìn)制交叉熵計(jì)算損失。交叉熵的數(shù)學(xué)計(jì)算公式如下：

其中pn為圖像像素預(yù)測的概率矩陣，rn為真實(shí)的概率矩陣，ε 為平滑系數(shù)，是一個(gè)極小的數(shù)，主要是預(yù)防極端情況下出現(xiàn)分母為零。

BCE + Dice loss 則是在Dice loss 的基礎(chǔ)上添加二分類交叉熵?fù)p失函數(shù)，在保證數(shù)據(jù)不均衡的情況能學(xué)到有效的特征前提下，防止梯度變化劇烈導(dǎo)致的訓(xùn)練困難。在實(shí)驗(yàn)中發(fā)現(xiàn)，BCE+ Dice loss 雖然在損失值上比單獨(dú)使用交叉熵要高，但取得的預(yù)測效果明顯優(yōu)于交叉熵。基于此原因，在后續(xù)研究中把損失函數(shù)更改為BCE + Dice loss。

減少網(wǎng)絡(luò)層數(shù)和更換損失函數(shù)后，模型在數(shù)據(jù)集上取得了較好的表現(xiàn)，但仍然存在邊界不清晰、誤判較多的情況。2018 年周縱葦?shù)忍岢隽薝-Net++[17]，周在對U-Net 的改進(jìn)中充分融合網(wǎng)絡(luò)的淺層和深層特征，在模型的訓(xùn)練上取得了更好的效果。

圖3 本文算法的網(wǎng)絡(luò)結(jié)構(gòu)

圖4 準(zhǔn)確率與loss 值

參考U-Net++的結(jié)構(gòu)后，改進(jìn)了本文的網(wǎng)絡(luò)，在中間連接層部分添加了三次反卷積，在第三個(gè)解碼層添加了兩次反卷積，并通過concate 操作將同一層的反卷積輸出和編碼層疊加到一起，充分融合圖片淺層和深層的特征。由于網(wǎng)絡(luò)是在mU-Net的基礎(chǔ)上增加了多個(gè)反卷積層，且將其中的部分卷積層替換成ResBlock 模塊，基于此將它簡稱為mU-ResPlus。網(wǎng)絡(luò)具體的結(jié)構(gòu)如圖3 所示。

在圖3 的網(wǎng)絡(luò)結(jié)構(gòu)中，把網(wǎng)絡(luò)底部的中間層多次反卷積，并與相應(yīng)的卷積層進(jìn)行一個(gè)concatenate 操作，使網(wǎng)絡(luò)能將淺層特征和深層特征融合，達(dá)到更好的圖像分割效果。將部分卷積層替換為殘差模塊（Resblock），以防止模型在訓(xùn)練中的過擬合，使得網(wǎng)絡(luò)能訓(xùn)練的更加充分。

3 實(shí)驗(yàn)流程

3.1 實(shí)驗(yàn)裝置

實(shí)驗(yàn)是在Linux Ubuntu 16.04 操作系統(tǒng)上使用Python3.6和TensorFlow框架來實(shí)現(xiàn)的，實(shí)驗(yàn)設(shè)備配備了12GB 的NVIDIA Titan XP 顯卡，在進(jìn)行深度學(xué)習(xí)訓(xùn)練時(shí)能大大減少訓(xùn)練花費(fèi)的時(shí)間。

3.2 模型的訓(xùn)練

與傳統(tǒng)的計(jì)算機(jī)視覺圖像（例如ImageNet 上的圖像）相比，遙感圖像通常具有更大的覆蓋范圍和尺寸，不能直接放入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。在訓(xùn)練之前，將標(biāo)記好的遙感圖像通過滑動(dòng)窗口的方式進(jìn)行重疊采樣，生成1500 張256×256 大小的圖像和對應(yīng)的GroundTruth?；瑒?dòng)窗口可以幫助擴(kuò)展數(shù)據(jù)集并避免過擬合。同時(shí)，本文還使用了四種形式的數(shù)據(jù)增強(qiáng)（旋轉(zhuǎn)90°、180°、270°和翻轉(zhuǎn)）進(jìn)一步將數(shù)據(jù)集擴(kuò)大到2000 張。然后，將數(shù)據(jù)集以7：2：1 的比例分為訓(xùn)練集、驗(yàn)證集和測試集，并以0.00001 作為初始學(xué)習(xí)率，且設(shè)置學(xué)習(xí)率隨迭代次數(shù)衰減，防止過擬合。將訓(xùn)練集以圖像-標(biāo)簽的形式輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，最后通過sigmoid 層進(jìn)行像素分類。

在訓(xùn)練過程中，將訓(xùn)練集分批送入網(wǎng)絡(luò)，每批包含4 張圖像，總共迭代了50 次，圖4(a)、(b)分別是訓(xùn)練過程中準(zhǔn)確率和損失值的變化情況。

由損失值和準(zhǔn)確率的變化可以看出，模型在迭代次數(shù)達(dá)到40 次左右時(shí)已趨于穩(wěn)定，驗(yàn)證集的損失值和準(zhǔn)確率變化的幅度已經(jīng)很小了。

3.3 模型的測試

完成模型的訓(xùn)練后，可以將測試集中的數(shù)據(jù)用來進(jìn)行模型的測試。模型的測試與模型的訓(xùn)練過程相似，也需要將測試的遙感圖像分割為256×256大小的圖片，不同的是不需要打亂。將分割后的圖片按照順序放入模型中進(jìn)行預(yù)測，將得出來的預(yù)測結(jié)果再按照順序還原成一張大的遙感圖像，這樣就得到了一張遙感圖像作物空間分布的預(yù)測結(jié)果。

4 實(shí)驗(yàn)結(jié)果與比較

參數(shù)對比:

本 文 分 別 對 原 始 U-Net、mU-Net、mU-NetPlus 以 及mU-ResPlus 訓(xùn)練了模型，來比較和觀察對網(wǎng)絡(luò)的改動(dòng)帶來的影響。網(wǎng)絡(luò)的參數(shù)量和準(zhǔn)確率如表1 所示。

表1 參數(shù)量和準(zhǔn)確度的對比

從表1 可以看出，在將U-Net 的網(wǎng)絡(luò)層數(shù)減少后，模型的參數(shù)數(shù)量減少了很多。由于U-Net 網(wǎng)絡(luò)的濾波器數(shù)量是逐層增加的，因此在刪去了第四層編碼層和解碼層后參數(shù)量有了較大幅度的減少，但在參數(shù)量減少的同時(shí)，準(zhǔn)確率卻沒有下降，這也驗(yàn)證了遙感圖像作物空間分布的提取這一任務(wù)不需要過深的網(wǎng)絡(luò)深度。在添加了多個(gè)反卷積操作后，網(wǎng)絡(luò)的參數(shù)數(shù)量變化不大，在準(zhǔn)確度上卻有了較大的提升，基于此可以看出疊加多個(gè)反卷積這一操作是有效的。之后將部分的卷積層替換為殘差塊后，網(wǎng)絡(luò)參數(shù)數(shù)量雖然有增加，但因?yàn)闅埐顗K跳連的作用減小了訓(xùn)練過程中的過擬合，網(wǎng)絡(luò)的訓(xùn)練可以迭代更多的次數(shù)，取得更高的準(zhǔn)確率。從以上的數(shù)據(jù)可以看出，本文的改動(dòng)減小了參數(shù)量，使得網(wǎng)絡(luò)的訓(xùn)練和預(yù)測更加快速，且準(zhǔn)確率在原U-Net的基礎(chǔ)上有明顯的提高。Kappa 系數(shù)是衡量一致性的參數(shù)，改進(jìn)后的模型kappa 系數(shù)由最初的0.605 提高到了0.747。

5 總結(jié)與分析

本文針對小宗經(jīng)濟(jì)作物高精度面積估測的實(shí)際難題，基于U-Net 網(wǎng)絡(luò)構(gòu)建改進(jìn)型的mU-ResPlus 網(wǎng)絡(luò)，在高分辨率的小宗作物遙感影像分割任務(wù)中能取得很好的逐像素分類結(jié)果，在準(zhǔn)確度上高于原U-Net，且網(wǎng)絡(luò)的參數(shù)比U-Net 小很多，減少了大量的模型訓(xùn)練時(shí)間，最終獲得小宗經(jīng)濟(jì)作物的高精度、高效率面積估測方法。對比訓(xùn)練的各個(gè)模型的分類結(jié)果，可以看出本文在U-Net 上的改進(jìn)在遙感圖像小宗作物空間分布提取這一任務(wù)上取得了很好的效果，在參數(shù)量、準(zhǔn)確率以及預(yù)測結(jié)果的圖片質(zhì)量上都有較大的提升。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，深度卷積網(wǎng)絡(luò)可以獲得更好的作物空間分類結(jié)果，尤其是涉及到具有高空間分辨率的遙感圖像時(shí)。同時(shí)，U-Net 的使用，解決了傳統(tǒng)機(jī)器學(xué)習(xí)方法訓(xùn)練時(shí)間長、訓(xùn)練效率低的問題，極大地縮短了訓(xùn)練、預(yù)測所需要的時(shí)間。綜上，本文的研究在遙感圖像小宗作物分割這一任務(wù)上以87.4%的平均準(zhǔn)確率取得了成功，在小宗作物的圖像分割研究上具有較高的應(yīng)用價(jià)值。本文的研究仍存在一些需要改進(jìn)的地方。在GroundTruth 制作部分，由于存在不規(guī)則的土地，導(dǎo)致一些標(biāo)簽畫的不夠精細(xì)，且存在少量漏標(biāo)的目標(biāo)區(qū)域，雖然在制作數(shù)據(jù)集時(shí)通過篩除不含GroundTruth的標(biāo)簽圖片來減小漏標(biāo)的影響，但仍然會(huì)對訓(xùn)練的準(zhǔn)確度有所不利；遙感圖像的近紅外光譜沒有利用到，通過計(jì)算芝麻對應(yīng)的歸一化植被指數(shù)（NDVI）并將NDVI 作為參數(shù)融入網(wǎng)絡(luò)當(dāng)中，應(yīng)該能取得對芝麻分割的更優(yōu)的結(jié)果。后續(xù)的工作將會(huì)利用本文得到的分割結(jié)果，對小宗作物的產(chǎn)量估計(jì)這一任務(wù)提供數(shù)據(jù)的支持。