向 陽，趙銀娣，董霽紅

(中國礦業(yè)大學(xué) 環(huán)境與測繪學(xué)院，江蘇 徐州 221116)

礦產(chǎn)是我國的重要資源之一，長期以來在國家經(jīng)濟建設(shè)中發(fā)揮了重要作用[1]。但是由于開發(fā)方式比較粗放和礦區(qū)生態(tài)環(huán)境脆弱容易遭到破壞的特點，造成的礦區(qū)生態(tài)環(huán)境問題日益突出[2]。隨著遙感技術(shù)的快速發(fā)展，利用遙感手段對礦區(qū)植被覆蓋、生態(tài)環(huán)境進行變化信息的檢測，是目前遙感研究的熱點之一[3-6]。遙感變化檢測是通過對同一區(qū)域不同時間獲取的遙感影像進行數(shù)據(jù)處理和影像對比分析，以獲取地表類型變化信息的過程。及時獲取地表覆蓋和土地利用變化信息在土地規(guī)劃管理、生態(tài)保護等實際應(yīng)用中具有重要作用[7-8]。

近些年來，國內(nèi)外學(xué)者針對礦區(qū)土地利用和生態(tài)環(huán)境變化方法提出了很多方法[9-11]。這些方法主要是通過對提取的紋理、形狀、顏色等人工設(shè)計的圖像特征進行研究分析，進而得到變化信息。利用人工設(shè)計圖像特征進行變化檢測雖然取得了一定的成果，但是存在一定的局限性。需要對人工設(shè)計圖像特征深入地進行信息挖掘，多特征融合等處理，增加了變化檢測模型的復(fù)雜性。

隨著深度學(xué)習(xí)在目標檢測和分類等視覺任務(wù)中的成功應(yīng)用[12-14]，展示出了神經(jīng)網(wǎng)絡(luò)強大的特征提取能力。2014年，LONG等[15]提出全卷積網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)利用卷積層代替全連接層，可以接受任意尺寸的輸入圖像，解決了語義級別的圖像分割問題，實現(xiàn)了對圖像進行端到端的像素分類。由于FCN沒有考慮像素與像素之間的關(guān)系，得到的結(jié)果不夠精細，BADRINARAYANAN等[16]對編碼端和解碼端進行逐層跳躍連接，并利用編碼過程中的池化位置索引信息，對圖像進行上池化(Unpooling)，恢復(fù)圖像大小，提高了分割精度。OKTAY等[17]將注意力機制引入到UNet網(wǎng)絡(luò)結(jié)構(gòu)中，在對編碼端與解碼端特征進行跳躍連接前，應(yīng)用注意力機制，生成一個門控制信號，用來控制不同空間位置特征的重要性。隨著空間池化金字塔模塊(Atrous Spatial Pyramid Pooling,ASPP)[18]，特征金字塔[14]，空洞卷積[19]等方法的提出并在網(wǎng)絡(luò)模型中的使用，通過增加多尺度信息和上下文語義信息，在圖像分割中取得了不錯的效果。語義分割網(wǎng)絡(luò)模型的發(fā)展，也促進了深度學(xué)習(xí)方法在遙感影像變化檢測方向的應(yīng)用。一些學(xué)者將前后兩時期遙感影像地物變化問題轉(zhuǎn)化為影像二值分割問題，利用端到端的神經(jīng)網(wǎng)絡(luò)提取影像的變化信息，并取得了成果[20-22]。

礦區(qū)土地利用類型變化信息，可以指導(dǎo)礦區(qū)生態(tài)保護和土地規(guī)劃管理。通過研究礦區(qū)土地利用類型變化信息，掌握礦區(qū)土地利用變化規(guī)律是礦山可持續(xù)發(fā)展的重要基礎(chǔ)。筆者基于改進UNet孿生網(wǎng)絡(luò)結(jié)構(gòu)，通過加入影像的多分辨率信息和增大特征提取時的感受野(Reception Field，RF)，將端到端的深度學(xué)習(xí)方法應(yīng)用到礦區(qū)土地利用類型的變化檢測中，在避免提取人工設(shè)計圖像特征繁瑣的同時，提高遙感影像礦區(qū)變化檢測的精度。

1 網(wǎng)絡(luò)結(jié)構(gòu)

本節(jié)對提出的變化檢測網(wǎng)絡(luò)結(jié)構(gòu)進行詳細介紹，變化檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其中,m為特征影像在維度方向的融合；Skip Connetion為在對應(yīng)編碼層和解碼層中進行特征連接。網(wǎng)絡(luò)結(jié)構(gòu)主要包括:改進的UNet孿生網(wǎng)絡(luò)結(jié)構(gòu),影像中心環(huán)繞和特征金字塔模塊。

1.1 改進的UNet孿生網(wǎng)絡(luò)結(jié)構(gòu)

UNet網(wǎng)絡(luò)[23]作為比較早的全卷積網(wǎng)絡(luò)之一，最初用于醫(yī)學(xué)圖像分割。UNet網(wǎng)絡(luò)結(jié)構(gòu)由3部分組成，分別是:用于捕捉語義特征的編碼端，精準定位的解碼端以及結(jié)合底層信息和高層信息的跳躍連接。圖像經(jīng)過編碼端4次池化下采樣后，大小變?yōu)樵瓐D像大小的1/16。為了使輸出結(jié)果和輸入圖像大小一致，解碼端過程中逐層對圖像進行上采樣并通過跳躍連接融合對應(yīng)層的編碼端圖像特征，最后對圖像進行逐像元預(yù)測，得到預(yù)測結(jié)果圖像。該網(wǎng)絡(luò)可以用少量數(shù)據(jù)，訓(xùn)練得到好的模型，在遙感影像解譯中廣泛應(yīng)用[24-26]。本文以UNet網(wǎng)絡(luò)作為基本的網(wǎng)絡(luò)結(jié)構(gòu)。原UNet結(jié)構(gòu)編碼端利用池化層進行下采樣。池化層雖然增大了感受野，讓卷積接收到更多的圖像信息，去除了圖像中的冗余信息，但是增大感受野的前提是丟失了一些信息，這對基于像元任務(wù)的結(jié)果預(yù)測有一定的影響。因此本文用步長為2的卷積層來替換池化層。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure diagram

對于大小為224×224的影像，經(jīng)過編碼端特征提取后影像大小變?yōu)?4×14。此外，將原UNet網(wǎng)絡(luò)編碼端的單通道輸入結(jié)構(gòu)變?yōu)闄?quán)值共享的雙通道孿生網(wǎng)絡(luò)結(jié)構(gòu)[27]，以便接收前后兩時期的影像，從影像中提取差異信息，進而得到變化區(qū)域。

1.2 影像中心環(huán)繞

影像中心環(huán)繞[28]由兩部分組成即中心區(qū)域(Central)和環(huán)繞區(qū)域(Surround)。假設(shè)原始輸入影像大小為224×224，中心區(qū)域接收的是從原始影像中心裁剪的112×112的高分辨率影像塊，環(huán)繞區(qū)域接收的是將原始影像下采樣為原來1/2大小的低分辨率影像塊。影像中心環(huán)繞產(chǎn)生了高分辨率和低分辨率影像塊，這種多分辨影像信息可以突出影像的差異性。如圖2所示黑色框中為對輸入的前后兩時期影像進行中心環(huán)繞的示意，Conv為卷積操作，sub為差值影像。

圖2 影像中心環(huán)繞和改進UNet孿生網(wǎng)絡(luò)編碼端 中心環(huán)繞結(jié)構(gòu)Fig.2 Image central-surround and improved encoder part of the central surround based on the UNet siamese network

將得到的中心區(qū)域和環(huán)繞區(qū)域影像輸入到改進UNet孿生網(wǎng)絡(luò)結(jié)構(gòu)編碼端。如圖2紅色框所示，影像差值可使變化信息從背景影像中顯現(xiàn)出來，因此分別提取中心區(qū)域和環(huán)繞區(qū)域前后兩時相影像的特征，并計算同一卷積層的差值影像:

Ssubi,Csubi=|f1,i-f2,i|,i=1,2,3,4,5

其中，Ssubi，Csubi分別為第i卷積層環(huán)繞區(qū)域中心區(qū)域的差值影像;f1,i，f2,i分別為前后兩時期影像在第i卷積層得到的特征影像。然后，對同一卷積層的中心區(qū)域和環(huán)繞區(qū)域差值影像進行在波段維度的特征融合，將融合后的影像作為編碼端提取的特征影像。

Fi=meger(Ssubi,Csubi),i=1,2,3,4,5

其中，F(xiàn)i為融合后的特征影像;meger為對Ssubi和Csubi圖像進行融合操作。融合后的特征影像通過跳躍連接輸入到對應(yīng)層的解碼端，利用Softmax分類器進行端到端的預(yù)測，得到變化二值圖像。

1.3 特征金字塔

空洞卷積池化金字塔首次提出并使用在Deeplab v2[29]網(wǎng)絡(luò)結(jié)構(gòu)中，該結(jié)構(gòu)受到空間金字塔[30]的啟發(fā)，通過在給定輸入圖像上以不同采樣率的空洞卷積并行采樣，以增大卷積層在圖像中的感受野，進而捕捉更多圖像的上下文信息。

空洞卷積可以在不增加計算量的同時，增加感受野的大小，將更大的上下文結(jié)合起來。膨脹率為r的空洞卷積通過在卷積核中間填充0的方式，把K×K的卷積核擴大為NK×NK，感受野變?yōu)镽F，而不增加參數(shù)數(shù)量或計算量。NK，RF計算公式為

NK=K+(K-1)(r-1)

RFm=RFm-1+[(Km-1)Sm]

其中，NK為膨脹后新的卷積核大小;RFm為第m層感受野大小;Km為第m層卷積核大小;Sm為第m層卷積步長。空洞卷積提供了一種有效的控制視野的機制，并在利用小視野準確定位和大視野中上下文空間信息之間找到最佳權(quán)衡。

本文的特征金字塔結(jié)構(gòu)，除了加入前文所述的不同膨脹率的空洞卷積獲取多尺度語義信息外，還利用全局平均池化模塊(Global Average Pooling，GAP)[31]獲取圖像的全局信息。如圖3所示，特征金字塔結(jié)構(gòu)由3個膨脹系數(shù)dilat分別為1，2，4的空洞卷積和一個帶有上采樣的全局平均池化組成。經(jīng)過特征金字塔生成的多尺度特征張量直接輸入到網(wǎng)絡(luò)的解碼端，進行特征跳躍連接和圖像大小恢復(fù)，最后預(yù)測得到變化二值圖像。

圖3 特征金字塔Fig.3 Feature pyramid

2 數(shù)據(jù)預(yù)處理

2.1 數(shù)據(jù)介紹

為了驗證提出方法的有效性，本文獲取了內(nèi)蒙古自治區(qū)呼倫貝爾市寶日希勒露天礦于2012年4月資源三號(ZY3)和2016-07高分一號(GF1)的兩幅影像，兩幅影像均包括藍，綠，紅和近紅外4個波段，對兩幅影像裁剪后的寶日希勒礦區(qū)影像區(qū)域大小為4 000×4 000。寶日希勒礦于2001年開始投入生產(chǎn)，截止到2016年，礦區(qū)內(nèi)排土場基本完成復(fù)墾，地表覆蓋類型較復(fù)墾前具有顯著變化。兩幅影像的預(yù)處理過程包括:幾何校正、正射校正和輻射校正。通過對兩幅影像進行目視解譯，得到了兩時期影像的變化參考圖像，白色表示變化區(qū)域，黑色表示未變化區(qū)域,如圖4所示。

2.2 數(shù)據(jù)準備

由于獲取的ZY3和GF1多光譜遙感影像包含4個波段，分別是:紅(Red)，綠(Green)，藍(Blue)和近紅外(Near infrared)。任意3個波段相互組合都可以到得不同的彩色影像。其中真彩色影像上地物色彩與實際地物顏色接近或者一致，可以反映地物的實際狀況，便于直接通過影像觀察礦區(qū)地物類型的變化情況。因此本文將紅(Red)，綠(Green)，藍(Blue)3個波段的灰度影像分別加載到紅、綠、藍三通道進行波段組合得到的真彩色影像進行試驗 。如圖4所示，每個影像塊大小均為1 000×1 000。選取編號為2,3，9,12,15,16的前后兩時期影像塊以及對應(yīng)的變化參考影像塊作為訓(xùn)練集，其余影像塊為測試集。對訓(xùn)練集影像對和參考影像按照100個像素的重疊度裁剪成像素大小為200×200的影像，共得到726幅影像。將裁剪得到的影像按照8∶2的比例隨機進行劃分訓(xùn)練集和驗證集，得到訓(xùn)練集影像數(shù)量為581幅，驗證集影像數(shù)量為145幅。為了增加訓(xùn)練樣本的數(shù)量、提高數(shù)據(jù)特征多樣性、增強模型的魯棒性和泛化能力。本文對訓(xùn)練集數(shù)據(jù)對和標簽一起進行隨機數(shù)據(jù)增強，主要包括:數(shù)據(jù)旋轉(zhuǎn)90°，180°，270°，水平和垂直翻轉(zhuǎn)。

3 實驗與結(jié)果

本文實驗環(huán)境為i5-8400處理器、16 G內(nèi)存，NVIDIA GTX1060 5 G顯卡，GPU加速庫采用CUDA8.0。深度學(xué)習(xí)框架以Keras作為前端，TensorFlow為后端。

3.1 模型參數(shù)設(shè)置

模型訓(xùn)練過程中采用多類別交叉熵(Categorical Crossentropy)作為損失函數(shù)，采用多類別平均準確率(Categorical Accuracy)作為訓(xùn)練過程中的精度評價指標。選擇Adam函數(shù)作為參數(shù)優(yōu)化器，設(shè)定初始學(xué)習(xí)率lr=0.001，訓(xùn)練迭代的最大次數(shù)epoch=100。當驗證集損失不再繼續(xù)降低時，對學(xué)習(xí)率進行衰減，衰減因子factor=0.1，衰減后的學(xué)習(xí)率為初始學(xué)習(xí)率與衰減因子的乘積。設(shè)置驗證集損失不繼續(xù)降低的容忍度為15個epoch，達到15個epoch后采用提前終止模型訓(xùn)練的策略(Early Stopping)結(jié)束模型訓(xùn)練。

3.2 模型測試與結(jié)果分析

模型訓(xùn)練好后，對測試集礦區(qū)影像經(jīng)過數(shù)據(jù)處理，輸入到模型中，檢測礦區(qū)的變化。具體流程為:對待檢測的前后兩時期遙感影像利用像素大小為200×200的滑動窗口進行裁剪，相鄰兩個滑動窗口之間的重疊度為0，即滑動窗口的步長為200。分別獲取前后兩時期影像的裁剪塊，將其輸入到訓(xùn)練好的模型中，模型自動對影像提取特征，并對每個像素進行預(yù)測，判斷是否發(fā)生變化，進而得到測試影像的變化二值圖像。

為了驗證本文方法的有效性，本文設(shè)計了4種對比實驗，方法1為考慮光譜特征和紋理特征的像元級SVM變化檢測方法;方法2為考慮光譜特征和紋理特征的面向?qū)ο骃VM 變化檢測方法;方法3為未加特征金字塔模塊的變化檢測方法;方法4 為未加中心環(huán)繞和特征金字塔模塊的改進UNet 變化檢測方法。由于本文方法選取了部分影像塊作為模型訓(xùn)練集，因此在進行精度分析時，本文方法和對比方法結(jié)果中訓(xùn)練集所在位置的影像塊不參與精度評定分析。將本文方法以及對比方法得到的變化檢測結(jié)果分別與變化參考影像(圖4)進行統(tǒng)計，得到變化與未變化像元的混淆矩陣。本文利用混淆矩陣，選取變化檢測中常用的精度評價指標:總體精度(Overall Accuracy，OA),Kappa系數(shù)(Kappa Coefficient)、漏檢率(Omission)、誤檢率(Commission)等對得到的變化檢測結(jié)果進行評價分析。評價指標中總體精度和Kappa系數(shù)值越大，說明檢測的效果越好;漏檢率和誤檢率值越大，說明檢測效果越差;反之亦然。

本文選取圖4中編號為5和6的影像塊檢測結(jié)果進行可視化，變化檢測結(jié)果如圖5所示。與對比方法1和方法2得到的變化檢測結(jié)果相對比，可以看出基于深度學(xué)習(xí)變化檢測方法相較于傳統(tǒng)變化檢測方法得到的檢測結(jié)果整體效果更好，由于網(wǎng)絡(luò)通過卷積方式不僅提取了圖像的低層特征，還提取了圖像的高層語義特征。中心環(huán)繞和特征金字塔模塊則增加了模型的多尺度信息和感受野，提高了模型邊緣檢測精度，地物完整性較好。測試集影像變化檢測精度指標計算對比結(jié)果見表1。

表1 變化檢測結(jié)果精度對比
Table 1 Accuracy comparison of change detection results

評價指標Kappa系數(shù)總體精度(OA)誤檢率(Commission)漏檢率(Omission)本文方法0.812 90.957 20.008 80.226 1對比方法10.690 10.932 70.163 30.355 9對比方法20.736 60.941 10.150 10.296 0對比方法30.797 30.954 30.083 00.253 3對比方法40.804 60.951 20.170 10.204 9

本文方法與對比方法3相比，雖然Kappa系數(shù)和總體精度提升不明顯，而且誤檢率和漏檢率也相差不大。但是由圖5結(jié)果可以看出，對比方法3得到的變化檢測結(jié)果影像塊邊緣結(jié)果粗糙，造成拼接后的影像有明顯的黑邊。而本文方法則沒有出現(xiàn)這樣的問題。與對比方法4相比，本文方法和對比方法3這3種方法在Kappa系數(shù)和總體精度上幾乎沒有明顯差距，但是對比誤檢率可以發(fā)現(xiàn)，本文方法和方法3的誤檢率明顯低于方法4，這是因為本文方法和對比方法3中加入了中心環(huán)繞模塊，圖像多分辨率信息降低了誤檢率。此外，對比方法4中，影像塊5結(jié)果中也有明顯的拼接現(xiàn)象。相較于比較方法1和比較方法2兩種傳統(tǒng)的變化檢測方法，本文方法總體精度提高1.6%～2.5%，并且誤檢率和錯檢率也有明顯降低。

圖5 變化檢測結(jié)果Fig.5 Change detection results

4 結(jié) 論

(1)為提高礦區(qū)遙感圖像變化檢測結(jié)果，通過改進的Unet孿生網(wǎng)絡(luò)結(jié)構(gòu)對礦區(qū)遙感圖像進行變化檢測，在提取特征時利用權(quán)值共享的方式獲得前后兩時期圖像的特征， 進一步突出前后兩時期圖像的差異信息。

(2)實驗結(jié)果表明，本文方法得到的礦區(qū)變化檢測結(jié)果在總體精度(OA)，Kappa系數(shù)等評價指標上優(yōu)于對比方法的結(jié)果，并且本文方法得到的礦區(qū)變化檢測結(jié)果由于圖像拼接而產(chǎn)生的黑邊現(xiàn)象不明顯，檢測結(jié)果的完整性較好。

(3)本文方法適用于露天礦區(qū)遙感圖像變化檢測，利用遙感影像的時序性，動態(tài)的獲取礦區(qū)土地利用變化信息，輔助于礦區(qū)的生態(tài)保護和恢復(fù)。且與傳統(tǒng)特征提取方法相比，卷積神經(jīng)網(wǎng)絡(luò)可以有效的提取遙感圖像特征，作為遙感圖像解譯的技術(shù)支撐，應(yīng)用到遙感圖像信息提取中，提高遙感圖像解譯效率。