胡 蕾，江 宇，李 進，張永梅

1(江西師范大學 計算機信息工程學院，南昌 330022) 2(北方工業(yè)大學 信息學院，北京 100144)

1 引 言

遙感圖像變化檢測在土地監(jiān)測、環(huán)境監(jiān)測、城市規(guī)劃等中有著的重要應用.隨著遙感技術(shù)的發(fā)展，遙感圖像的分辨率越來越高，在高分辨率遙感圖像中，車輛、樹木等大小的地物已經(jīng)可見，但由于光照、拍攝角度不同等影響，同一樹木及其陰影在圖像對中的位置、形狀難以完全保持一致，這種不一致并不屬于變化檢測中地物發(fā)生變化定義的范疇，但在高分辨率遙感圖像中，雖然車輛只占圖像中幾個像素，但車輛的變化是屬于地物變化的范疇.當前的變化檢測模型多側(cè)重于檢測建筑物等較大地物的變化而忽略較小地物的變化[1]，或者檢測較小地物變化時對樹木陰影等非變換區(qū)域的容忍度較低，導致虛警率偏高.克服各種干擾，有效檢測出不同大小目標的變化是高分辨遙感圖像變化檢測的重點.

早期的變化檢測方法側(cè)重于利用像素光譜信息、空間鄰域信息等比較地物的相似性，如基于局部信息的模糊C均值聚類算法(Fuzzy C-means clustering algorithm based on local information，F(xiàn)LICM)[2]引入模糊技術(shù)去除一定的干擾噪聲.因深度學習技術(shù)在圖像目標檢測、目標識別、分割等方面取得了良好的效果，深度學習也被應用于遙感圖像變化檢測.Cao G和Zhao Y等分別提出一種深度置信網(wǎng)絡(Deep Belief Networks，DBN)變化檢測方法[3，4]，分別使用逐層有監(jiān)督和半監(jiān)督的貪婪學習后的深度神經(jīng)網(wǎng)絡直接從兩個圖像生成變化檢測圖，省略生成差異圖像過程，避免粗略差異圖對變化檢測結(jié)果的影響.Liu F和Zhang D等分別提出一種基于卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks，CNN)的變化檢測方法[5，6]，通過多層網(wǎng)絡進行卷積、池化等操作逐步提取從低層次到高層次的抽象特征，結(jié)合不同層次的特征提升模型變化檢測能力.對于高分辨率遙感圖像處理，多尺度技術(shù)利于獲得不同尺度下的目標特征[8]，如Guo Q等[9]引入多尺度分割技術(shù)，對分割區(qū)域的特征進行比較分析，一定程度上提高了高分辨率遙感圖像變化檢測的精度.而基礎深度學習框架下變化檢測方法往往使用單一尺度對地物進行變化檢測[7]，其泛化能力受到一定的限制.為了提高深度模型的泛化能力，通常會使用加深、加寬網(wǎng)絡模型的方法.如He K[10]為了降低模型在圖像識別中的錯誤率，提出了具有152層網(wǎng)絡結(jié)構(gòu)的殘差神經(jīng)網(wǎng)絡(Residual Neural Network，ResNet)；Howard A Z[11]為驗證模型寬度對準確率的影響，分別用不同寬度的模型進行試驗，結(jié)果表明在一定范圍內(nèi)增大模型寬度可提高模型的準確率.雖然加深、加寬網(wǎng)絡模型的方法會導致模型參數(shù)巨大、訓練周期漫長等問題，但稀疏網(wǎng)絡模型[12]能在一定程度上解決這些問題.

基于CNN網(wǎng)絡，本文結(jié)合高分辨率遙感圖像變化檢測目標，提出一種多尺度稀疏卷積模塊的變化檢測方法，通過引入多尺度技術(shù)，在不同尺度下提取圖像特征；通過引入稀疏模塊技術(shù)，減少網(wǎng)絡參數(shù)、加快訓練速度和緩解過擬合問題，使得模型能有效檢測出地物變化情況.

2 方 法

2.1 網(wǎng)絡模型

深度學習技術(shù)下，變化檢測的網(wǎng)絡輸入可分為兩類：圖像對差異圖[13]和圖像對[14].當輸入為圖像對差異圖時，差異圖需通過預處理獲得，其質(zhì)量對后續(xù)處理影響較大[15].當輸入為圖像對時，可采用孿生網(wǎng)絡[16]分別對參考圖像和待檢測圖像在兩個并列的深度學習框架下獲得特征向量，并通過全連接層對拼接后的特征向量進行融合并分析變化信息；也可采用多通道網(wǎng)絡[17]將N層通道的圖像直接疊加形成2×N層通道的圖像，在一個多層網(wǎng)絡模型下將各個通道學習到的特征向量進行拼接，并預測結(jié)果.

圖1 基于多尺度稀疏卷積模塊的變化檢測模型Fig.1 Change detection model based on multi-scale sparse convolution module

本文采用圖像對作為網(wǎng)絡輸入，所提出的基于多尺度稀疏卷積模塊的變化檢測模型如圖1所示，其中(a)是以孿生網(wǎng)絡作為網(wǎng)絡結(jié)構(gòu)，(b)是以多通道網(wǎng)絡作為網(wǎng)絡結(jié)構(gòu).兩個網(wǎng)絡結(jié)構(gòu)中間處理流程相同，稀疏模塊中卷積操作步長等于1、Padding為Same，每條支路最后輸出的特征圖尺寸與原始像素塊尺寸保持一致；接著是若干個Padding為Valid、步長為1的3×3卷積，特征圖每經(jīng)過一次卷積，特征圖長和寬都減小2，經(jīng)過若干個卷積后特征圖尺寸變成1×1；然后所有特征圖拉成特征向量，利用全連接操作對特征信息進行整合，并根據(jù)邏輯回歸層輸出中心像素變化概率給出預測結(jié)果.

(1)

(2)

其中，m為樣本數(shù)量，w為權(quán)重，w′為更新的權(quán)重；b為偏置，b′為更新的偏置；a為輸入的像素塊，η為學習率.

對于高分辨率遙感圖像而言，受季節(jié)、光照、氣候以及拍攝角度等影響，同一地物在不同時序圖像中光譜信息或顏色信息會出現(xiàn)差異，因此僅依賴像素點的光譜信息或顏色信息來判斷地物是否變化會發(fā)生嚴重的誤判.于是本文通過引入像素點周圍的信息來判斷像素點是否發(fā)生變化，比較對象是以像素點為中心的像素塊(本文采用的尺寸為21×21)，最終輸出的是該像素點變化的概率.

2.2 多尺度特征融合

變化檢測方法中傳統(tǒng)方法和一些基礎的深度學習方法范化能力較差，其原因主要是檢測地物的尺度比較單一[8].為適應高分辨率遙感圖像變化檢測任務，結(jié)合多尺度技術(shù)，本文使用多尺度特征融合卷積(如圖2所示)，對輸入圖像同時進行1×1、3×3、5×5、7×7多尺寸的卷積來獲取圖像的多尺度的信息，將圖像低分辨率大尺度特征信息與高分辨率小尺度特征信息進行特征融合.

網(wǎng)絡模型中低分辨率大尺度圖像層側(cè)重于像素塊背景信息的分析，對像素塊做整體比較；網(wǎng)絡模型中高分辨率小尺度圖像層側(cè)重于像素塊局部信息，對像素塊做局部細節(jié)比較.同時，低分辨率大尺度圖像層能較好檢測出建筑物等大目標發(fā)生的變化，也能較好容忍不同時相高分辨率遙感圖像存在輕微的配準誤差，以及不同拍攝角度帶來的樹木、房屋等輕微形變，而高分辨率小尺度圖像層能較好地檢測出車輛等小目標發(fā)生的變化.通過多尺度結(jié)構(gòu)，讓網(wǎng)絡模型既能學習大目標特征也能學習小目標特征，并提高了模型的的范化能力.

圖2 多尺度特征融合模塊Fig.2 Multi-scale feature fusion module

2.3 多尺度稀疏卷積

增加網(wǎng)絡模型的深度和寬度是改善深度卷積神經(jīng)網(wǎng)絡性能的重要途徑，但更深更寬的網(wǎng)絡模型意味著模型更大量的參數(shù)以及更多的訓練時間，尤其在數(shù)據(jù)量不充裕的情況下，復雜的模型更容易導致過擬合，并且訓練復雜模型需消耗昂貴的硬件資源.稀疏卷積[21]組合多個小卷積核，將多個稀疏矩陣合并成相關的稠密子矩陣，在獲得大卷積核相同感受野的同時減少參數(shù)的數(shù)量.

Inception稀疏卷積[22]如圖3所示，分別使用四條支路對輸入圖像進行處理.其中池化支路為網(wǎng)絡提供一定的旋轉(zhuǎn)、平移、尺度不變性，增加了網(wǎng)絡在不同尺度下的適應性；其他三條支路分別先使用1×1卷積核進行信息整合，將高相關性、不同通道的信息整合到少數(shù)通道上，再通過不同尺寸的卷積核提取特征；最后將四條支路的輸出特征在通道方向進行拼接，作為下一個模塊的輸入.在本文中，Inception稀疏卷積輸入為21×21像素塊，輸出為21×21×192特征向量.

圖3 Inception 稀疏卷積模塊Fig.3 Inception sparse convolution module

本文基于多尺度特征融合和Inception稀疏卷積所設計的多尺度稀疏卷積模塊如圖4所示.相較于多尺度特征融合，不同點在于，本文模型連續(xù)使用更多的1×1和3×3卷積的組合來代替較淺較大的卷積核，并使用三條不同卷積規(guī)模的支路分別提取不同尺度、不同等級的特征.模型中每條分支使用的1×1和3×3卷積數(shù)量不同，通常3×3卷積層越多，該通路輸出的語義信息越高級.模型的3個3×3卷積核不但感受野與7×7卷積核感受野相同，而且攜帶了更多的激活函數(shù)ReLU(x)=Max(0，x)，稀疏性更強.模型通過交替地使用3×3、1×1卷積完成從原始特征中提取和凝聚語義信息，使得特征響應在通道方向上呈現(xiàn)稀疏性.其中使用1×1卷積核的目的是，將相關性很高、在同一個空間位置但是不同通道的特征連接在一起，同時對通道進行升維和降維.

圖4 多尺度稀疏卷積模塊Fig.4 Multi-scale sparse convolution module

池化能在一定程度上通過減少參數(shù)來加快訓練速度、突出主要特征，但也會丟失一定的特征信息，本文多尺度稀疏卷積模塊未引入池化處理，以保留更多的信息來判斷像素塊的變化性質(zhì).

3 實驗結(jié)果與分析

本文實驗的硬件平臺為主頻為2.3GHz的至強E3處理器、內(nèi)存為32GB、GPU為1080Ti；軟件平臺為PyCharm + Tensorflow 1.13.

本文實驗數(shù)據(jù)來源為Google Earth，所選區(qū)域為美國小城市城區(qū)和城郊，圖像尺寸約為1600×1000，空間分辨率約為0.3米，包含RGB三個通道.實驗中，使用Lableme工具對16組訓練數(shù)據(jù)進行標注，分別標注出兩幅時序圖像中變化的目標或者對象，然后合并兩幅圖中的標注作為變化區(qū)域的Ground Truth.數(shù)據(jù)集中變化區(qū)域典型為車輛、房屋、道路、水域等.

考慮本文訓練集數(shù)量有限，本文對訓練圖片進行數(shù)據(jù)增強，使訓練后的網(wǎng)絡具有更好的泛化能力，減少訓練后的網(wǎng)絡出現(xiàn)過擬合現(xiàn)象.其中本文數(shù)據(jù)增強過程為對訓練數(shù)據(jù)(像素塊)進行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)，以及圖像亮度和飽和度的隨機調(diào)整(上下偏差為10).

在計算交叉熵損失函數(shù)公式(1)時，為了實現(xiàn)高維空間的梯度優(yōu)化，本文使用了Adam優(yōu)化器[23].Adam優(yōu)化器引入二次方梯度矯正，尋找全局最優(yōu)點，并利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學習率，經(jīng)過偏置矯正后，每一次迭代學習率有個確定范圍，從而使參數(shù)比較平穩(wěn)，具體見公式(3).

(3)

為了驗證本文模型的有效性，與本文模型進行對比的方法有傳統(tǒng)的變化檢測方法FLICM，以及基于深度網(wǎng)絡的DBN、CNN.同時，為探討孿生網(wǎng)絡和多通道網(wǎng)絡對本文方法的影響，我們分別在孿生網(wǎng)絡和多通道網(wǎng)絡下對本文模型進行了實驗分析，其中孿生網(wǎng)絡下多尺度稀疏卷積模型記為MS-S(Multi-scale Sparse-Siamese)，多通道網(wǎng)絡下多尺度稀疏卷積模型記為MS-M(Multi-scale Sparse-Multi-channel).

為測試本文方法在大小目標方面的檢測能力，選擇的測試數(shù)據(jù)包含了不同大小的目標，其中測試數(shù)據(jù)集1主要包含大量的車輛等小目標，測試數(shù)據(jù)集2主要包含建筑物等大目標.

3.1 測試數(shù)據(jù)集1

圖5給出了測試數(shù)據(jù)集1中某區(qū)域的本文方法及其他方法的變化檢測結(jié)果，其中圖5(a)和圖5(b)為不同時序的高分辨率圖像，圖5(c)為標準的標注圖像，從圖5(d)可看出傳統(tǒng)方法FLICM對小目標的檢測正確率差、虛警率高，圖5(e)和圖5(f)分別為DBN[4]和CNN[6]的變化檢測結(jié)果，這兩種模型基于深度神經(jīng)網(wǎng)絡，以像素塊作為基本分析單元.本文的MS-S和MS-M檢測結(jié)果為圖5(g)和圖5(h)，在多尺度技術(shù)和稀疏卷積技術(shù)下，不僅變化區(qū)域中車輛完整性得到提升，而且變化區(qū)域中車輛獨立性也得到提升，相比基礎網(wǎng)絡DBN和CNN漏檢率有所下降，同時從目視效果來看，MS-S和MS-M具有相近的小目標變化檢測能力.

表1 測試數(shù)據(jù)集1變化檢測結(jié)果Table 1 Change detection result of data set I

圖5 數(shù)據(jù)集1變化檢測結(jié)果圖Fig.5 Change detection result graphs of data set I

圖6 數(shù)據(jù)集2變化檢測結(jié)果圖Fig.6 Change detection result graphs of data set II

表1給出了本文方法及其他方法在變化檢測方面的虛警率、漏檢率、正確率和Kappa系數(shù)結(jié)果，可以看出，DBN和CNN變化檢測正確率已分別達到了88.2%和86.8%.本文MS-S與MS-M的性能很接近，其中MS-M的虛警率和漏檢率分別為最低的0.9%和7.3%，比DBN分別降低3.5%和5.1%，并且正確率和Kappa系數(shù)分別為最高的94.8%和75.6%，比DBN分別提高6.6%和8.2%.通過數(shù)據(jù)1的實驗結(jié)果可以看出本文提出的基于多尺度稀疏卷積模型在檢測小目標變化方面是有效的，并且效果優(yōu)于基礎深度網(wǎng)絡模型.

3.2 測試數(shù)據(jù)集2

測試數(shù)據(jù)集2中某區(qū)域的變化檢測結(jié)果如圖6所示，檢測結(jié)果相關評價指標的對比如表2所示.

在圖6中，圖6(a)和圖6(b)為不同時序的高分辨率圖像，圖6(c)為標準的標注圖像.圖6(d)為FLICM方法檢測結(jié)果，受同物異譜和同譜異物的影響，檢測效果差.圖6(e)和圖6(f)分別為DBN和CNN方法檢測結(jié)果，可以看出在大目標檢測方面，兩種方法在大目標完整度上存在一定不足，目標內(nèi)部有一定漏檢.根據(jù)圖6(g)和圖6(h)的效果，相比其他方法的變化檢測結(jié)果，本文提出的MS-S和MS-M模型，能很好降低同譜異物的干擾，既可以檢測出變化區(qū)域的邊緣細節(jié)，也保證了大面積變化區(qū)域的完整性.

從表2中可看出，MS-M模型的虛警率、漏檢率最低，分別為0.8%和7.2%，比DBN分別降低了1.1%和10.3%；正確率和Kappa系數(shù)最高，分別為95.4%和74.7%，比DBN分別提高了9.3%和20.9%.MS-S和MS-M模型實驗結(jié)果優(yōu)異是因為引入多尺度技術(shù)，比較了不同像素塊的高級語義信息，能更完整地檢測出變化區(qū)域.通過測試數(shù)據(jù)集2的實驗結(jié)果可以看出，本文提出的基于多尺度稀疏卷積模型在檢測大目標變化方面是有效的，并且效果優(yōu)于基礎深度網(wǎng)絡模型.

表2 測試數(shù)據(jù)集2變化檢測結(jié)果Table 2 Change detection result of data set II

從測試數(shù)據(jù)集1和測試數(shù)據(jù)集2看，在相同情況下，MS-S和MS-M方法在大目標檢測和小目標檢測的完整性、漏檢和虛警上略有差異，其中評價指標綜合考慮了大目標及小目標等地物的變化檢測情況.但多數(shù)情況下，多通道網(wǎng)絡框架下方法要略優(yōu)于孿生網(wǎng)絡框架下的方法，可能是因為多分支、多通路的網(wǎng)絡設計使得模型容量更大，學習能力更強，注重比較像素塊的背景信息能較好降低同物異譜和同譜異物現(xiàn)象的干擾.

4 結(jié) 論

本文為在高分辨率遙感圖像變化檢測中能有效檢測大目標和小目標變化情況，引入了多尺度技術(shù)，將高分辨率圖像特征和低分辨率圖像特征進行融合，使得模型在學習大目標特征的同時對小目標的檢測有良好的效果；引入多尺度稀疏卷積技術(shù)，減少模型的大小、參數(shù)的數(shù)量以及加快網(wǎng)絡訓練的速度.實驗結(jié)果表明，本文方法在不同尺度的目標檢測上具有良好范化能力.本文所采用的訓練數(shù)據(jù)和測試數(shù)據(jù)主要以小城市城郊數(shù)據(jù)為主，對大中城市復雜數(shù)據(jù)有待進一步分析.