徐 真 王 宇 李 寧* 張 衡 張 磊

①(中國科學(xué)院電子學(xué)研究所 北京 100190)

②(中國科學(xué)院大學(xué) 北京 100049)

一種基于CNN的SAR圖像變化檢測(cè)方法

徐 真①②王 宇①李 寧*①張 衡①②張 磊①

①(中國科學(xué)院電子學(xué)研究所 北京 100190)

②(中國科學(xué)院大學(xué) 北京 100049)

該文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)及有效圖像預(yù)處理的合成孔徑雷達(dá)(SAR)圖像變化檢測(cè)方法。為了驗(yàn)證方法的有效性，以2011年日本仙臺(tái)地區(qū)地震導(dǎo)致的城區(qū)變化為例進(jìn)行了研究。在預(yù)處理中分別利用DEM模型以及Otsu方法對(duì)SAR圖像中的山體和水體進(jìn)行了提取和去除。利用多層卷積神經(jīng)網(wǎng)絡(luò)從SAR圖像中自動(dòng)學(xué)習(xí)目標(biāo)特征，再利用學(xué)習(xí)到的特征對(duì)圖像進(jìn)行分類。訓(xùn)練集和測(cè)試集的分類精度分別達(dá)到了98.25%和97.86%。利用圖像差值法得到分類后的SAR圖像變化檢測(cè)結(jié)果，并驗(yàn)證了該方法的準(zhǔn)確性和有效性。另外，文中給出了基于CNN的變化檢測(cè)方法和傳統(tǒng)方法的對(duì)比結(jié)果。結(jié)果表明，相對(duì)于傳統(tǒng)方法，基于CNN的變化檢測(cè)方法具有更高的檢測(cè)精度。

SAR圖像；變化檢測(cè)；卷積神經(jīng)網(wǎng)絡(luò)

1 引言

大范圍的自然災(zāi)害，例如地震、海嘯等，嚴(yán)重威脅著人類的生命和財(cái)產(chǎn)安全。受災(zāi)區(qū)域的變化檢測(cè)分析對(duì)災(zāi)后救援和重建有著重要意義。從遙感數(shù)據(jù)中獲取災(zāi)害信息是一種十分重要的災(zāi)害研究手段。高分辨率星載合成孔徑雷達(dá)(Synthetic Aperture Radar, SAR)由于其不受天氣、晝夜變化的影響[1]，是監(jiān)測(cè)受災(zāi)區(qū)域變化情況的有力工具。隨著人們對(duì)災(zāi)害救援速度的要求越來越高，快速有效的變化檢測(cè)方法對(duì)于掌握災(zāi)害情況顯得尤為重要。2011年3月11日，日本東北海域發(fā)生了里氏9.0級(jí)地震并引發(fā)海嘯，造成重大人員傷亡及財(cái)產(chǎn)損失[2]。本文基于SAR圖像對(duì)遭受地震損害的日本仙臺(tái)地區(qū)進(jìn)行了地震前后的變化檢測(cè)。

一般來說，SAR變化檢測(cè)方法可以被分成兩類：圖像代數(shù)方法和分類比較法[3]。圖像代數(shù)方法是基于像素級(jí)別的變化檢測(cè)方法[4—7]。然而，圖像代數(shù)方法只能得到區(qū)域的變化情況，不能區(qū)分變化區(qū)域的類別。另外，噪聲可以導(dǎo)致高誤警率[8]。分類比較法是基于目標(biāo)級(jí)別的變化檢測(cè)方法。利用分類比較法不僅可以獲得區(qū)域的變化情況，還能同時(shí)獲得變化區(qū)域的類別。另外，基于目標(biāo)級(jí)別的變化檢測(cè)方法對(duì)噪聲不敏感[9]。基于目標(biāo)的方法已經(jīng)在遙感圖像分類和變化檢測(cè)中展現(xiàn)了很大的潛力[10—12]。研究人員證明基于目標(biāo)的方法不僅在降低噪聲干擾上具有優(yōu)勢(shì)，而且能夠?qū)⒖臻g，紋理，及鄰近關(guān)系結(jié)合起來，進(jìn)行有效的變化檢測(cè)[8]。一般而言，基于目標(biāo)的變化檢測(cè)方法都是先對(duì)圖像進(jìn)行分類，然后再對(duì)分類后的圖像進(jìn)行變化檢測(cè)。許多傳統(tǒng)的分類方法都是通過提取目標(biāo)特征的方式對(duì)圖像中的目標(biāo)進(jìn)行分類，例如最小距離法、最大似然方法、灰度共生矩陣、小波變換等。傳統(tǒng)的特征提取工作是復(fù)雜并且耗時(shí)的。然而，災(zāi)害檢測(cè)需要效率更高的特征提取方法。隨著人工智能的發(fā)展，深度學(xué)習(xí)被引入了SAR圖像處理領(lǐng)域，常用的深度學(xué)習(xí)算法包括深度信念網(wǎng)絡(luò)(Deep Belief Network, DBN)，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)，等等。其中，CNN是在計(jì)算機(jī)視覺領(lǐng)域中最常采用的算法。卷積神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)高精度的分類，在處理2維圖像數(shù)據(jù)方面具有明顯的優(yōu)勢(shì)[13—15]。CNN采用原始圖像作為輸入，避免了復(fù)雜的特征提取過程，并且在特征學(xué)習(xí)過程中不需要過多的人工參與。本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的SAR圖像變化檢測(cè)方法，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于地震災(zāi)害檢測(cè)是較新的研究領(lǐng)域。

本文提出了一種基于CNN的SAR圖像變化檢測(cè)方法，利用這一方法對(duì)地震前后同一受災(zāi)地區(qū)的變化情況進(jìn)行了檢測(cè)和評(píng)估。利用訓(xùn)練好的CNN模型對(duì)目標(biāo)特征進(jìn)行自動(dòng)提取并且對(duì)圖像進(jìn)行分類。分類之后，利用圖像差值方法對(duì)受災(zāi)區(qū)域建筑和農(nóng)田的損毀情況進(jìn)行了檢測(cè)。最后與傳統(tǒng)變化檢測(cè)方法的結(jié)果進(jìn)行了對(duì)比，定量分析結(jié)果表明基于CNN的變化檢測(cè)方法具有更高的檢測(cè)精度以及較低的檢測(cè)誤差。

2 基于CNN的SAR圖像變化檢測(cè)方法

本文提出的基于CNN的變化檢測(cè)方法主要分為4個(gè)步驟。(1)預(yù)處理：對(duì)山體和水體進(jìn)行提取和去除；獲取訓(xùn)練數(shù)據(jù)集。(2)訓(xùn)練CNN模型。(3)圖像分類。(4)對(duì)分類后的圖像進(jìn)行變化檢測(cè)。處理流程如圖1所示。

2.1 預(yù)處理

在預(yù)處理中，首先對(duì)圖像進(jìn)行了幾何校正、圖像配準(zhǔn)、地理編碼、直方圖均衡等操作。研究中將SAR圖像中的目標(biāo)分為4類：山體、水體、建筑和農(nóng)田。文中主要研究地震對(duì)人類生存區(qū)域的影響，所以主要關(guān)注的類別是建筑和農(nóng)田，然而在所研究的圖像中，山體和水體占據(jù)了大部分，這會(huì)導(dǎo)致模型訓(xùn)練的復(fù)雜性增加。另外，山體和建筑在SAR圖像中特征的相似性會(huì)導(dǎo)致分類精度下降。為了降低計(jì)算復(fù)雜度，并且提高分類精度，在預(yù)處理過程中對(duì)山體和水體進(jìn)行了提取與去除以降低干擾及提高計(jì)算效率。

圖1 處理流程圖Fig. 1 Processing chain

對(duì)山體的提取利用了數(shù)字高程模型(Digital Elevation Model, DEM)信息。在DEM中，山體的坡度要高于其他的地物目標(biāo)。將區(qū)分山體和其他地物目標(biāo)的坡度閾值設(shè)定為20°。坡度高于20°的目標(biāo)被標(biāo)記為山體，從而可以提取出山體[16]。對(duì)水體的提取利用Otsu閾值方法[17]。一般而言，水體在SAR圖像中較暗，可以認(rèn)為是SAR圖像的背景。Otsu閾值方法是利用最大類間方差來衡量SAR圖像前景與其背景水體的差別，使得最大類間方差最大，即可以得到區(qū)分前景和背景水體的最佳閾值。

2.2 獲取訓(xùn)練數(shù)據(jù)集

研究中采用粗略的手動(dòng)標(biāo)記方法生成樣本。在圖像中，將一部分總體類別相同且分布集中的區(qū)域手動(dòng)標(biāo)記為建筑區(qū)域和農(nóng)田區(qū)域。由于僅對(duì)圖像進(jìn)行粗略標(biāo)記且精度要求不高，所以僅需要少量的人工操作。利用樣本標(biāo)記獲得的標(biāo)簽，采用滑窗的方法從圖像中生成大量帶有標(biāo)簽的樣本。首先利用這些初始樣本訓(xùn)練CNN，利用訓(xùn)練得到的模型對(duì)圖像進(jìn)行預(yù)測(cè)，從預(yù)測(cè)結(jié)果與手動(dòng)標(biāo)記一致的樣本中選出等量的建筑、農(nóng)田樣本作為新的標(biāo)簽樣本集。重復(fù)上述過程，就可以得到最終的訓(xùn)練樣本集。這種獲得訓(xùn)練數(shù)據(jù)集的方式可以去除由粗略標(biāo)記引入的錯(cuò)誤標(biāo)記的樣本，既提高了樣本的質(zhì)量，也放寬了對(duì)手動(dòng)標(biāo)記樣本的精度要求。

樣本的大小需要根據(jù)實(shí)際情況來確定。如果樣本過小，樣本中包含的目標(biāo)特征信息將會(huì)不足，從而會(huì)影響分類精度；反之，如果樣本過大，樣本中會(huì)包含冗余的信息，也會(huì)對(duì)分類結(jié)果產(chǎn)生影響。經(jīng)過訓(xùn)練驗(yàn)證，本文選取訓(xùn)練樣本的尺寸為24×24。為了得到足夠數(shù)量的樣本集，利用旋轉(zhuǎn)樣本法對(duì)樣本集進(jìn)行了擴(kuò)充。對(duì)每一個(gè)樣本都進(jìn)行了旋轉(zhuǎn)操作，每一個(gè)樣本分別被旋轉(zhuǎn)了，從而樣本數(shù)目擴(kuò)充為原來的7倍。最終得到的訓(xùn)練樣本數(shù)目為200萬，交叉驗(yàn)證樣本數(shù)為50萬，測(cè)試樣本數(shù)為50萬，這些樣本中包含等量的建筑及農(nóng)田樣本。

2.3 CNN結(jié)構(gòu)

研究中所用CNN模型的結(jié)構(gòu)如圖2所示。CNN的結(jié)構(gòu)包含卷積層、池化層、展開層、全連接層以及輸出層等。下面將詳細(xì)介紹模型結(jié)構(gòu)及參數(shù)設(shè)置：

圖2 CNN結(jié)構(gòu)圖Fig. 2 The structure of CNN

(1) 卷積層：卷積層的作用是實(shí)現(xiàn)輸入圖像數(shù)據(jù)與濾波器的卷積，從而實(shí)現(xiàn)目標(biāo)特征的提取。在一個(gè)卷積層中，每一個(gè)節(jié)點(diǎn)都只與前一層中鄰近的幾個(gè)節(jié)點(diǎn)互相連接，并且每個(gè)節(jié)點(diǎn)的權(quán)重系數(shù)是相同的。第1個(gè)卷積層包含4個(gè)隨機(jī)初始化的卷積核函數(shù)，第2個(gè)卷積層包含16個(gè)隨機(jī)初始化的卷積核函數(shù)。卷積核的尺寸需要合理選取。如果卷積核的尺寸過小，則不能提取到有效的信息；反之，卷積核的尺寸過大，會(huì)導(dǎo)致過擬合現(xiàn)象發(fā)生。根據(jù)訓(xùn)練驗(yàn)證，選取卷積核的尺寸為5×5。由于線性整流函數(shù)(Rectified Linear Unit, ReLU)具有分段線性和稀疏性等有利于訓(xùn)練的屬性[18]，因而使用ReLU作為卷積層的激活函數(shù)。

(2) 批量歸一化層：可以把批量歸一化看作一種有效的正則化方法。批量歸一化層通過將該層每一個(gè)批量的均值和方差分別調(diào)整到0和1來加快模型的訓(xùn)練速度[19]。

(3) 最大值池化層：最大值池化是一個(gè)降采樣的過程，將一個(gè)小窗口的最大值作為該層的輸出，從而可以降低計(jì)算復(fù)雜度以及避免過擬合。這里將窗口大小設(shè)置為3×3。

(4) 展開層：展開層的作用是將2維的圖像數(shù)據(jù)轉(zhuǎn)化為1維的矢量數(shù)據(jù)，從而可以作為卷積層和全連接層的連接器，將卷積層的輸出調(diào)整成下一個(gè)全連接層的輸入。

(5) 全連接層：全連接層可以增加模型的容量，使用ReLU作為全連接層的激活函數(shù)。

(6) 輸出層：由于是二分類問題，使用Sigmoid函數(shù)作為輸出層的激活函數(shù)。

2.4 CNN模型訓(xùn)練

以下是本文所使用的批量隨機(jī)下降算法(Stochastic Gradient Descent, SGD)訓(xùn)練模型的內(nèi)容：

(1) 初始化：通常建議使用較小的非全零隨機(jī)變量作為模型參數(shù)的初始值。因?yàn)閰?shù)的數(shù)值小，所以初始狀態(tài)時(shí)模型復(fù)雜度較低；因?yàn)榉侨悖窠?jīng)元處于激活狀態(tài)，所以模型能夠被訓(xùn)練。本文使用標(biāo)準(zhǔn)正態(tài)分布作為卷積層的初始參數(shù)。

(2) 參數(shù)更新：將訓(xùn)練集的所有樣本隨機(jī)化，每個(gè)批量選擇32個(gè)樣本作為輸入以更新模型參數(shù)，并進(jìn)行多次迭代。

(3) 優(yōu)化方法：本文使用Adam[20]算法作為SGD優(yōu)化算法，并且參數(shù)與文獻(xiàn)[21]一致。

(4) 訓(xùn)練結(jié)束條件：使用Early Stopping算法監(jiān)測(cè)訓(xùn)練過程，并設(shè)定訓(xùn)練終止條件。每個(gè)訓(xùn)練周期結(jié)束，都會(huì)記錄交叉驗(yàn)證集的損失。當(dāng)交叉驗(yàn)證集的損失停止下降時(shí)，對(duì)模型參數(shù)的更新停止，這就是Early Stopping方法的原理。

為了避免過擬合，這里采用了兩種正則化方法：Dropout方法以及上面介紹的Early Stopping。Dropout[14]方法是通過在訓(xùn)練階段隨機(jī)將部分節(jié)點(diǎn)的輸出置零，本文將Dropout設(shè)置在每個(gè)隱藏層后，約有30%的節(jié)點(diǎn)被隨機(jī)輸出置零。

2.5 分類及變化檢測(cè)

CNN模型訓(xùn)練完成后，建筑和農(nóng)田的特征被提取出來并反映在CNN的模型參數(shù)中。為了對(duì)圖像進(jìn)行分類，需要通過滑窗法將圖像劃分為許多與訓(xùn)練樣本同樣大小的矩形區(qū)域?；暗牟呗允且哉麄€(gè)小矩形區(qū)域所對(duì)應(yīng)的窗口來滑動(dòng)，滑動(dòng)步長(zhǎng)為4個(gè)像素。將矩形區(qū)域輸入到訓(xùn)練好的CNN模型，可以得到預(yù)測(cè)類別。將矩形區(qū)域以4個(gè)像素點(diǎn)為步長(zhǎng)滑動(dòng)，可以得到整個(gè)圖像的分類。用這種滑窗策略，可能會(huì)導(dǎo)致目標(biāo)的邊緣分類不夠精細(xì)。由于本文主要研究的是地震前后兩幅圖像的變化情況，同一目標(biāo)在兩幅圖像中的分割方式是相同的，從而在分類過程中不會(huì)對(duì)檢測(cè)結(jié)果的統(tǒng)計(jì)特性造成較大影響。將通過滑窗方法獲得的圖像樣本輸入到訓(xùn)練好的CNN模型中，可以得到各個(gè)樣本的類別，從而得到SAR圖像的分類結(jié)果。地震前后的SAR圖像分別利用訓(xùn)練好的CNN模型進(jìn)行分類。為了研究地震對(duì)研究區(qū)域造成的損害，對(duì)分類后的SAR圖像進(jìn)行變化檢測(cè)，采用圖像差值法進(jìn)行對(duì)比檢測(cè)。通過選取一定的閾值，可以檢測(cè)出震后發(fā)生變化的區(qū)域，結(jié)合圖像的分類結(jié)果，可以得到不同類別區(qū)域的變化情況。這里對(duì)地震前后建筑和農(nóng)田的變化分別進(jìn)行了檢測(cè)，得到了震后建筑和農(nóng)田的受災(zāi)情況分析結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

2011年3月11日，日本東北部海域發(fā)生了9.0級(jí)地震，隨后發(fā)生了海嘯。其巨大的破壞力造成了嚴(yán)重的人員傷亡和財(cái)產(chǎn)損失，受到了全世界的廣泛關(guān)注。本文基于SAR圖像研究地震對(duì)日本仙臺(tái)地區(qū)造成的影響。圖3(a)是TerraSAR-X在2010年10月20日獲取的震前該地區(qū)的SAR圖像，圖3(b)是TerraSAR-X在2011年3月12日獲取的震后該地區(qū)的SAR圖像。兩幅SAR圖像均為HH極化的條帶模式，入射角為37.31°，分辨率為3.3 m。

3.2 分類結(jié)果

圖3 原始SAR圖像及分類結(jié)果Fig. 3 Raw SAR images and the classification results

分類方法的核心是CNN模型，利用訓(xùn)練樣本集對(duì)CNN模型進(jìn)行訓(xùn)練，從而對(duì)CNN模型的參數(shù)進(jìn)行更新，訓(xùn)練后的CNN模型可以作為分類器來對(duì)SAR圖像進(jìn)行分類。采用滑窗方法對(duì)SAR圖像進(jìn)行分類，窗口的大小與訓(xùn)練樣本大小相同，滑窗步長(zhǎng)為4個(gè)像素。在SAR圖像上用滑窗法進(jìn)行劃分，可以得到許多個(gè)小矩形區(qū)域。將各矩形區(qū)域的圖像數(shù)據(jù)輸入到已經(jīng)訓(xùn)練好的CNN模型，輸出的是該樣本屬于建筑或農(nóng)田的概率值。為了得到該矩形區(qū)域的類別，可以確定一個(gè)閾值，當(dāng)樣本屬于農(nóng)田的概率值大于該閾值，將區(qū)域的類別確定為農(nóng)田；當(dāng)樣本屬于建筑的概率值大于該閾值，將樣本的類別確定為建筑。給定這一閾值，就可以得到輸入樣本的類別，進(jìn)而得到SAR圖像的分類結(jié)果。閾值的選取會(huì)影響分類結(jié)果，然而實(shí)驗(yàn)結(jié)果表明當(dāng)閾值概率取在一定的范圍之內(nèi)時(shí)，對(duì)分類結(jié)果的影響較小，實(shí)驗(yàn)中將閾值取為70%。在實(shí)驗(yàn)中會(huì)出現(xiàn)樣本輸出分類概率均小于70%的情況。在這種情況下，對(duì)這些樣本的處理方式是不對(duì)其進(jìn)行標(biāo)記，從而表明該樣本既不屬于建筑也不屬于農(nóng)田。在分類實(shí)驗(yàn)中，建筑樣本被標(biāo)記為紅色，農(nóng)田樣本被標(biāo)記為綠色，而這類樣本則不進(jìn)行標(biāo)記。地震前后的SAR圖像分別利用訓(xùn)練好的CNN模型進(jìn)行了分類。由于預(yù)處理中已經(jīng)去除了山體和水體，該區(qū)域可以分為兩類：建筑和農(nóng)田。分類結(jié)果如圖3(c)，圖3(d)所示，不同的類別標(biāo)記為不同的顏色，紅色表示建筑，綠色表示農(nóng)田，黑色區(qū)域表示已經(jīng)去除的山體和水體。從圖中可以看出，地震后的SAR圖像分類結(jié)果中紅色區(qū)域和綠色區(qū)域都有所減小，這表明地震后建筑區(qū)域和農(nóng)田區(qū)域都有損毀。得到分類模型后，可以用測(cè)試集來驗(yàn)證分類精度。測(cè)試集與訓(xùn)練集類似，也是具有標(biāo)簽的樣本集，將CNN模型的輸出結(jié)果與樣本相比較，可以得到測(cè)試集的分類精度。實(shí)驗(yàn)結(jié)果表明，訓(xùn)練集的分類精度為98.25%，測(cè)試集的分類精度為97.86%。由于文中提出的變化檢測(cè)方法是以CNN分類為基礎(chǔ)的，因此精確的分類是進(jìn)行差異檢測(cè)的前提。分類精度越高，檢測(cè)結(jié)果也就越精確。在CNN模型訓(xùn)練中，應(yīng)盡可能提高分類精度，從而實(shí)現(xiàn)較好的變化檢測(cè)性能。4種類別在該區(qū)域所占的比例如圖4所示，研究中所關(guān)注的區(qū)域?yàn)榻ㄖ娃r(nóng)田，這部分區(qū)域約占據(jù)整個(gè)研究區(qū)域的32.8%，而山體和水體占據(jù)研究區(qū)域的67.2%。山體和水體占據(jù)了圖像的大部分區(qū)域，這表明對(duì)山體和水體的提取對(duì)去除冗余信息及簡(jiǎn)化計(jì)算是十分有必要的。在所關(guān)注的區(qū)域中，農(nóng)田區(qū)域占據(jù)整個(gè)研究區(qū)域的20.3%，建筑區(qū)域占據(jù)整個(gè)研究區(qū)域的12.5%。

圖4 不同類別區(qū)域所占比例Fig. 4 Distribution of categories

3.3 變化檢測(cè)結(jié)果

研究中利用圖像差值法來生成差異圖像。分類后的圖像包括3個(gè)通道：R通道、G通道和B通道，分別對(duì)應(yīng)于紅色、綠色和藍(lán)色通道。對(duì)于單個(gè)像素點(diǎn)，分別有3個(gè)灰度值來表示這3個(gè)通道。R通道表示該像素點(diǎn)屬于建筑類別的概率，G通道表示該像素點(diǎn)屬于農(nóng)田類別的概率。對(duì)地震前后SAR圖像各像素點(diǎn)的各通道灰度值作差，可以得到受損區(qū)域的情況。如果某像素點(diǎn)滿足下面的兩個(gè)條件，則該像素點(diǎn)表示損毀的建筑區(qū)域。(1)該像素點(diǎn)在震前SAR圖像中屬于建筑類別，這表明在震前SAR圖像中，R通道灰度值與G通道灰度值之差大于某一閾值。(2)震前圖像R通道灰度值與震后圖像R通道灰度值之差大于某一閾值?？梢杂猛瑯拥姆椒ǖ玫綋p毀的農(nóng)田區(qū)域。上述過程中，需要選取兩個(gè)閾值，實(shí)驗(yàn)結(jié)果表明，在一定的范圍內(nèi)，閾值的選取對(duì)變化檢測(cè)結(jié)果影響較小。建筑損毀情況和農(nóng)田損毀情況如圖5(a)所示，其中損毀的建筑區(qū)域?yàn)榧t色區(qū)域，損毀的農(nóng)田區(qū)域?yàn)榫G色區(qū)域。該結(jié)果與參考文獻(xiàn)[22—24]的研究結(jié)果基本一致。圖5(b)給出了德國衛(wèi)星災(zāi)害信息中心(the Center for Satellite Based Crisis Information, ZKI)[22]的變化檢測(cè)結(jié)果。圖5(c)給出了圖5(a)和圖5(b)中黃色矩形框區(qū)域內(nèi)的細(xì)節(jié)對(duì)比。從圖中可以看出，文中得到的變化檢測(cè)結(jié)果與ZKI的變化檢測(cè)結(jié)果在細(xì)節(jié)和輪廓上都較為一致。

為了驗(yàn)證所提出的變化檢測(cè)方法的有效性，將基于CNN變化檢測(cè)方法的檢測(cè)結(jié)果與其他方法的檢測(cè)結(jié)果進(jìn)行了對(duì)比。圖6(d)，圖6(e)，圖6(f)中分別給出了基于Log-ratio[5]方法、主成分分析(Principle Component Analysis, PCA)[6]方法以及馬爾科夫隨機(jī)場(chǎng)(Markov Random Field, MRF)方法[25]的變化檢測(cè)結(jié)果。圖6(c)給出了基于文中所提方法得到的變化檢測(cè)結(jié)果。從上述結(jié)果中可以看出，各種變化檢測(cè)方法都可以檢測(cè)出被淹沒的農(nóng)田區(qū)域；然而只有基于CNN的變化檢測(cè)方法可以清晰地檢測(cè)到損毀的建筑區(qū)域。從圖6(a)，圖6(b)中可以看出，建筑區(qū)域的損毀是很明顯的，這表明文中所提出的變化檢測(cè)方法在檢測(cè)精確度方面比其他變化檢測(cè)方法更有優(yōu)勢(shì)。另外，相對(duì)于其他變化檢測(cè)方法，基于CNN的變化檢測(cè)方法可以在進(jìn)行變化檢測(cè)的同時(shí)獲知變化區(qū)域的類型。

圖5 變化檢測(cè)結(jié)果Fig. 5 Change detection results

文中采用手動(dòng)提取的方式獲得真實(shí)的變化分布情況，以定量分析各檢測(cè)結(jié)果的統(tǒng)計(jì)特性。選取檢測(cè)率、虛警率、總誤差率及Kappa系數(shù)4個(gè)參數(shù)進(jìn)行性能評(píng)估，其中檢測(cè)率為正確檢測(cè)出的變化像素(True Positive, TP)占總變化像素(Nc)的百分比；虛警率為誤檢像素(False Positive, FP)占像素總數(shù)(N)的百分比；總誤差率為誤檢像素(FP)與漏檢像素(False Negative, FN)之和占像素總數(shù)的百分比。Kappa系數(shù)的計(jì)算如式(1)所示，Nu表示未變化像素，TN(True Negative)表示正確檢測(cè)出的未變化像素。

其中，

表1給出了各種變化檢測(cè)方法的精度對(duì)比。從表中可以看出，基于CNN的變化檢測(cè)方法檢測(cè)率及Kappa系數(shù)較高，虛警率及總誤差率較低。結(jié)果表明基于CNN的變化檢測(cè)方法各項(xiàng)指標(biāo)都優(yōu)于其他方法。

圖6 不同方法得到的變化檢測(cè)結(jié)果Fig. 6 Change detection results with different methods

表1 幾種變化檢測(cè)方法精度對(duì)比Tab. 1 Accuracy comparison of several change detection methods

圖7 受損情況分析Fig. 7 Analysis results of damaged conditions

基于變化檢測(cè)結(jié)果，對(duì)建筑和農(nóng)田的損毀情況進(jìn)行了分析，分析結(jié)果如圖7所示。變化檢測(cè)結(jié)果表明4.6%的建筑在地震中損毀，剩余95.4%的建筑得到保存；另外，15.1%的農(nóng)田在地震后被洪水淹沒，剩余84.9%的農(nóng)田得到保存。農(nóng)田的損毀情況比建筑更嚴(yán)重，這是由于農(nóng)田區(qū)域的地勢(shì)較低，更容易被海嘯所帶來的洪水所淹沒。在特定的研究區(qū)域，基于文中變化檢測(cè)結(jié)果計(jì)算得到的損毀農(nóng)田所占比例約為4.46%，而在相同的區(qū)域Dumitru等人得出的結(jié)果為4.15%[24]，兩者之間較為一致，驗(yàn)證了文中變化檢測(cè)結(jié)果的準(zhǔn)確性。

4 結(jié)論

本文提出了一種基于CNN的SAR圖像變化檢測(cè)方法。在這一方法中，利用CNN模型對(duì)SAR圖像進(jìn)行分類。文中將提出的變化檢測(cè)方法應(yīng)用于地震前后日本仙臺(tái)地區(qū)的SAR圖像，以分析地震對(duì)該地區(qū)的影響。地震前后的SAR圖像被分為建筑、農(nóng)田、水體和山體4類，分類結(jié)果體現(xiàn)了CNN在SAR圖像分類應(yīng)用中的高精度特性。文中給出了研究區(qū)域SAR圖像的變化檢測(cè)結(jié)果，與傳統(tǒng)變化檢測(cè)方法相比，基于CNN的變化檢測(cè)方法不需要人工提取目標(biāo)特征；在檢測(cè)精度方面更具有優(yōu)勢(shì)；并能在得到變化區(qū)域的同時(shí)獲知變化區(qū)域的類別。結(jié)果表明基于CNN的SAR圖像變化檢測(cè)方法是利用SAR圖像進(jìn)行災(zāi)害檢測(cè)的有力工具。另外，基于CNN的變化檢測(cè)方法還可以應(yīng)用于其他遙感圖像。

[1]Cumming I G and Wong F H. Digital Processing of Synthetic Aperture Radar Data: Algorithms and Implementation[M]. Norwood, MA: Artech House, 2005.

[2]Wikipedia. 2011 Tohoku earthquake and tsunami[OL].http://en.wikipedia.org/wiki/2011_Tohoku_earthquake_and_tsunami.

[3]Chini M, Pacifici F, Emery W,et al.. Comparing statistical and neural network methods applied to very high resolution satellite images showing changes in man-made structures at rocky flats[J].IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(6): 1812—1821. DOI: 10.1109/TGRS.2008.916223.

[4]Liao P S, Chen T S, and Chung P C. A fast algorithm for multilevel thresholding[J].Journal of Information Science and Engineering, 2001, 17(5): 713—727.

[5]Bovolo F and Bruzzone L. A detail-preserving scale-driven approach to change detection in multitemporal SAR images[J].IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(12): 2963—2972. DOI: 10.1109/TGRS.2005.857987.

[6]Celik T. Unsupervised change detection in satellite images using principal component analysis and k-means clustering[J].IEEE Geoscience and Remote Sensing Letters,2009, 6(4): 772—776. DOI: 10.1109/LGRS.2009.2025059.

[7]楊祥立, 徐德偉, 黃平平, 等. 融合相干/非相干信息的高分辨率SAR圖像變化檢測(cè)[J]. 雷達(dá)學(xué)報(bào), 2015, 4(5): 582—590.Yang Xiang-li, Xu De-wei, Huang Ping-ping,et al.. Change detection of high resolution SAR images by the fusion of coherent/incoherent information[J].Journal of Radars,2015, 4(5): 582—590. DOI: 10.12000/JR15073.

[8]Wu Ke, Zhong Yan-fei, Wang Xian-min,et al.. A novel approach to subpixel land-cover change detection based on a supervised back-propagation neural network for remotely sensed images with different resolutions[J].IEEE Geoscience and Remote Sensing Letters, 2017, 14(10):1750—1754. DOI: 10.1109/LGRS.2017.2733558.

[9]Feng Wen-qing, Sui Hai-gang, and Tu Ji-hui. Objectoriented change detection for remote sensing images based on multi-scale fusion[C]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B7, 2016: 483—491. DOI: 10.5194/isprs-archives-XLI-B7-483-2016.

[10]Yu Wen-juan, Zhou Wei-qi, Qian Yu-guo,et al.. A new approach for land cover classification and change analysis:Integrating backdating and an object-based method[J].Remote Sensing of Environment, 2016, 177: 37—47. DOI:10.1016/j.rse.2016.02.030.

[11]Blaschke T. Object based image analysis for remote sensing[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2010, 65(1): 2—16. DOI: 10.1016/j.isprsjprs.2009.06.004.

[12]Wu Chen, Du Bo, Cui Xiao-hui,et al.. A post-classification change detection method based on iterative slow feature analysis and Bayesian soft fusion[J].Remote Sensing of Environment, 2017, 199: 241—255. DOI: 10.1016/j.rse.2017.07.009.

[13]田壯壯, 占榮輝, 胡杰民, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像目標(biāo)識(shí)別研究[J]. 雷達(dá)學(xué)報(bào), 2016, 5(3): 320—325.Tian Zhuang-zhuang, Zhan Rong-hui, Hu Jie-min,et al..SAR ATR based on convolutional neural network[J].Journal of Radars, 2016, 5(3): 320—325. DOI: 10.12000/JR16037.

[14]Wei X, Huang P P, Wang R,et al.. Processing of multichannel sliding spotlight and TOPS synthetic aperture radar data[J].IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(8): 4417—4429. DOI: 10.1109/TGRS.2013.2265306.

[15]Simonyan K and Zisserman A. Very deep convolutional networks for large-scale image recognition[R]. International Conference on Learning Representations (ICLR), San Diego,CA, America, May, 2015.

[16]杜康寧, 鄧云凱, 王宇, 等. 基于多層神經(jīng)網(wǎng)絡(luò)的中分辨SAR圖像時(shí)間序列建筑區(qū)域提取[J]. 雷達(dá)學(xué)報(bào), 2016, 5(4): 410—418.Du Kangning, Deng Yunkai, Wang Yu,et al.. Medium resolution SAR image time-series built-up area extraction based on multilayer neural network[J].Journal of Radars,2016, 5(4): 410—418. DOI: 10.12000/JR16060.

[17]Sezgin, M and Sankur B. Survey over image thresholding techniques and quantitative performance evaluation[J].Journal of Electronic Imaging, 2004, 13(1): 146—165. DOI:10.1117/1.1631315.

[18]Glorot X, Bordes A, and Bengio Y. Deep sparse rectifier neural networks[C]. 14th International Conference on Artificial Intelligence and Statistics, Fort Lauderdale, USA,2011: 315—323.

[19]Ioffe S and Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]. 32nd International Conference on Machine Learning, Lille, France, 2015: 448—456.

[20]Kingma D P and Ba J. Adam: A method for stochastic optimization[C]. 3rd International Conference for Learning Representations, San Diego, arXiv: 1412.6980, 2015.

[21]Goodfellow I, Bengio Y, and Courville A. Deep Learning[OL]. 2016. http://www.deeplearningbook.org/.

[22]?ZKI/DLR. 2011. Earthquake and Tsunami in Japan[OL].http://www.zki.dlr.de/article/1893.

[23]Okajima Y, Yoshikawa K, and Shibayama T. Recent experiences utilizing TerraSAR-X for the monitoring of natural disasters in different parts of the world[C]. 2011 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Vancouver, BC, Canada, July, 2011:4296—4299. DOI: 10.1109/IGARSS.2011.6050181.

[24]Dumitru C O, Cui S Y, Faur D,et al.. Data analytics for rapid mapping: Case study of a flooding event in Germany and the tsunami in Japan using very high resolution SAR images[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(1): 114—129.DOI: 10.1109/JSTARS.2014.2320777.

[25]Bruzzone L and Prieto D F. Automatic analysis of the difference image for unsupervised change detection[J].IEEE Transactions on Geoscience and Remote Sensing, 2000,38(3): 1171—1182. DOI: 10.1109/36.843009.

徐 真(1990—)，女，山東人，博士研究生，研究方向?yàn)楹铣煽讖嚼走_(dá)圖像處理技術(shù)。

E-mail: xuzhen0518@163.com

王 宇(1980—)，男，河南人，現(xiàn)為中國科學(xué)院電子學(xué)研究所研究員，博士生導(dǎo)師，研究方向?yàn)镾AR系統(tǒng)設(shè)計(jì)與信號(hào)處理技術(shù)。

E-mail: yuwang@mail.ie.ac.cn

李 寧(1987—)，男，安徽人，畢業(yè)于中國科學(xué)院電子學(xué)研究所，獲得博士學(xué)位，現(xiàn)為中國科學(xué)院電子學(xué)研究所助理研究員，研究方向?yàn)槎嗄Ｊ胶铣煽讖嚼走_(dá)成像及其應(yīng)用技術(shù)。

E-mail: lining_nuaa@163.com

張 衡(1990—)，男，山東人，博士研究生，研究方向?yàn)殡p基合成孔徑雷達(dá)成像技術(shù)。

E-mail: caszhmail@163.com

張 磊(1985—)，男，吉林人，畢業(yè)于中國科學(xué)院電子學(xué)研究所，獲博士學(xué)位，現(xiàn)為中國科學(xué)院電子學(xué)研究所助理研究員，研究方向?yàn)楦叻直媛屎铣煽讖嚼走_(dá)成像技術(shù)。

E-mail: 314forever@163.com

s: National Key Ramp;D Program of China (2017YFB0502700), National Defense Innovation Surface Program of Chinese Academy of Sciences

A Novel Approach to Change Detection in SAR Images with CNN Classification

Xu Zhen①②Wang Robert①Li Ning①Zhang Heng①②Zhang Lei①
①(Institute of Electronics,Chinese Academy of Sciences,Beijing100190,China)
②(University of Chinese Academy of Sciences,Beijing100049,China)

This paper presents a novel Synthetic Aperture Radar (SAR)-image-change-detection method, which integrates effective-image preprocessing and Convolutional Neural Network (CNN) classification. To validate the efficiency of the proposed method, two SAR images of the same devastated region obtained by TerraSAR-X before and after the 2011 Tohoku earthquake are investigated. During image preprocessing, the image backgrounds such as mountains and water bodies are extracted and removed using Digital Elevation Model(DEM) model and Otsu’s thresholding method. A CNN is employed to automatically extract hierarchical feature representation from the data. The SAR image is then classified with the theoretically obtained features.The classification accuracies of the training and testing datasets are 98.25% and 97.86%, respectively. The changed areas between two SAR images are detected using image difference method. The accuracy and efficiency of the proposed method are validated. In addition, with other traditional methods as comparison, this paper presents change-detection results using the proposed method. Results show that the proposed method has higher accuracy in comparison with traditional change-detection methods.

Synthetic Aperture Radar (SAR) image; Change detection; Convolutional Neural Networks (CNN)

TP753

A

2095-283X(2017)05-0483-09

10.12000/JR17075

徐真, 王宇, 李寧, 等. 一種基于CNN的SAR圖像變化檢測(cè)方法[J]. 雷達(dá)學(xué)報(bào), 2017, 6(5): 483—491. DOI:10.12000/JR17075.

Reference format:Xu Zhen, Wang Robert, Li Ning,et al.. A novel approach to change detection in SAR images with CNN classification[J].Journal of Radars, 2017, 6(5): 483—491. DOI: 10.12000/JR17075.

2017-08-14；改回日期：2017-10-18；網(wǎng)絡(luò)出版：2017-10-24

*通信作者： 李寧 lining_nuaa@163.com

國家重點(diǎn)研發(fā)計(jì)劃(2017YFB0502700)，中科院國防科技創(chuàng)新基金面上項(xiàng)目