杜行奇

(1.三峽大學(xué) 湖北省水電工程智能視覺(jué)監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室，湖北 宜昌 443002；2.三峽大學(xué) 計(jì)算機(jī)與信息學(xué)院，湖北 宜昌 443002)

0 引言

遙感變化檢測(cè)是通過(guò)分析同一位置不同時(shí)相的遙感影像來(lái)獲取地表變化信息的過(guò)程,是對(duì)地觀測(cè)應(yīng)用的關(guān)鍵技術(shù),在環(huán)境監(jiān)測(cè)、災(zāi)害評(píng)估、城市研究等領(lǐng)域有著廣泛的應(yīng)用[1-2]。隨著遙感技術(shù)的不斷發(fā)展,遙感影像的空間分辨率不斷提高。高分辨率遙感影像能夠提供更加豐富的地物信息和細(xì)節(jié)信息,地物的尺寸、形狀和鄰域關(guān)系得到更好地反映,極大地?cái)U(kuò)展了遙感變化檢測(cè)的應(yīng)用領(lǐng)域。

近年來(lái),一些遙感學(xué)者嘗試通過(guò)深度學(xué)習(xí)方法進(jìn)行變化檢測(cè)研究,并取得了一定的研究成果[3]。許多經(jīng)典神經(jīng)網(wǎng)絡(luò)已被應(yīng)用到遙感變化檢測(cè)任務(wù),并取得不錯(cuò)的檢測(cè)效果。文獻(xiàn)[4]采用Deeplab網(wǎng)絡(luò)作為主干網(wǎng),對(duì)比時(shí)序影像差異得到了變化檢測(cè)范圍,為自動(dòng)化變化檢測(cè)提供了解決方案。文獻(xiàn)[5]利用時(shí)空融合模型重建遙感影像,并采用迭代加權(quán)多元變化檢測(cè)算法對(duì)影像進(jìn)行變化檢測(cè),得到了精度較高的變化檢測(cè)精度。文獻(xiàn)[6]提出了一種雙注意力機(jī)制的全卷積暹羅網(wǎng)絡(luò),可以捕獲特征間的依賴關(guān)系,獲得更多特征表達(dá)。結(jié)合加權(quán)雙邊際對(duì)比損失函數(shù)解決樣本不平衡問(wèn)題,提高變化檢測(cè)精度。文獻(xiàn)[7]使用改進(jìn)的雙峰分裂閾值法對(duì)建筑物產(chǎn)生的陰影等做檢測(cè)和去除,并結(jié)合隨機(jī)森林方法對(duì)研究區(qū)域內(nèi)地物進(jìn)行分類(lèi),根據(jù)分類(lèi)結(jié)果進(jìn)行變化檢測(cè)。

盡管許多深度學(xué)習(xí)方法的改進(jìn)中使用了注意力機(jī)制[8]、多尺度特征融合[9-10]、改進(jìn)特征提取網(wǎng)絡(luò)結(jié)構(gòu)[11-12]等操作來(lái)提高變化檢測(cè)精度并降低參數(shù)量,但大多數(shù)方法是針對(duì)提取到的特征來(lái)進(jìn)行分析和分類(lèi),許多特征已經(jīng)在下采樣過(guò)程中丟失。U型網(wǎng)絡(luò)(Unet)[13]最早應(yīng)用于醫(yī)學(xué)影像分割中,近年來(lái)越來(lái)越多的研究人員將其運(yùn)用到各種各樣的圖像處理任務(wù)中。以Unet為基礎(chǔ)網(wǎng)絡(luò),增加多層次級(jí)聯(lián)的增強(qiáng)U型網(wǎng)絡(luò)(Unet++)[14]、上采樣之前經(jīng)過(guò)多尺度特征融合的特征金字塔網(wǎng)絡(luò)[10]等都是以Unet為基本特征提取網(wǎng)絡(luò)而改進(jìn)的U型網(wǎng)絡(luò)。本文基于Unet模型提出了一種多通道、多尺度融合的U型深度網(wǎng)絡(luò)——MCFFNet。以Unet為基礎(chǔ)結(jié)構(gòu),將其擴(kuò)展為雙通道網(wǎng)絡(luò)結(jié)構(gòu)。每次下采樣時(shí),都會(huì)使用雙池化操作級(jí)聯(lián)上層信息融合至本層。同時(shí)增加通道3以提取不同于通道1、2的全局特征。每次進(jìn)行下采樣時(shí)都會(huì)生成相應(yīng)尺度的預(yù)分類(lèi)影像來(lái)凸顯變化區(qū)域,生成的多尺度預(yù)分類(lèi)影像會(huì)將差異信息分為變化、非變化、不確定類(lèi)并增強(qiáng)不確定類(lèi)的比重進(jìn)而增強(qiáng)網(wǎng)絡(luò)辨別變化區(qū)域的能力。

1 研究方法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

在使用Unet模型進(jìn)行訓(xùn)練時(shí),5層下采樣操作之間相對(duì)獨(dú)立,下層的輸入完全來(lái)自上層的輸出,隨著網(wǎng)絡(luò)層數(shù)的不斷增加,眾多的中間過(guò)程會(huì)產(chǎn)生較多的累積誤差。因此,本文使用雙池化結(jié)構(gòu)增加上下層的聯(lián)系,并且每一次下采樣都生成相應(yīng)尺度的預(yù)分類(lèi)特征圖,以降低特征提取過(guò)程中的累積誤差。另外,單獨(dú)5個(gè)下采樣層提取到的影像特征有限,所以本文將Unet擴(kuò)展為雙通道,用于分別提取兩時(shí)期影像特征,然后又增加了第3通道提取不同于1、2通道的其他特征,深入挖掘影像多尺度特征。

圖1為本實(shí)驗(yàn)方法MCFFNet的網(wǎng)絡(luò)結(jié)構(gòu),是一種標(biāo)準(zhǔn)的編碼器-解碼器結(jié)構(gòu),其中主要包括三部分:① 多通道特征提取框架;② 預(yù)分類(lèi)模塊; ③ 多特征融合上采樣部分。多個(gè)通道可以提取影像不同類(lèi)型的特征,上采樣時(shí)所融合的特征中包含比較豐富的變化部分的特征及淺層特征。另外,每層下采樣時(shí)使用雙池化操作可以減少特征丟失,增強(qiáng)變化部分的特征表達(dá)。增加預(yù)分類(lèi)模塊可以將淺層特征信息和每個(gè)尺度下的差異信息通過(guò)長(zhǎng)連接復(fù)制到相應(yīng)尺度的上采樣部分,補(bǔ)償下采樣提取深度特征時(shí)的特征損失。下采樣結(jié)束后,將提取到的特征融合然后不斷反卷積,并在此過(guò)程中加入相應(yīng)尺度的差異信息,最后一層上采樣之后再經(jīng)過(guò)一次卷積然后使用Sigmoid函數(shù)激活得到單次最終變化檢測(cè)結(jié)果圖。

圖1 MCFFNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 MCFFNet network structure

1.2 多通道特征提取框架

傳統(tǒng)的Unet只有單個(gè)通道,一種特征提取模式,提取特征比較固定且容易丟失,而大多數(shù)雙通道網(wǎng)絡(luò)共享參數(shù),提取到的特征多樣化程度有限。為了解決這一問(wèn)題,本文提出了由通道1、2、3以及雙池化組成的多通道特征提取結(jié)構(gòu),其中通道1、2與Unet編碼模塊結(jié)構(gòu)相同。

通道3注重提取與通道1、2不同的全局特征,使用不同的特征提取結(jié)構(gòu)和激活方式。通道1、2使用連續(xù)的3×3卷積核擴(kuò)大感受野,在通道3上本文加入了4×4卷積核對(duì)圖像進(jìn)行卷積,而后使用2次3×3卷積,與主通道相比擴(kuò)大了感受野且卷積核數(shù)量從32開(kāi)始,每次卷積時(shí)卷積核個(gè)數(shù)翻倍,一直到第5層卷積的512個(gè)通道。在此通道,本文用多層小卷積核取得了使用6×6卷積核一樣的效果,但參數(shù)量大大降低并且增加了函數(shù)非線性程度,使判決函數(shù)更有判決性。同時(shí)每層卷積后使用Elu函數(shù)[15]激活,此函數(shù)不同于主通道使用ReLU函數(shù),其激活范圍更廣并且不存在神經(jīng)元失活問(wèn)題,可以縮短訓(xùn)練時(shí)間并提高精度。使用雙池化操作主要是解決單一模式的池化方法會(huì)丟失部分圖像特征的問(wèn)題。卷積提取特征時(shí),在每一層的最后一次卷積之后會(huì)進(jìn)行平均池化和最大池化雙池化操作,然后將雙池化后的特征融合作為下次下采樣的輸入,之后的每層都會(huì)有此操作。2種池化方式結(jié)合進(jìn)行下采樣會(huì)得到全局特征、細(xì)節(jié)特征、位置特征和空間特征融合的豐富特征影像。

通道1、2提取特征時(shí),每次下采樣得到的不同尺度特征圖都會(huì)級(jí)聯(lián)在一起,而上采樣得到的信息是從深層特征反卷積而來(lái),這時(shí)融合下采樣過(guò)程中的淺層特征會(huì)豐富影像特征,可以賦予影像深淺層的特征信息。

1.3 差異特征模塊

增加差異特征信息可以強(qiáng)化變化區(qū)域,抑制偽變化,并可以有效地提高變化檢測(cè)精度,所以在本實(shí)驗(yàn)中增加了差異特征提取模塊。在第一層卷積后通道1、2分別得到大小為256 pixel×256 pixel×32 pixel的特征圖,用式(1)進(jìn)行運(yùn)算后可以分出變化類(lèi)、不變類(lèi),將其分別置為0和1而不確定類(lèi)保持原值,置為0或1后的值對(duì)后續(xù)參數(shù)更新影響極小,促使網(wǎng)絡(luò)更加關(guān)注于不易區(qū)分變化的數(shù)據(jù)、有較強(qiáng)的變化區(qū)域區(qū)分能力。

(1)

式中:i為1、2、3、4、5,Ai(out)為通道1第i個(gè)卷積模塊的輸出,Bi(out)為通道2第i個(gè)卷積模塊的輸出。

通道1、2每次下采樣都使用預(yù)分類(lèi)模塊,下采樣過(guò)程結(jié)束后可以生成5種尺度的差異特征圖。當(dāng)進(jìn)行上采樣操作時(shí),反卷積操作會(huì)先將接收到的上層特征圖恢復(fù)部分大小,然后將對(duì)應(yīng)尺度的預(yù)分類(lèi)信息融入其中進(jìn)而凸顯變化區(qū)域,抑制偽變化,以達(dá)到提高變化檢測(cè)精度的目的。

1.4 損失函數(shù)

本文中,使用基于二元交叉熵和Dice的混合損失函數(shù)[16](Loss),在上采樣的最后得到變化概率后根據(jù)真實(shí)變化圖計(jì)算損失,然后再通過(guò)反向傳播來(lái)迭代訓(xùn)練網(wǎng)絡(luò)中的參數(shù)直到滿足迭代停止條件時(shí)停止迭代,保存迭代停止時(shí)參數(shù)用于生成變化檢測(cè)圖。損失函數(shù)如下:

Loss=Lbce+λLDice,

(2)

式中:Lbce為二元交叉熵?fù)p失函數(shù),LDice為Dice損失函數(shù),λ為平衡這2個(gè)損失函數(shù)的系數(shù),在本實(shí)驗(yàn)中取0.5。

(3)

(4)

Lbce=Lbce1-Lbce2,

(5)

式中:β為未變像素在影像中所占比重,Y+、Y-分別為真實(shí)標(biāo)簽圖像中變化像素和不變像素的數(shù)量,Pr(.)為像素j處經(jīng)過(guò)Sigmoid層激活后的輸出,yj為第j個(gè)像素的值。

(6)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

為了檢驗(yàn)所構(gòu)建網(wǎng)絡(luò)的特征提取能力及變化檢測(cè)精度,本文使用CDD季節(jié)變化數(shù)據(jù)集和WHU建筑物變化數(shù)據(jù)集進(jìn)行本次實(shí)驗(yàn)。

① CDD數(shù)據(jù)集在文獻(xiàn)[17]中首次使用并公開(kāi),此數(shù)據(jù)集是變化檢測(cè)領(lǐng)域最常用的數(shù)據(jù)集之一。數(shù)據(jù)集由谷歌地球獲得7對(duì)分辨率為4 725 pixel×2 700 pixel的季節(jié)變化圖像。根據(jù)實(shí)際情況手動(dòng)分為4個(gè)季節(jié)的變化圖像,分割獲得了13 000幅大小為256 pixel×256 pixel×3 pixel的影像。每幅影像包括兩時(shí)期的遙感影像及兩時(shí)期遙感影像的真實(shí)變化圖,空間分辨率為0.03～1 m,其中訓(xùn)練集為10 000幅,測(cè)試集為3 000幅。

② WHU建筑物數(shù)據(jù)集來(lái)源于文獻(xiàn)[18],該數(shù)據(jù)集包含了近20萬(wàn)km2區(qū)域的12 796棟建筑,影像主要關(guān)注自2011年發(fā)生自然災(zāi)害重建后的區(qū)域。數(shù)據(jù)集包含2對(duì)高分辨率遙感影像,分辨率分別為21 243 pixel×15 354 pixel、11 265 pixel×15 354 pixel,并且該數(shù)據(jù)集只關(guān)注建筑物的變化部分,忽略了非建筑物變化部分。為了訓(xùn)練方便、快速,本文將2幅高分辨率遙感影像裁剪成256 pixel×256 pixel,裁剪后的數(shù)據(jù)集中包括訓(xùn)練集600對(duì)影像,測(cè)試集613對(duì)影像。

2.2 實(shí)驗(yàn)設(shè)計(jì)

為評(píng)估MCFFNet變化檢測(cè)方法的性能,在2組數(shù)據(jù)集上與7種近年來(lái)比較先進(jìn)且有代表性的變化檢測(cè)算法進(jìn)行對(duì)比,包括:STANet、Unet++、Unet、DSIFN、Unet++MSOF、DASNet、DifUnet++。其中,Unet為U型網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò), Unet++MSOF、Unet++、DifUnet++則是基于Unet的變形與改進(jìn),其他對(duì)照方法改進(jìn)來(lái)源非Unet。實(shí)驗(yàn)中使用Adam[19]優(yōu)化器,學(xué)習(xí)率設(shè)置為1×10-5,訓(xùn)練批次為4,訓(xùn)練150輪后模型逐漸收斂。

對(duì)于實(shí)驗(yàn)評(píng)價(jià)指標(biāo),本文選用了變化檢測(cè)領(lǐng)域常用的精度評(píng)價(jià)指標(biāo),包括準(zhǔn)確率(Accuracy,Acc):分類(lèi)正確的正樣本個(gè)數(shù)占分類(lèi)器分成的所有正樣本個(gè)數(shù)的比例;精確率(Precision,Pre):以預(yù)測(cè)結(jié)果為依據(jù),預(yù)測(cè)為正例的樣本中正確的像素所占比例;召回率(Recall,Rec):實(shí)際樣本為依據(jù),正例樣本中,被預(yù)測(cè)正確的正例占總實(shí)際正例樣本的比例;F1值:平衡精確率和召回率。4種精度評(píng)價(jià)方法。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 CDD數(shù)據(jù)集

表1給出了8種不同方法在CDD數(shù)據(jù)集上的變化檢測(cè)定量精度指標(biāo)。圖2給出了8種不同方法的部分實(shí)驗(yàn)結(jié)果,本文從每個(gè)方法中選取同樣的3張變化檢測(cè)結(jié)果,分別編號(hào)①～③,7種對(duì)照方法分別編號(hào)(a)～(g),(h)為本實(shí)驗(yàn)方法,(i)為影像真實(shí)標(biāo)簽。由表1可以看出,本文方法MCFFNet獲得了4種評(píng)價(jià)指標(biāo)最高值,其中綜合評(píng)價(jià)指標(biāo)F1值比精度最高的對(duì)照方法高出3.99%,比基礎(chǔ)網(wǎng)絡(luò)Unet高出13.08%。

表1 CDD數(shù)據(jù)變化檢測(cè)定量指標(biāo)

圖2 各算法關(guān)于CDD數(shù)據(jù)的變化檢測(cè)實(shí)驗(yàn)結(jié)果Fig.2 Change detection experiment results of various algorithms on CDD data

實(shí)驗(yàn)中的大多數(shù)方法可以將影像大致的變化區(qū)域與非變化區(qū)域區(qū)分開(kāi),STANet方法變化檢測(cè)精度較低,只能檢測(cè)出部分變化區(qū)域,并且變化區(qū)域相對(duì)模糊,缺失了較多的細(xì)節(jié)信息,其雙注意力機(jī)制處理細(xì)微變化部分效率相對(duì)較低,所以其召回率和精確率都相對(duì)較低。Unet++和Unet方法可以恢復(fù)變化區(qū)域大致范圍但特征提取能力不強(qiáng),特征丟失較多。DSIFN可以檢測(cè)出變化部分輪廓,但內(nèi)部細(xì)節(jié)部分丟失較多,無(wú)法像DifUnet++方法在檢出變化部分輪廓的同時(shí)對(duì)細(xì)節(jié)變化部分仍有較好效果。Unet++MSOF網(wǎng)絡(luò)注重深淺層特征信息融合,可以將細(xì)節(jié)部分檢測(cè)出來(lái),但難以區(qū)分大面積變化區(qū)域間的非變化區(qū)域。DASNet方法可以比較清晰地區(qū)分變與不變類(lèi),但精細(xì)化程度不高,因丟失了較多細(xì)節(jié)信息導(dǎo)致召回率也相對(duì)較低。

3.2 WHU建筑物數(shù)據(jù)集

圖3給出了8種算法關(guān)于WHU建筑物數(shù)據(jù)集的變化檢測(cè)結(jié)果。表2給出了各方法關(guān)于WHU建筑物數(shù)據(jù)集的變化檢測(cè)定量指標(biāo)。在此數(shù)據(jù)集中,所提出的MCFFNet明顯優(yōu)于其他7種對(duì)比網(wǎng)絡(luò)。由圖3可以看出,其能夠檢測(cè)出絕大部分變化區(qū)域,錯(cuò)檢漏檢相對(duì)較少,在表2中其F1值達(dá)到了91.00%,比DifUnet++要高出3.38%,比DASNet高出8.12%。4種評(píng)價(jià)指標(biāo)均在此建筑物變化檢測(cè)數(shù)據(jù)集中達(dá)到最高。

表2 WHU數(shù)據(jù)集變化檢測(cè)定量指標(biāo)

圖3 各算法關(guān)于WHU數(shù)據(jù)的變化檢測(cè)實(shí)驗(yàn)結(jié)果Fig.3 Change detection experiment results of various algorithms on WHU data

由圖3和表2可以看出,DASNet在此數(shù)據(jù)集中表現(xiàn)不佳,其變化檢測(cè)結(jié)果中出現(xiàn)了大量的錯(cuò)檢區(qū)域,由于建筑物數(shù)據(jù)集只關(guān)注建筑物變化部分,所有在經(jīng)過(guò)注意力機(jī)制后全部的變化區(qū)域?qū)?huì)被加強(qiáng),所以錯(cuò)檢、漏檢區(qū)域相應(yīng)較多。STANet使用的雙注意力機(jī)制可以強(qiáng)化變化區(qū)域,所以錯(cuò)檢相對(duì)較少但漏檢較多。Unet++方法變化檢測(cè)精度略有提升,錯(cuò)檢比例相對(duì)DASNet方法減少了很多,并且其錯(cuò)檢、漏檢均限定在一定范圍。DifUnet++和DSIFN在此數(shù)據(jù)集上仍然表現(xiàn)良好,在3幅實(shí)驗(yàn)影像中都能檢測(cè)出絕大部分變化區(qū)域并且錯(cuò)檢相對(duì)較少,無(wú)大面積錯(cuò)檢、漏檢區(qū)域。

4 總結(jié)與討論

本文提出了一種多通道、多尺度特征融合的深度U型網(wǎng)絡(luò)MCFFNet應(yīng)用于遙感影像變化檢測(cè)任務(wù)中,使用遙感影像變化檢測(cè)領(lǐng)域常用數(shù)據(jù)集——CDD數(shù)據(jù)集和WHU建筑物數(shù)據(jù)集驗(yàn)證了本方法的優(yōu)異性,結(jié)論如下:

① 實(shí)驗(yàn)中擴(kuò)展單通道Unet為雙通道,然后加入通道3提取不同于通道1、2的特征,2種特征提取方式及雙池化結(jié)構(gòu)構(gòu)成了多通道特征提取框架。在每次下采樣過(guò)程中利用通道1、2來(lái)提取2幅影像的差異特征并將其分為變化、不變、不確定的3類(lèi)預(yù)分類(lèi)圖用于凸顯變化區(qū)域,并在上采樣過(guò)程中級(jí)聯(lián)至上采樣部分補(bǔ)償深層特征損失。多通道特征提取可以保證提取到的影像特征信息豐富,做到將絕大多數(shù)的變化部分特征提取出來(lái)。多種特征恢復(fù)措施使得網(wǎng)絡(luò)可以區(qū)分較為精細(xì)的特征,做到大面積變化區(qū)域不錯(cuò)分、小變化區(qū)域不漏檢。實(shí)驗(yàn)證明,此多通道特征提取框架可以有效提取圖像全局和細(xì)節(jié)特征,有效提高了變化檢測(cè)精度。

② 所提出的MCFFNet方法在CDD和WHU兩個(gè)數(shù)據(jù)集上均取得了相對(duì)最優(yōu)實(shí)驗(yàn)結(jié)果,在STANet、Unet++、Unet、DSIFN、Unet++MSOF、DASNet、DifUnet++這7種對(duì)照方法中獲得了最高精度,4種精度評(píng)價(jià)指標(biāo)均最高。

5 結(jié)束語(yǔ)

在基于深度學(xué)習(xí)的遙感影像變化檢測(cè)方法中,影像深度特征的提取、深淺層特征融合以及變化區(qū)域的準(zhǔn)確、完整提取是該領(lǐng)域中比較重要的研究方向。目前多數(shù)網(wǎng)絡(luò)特征提取能力弱、無(wú)法做到多尺度特征融合,限制了變化檢測(cè)精度的提高。本文提出的基于深度U型網(wǎng)絡(luò)的遙感影像變化檢測(cè)方法經(jīng)過(guò)多種數(shù)據(jù)集驗(yàn)證表明,其可以有效提取影像深層特征;使用的預(yù)分類(lèi)模塊有力地提升了網(wǎng)絡(luò)區(qū)分變與不變的能力;雙池化結(jié)構(gòu)加強(qiáng)了卷積層之間的聯(lián)系,多次連續(xù)卷積產(chǎn)生的累積誤差得以降低。經(jīng)過(guò)上采樣多尺度特征融合后,在多種數(shù)據(jù)集上得到了較優(yōu)的變化檢測(cè)結(jié)果。

在后續(xù)的研究中將針對(duì)如何降低訓(xùn)練集規(guī)模、自動(dòng)選擇少量重要樣本并得到精度較高的變化檢測(cè)結(jié)果進(jìn)行一系列實(shí)驗(yàn)。