張吉玲,王慶,王靜,閆爍月,陳卓然

(1.江西省軍民融合研究院,南昌 330200;2.長(zhǎng)江大學(xué) 地球科學(xué)學(xué)院,武漢 430100;3.武漢區(qū)域氣候中心,武漢 430074)

0 引言

遙感影像變化檢測(cè)是結(jié)合地物特性、遙感成像機(jī)理和相關(guān)地理空間數(shù)據(jù),將同一地表不同時(shí)期的多源遙感影像,采用數(shù)理模型及圖像處理理論來提取和分析該地表區(qū)域的變化,包括地區(qū)位置、范圍、性質(zhì)的變化[1]。隨著遙感平臺(tái)和傳感器的發(fā)展,積累了大量多源、多尺度、多類型的遙感圖像,遙感影像變化檢測(cè)得到廣泛應(yīng)用,例如城市變化監(jiān)測(cè)[2]、土地利用及覆蓋變化分析[3]、自然災(zāi)害災(zāi)后分析及評(píng)估[4]和環(huán)境監(jiān)測(cè)[5]等,因此變化檢測(cè)一直是遙感領(lǐng)域的研究熱點(diǎn)之一。

在變化檢測(cè)研究初期,大多使用人工目視解譯方法,由于其工作繁雜、工作量大、解譯效率極低,已無法滿足實(shí)際生產(chǎn)及發(fā)展需求。隨后提出的分類后比較法、變化向量法和主成分分析法等傳統(tǒng)的變化檢測(cè)方法,雖然能快速識(shí)別變化區(qū)域,但由于這類方法或?qū)D像預(yù)處理要求較高或需要進(jìn)行閾值分割和聚類分析等,使變化檢測(cè)過程仍過多依賴人工干預(yù),產(chǎn)生較大的誤差,不能充分利用高分辨率遙感影像包含的豐富地物信息,從而造成變化檢測(cè)效果差、精度低。因此研究如何實(shí)現(xiàn)機(jī)器自動(dòng)確定變化區(qū)域是推進(jìn)變化檢測(cè)發(fā)展的主要?jiǎng)恿6]。

近年來,深度學(xué)習(xí)技術(shù)得到快速發(fā)展,并成功應(yīng)用到變化檢測(cè)領(lǐng)域。與傳統(tǒng)的檢測(cè)方法不同,結(jié)合深度學(xué)習(xí)的變化檢測(cè)可以作為語義分割任務(wù)來處理,檢測(cè)過程無需人工干預(yù),能實(shí)現(xiàn)端到端的檢測(cè),且可以快速處理大量數(shù)據(jù),提升了效率和精度。當(dāng)前基于深度學(xué)習(xí)的變化檢測(cè)可根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)分為單分支結(jié)構(gòu)和多分支結(jié)構(gòu)。單分支結(jié)構(gòu)即只有一個(gè)子網(wǎng)絡(luò),如常振良等[7]提出的使用異感受野和多尺度特征張量?jī)?yōu)化的DeeplabV3+網(wǎng)絡(luò),其為單分支結(jié)構(gòu)。Zhang等[8]提出基于特征金字塔和梯形U-Net網(wǎng)絡(luò)的變化檢測(cè)模型,該模型可以很好地學(xué)習(xí)多尺度的特征,但由于精確定位和上下文信息間的權(quán)衡,U-Net只能獲得較少的上下文信息。張翠軍等[9]采用非對(duì)稱卷積塊和注意力機(jī)制改進(jìn)U-Net網(wǎng)絡(luò),將變化檢測(cè)轉(zhuǎn)化為像素級(jí)二分類問題,實(shí)現(xiàn)了端到端的檢測(cè)。Peng等[10]提出一種多側(cè)輸出策略的改進(jìn)U-Net++檢測(cè)模型,充分利用全局信息和細(xì)粒度信息從而緩解變化檢測(cè)中誤差傳播的問題。這種單分支結(jié)構(gòu)的檢測(cè)模型,通常通過差異比較或疊加的方式將影像輸入至網(wǎng)絡(luò),容易導(dǎo)致原始影像的高維特征流失,造成檢測(cè)誤差。多分支結(jié)構(gòu)可分為孿生網(wǎng)絡(luò)和偽孿生網(wǎng)絡(luò),主要區(qū)別在于孿生網(wǎng)絡(luò)在兩個(gè)分支提取圖像特征時(shí)共享權(quán)值,而偽孿生網(wǎng)絡(luò)則不共享。如Raza等[11]通過使用注意力機(jī)制進(jìn)行特征融合,并設(shè)計(jì)高效卷積模塊改進(jìn)U-Net++,以此增強(qiáng)模型對(duì)影像細(xì)粒度特征的提取,提升檢測(cè)性能。Wang等[12]提出孿生結(jié)構(gòu)的基于注意力機(jī)制的深度監(jiān)督網(wǎng)絡(luò)進(jìn)行變化檢測(cè),能夠充分利用影像的地物信息。Jiang等[13]提出基于特征金字塔的孿生網(wǎng)絡(luò),解決遙感正射影像建筑物變化檢測(cè)中建筑物與位移的復(fù)雜變化關(guān)系。Xu等[14]和Touati等[15]都提出了偽孿生網(wǎng)絡(luò)來完成變化檢測(cè)任務(wù),其結(jié)構(gòu)都由兩個(gè)并行的權(quán)值不共享的卷積神經(jīng)網(wǎng)絡(luò)組成。多分支結(jié)構(gòu)的檢測(cè)模型有效保留了影像的高維特征,但由于高分辨率影像信息的復(fù)雜性,檢測(cè)結(jié)果仍舊存在檢測(cè)邊界模糊、小目標(biāo)漏檢、偽變化較多等問題。

基于上述研究,本文提出了一種基于孿生結(jié)構(gòu)的Siam-FAUnet高分辨率影像變化檢測(cè)模型。該模型采用編碼-解碼結(jié)構(gòu),編碼部分使用改進(jìn)的VGG16提取影像特征,利用空洞空間金字塔池化模塊[16]提取多尺度上下文特征,并在解碼部分使用流對(duì)齊模塊[17]融合編碼器中提取的特征信息。通過使用公開數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明,該模型能夠提高變化檢測(cè)中小目標(biāo)變化檢測(cè)的精度,避免圖像邊界不清晰以及變化區(qū)域致密性不高的問題,增強(qiáng)變化檢測(cè)的泛化性,推動(dòng)高分辨率遙感變化檢測(cè)向自動(dòng)化和高效化發(fā)展。

1 研究方法

1.1 基于Siam-FAUnet的變化檢測(cè)網(wǎng)絡(luò)的結(jié)構(gòu)

Siam-FAUnet模型如圖1所示,該模型由兩部分組成,分別是預(yù)測(cè)模塊和殘差修正模塊。由編碼器和解碼器組成的預(yù)測(cè)模塊接收T1和T2兩時(shí)相的遙感圖像。在這個(gè)模塊中,網(wǎng)絡(luò)利用圖像信息進(jìn)行多次重復(fù)的卷積和反卷積來提取深層次、多尺度的特征信息,實(shí)現(xiàn)對(duì)變化區(qū)域的預(yù)測(cè)。殘差修正模塊可以減少預(yù)測(cè)圖與地面真值的殘差,以提高變化檢測(cè)的精度得到較為準(zhǔn)確的變化二值圖。

圖1 Siam-FAUnet結(jié)構(gòu)圖

1.2 預(yù)測(cè)模塊

為了解決模型感受域不足以覆蓋多尺度目標(biāo)地物,導(dǎo)致變化檢測(cè)結(jié)果不夠細(xì)化、變化邊界不清晰的問題,在預(yù)測(cè)模塊中設(shè)計(jì)多分支的編碼-解碼結(jié)構(gòu)網(wǎng)絡(luò)。編碼器采用孿生結(jié)構(gòu)的VGG16前4塊進(jìn)行特征提取,其中每個(gè)塊有兩個(gè)卷積層和一個(gè)窗口大小為2×2、步長(zhǎng)為2的最大池化層。卷積運(yùn)算之后是批量歸一化層和ReLU激活函數(shù)。在這些卷積塊中,使用的卷積核大小為3×3,每塊卷積核的數(shù)目分別為32、64、128、256。由于遙感圖像中包括不同尺度的物體,且同物體的紋理、色彩也不一致,若僅使用池化層提取語義信息會(huì)導(dǎo)致感知域無法覆蓋整個(gè)物體,最終在結(jié)果中造成變化邊界不清晰等問題,因此在編碼器最后一層添加空洞空間金字塔模塊進(jìn)行特征融合,以此來獲取影像中不同尺度的上下文信息,提高檢測(cè)精度。與編碼器相對(duì)應(yīng)的解碼器也有5個(gè)塊組成,該部分的前4個(gè)塊都對(duì)應(yīng)編碼器相對(duì)的上一個(gè)塊,并通過流對(duì)齊模塊進(jìn)行特征映射,以恢復(fù)部分在編碼階段丟失的語義信息。通過使用流對(duì)齊模塊來替代傳統(tǒng)的直接拼接的方式進(jìn)行上采樣,可以減少特征傳遞時(shí)造成的語義信息流失。

1)空洞空間金字塔模塊(atrous spatial pyramid pooling,ASPP)。遙感影像中的地物尺度差異較大,且變化出現(xiàn)的位置是隨機(jī)的,而傳統(tǒng)的池化操作是在固定尺度下的采樣,這會(huì)導(dǎo)致網(wǎng)絡(luò)無法充分利用到圖像的全局信息,對(duì)不同尺度物體的分割差異較大。ASPP模塊的提出可以有效緩解這類問題,其結(jié)構(gòu)如圖2所示。ASSP通過對(duì)輸入特征進(jìn)行不同膨脹率的空洞卷積采樣,并且將得到的結(jié)果拼接,利用1×1卷積層將特征圖的通道數(shù)降低到預(yù)期值。在網(wǎng)絡(luò)中引入ASSP模塊可以增大網(wǎng)絡(luò)的感受野,也可以在保證原始圖像細(xì)節(jié)的同時(shí)提取更大區(qū)域內(nèi)的特征,這樣可以實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)遙感圖像更加細(xì)致的分類,從而使變化檢測(cè)達(dá)到更好的效果。

圖2 空洞空間金字塔池化結(jié)構(gòu)示意圖

圖3 流對(duì)齊模塊(FAM)整體結(jié)構(gòu)示意圖

(1)

式中:ωp是通過距離估計(jì)的雙線性插值核權(quán)重;Fn(p)是低分辨率特征圖在位置p處的值;N(pn)是位置pn的4個(gè)鄰域。因此,FAM可以學(xué)習(xí)不同分辨率特征間的語義流,生成的偏移場(chǎng)即語義流場(chǎng),可以更有效地將語義信息從粗糙特征傳遞到高分辨率的細(xì)化特征中,以此解決特征融合時(shí)直接拼接方式造成的語義不對(duì)齊問題。

1.3 殘差修正模塊

若預(yù)測(cè)模塊的檢測(cè)結(jié)果未進(jìn)行修正處理,容易存在圖斑空洞、檢測(cè)邊界不平滑等問題,以至于最后預(yù)測(cè)所得結(jié)果與實(shí)際變化之間存在較大差異。為了減少這種差異,在模型中設(shè)計(jì)了一種膨脹卷積殘差修正模塊。此模塊以預(yù)測(cè)模塊輸出的語義信息為輸入,在訓(xùn)練過程中自動(dòng)學(xué)習(xí)輸入特征與真實(shí)結(jié)果之間的殘差,進(jìn)一步細(xì)化輸入的圖像,產(chǎn)生更加準(zhǔn)確的語義分割結(jié)果。

在高分辨率遙感圖像中存在一個(gè)很重要的問題,即由于不同地物的紋理、光譜、形狀等都不盡相同,在進(jìn)行圖像特征提取時(shí),無法兼顧不同尺度的地物以及地物周圍的背景,這就造成無法提取圖像的全域特征,最終使得變化檢測(cè)結(jié)果中地物邊界不清晰、檢測(cè)不完全等問題。因此,本文所提出的膨脹卷積殘差修正模塊具有不用尺度的感受野,可以提取更深層次圖像特征。

膨脹卷積殘差修正模塊的結(jié)構(gòu)如圖4所示。它使用4個(gè)不同膨脹率的卷積層來提取特征,膨脹率分別為2、4、8、16,膨脹卷積核的個(gè)數(shù)為32。然后采用疊加的方式將不同感受域的特征圖融合。每個(gè)卷積層之后都使用批量歸一化和ReLU激活函數(shù)。由于此模塊的輸入包含圖像預(yù)測(cè)的初始信息,因此本文再將輸入圖像與此過程所獲得的特征圖進(jìn)行相加融合,以獲取更加細(xì)化的變化信息,最后使用softmax函數(shù)獲得的變化像素與非變化像素的分類概率得到最終修正后的變化檢測(cè)圖像。

圖4 殘差修正模型結(jié)構(gòu)圖

1.4 損失函數(shù)

交叉熵?fù)p失函數(shù)(cross entropy,CE)[18]是一種基于經(jīng)驗(yàn)誤差最小化的損失函數(shù)。盡管交叉熵?fù)p失函數(shù)能對(duì)模型分類的總體精度進(jìn)行優(yōu)化,但是數(shù)據(jù)集中不同類別樣本數(shù)量分布不均衡時(shí),采用這種損失函數(shù)訓(xùn)練的網(wǎng)絡(luò)其預(yù)測(cè)結(jié)果會(huì)更偏向于樣本量較多的一方,而樣本量較少的會(huì)被忽略,從而造成雖然損失函數(shù)值很小但是對(duì)樣本量所占比例小的類別預(yù)測(cè)結(jié)果較差。

Dice損失函數(shù)在訓(xùn)練過程中對(duì)同一類別的所有像元進(jìn)行整體分析,從而計(jì)算出其交集在總體中的比例,因此對(duì)樣本量較少類別的分類結(jié)果不會(huì)受到樣本量大類別的影響,能夠使網(wǎng)絡(luò)實(shí)現(xiàn)更好的提取效果。

遙感變化檢測(cè)任務(wù)實(shí)質(zhì)上是從圖像中提取出變化像素和未變化像素,其損失函數(shù)一般采用交叉熵?fù)p失函數(shù)。然而大多數(shù)時(shí)在遙感影像中變化像素與未變化像素的分布是不均衡的,尤其是當(dāng)變化像素或未變化像素集中出現(xiàn)時(shí),會(huì)導(dǎo)致較嚴(yán)重的誤差。因此,本文提出將交叉熵?fù)p失與Dice損失結(jié)合,并賦權(quán)重λ到CE-Dice損失函數(shù)。其定義如式(2)所示。

LCE-Dice=LCE+λLDice

(2)

式中:LCE-Dice代表研究使用的損失函數(shù)CE-Dice損失;LDice是指Dice損失;LCE是交叉熵?fù)p失;λ用于調(diào)節(jié)兩個(gè)組合項(xiàng)在表達(dá)式中所占的權(quán)重。針對(duì)λ取值的問題,本文設(shè)計(jì)了實(shí)驗(yàn)進(jìn)行驗(yàn)證。

2 實(shí)驗(yàn)設(shè)置

2.1 數(shù)據(jù)集

CDD數(shù)據(jù)集(change detection dataset)是2018年Lebedev[19]在發(fā)表的論文中創(chuàng)建并使用的。該數(shù)據(jù)集總共有10 000對(duì)訓(xùn)練集,3 000對(duì)驗(yàn)證集,還有3 000對(duì)影像作為測(cè)試集。其衛(wèi)星圖像大小為256像素×256像素的3通道RGB圖像,其地面分辨率從0.3～1 m不等。每個(gè)圖像對(duì)的兩個(gè)實(shí)例通常是在不同季節(jié)獲取的,變化的數(shù)量偶爾會(huì)因手動(dòng)添加對(duì)象而增加。變化真值僅考慮兩個(gè)實(shí)例之間的對(duì)象出現(xiàn)或消失相應(yīng)的變化,而不忽略所有季節(jié)變化。

SZTAKI數(shù)據(jù)集是由匈牙利大地測(cè)量與制圖學(xué)會(huì)提供的光學(xué)航空影像對(duì)[20],一共包括SZADA、TISZADOB和ARCHIVE 3個(gè)子數(shù)據(jù)集,但是由于ARCHIVE數(shù)據(jù)集中的遙感影像質(zhì)量較差,大多數(shù)研究?jī)H使用前兩個(gè)子數(shù)據(jù)集。SZADA數(shù)據(jù)集包含7對(duì)遙感影像,影像的采集年份來自2000—2005年,影像的大小均為952像素×640像素,分辨率為1.5 m。TISZADOB數(shù)據(jù)集包含5對(duì)采集自2000—2007年的遙感影像,其影像大小和分辨率與SZADA中的影像一致。因此,本次實(shí)驗(yàn)使用了SZTAKI數(shù)據(jù)集共計(jì)12對(duì)大小為952像素×640像素,像素分辨率為1.5 m的遙感影像對(duì)。

2.2 實(shí)驗(yàn)環(huán)境及評(píng)價(jià)指標(biāo)

為了保證實(shí)驗(yàn)的科學(xué)性,本文所進(jìn)行的實(shí)驗(yàn)均在同一臺(tái)計(jì)算機(jī)上進(jìn)行。實(shí)驗(yàn)的硬件環(huán)境為Intel(R)Core(TM)i7-3770CPU@3.40 GHZ,顯卡為NVIDIA GeForce GTX 3070 8 GB。軟件環(huán)境為Windows10 64位,Pycharm,Anaconda3,Python3.6,TensorFlow2.0。

Adam算法被用于網(wǎng)絡(luò)的優(yōu)化器,對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行更新,以加快網(wǎng)絡(luò)的收斂速度。如果學(xué)習(xí)率設(shè)置過小則會(huì)使網(wǎng)絡(luò)參數(shù)更新較慢,容易陷入局部最小值,而學(xué)習(xí)率過大則可能使損失值爆炸導(dǎo)致模型無法收斂,因此本文將學(xué)習(xí)率設(shè)置為0.000 1。訓(xùn)練輪數(shù)在CDD數(shù)據(jù)集上是50次,在SZTAKI數(shù)據(jù)集上為200次,圖像的批處理大小均為4。

為了定量評(píng)估神經(jīng)網(wǎng)絡(luò)模型在遙感變化檢測(cè)任務(wù)中的表現(xiàn),需要選取一系列標(biāo)準(zhǔn)且公認(rèn)的評(píng)價(jià)指標(biāo)。本文選用以下指標(biāo)進(jìn)行精度評(píng)價(jià),分別是準(zhǔn)確率(accuracy,OA)、召回率(recall)、精確率(precision)和F1綜合評(píng)價(jià)指標(biāo)(F1-score)。在變化檢測(cè)中,準(zhǔn)確率越高,檢測(cè)越準(zhǔn)確;召回率越高,漏檢越少;F1-score是準(zhǔn)確率和召回率的調(diào)和平均值,分?jǐn)?shù)越高,模型的性能越好。

3 實(shí)驗(yàn)結(jié)果分析

3.1 損失函數(shù)實(shí)驗(yàn)

前文中提出的復(fù)合型的損失函數(shù)CE-Dice Loss,其中λ的值是暫未確定的。為了獲得使模型訓(xùn)練效果最優(yōu)的CE-Dice Loss,本文分別取λ=0、λ=0.25、λ=0.5、λ=0.75以及λ=1時(shí)的CE-Dice Loss作為網(wǎng)絡(luò)的損失函數(shù),并在SZTAKI數(shù)據(jù)集上進(jìn)行訓(xùn)練,記錄評(píng)價(jià)指標(biāo)的得分,實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 λ取值對(duì)評(píng)價(jià)指標(biāo)的影響

在圖5中,橫坐標(biāo)代表λ的取值,縱坐標(biāo)表示隨著λ的變化網(wǎng)絡(luò)4個(gè)評(píng)價(jià)指標(biāo)的變化情況?？梢钥闯?當(dāng)λ=0.5時(shí),準(zhǔn)確率和F1-score都取得最大值,同時(shí)精確率和召回率也取得了不錯(cuò)的分值。因此,經(jīng)過綜合分析當(dāng)λ=0.5時(shí)CE-Dice Loss使Siam-FAUnet模型取得最好的變化檢測(cè)效果,本文接下來的實(shí)驗(yàn)中CE-Dice Loss的λ取值均為0.5。

3.2 消融實(shí)驗(yàn)

本文使用ASSP和FAM對(duì)Siam-FAUnet網(wǎng)絡(luò)進(jìn)行改進(jìn),為了驗(yàn)證所提出的兩個(gè)改進(jìn)點(diǎn)對(duì)模型所起到的作用,將編碼器前4塊VGG16網(wǎng)絡(luò)作為基準(zhǔn)方法進(jìn)行消融實(shí)驗(yàn)。本次實(shí)驗(yàn)使用前文所提到的CDD數(shù)據(jù)集和SZTAKI數(shù)據(jù)集進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果如表1和表2所示。為了達(dá)到控制變量的目的,除了所要對(duì)比的改進(jìn)點(diǎn)不同之外,每組對(duì)比實(shí)驗(yàn)參數(shù)設(shè)置完全相同。

表1 本文所提出的改進(jìn)點(diǎn)的消融實(shí)驗(yàn)在CDD數(shù)據(jù)集中的實(shí)驗(yàn)數(shù)據(jù)

表2 本文所提出的改進(jìn)點(diǎn)的消融實(shí)驗(yàn)在SZTAKI數(shù)據(jù)集中的實(shí)驗(yàn)數(shù)據(jù)

從表1、表2中可以看出,在基準(zhǔn)網(wǎng)絡(luò)中單獨(dú)加入FAM或ASSP都可以提升網(wǎng)絡(luò)的變化檢測(cè)性能。當(dāng)網(wǎng)絡(luò)中僅加入FAM時(shí),在兩個(gè)數(shù)據(jù)集上的F1-score分別提升了1.63%和0.51%,這是由于FAM減少了特征融合時(shí)語義不對(duì)齊的問題,使網(wǎng)絡(luò)更加準(zhǔn)確地學(xué)習(xí)到變化特征。當(dāng)基準(zhǔn)網(wǎng)絡(luò)僅使用ASSP時(shí),可以從評(píng)價(jià)指標(biāo)上看出該模塊對(duì)網(wǎng)絡(luò)的召回率指標(biāo)有較大的提升,分別增加了6.05%和2.7%,這是因?yàn)锳SSP可以實(shí)現(xiàn)對(duì)統(tǒng)一特征多尺度的采樣,一定程度上提升了網(wǎng)絡(luò)對(duì)地物邊界信息的利用。當(dāng)同時(shí)加入FAM和ASSP時(shí),加深網(wǎng)絡(luò)特征提取維度,造成分類難度的提高,使得精確率沒有得到明顯提升,但從總體的評(píng)價(jià)指標(biāo)來說,網(wǎng)絡(luò)的性能得到了很大的提高,相比于不使用ASPP與FAM模塊,準(zhǔn)確率分別提升1.28%和0.65%,召回率分別提升7.64%和9.28%,F1-score分別提升了4.10%和5.93%,這表明FAM和ASSP同時(shí)對(duì)網(wǎng)絡(luò)變化檢測(cè)性能的提升起到了積極作用。從分析消融實(shí)驗(yàn)的結(jié)果可以得出結(jié)論,本文所提出的Siam-FAUnet模型在遙感影像變化檢測(cè)任務(wù)中的效果要優(yōu)于改進(jìn)的基準(zhǔn)網(wǎng)絡(luò),同時(shí)也驗(yàn)證了本文所提出的ASSP和FAM的有效性。

3.3 綜合實(shí)驗(yàn)

本文提出了結(jié)合ASSP和FAM的Siam-FAUnet變化檢測(cè)方法,為了驗(yàn)證該方法的優(yōu)越性,本次實(shí)驗(yàn)仍然使用CDD數(shù)據(jù)集和SZTAKI數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試,并與以下5個(gè)方法進(jìn)行比較。

1)CDNet[21]是一種基于堆疊、收縮和擴(kuò)展思想的全卷積神經(jīng)網(wǎng)絡(luò)。

2)FC-Siam-conc[22]是基于FCN模型提出的,使用孿生網(wǎng)絡(luò)實(shí)現(xiàn)兩時(shí)相遙感影像的雙輸入特征提取,最后將特征進(jìn)行拼接獲取變化信息。

3)FC-Siam-diff同樣是以FCN為基準(zhǔn)網(wǎng)絡(luò),與上一種不同之處在于,語義恢復(fù)階段使用差值的方式將特征圖進(jìn)行連接,最后得到所需要的變化圖像。

4)IFN[23]是一種編碼器-解碼器結(jié)構(gòu),與U-Net不同的是,該模型采用密集的跳躍連接,并在解碼器結(jié)構(gòu)中實(shí)現(xiàn)了隱式的深度監(jiān)督。

不同模型在數(shù)據(jù)集上的測(cè)試結(jié)果如表3和表4所示。

表3 本文算法與其他方法在CDD數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果對(duì)比 %

表4 本文算法與其他方法在SZTAKI數(shù)據(jù)集實(shí)驗(yàn)結(jié)果對(duì)比 %

在表3和表4中,從整體來看,在CDD數(shù)據(jù)集上FC-Siam-conc取得到效果最差,而在SZTAKI數(shù)據(jù)集上FC-Siam-diff取得了最差的F1-score,FC-Siam-conc和 FC-Siam-diff都是以FCN為基準(zhǔn)網(wǎng)絡(luò),兩種模型的4種指標(biāo)較為接近。CDNet取得的F1-score均高于FC-Siam-conc和FC-Siam-diff。IFN表現(xiàn)較優(yōu)于CDNet,這是由于CDNet僅由收縮塊和擴(kuò)張塊組成,編碼器和解碼器之間沒有跳躍連接將不同層次的特征融合,因此在解碼器中沒有利用到底層的特征信息,導(dǎo)致分割精度不高。IFN具有多側(cè)輸出策略,可以將編碼器中淺層高分辨率的語義特征結(jié)合起來,這提升了模型的性能,與CDNet相比F1-score分別提升了3.83%和1.48%。本文所提出的Siam-FAUnet方法在CDD數(shù)據(jù)集和SZTAKI數(shù)據(jù)集上都取得了不錯(cuò)的檢測(cè)效果,F1-score分別達(dá)到了94.58%和80.05%,與IFN相比分別提升了4.28%和5.01%。原因在于該方法在編碼器采用孿生結(jié)構(gòu),分別提取兩時(shí)相影像的特征信息,減少了通道疊加帶來的偽變化;FAM模塊可以將編碼器和解碼器得到的特征進(jìn)行分析,帶來了更加細(xì)化的圖像特征信息;ASSP模塊可以提取并融合不同尺度的信息,增加模型的感受野,充分利用到上下文信息。

本文還選取了測(cè)試集中的汽車、道路、建筑物以及田地的變化圖像來可視化實(shí)驗(yàn)結(jié)果,如圖6所示。

圖6 不同模型在變化檢測(cè)可視化結(jié)果示例

從圖6可以看出,FC-Siam-conc和FC-Siam-diff這兩種方法在檢測(cè)變化區(qū)域邊緣存在嚴(yán)重的鋸齒情況,對(duì)大部分的變化區(qū)域沒有檢測(cè)到并且檢測(cè)到的變化區(qū)域不夠完整,同時(shí)還存在著大量的噪點(diǎn),變化檢測(cè)的可視化結(jié)果較差。CDNet與FC-Siam-conc和FC-Siam-diff相比,檢測(cè)的變化區(qū)域邊界相對(duì)較光滑,噪點(diǎn)也有減少,但是對(duì)汽車、小建筑物與道路的變化區(qū)域存在小目標(biāo)漏檢和偽變化的情況,內(nèi)部和細(xì)節(jié)部分的處理也還不夠細(xì)化。IFN效果則較為清晰準(zhǔn)確,但仍有變化區(qū)域內(nèi)部存在空洞、變化邊界不連續(xù)等問題。本文所提出的方法具有最佳的可視化效果,變化邊界光滑清晰沒有鋸齒狀,噪聲較少,同時(shí)變化區(qū)域連續(xù)完整,其目視結(jié)果與地面真值更為接近。與此同時(shí),該方法在細(xì)小物體變化的檢測(cè)方面具有一定優(yōu)越性,如能夠檢測(cè)出汽車、小建筑物等變化,且道路變化更加連續(xù)完整,偽變化較少。因此,綜合實(shí)驗(yàn)結(jié)果的定量和可視化分析,可以得出本文所提出的方法針對(duì)高分辨率遙感圖像的變化檢測(cè),尤其在小目標(biāo)變化和檢測(cè)變化邊界方面具有優(yōu)越性。

4 結(jié)束語

本文針對(duì)使用經(jīng)典語義分割方法的高分辨率遙感影像變化檢測(cè)任務(wù)中存在的問題,提出了相應(yīng)的改進(jìn)思路,實(shí)現(xiàn)了一種基于Siam-FAUnet網(wǎng)絡(luò)的遙感影像變化檢測(cè)方法。其中ASSP模塊利用不同擴(kuò)張率的空洞卷積并列地對(duì)圖像特征進(jìn)行采樣,以達(dá)到增加網(wǎng)絡(luò)感受野,融合多尺度特征的目的。FAM模塊通過生成的語義流場(chǎng),解決特征圖以直接拼接的方式造成的語義不對(duì)齊問題,使網(wǎng)絡(luò)更加準(zhǔn)確地學(xué)習(xí)到變化特征。為了減少模型的輸出與地面真值之間的殘差,加入了一種殘差修正網(wǎng)絡(luò)增強(qiáng)模型的變化檢測(cè)效果,并結(jié)合交叉熵?fù)p失函數(shù)和Dice損失函數(shù)提出了CE-Dice Loss,通過實(shí)驗(yàn)確定了λ的取值。實(shí)驗(yàn)方面,將本文所提出的方法與其他深度學(xué)習(xí)變化檢測(cè)模型在兩個(gè)公開高分辨率變化檢測(cè)數(shù)據(jù)集上進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果的定性和定量分析得出,本文所提出的方法取得了很好的變化檢測(cè)效果。然而本文研究仍存在由于實(shí)驗(yàn)設(shè)備的限制,實(shí)驗(yàn)所使用的數(shù)據(jù)集不夠多元化、變化檢測(cè)二值圖仍存在少量的噪聲等問題,因此在未來的研究中將致力于優(yōu)化模型以適用于更復(fù)雜的場(chǎng)景,并進(jìn)一步探索模型的可遷移性。