韋春桃,龔 成,周永緒

重慶交通大學(xué)智慧城市學(xué)院,重慶 400074

變化檢測是通過識別變化像素及未變化像素來判斷同一區(qū)域在不同時相影像中的差異,在異常監(jiān)測[1]、城市發(fā)展監(jiān)測[2]及土地利用[3]等領(lǐng)域中被廣泛應(yīng)用。復(fù)雜場景下地物類型混雜交錯,自然、人文、生態(tài)要素相互作用造成了土地覆被/利用的時空分異,并有很強的尺度依賴性[4],這種分異導(dǎo)致具有相同屬性的地物要素在多時序影像中存在著光照、位置及噪聲等差異,這對模型的穩(wěn)健性及抗干擾能力提出了更高要求。

傳統(tǒng)遙感領(lǐng)域變化檢測方法大多利用遙感影像的低層次特征[5]進行變化類別判斷,包括基于代數(shù)的方法[6]、基于圖像變換的方法[7]、基于圖像分類的方法[8]及基于機器學(xué)習(xí)的方法等[9]。這類利用光譜或數(shù)據(jù)本身的物理特性進行統(tǒng)計分析得出變化類別的方法通常需要使用閾值來區(qū)分變化區(qū)域和非變化區(qū)域,定義一個適當(dāng)?shù)臎Q策函數(shù)來判別目標(biāo)區(qū)域變化至關(guān)重要,因此,很難適用于復(fù)雜的檢測場景。深度學(xué)習(xí)是攝影測量和遙感圖像處理的新趨勢[10]。經(jīng)試驗發(fā)現(xiàn),基于深度學(xué)習(xí)的變化檢測算法與傳統(tǒng)方法相比有更好的檢測性能,可自動地學(xué)習(xí)變化特征,能夠克服傳統(tǒng)方法中穩(wěn)健性差、特征提取能力差等缺陷[11]。

遙感影像變化檢測需要利用堆疊的卷積模塊對單個像素進行密集預(yù)測,卷積神經(jīng)網(wǎng)絡(luò)能夠同時提取出包含空間位置的低層特征及包含抽象語義的深層特征,滿足復(fù)雜場景的檢測需要[12]。因此,一系列端到端的網(wǎng)絡(luò)模型被提出以實現(xiàn)圖像像元級預(yù)測任務(wù)[13-18]。IFN[19]通過深監(jiān)督和注意力機制提高了輸出變化圖像中信息的完整性。STANet[20]利用自注意力機制構(gòu)建雙時影像空間距離依賴,并提出批權(quán)重對原有對比損失的類權(quán)重進行修正。類似地,DSAMNet[21]中使用了度量模塊,通過深度度量學(xué)習(xí)來生成變化圖。文獻[22]提出多尺度變化特征逐級融合模塊來控制信息傳播以減少特征融合時的差異性。文獻[23]提出使用變化圖像選擇器識別“查詢”變化圖像,并通過構(gòu)建先驗圖生成器輔助實現(xiàn)多尺度變化檢測。CDFormer通過引入多頭自注意機制(MHSA)提取聯(lián)合加權(quán)空間-光譜-時間特征以提高監(jiān)督效率[24]。MFATNet提出空間語義標(biāo)記器引導(dǎo)Transformer結(jié)構(gòu)學(xué)習(xí)關(guān)鍵區(qū)域之間的關(guān)系[25]。MAEANet[26]將判別邊緣信息和先驗邊緣信息結(jié)合到模型中,以優(yōu)化網(wǎng)絡(luò)對于建筑物變化檢測成果的質(zhì)量。

然而,常用方法在編碼解碼的訓(xùn)練過程中,淺層特征由于映射不足,缺少對變化像素進行判別的決策性信息;另一方面,深層特征的空間信息在下采樣的過程中不斷丟失,導(dǎo)致像素在解碼過程發(fā)生位置躍遷、生成偽變化等問題。訓(xùn)練后期針對多尺度特征進行融合,雖然能夠簡單有效地使較低層次特征被賦予更多的判別線索[27],但在深層特征進行傳遞的過程中,其所包含的顯著視覺語義信息由于通道數(shù)的減少逐漸淡化,不利于上下文信息的充分利用[28]。

基于此,本文提出一種聯(lián)合空間約束與差異特征聚合的變化檢測網(wǎng)絡(luò),利用孿生網(wǎng)絡(luò)結(jié)合特征金字塔結(jié)構(gòu)[29],提取不同時相影像的差異信息,作為全局判別特征,兼顧復(fù)雜場景中對多尺度目標(biāo)的檢測所需。在特征金字塔自頂而下的結(jié)構(gòu)中,本文提出一種差異特征聚合模塊,根據(jù)不同尺度特征的語義優(yōu)勢,強化深層特征中的判別信息,編碼淺層特征中的全局依賴關(guān)系以進行空間信息約束。最后,利用門控融合機制捕獲多尺度特征的通道域關(guān)系以對原始特征進行矯正,并將其上采樣到原始圖像大小進行變化圖像生成。

1 聯(lián)合空間約束與差異特征聚合的變化檢測網(wǎng)絡(luò)

為關(guān)注變化檢測后期異構(gòu)特征融合的問題,本文設(shè)計了一種差異特征聚合網(wǎng)絡(luò),包括特征提取、差異特征聚合模塊及門控融合模塊3個部分(圖1)。結(jié)構(gòu)如圖1(a)所示,其中ConvBlock表示堆疊的3×3卷積模塊(圖1(b)),Up表示雙線性上采樣,C表示通道級聯(lián)操作,Feat1、Feat2、Feat3及Feat4分別表示不同尺度的特征圖,CBAM和CSAM分別代表兩種不同的注意力機制,Gate表示門控融合單元。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure

1.1 整體結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)模型是一種基于特征金字塔的后期特征融合網(wǎng)絡(luò),主要利用孿生結(jié)構(gòu)提取雙時影像的差異特征,這是由兩個分支網(wǎng)絡(luò)構(gòu)成的一種耦合架構(gòu)[30]。在特征金字塔自下而上的提取路徑中,為了優(yōu)化模型性能,減少模型復(fù)雜度,本文在編碼器部分采用ResNet-34殘差網(wǎng)絡(luò)對差異特征進行提取,它主要包括4個卷積模塊,每個卷積模塊分別包含了卷積核大小為3×3的4個卷積層。計算相同層級輸出的絕對值作為差異圖像Fabs=|T1i-T2i|,i=1,2,3,4。

為了強化淺層特征中的空間信息及深層特征中的判別信息,本文提出了一種多尺度的差異特征聚合模塊,利用CBAM[31]捕捉深層特征(Feat1、Feat2)中的通道及空間信息,強化模型的學(xué)習(xí)能力;利用本文提出的CSAM對淺層特征(Feat3、Feat4)進行全局空間信息約束,強化邊緣細節(jié)及精確位置信息,并抑制光照差異、季節(jié)交替等無關(guān)變化帶來的干擾。最后,將融合特征輸入門控融合單元,進行特征內(nèi)的通道自適應(yīng)選擇,構(gòu)建多尺度特征之間的互補趨勢,以生成高精度變化圖像。

本文采用二元交叉熵?fù)p失作為整個模型的損失函數(shù),使得模型可以快速收斂

yilnpi]

(1)

式中,yi是真實標(biāo)簽;pi表示預(yù)測為變化類別的概率;N表示樣本的數(shù)量。

1.2 差異特征聚合模塊

傳統(tǒng)檢測模型將深、淺特征直接拼接或求和以豐富特征信息,但此方法忽視了不同層級特征之間的差異性。本文提出差異特征聚合模塊,在該模塊中,利用兩種不同注意力機制捕捉深、淺特征中的顯著語義信息,為不同尺度特征有效融合提供基礎(chǔ)。

1.2.1 坐標(biāo)自注意力機制

在遙感變化檢測任務(wù)中,離散的檢測對象易在尺度空間中產(chǎn)生隨機性變化,通常使用注意力機制強化“感興趣”特征的學(xué)習(xí)。常用注意力對全局空間信息進行壓縮以編碼通道特征,難以保存位置信息;通過在通道域進行全局池化引入位置信息,這種方式只能捕獲局部空間特征,而無法對全局特征關(guān)系進行約束。CA[18]通過嵌入位置信息到通道注意力中捕捉長距離依賴關(guān)系,但在復(fù)雜場景中,因其體量較小,常表現(xiàn)出性能不足。在此動機的驅(qū)動下,本文引入Self-Attention[32]的思想,設(shè)計了一種坐標(biāo)自注意力機制,主要包括生成坐標(biāo)注意力及構(gòu)建全局空間約束兩個步驟,通過分解通道特征為兩個并行的1維特征高效地整合變化特征中的空間坐標(biāo)信息到注意力特征中,然后利用Transformer結(jié)構(gòu)對坐標(biāo)特征進行編碼,以挖掘變化像素間更深層次的全局空間依賴關(guān)系,進一步約束特征信息在尺度空間中的表達,以賦予微小型檢測對象更多關(guān)注,實現(xiàn)細粒度變化影像重建,其結(jié)構(gòu)如圖2所示。

圖2 坐標(biāo)自注意力機制Fig.2 Coordinate self-attention module

首先,使用尺寸為(H,1)和(1,W)的池化核分別沿水平坐標(biāo)及垂直坐標(biāo)方向?qū)斎胩卣鞯木_位置信息進行編碼,從兩個不同維度生成具備方向感知的注意力特征Zh、Zw;其次,將兩種變換進行通道維度的級聯(lián),使用1×1卷積進行融合,將跨通道關(guān)系嵌入特征信息中;然后,將特征圖分解為兩個單獨的張量fh、fw;最后,通過卷積變換及激活函數(shù)生成兩個權(quán)重,將兩個權(quán)重相乘實現(xiàn)加權(quán)操作,以提取要素坐標(biāo)信息

f=δ(Conv([Zh,Zw]))

(2)

Z=σ(Fh(fh))×σ(Fw(fw))

(3)

式中,δ是非線性激活函數(shù);Conv是1×1卷積函數(shù);σ是Sigmoid激活函數(shù);Fh、Fw代表兩個方向上的1×1卷積操作。

(4)

(5)

(6)

1.2.2 卷積注意力模塊

為了強化深層特征中重要的判別信息,本文引入了經(jīng)典的CBAM模塊捕捉深層特征中的重要判別信息,抑制非變化信息帶來的干擾,CBAM包括兩個子模塊,特征信息依次通過通道注意力模塊以及空間注意力模塊以獲得強化,如圖3所示。

圖3 卷積注意力機制Fig.3 Convolutional attention mechanism

1.3 門控融合機制

由特征金字塔輸出多尺度特征需要經(jīng)過連續(xù)上采樣及通道降維操作以融合生成變化圖像,直接融合多尺度特征會受到尺度差異及語義區(qū)別的影響,導(dǎo)致判別信息丟失或是變化目標(biāo)偏移等情況出現(xiàn),不利于影像重建及模型判別。本文提出了一種適用于多尺度特征的門控融合模塊,使用前饋傳播的方式整合多尺度信息,通過構(gòu)建融合后多尺度特征之間的通道內(nèi)聯(lián)關(guān)系,并將此作為殘差特征對原始特征進行矯正,以抑制無關(guān)變化信息的表達及深、淺層特征中的語義鴻溝和定位差異帶來的影響,如圖4所示。首先,對于不同注意力機制增強后的特征圖像使用1×1卷積、雙線性插值將通道、尺寸及大小統(tǒng)一到與Feat4一致,對統(tǒng)一后的多尺度特征進行求和,利用通道注意力模塊對融合后特征進行組內(nèi)通道域的自適應(yīng)選擇,并將其還原至4倍通道數(shù)大小以便于與原始特征相乘形成多尺度通道注意力特征。然后,將所捕獲到的特征添加到原始特征中。最后,利用卷積模塊消除降維過程中的混疊效應(yīng),并輸出模型所預(yù)測的變化圖像

圖4 門控融合機制Fig.4 Gated fusion module

Xconcat=[X1,X2,X3,X4]

(7)

Xsum=X1+X2+X3+X4

(8)

Gate(X1,X2,X3,X4)=Cov[Xconcat(1+

CAM(Xsum)×4)]

(9)

2 試 驗

2.1 試驗設(shè)計

為了驗證所提出方法在不同場景下進行變化檢測任務(wù)中的有效性,本文在兩個公開的大尺度開源數(shù)據(jù)集上進行了試驗,分別是CDD[33]季節(jié)變化數(shù)據(jù)集及LEVIR-CD[20]建筑物變化檢測數(shù)據(jù)集,并與其他先進方法進行比較,對于所提出的模塊結(jié)構(gòu)進行消融試驗以驗證其貢獻性。

2.1.1 試驗環(huán)境

本文利用大尺度遙感影像變換檢測數(shù)據(jù)集CDD和LEVIR-CD作為訓(xùn)練、驗證樣本對所提出模型進行評估,其試驗參數(shù)設(shè)置學(xué)習(xí)率為2×10-3,設(shè)置訓(xùn)練迭代次數(shù)為100,使用二元交叉熵作為損失函數(shù)并使用Adam優(yōu)化器進行優(yōu)化。為了豐富樣本數(shù)據(jù)多樣性,本文對訓(xùn)練樣本進行了隨機翻轉(zhuǎn)、旋轉(zhuǎn)、平移及圖像歸一化等圖像增強處理。試驗基于Windows系統(tǒng)的PyTorch深度學(xué)習(xí)框架,硬件環(huán)境為Nvidia GeForce GTX1080ti顯卡。

2.1.2 試驗數(shù)據(jù)

文獻[33]通過對CDD數(shù)據(jù)集中7對大小為4725×2200像素的季節(jié)變化圖像進行裁剪和旋轉(zhuǎn)處理原始圖像數(shù)據(jù),生成了10 000張訓(xùn)練數(shù)據(jù)、3000張驗證數(shù)據(jù)和3000張測試數(shù)據(jù),其中圖像數(shù)據(jù)大小為256×256像素,空間分辨率為3～100 cm,部分?jǐn)?shù)據(jù)如圖5所示。

圖5 CDD數(shù)據(jù)集示例圖像Fig.5 Example image of CDD dataset

LEVIR-CD[20]數(shù)據(jù)集收集了2002—2018年間美國得克薩斯州20個不同區(qū)域的遙感影像。具有637張大小為1024×1024像素的影像對,空間分辨率為50 cm。本文將每一個樣本裁剪為16張大小為256×256像素的圖像塊進行訓(xùn)練,部分?jǐn)?shù)據(jù)如圖6所示。

圖6 LEVIR-CD數(shù)據(jù)集示例圖像Fig.6 Example image of LEVIR-CD dataset

2.1.3 評價指標(biāo)

為了驗證本文提出方法的有效性,試驗采用了5種不同的指標(biāo),即總體準(zhǔn)確率(overall accuracy,OA)、精確率(Precision)、召回率(Recall)、F1值(F1score)及IoU(intersection over union)。具體地,精確率反映了模型檢測誤報情況,召回率反映了模型的漏報情況,F1值反映了精確率和召回率的整體水平,IoU表示模型輸出預(yù)測圖片與實際變化圖片之間的重疊率,其中精確率、召回率及F1值最能反映模型的檢測性能,如式(10)—式(14)所示,TP表示預(yù)測正確的正樣本數(shù),FP表示預(yù)測錯誤的正樣本數(shù),TN表示預(yù)測正確的負(fù)樣本數(shù),FN表示預(yù)測錯誤的負(fù)樣本數(shù)

(10)

(11)

(12)

(13)

(14)

2.2 遙感圖像變化檢測試驗

為驗證本文方法的有效性,對本文方法與其他先進變化檢測方法進行了對比,FC-EF[15]、FC-Siam-conc[15]及FC-Siam-diff[15]是3種U形的全卷積神經(jīng)網(wǎng)絡(luò),其中后兩種是基于孿生神經(jīng)網(wǎng)絡(luò)的拓展。IFN[19]是一種基于U形結(jié)構(gòu)的網(wǎng)絡(luò)模型,利用多層深度監(jiān)督機制對影像特征進行判別。CDNet[34]將兩個不同時相圖像拼接為一張輸入圖像,然后輸入全卷積網(wǎng)絡(luò)以實現(xiàn)變化特征提取。STANet[20]通過構(gòu)建不同時相影像的時空依賴性,抑制遙感影像光照變化以及配準(zhǔn)誤差帶來的誤檢問題。

2.2.1 在CDD數(shù)據(jù)集中的試驗對比

表1展示了本文方法與上述先進方法在CDD數(shù)據(jù)上的各項評估指標(biāo)情況,其中本文方法在各項指標(biāo)中均取得了最佳的表現(xiàn),相比于IFN在Recall和F1值中分別提高了2.18%、1.14%,這說明本文方法能夠更加準(zhǔn)確地識別變化類別,對于實際應(yīng)用任務(wù)有著重大意義。

表1 在CDD數(shù)據(jù)集中的評價指標(biāo)對比

圖7展示了不同方法在CDD測試集不同尺度場景下的可視化結(jié)果,在(1)中,該場景受季節(jié)變化干擾較大, 本文方法比其他方法保留了更多林地變化區(qū)域的邊緣細節(jié)。在(2)中,CDNet、IFN、FC-Siam-conc丟失了入戶小路的部分信息,FC-Siam-conc、STANet對道路上的車輛進行了錯誤檢測,而本文方法能夠準(zhǔn)確提取所有車輛,并還原其之間的空間關(guān)系。在(4)中,墻體和建筑物本身的連通關(guān)系復(fù)雜,CDNet對于主體和邊緣信息丟失嚴(yán)重,IFN對墻體進行偽變化的生成,FC-Siam-conc及STANet無法對墻體及建筑物主體之間的空間關(guān)系進行準(zhǔn)確判斷,而本文方法在該復(fù)雜場景中表現(xiàn)出了顯著的優(yōu)越性,主要是依靠所提出的CSAM模塊對細粒度空間信息進行強化,能夠?qū)?fù)雜地物場景邊緣及內(nèi)部變化進行精確定位。

圖7 在CDD測試集中不同方法的可視化結(jié)果Fig.7 Visualization results of different methods in the CDD test set

2.2.2 在LEVIR-CD數(shù)據(jù)中試驗對比

表2展示了本文方法與其他方法在LEVIR-CD數(shù)據(jù)中性能表現(xiàn),在所有使用的評估指標(biāo)中,除了召回率略低于STANet,其余指標(biāo)均優(yōu)于其他先進方法,STANet將多層特征上采樣至輸入圖像1/4大小并進行融合作為輸入特征提取出雙時影像的時空關(guān)系,一定程度上提高了模型的召回率,但同時加大了模型負(fù)擔(dān)并造成了一定的精度損失。

表2 在LEVIR-CD數(shù)據(jù)集中的評價指標(biāo)對比

圖8展示了不同方法在LEVIR-CD測試集中不同尺度場景下可視化結(jié)果,可以看出本文方法較其他方法在復(fù)雜場景的檢測中更具優(yōu)勢。在(1)中,IFN在建筑物內(nèi)部出現(xiàn)斷裂,STANet缺失了對于小目標(biāo)墻體的檢測,而本文方法檢測結(jié)果更加完整。在(3)中,其余方法均出現(xiàn)了“假陽性”的現(xiàn)象,將無關(guān)變化誤識別為建筑物變化,而本文方法利用CSAM模塊對低層變化語義信息進行空間約束,有效保留了較小目標(biāo)的高精度穩(wěn)健特征,并利用門控機制整合深度語義特征,消除無關(guān)變化帶來的影響。

圖8 在LEVIR-CD測試集中不同方法的可視化結(jié)果Fig.8 Visualization results of different methods in the LEVIR-CD test set

2.2.3 模塊間的消融試驗

本小結(jié)針對所提出的CSAM模塊及門控融合模塊進行了消融試驗,所有的比較均使用相同的超參數(shù)設(shè)置。本文所使用的基線網(wǎng)絡(luò)為去除差異特征聚合模塊中的CSAM及門控融合模塊,將特征直接融合并進行通道降維的網(wǎng)絡(luò)。在差異特征聚合模塊中,本文分別使用了所提出的CSAM及傳統(tǒng)的CA模塊進行對比,以驗證所提出CSAM機制的先進性,結(jié)果如表3所示。

表3 在CDD數(shù)據(jù)集中的消融試驗評價指標(biāo)對比

由表3中可知,所提出CSAM模塊對于模型性能的提升明顯,精度提高了2.66%,召回率提高了5.9%,F1提高了4.34%。所提出的門控單元對于模型在各評價指標(biāo)中的表現(xiàn)也均有提高。特別地,筆者對于常用的CA模塊與本文所提出的CSAM模塊進行比較,召回率提高了1.23%,F1值提高了0.69%,這說明了構(gòu)建空間特征約束對于變化檢測任務(wù)的有效性。

圖9可視化了模塊間消融試驗的結(jié)果。在(2)中,Base+CSAM顯示了CSAM模塊能夠較為準(zhǔn)確地判斷出變化區(qū)域的空間位置,但丟失了細節(jié)信息,而本文方法使用了門控融合單元補充了邊緣信息,對特征影像中的錯誤預(yù)測進行糾正。(3)中,Baseline方法未能正確識別被雪覆蓋后的未變化區(qū)域,其余兩種方法均對于變化區(qū)域內(nèi)部連通性進行了錯誤的判斷,而本文方法能夠較為準(zhǔn)確地判斷變化區(qū)域之間的空間關(guān)系,這可歸結(jié)于CSAM模塊通過建立要素的全局依賴提高內(nèi)部一致性,幫助特征判別以及圖像重建,減少預(yù)測結(jié)果中的誤判現(xiàn)象。

圖9 在CDD測試集中進行消融試驗可視化結(jié)果Fig.9 Visualizing results of ablation experiments on CDD test set

3 總 結(jié)

本文提出了一種面向復(fù)雜場景變化檢測的空間約束與差異特征聚合網(wǎng)絡(luò),使用權(quán)重共享的孿生雙分支結(jié)構(gòu)對變化影像進行差異特征提取,采用特征金字塔結(jié)構(gòu)生成多尺度的差異特征,利用所提出的特征聚合模塊對不同尺度特征進行語義強化,構(gòu)建低層特征空間約束以細化目標(biāo)邊界,并通過門控融合單元進行語義篩選,形成多尺度特征信息的互補趨勢。本文方法對不同尺度變化具有較高穩(wěn)健性,能夠精確判斷變化區(qū)域的空間關(guān)系,在復(fù)雜場景的變化檢測任務(wù)中具有較高的檢測精度,在實際生產(chǎn)具有一定的應(yīng)用價值。通過觀察LEVIR-CD數(shù)據(jù)集中的測試結(jié)果發(fā)現(xiàn),在檢測目標(biāo)尺度較小的任務(wù)中,本文所提出的模型仍會出現(xiàn)少量漏檢的情況,可能是因為低分辨率的小目標(biāo)可視化信息少,難以提取到具有鑒別力的特征,同時,所采用的特征金字塔結(jié)構(gòu)在不斷下采樣的路徑中,過小目標(biāo)的判別語義信息容易丟失,導(dǎo)致模型檢測失效,未來將進一步探究其原因并進行模型優(yōu)化。