劉宣廣,李蒙蒙,汪小欽,張振超
1.福州大學 數(shù)字中國研究院(福建),福州 350108;
2.福州大學 空間數(shù)據(jù)挖掘與信息共享教育部重點實驗室,福州 350108;
3.信息工程大學 地理空間信息學院,鄭州 450001
建筑物變化檢測是獲取建筑物狀態(tài)變化信息的常用手段,在城市環(huán)境監(jiān)測、土地規(guī)劃管理和違章違規(guī)建筑識別等應用中具有重要作用(周啟鳴,2011;佟國峰 等,2015)。遙感變化檢測泛指通過對比分析同一區(qū)域不同時期遙感數(shù)據(jù)來獲得地物變化情況的技術(shù)(孫曉霞 等,2011;眭海剛 等,2018;Wen 等,2021)。面向中低等分辨率遙感影像,國內(nèi)外學者提出了眾多基于像素的變化檢測方法,如變化向量分析方法(Change vector analysis)(陳晉 等,2001;柳思聰 等,2011),通過對比不同時相影像間的光譜差值來識別變化程度。此外,分類后比較也是一種常用的變化檢測方法(Coulter等,2016;Xu 等,2018;Paul等,2021;Wang等,2020),但該類方法受影像分類精度影響較大。
隨著高空間分辨率(簡稱“高分辨”)衛(wèi)星數(shù)量的不斷增加,如美國GeoEye 和Worldview 系列、法國Pleiades 系列,以及中國高分系列衛(wèi)星,基于高分辨影像的建筑物變化檢測獲得了廣泛關(guān)注。高分辨影像具有豐富的空間細節(jié)信息,可有效識別建筑物的精細變化,但高分辨影像通常在衛(wèi)星拍攝時難以保持正射姿態(tài),存在建筑物形變和位移問題,利用傳統(tǒng)的基于像素的方法在高分辨影像變化檢測中易產(chǎn)生較明顯的檢測噪音,識別精度較低(Wen等,2021)。
對于高分辨遙感影像變化檢測,許多學者研究基于面向?qū)ο蟮淖兓瘷z測方法。以圖像分割對象為基本分析單元進行變化識別,可充分利用對象上下文信息,并突出高分辨影像的紋理和空間特征,能有效避免獨立像元的光譜差異對檢測結(jié)果的影響(Blaschke,2010;Liu 等,2021),取得比基于像素檢測方法更精確的結(jié)果(Desclée 等,2006;馮文卿和張永軍,2015;Huang,2018b;Wen 等,2019)。但面向?qū)ο髾z測方法依賴于圖像分割效果,特別是在復雜的城市環(huán)境中,分割對象難以精準的描繪地物對象幾何輪廓,影響面向?qū)ο笞兓瘷z測精度(黃鵬 等,2020)。
隨著深度學習技術(shù)發(fā)展以及在遙感圖像專題信息提取中的成功應用,越來越多的研究學者開展基于深度學習的遙感變化檢測研究,提出不少基于深度神經(jīng)網(wǎng)絡的變化檢測方法(Khelifi 和Mignotte,2020),如深度信念網(wǎng)絡(Deep Belief Networks)、棧式自編碼神經(jīng)網(wǎng)絡(Stacked AutoEncoder)(Zabalza等,2016)、孿生神經(jīng)網(wǎng)絡(Siamese neural network)等。其中,孿生神經(jīng)網(wǎng)絡使用兩個相同的神經(jīng)網(wǎng)絡對輸入圖像進行深層特征提取,根據(jù)特征相似度來獲取變化信息(Chopra 等,2005;Nair 和Hinton,2010;Yang等,2022)。如Zhang等(2019)使用輕量級偽孿生卷積神經(jīng)網(wǎng)絡(PSI-CNN)進行建筑物變化檢測;隨后Chen 和Shi(2020)使用集成金字塔注意力機制的孿生神經(jīng)網(wǎng)絡進行建筑物變化檢測;Li等(2021)使用改進的UNet++孿生神經(jīng)網(wǎng)絡對高分辨影像進行變化檢測;Zhu等(2022)構(gòu)建了一種孿生全局學習(Siam-GL)方法進行高分辨遙感影像變化檢測。這些深度學習方法多在像素級進行變化檢測,檢測結(jié)果邊界鋸齒狀明顯,與實際變化邊界吻合度不高。為解決這一問題,最近一些研究將面向?qū)ο蠛蜕疃葘W習技術(shù)相結(jié)合進行變化檢測,以圖像分割對象為基本分析單元,有效降低了像素級變化檢測中常見的椒鹽噪聲。如Liu等(2021)結(jié)合面向?qū)ο蠹夹g(shù)和卷積神經(jīng)網(wǎng)絡進行影像變化檢測,獲得了成功應用,但不同尺度分割結(jié)果對檢測效果的影響仍需進一步研究。
此外,使用深度學習進行遙感變化檢測需要大量樣本。為降低模型訓練樣本庫構(gòu)建的成本,Goodfellow等(2014)提出利用生成對抗網(wǎng)絡GAN(Generative Adversarial Nets)提升樣本庫構(gòu)建效率。隨后,基于GAN模型,產(chǎn)生了許多該模型變體(Radford等,2016;Isola等,2017;Zhu等,2017;Karras等,2018)。另有研究將GAN與變化檢測相結(jié)合,比如:王玉龍等(2019)創(chuàng)建一種基于GAN的新增建筑變化檢測模型(CDGAN),提升了遙感影像中地面新增建筑物的檢測精度;Peng等(2021)提出了一種基于GAN的半監(jiān)督卷積網(wǎng)絡,減少了訓練數(shù)據(jù)集對于變化檢測深度模型性能的限制。
現(xiàn)有的基于深度學習的建筑物變化檢測方法并未充分利用VHR影像中豐富的幾何、紋理信息,導致檢測的建筑物變化存在邊界模糊現(xiàn)象。盡管已有研究嘗試利用GAN 來減輕變化檢測模型對訓練數(shù)據(jù)集的依賴,但這類方法通常僅利用有限的標簽數(shù)據(jù)進行訓練,限制了其泛化能力,且模型結(jié)構(gòu)復雜,訓練成本高。為解決上述問題,本文提出了一種面向?qū)ο髮\生神經(jīng)網(wǎng)絡(Obj-SiamNet)的高分辨率遙感影像變化檢測方法,結(jié)合面向?qū)ο蠓治鏊枷耄鉀Q傳統(tǒng)孿生神經(jīng)網(wǎng)絡變化檢測結(jié)果中檢測邊界與實際邊界吻合度低的問題。同時,在決策級,構(gòu)建了基于模糊集的多尺度自動融合方法,以避免單一圖像分割尺度下Obj-SiamNet 檢測效果不佳的情況(這里的“尺度”指圖像分割的精細程度)。此外,本研究使用循環(huán)生成對抗網(wǎng)絡遷移模型訓練樣本,提升該檢測方法的適用性。本研究可獲取精細化的建筑物變化信息,從而為城市可持續(xù)發(fā)展決策的制定提供可靠的數(shù)據(jù)支持。
基于面向?qū)ο髮\生神經(jīng)網(wǎng)絡高分辨影像建筑物變化檢測的技術(shù)路線如圖1所示。首先,對雙時相高分辨影像預處理,疊加雙時相影像進行多尺度圖像分割;然后,構(gòu)建面向?qū)ο髮\生神經(jīng)網(wǎng)絡,訓練網(wǎng)絡模型和檢測影像變化信息。在此基礎上,利用模糊集自動融合多尺度下的變化檢測結(jié)果;最后,利用生成對抗網(wǎng)絡將開放地理數(shù)據(jù)集樣本信息遷移至目標域,降低樣本集制作成本,提升檢測模型的適用性。
圖1 基于Obj-SiamNet的建筑物變化檢測技術(shù)路線Fig.1 The workflow of the proposed method for building change detection
廣義上,孿生神經(jīng)網(wǎng)絡由兩個相同或不同的神經(jīng)網(wǎng)絡耦合而成。圖2Ⅰ展示了由2 個相同且共享權(quán)值的深度殘差網(wǎng)絡(Residual Network,ResNet)(He 等,2016)組成的孿生神經(jīng)網(wǎng)絡,分別提取圖像T1和T2的圖像特征XT1和XT2,通過計算特征間歐氏距離量化特征差異度(沈雁等,2018)(圖2Ⅱ)。借鑒面向?qū)ο髨D像分析思想,以圖像分割對象為基本分析單元,在對象層級提取孿生神經(jīng)網(wǎng)絡圖像特征,進而計算不同時相影像對象間的特征差異度。
圖2 孿生神經(jīng)網(wǎng)絡結(jié)構(gòu)圖(XT1和XT2分別表示T1和T2影像的語義特征)Fig.2 The structure of Siamese neural network(XT1 and XT2 refer to the semantic features of T1 and T2,respectively)
2.1.1 多尺度圖像分割
本文采用多分辨率分割算法(multi-resolution image segmentation)(Benz 等,2004)對疊加后的雙時相影像進行圖像分割,具體使用eCognition 軟件中的多分辨率分割功能進行分割操作,通過設置不同的尺度(scale)參數(shù)可獲得多個尺度下的分割對象。
2.1.2 孿生圖像特征提取器構(gòu)建
面向?qū)ο髮\生神經(jīng)網(wǎng)絡Obj-SiamNet 的特征提取器包含編碼器和解碼器兩個模塊。編碼器的主干網(wǎng)絡采用ResNet 模型,ResNet 通過在卷積神經(jīng)網(wǎng)絡中增加殘差模塊,使深層神經(jīng)網(wǎng)絡實現(xiàn)恒等變換,解決了隨網(wǎng)絡深度不斷增加,模型性能降低的問題,提升模型準確率。根據(jù)網(wǎng)絡深度不同,ResNet 擁有ResNet18,34,50,101 等不同深度模型。He等(2016)指出ResNet 模型的特征提取能力隨網(wǎng)絡層數(shù)增加而提升,但層數(shù)越深,性能提升幅度越小。綜合考慮模型性能及訓練成本,本文使用ResNet34構(gòu)建Obj-SiamNet 的編碼器,并在編碼器中保留ResNet34 的4 個殘差模塊,但移除全連接層和全局池化層(圖3)。
圖3 Obj-SiamNet特征提取器結(jié)構(gòu)Fig.3 Detailed structure of the Obj-SiamNet feature extractor
此外,使用多個上采樣模塊作為Obj-SiamNet的解碼器,并加入卷積塊注意模塊(Convolutional Block Attention Module)(Woo 等,2018),用以學習深層圖像特征的關(guān)鍵信息(圖3)。
2.1.3 圖像變化特征差異度計算
基于孿生影像特征,可計算不同時相影像的像素級特征差異度,并可根據(jù)圖像分割對象,進一步計算不同時相影像對象級特征差異度。具體過程如下:
另外,像素級特征差異度D在模型訓練階段也用來計算損失值,本文采用對比損失函數(shù)(Contrastive Loss)(Hadsell 等,2006)計算損失值,該損失函數(shù)可有效處理孿生神經(jīng)網(wǎng)絡中成對匹配數(shù)據(jù)的關(guān)系:
式中,M為變化標簽圖,m為設定的閾值,只考慮像素級差異度D在0 至m之間,差異度D超過m的,則把其損失率記為0。nu,nc分別代表標簽圖中未變化和變化像素數(shù)量,計算公式為:
在對象層級檢測建筑物變化,可保留圖像分割中獲得的邊界信息(Tang 等,2020),提升檢測邊界與實際變化邊界的吻合度。將像素級特征差異度D根據(jù)分割對象轉(zhuǎn)換為對象級特征差異度DR,計算公式為
式中,NR指圖像對象R中像素的個數(shù)。
2.1.4 Obj-SiamNet模型訓練和預測
同ResNet 模型相似,Obj-SiamNet 模型訓練和預測時需要輸入尺寸為256 像素×256 像素的圖片。在制作Obj-SiamNet 訓練樣本時,考慮到圖像分割對象尺寸和形狀不同,對每個分割對象樣本,以其質(zhì)心為中心點定義一個尺寸為256 像素×256 像素的矩形框,將此矩形框包圍的圖像區(qū)域作為對應的Obj-SiamNet 訓練樣本(Zhang 等,2018;Huang等,2018a)。同理,在對每個分割對象進行預測時,采用相同的方法將對象裁剪成尺寸為256像素×256 像素的圖片。需要注意的是,在對象級特征差異度計算時,僅考慮圖像對象與其矩形框重疊的區(qū)域(圖4)。
圖4 不完全包圍與完全包圍對象的示意圖Fig.4 Demonstration of incompletely enclosed and completely enclosed objects
本文基于模糊集理論,構(gòu)建一組考慮檢測結(jié)果不確定性的模糊集指標(Li 等,2016),自動融合多尺度對象級特征差異度。
首先獲取不同分割尺度下的對象級特征差異度DR,定義隸屬度函數(shù)f(DR),量化圖像對象R在不同時相上變化的可能性μR。偏大型的S 型隸屬度函數(shù)在影像模糊分割處理時具有良好的魯棒性和準確性(Tobias 和Seara,2002),因此使用S 型隸屬函數(shù)計算μR,計算公式如下:
式中,隸屬度函數(shù)參數(shù)a、b、c定義了函數(shù)的形狀(圖5)。關(guān)于參數(shù)c,本文基于格網(wǎng)搜索法,遍歷對象差異度DR值范圍,依次作為參數(shù)值c來計算隸屬度并得到變化結(jié)果,根據(jù)下式計算各變化結(jié)果的F1指數(shù)。
圖5 S型隸屬度函數(shù)Fig.5 S-type membership function
式中,R為召回率,P為精確率。
使用S 型隸屬度函數(shù)求得對象R在多層分割尺度上對應的不同隸屬度值,本文選擇3 層分割尺度,對應隸屬度值分別為μ1、μ2、μ3。
借鑒Li等(2016),將3層分割尺度下的隸屬度值μ1、μ2、μ3中的最大值作為對象R變化的可能性∏(CDR,P),根據(jù)μ1、μ2、μ3計算對象R未變化的可能性在此基礎上,計算對象R變化的確定性N(CDR,P)和未變化的確定性具體計算如下:
使用循環(huán)生成對抗網(wǎng)絡(Cycle GANs)(Zhu等,2017)進行樣本遷移,生成具有多樣高級語義特征的樣本來充實訓練集數(shù)據(jù),以降低樣本庫制作成本,提升建筑物變化檢測性能和Obj-SiamNet 模型的適用性。具體地,Cycle GANs由2個生成器和2 個判別器組成,判別器計算生成器所產(chǎn)成的數(shù)據(jù)與目標域數(shù)據(jù)的差異度,并將結(jié)果反饋給生成器,逐步指導生成器將隨機噪聲分布盡量擬合到目標域數(shù)據(jù)的真實分布(Zhu等,2017)。經(jīng)典生成對抗網(wǎng)絡的訓練數(shù)據(jù)要求成對匹配,而Cycle GANs不受此限制,并可將源域數(shù)據(jù)與目標域數(shù)據(jù)相互轉(zhuǎn)換。該模型由2 個對稱的GAN 結(jié)合,每個GAN 均包含一個生成器和一個判別器(圖6)。
圖6 循環(huán)生成對抗神經(jīng)網(wǎng)絡結(jié)構(gòu)圖Fig.6 The structure diagram of the Cycle GANs
在GF-2、GF-7 影像上制作少量研究區(qū)樣本集,與公開數(shù)據(jù)集共同訓練Cycle GANs,將公開數(shù)據(jù)集轉(zhuǎn)為仿研究區(qū)數(shù)據(jù)集。為避免正負樣本不平衡問題,統(tǒng)計每個樣本標簽中變化像元占全部像元的比例,即樣本變化程度。據(jù)此挑選研究區(qū)和仿研究區(qū)數(shù)據(jù)集中建筑物變化程度在20%—80%之間的樣本用以構(gòu)建模型訓練樣本庫。
本文從屬性和幾何精度的角度評價變化檢測結(jié)果與實際變化的吻合程度。選擇精確率、召回率和F1 分數(shù)評價屬性精度,選擇全局過分誤差、全局欠分誤差和全局總體誤差評價幾何精度(Li等,2015)。將本方法與其他3 種基于像素的變化檢測模型進行對比分析,分別是:
(1)視覺變化檢測網(wǎng)絡(ChangeNet)(Varghese等,2019):采用連體網(wǎng)絡和全卷積網(wǎng)絡模型將特征從圖像對映射到視覺變化中。
(2)基于時空自注意力的遙感圖像變化檢測模型(STANet)(Chen 和Shi,2020):使用ResNet網(wǎng)絡進行特征提取,在特征提取模塊后加入了金字塔注意力機制。
(3)全卷積孿生神經(jīng)網(wǎng)絡模型(Siam-NestedUNet)(Li 等,2021):對語義分割網(wǎng)絡UNet++進行改進,用于變化檢測的全卷積孿生網(wǎng)絡。
本文選取3個研究區(qū)域,分別位于福建省的福州市、泉州市和浦城縣。3 個研究區(qū)域的遙感影像見圖7。
圖7 福州、泉州、浦城研究區(qū)的遙感影像Fig.7 Remote sensing images of these three study areas,i.e.,F(xiàn)uzhou,Quanzhou and Pucheng
福州研究區(qū)(FZ)的建筑物變化主要為高層建筑,變化建筑物的空間分布較稀疏;泉州研究區(qū)(QZ)內(nèi)建筑物變化類型復雜,涵蓋低矮密集建筑群和高層建筑;浦城研究區(qū)(PC)為非城市地區(qū),地形大部分為山區(qū),建筑物不集中且空間分布錯亂,變化類型以小型密集建筑群和工廠建筑為主。本文所選擇的影像數(shù)據(jù),由于受衛(wèi)星拍攝角度和拍攝時太陽光照影響(表1),各區(qū)域影像均非正射影像,且存在較多建筑物陰影,對開展變化檢測方法研究具有一定的挑戰(zhàn)性。
表1 3個研究區(qū)的影像數(shù)據(jù)信息表Table 1 Detailed information of these three study images
各研究區(qū)影像的類型和獲取時間如表1 所示。本研究在福州、浦城研究區(qū)選擇相同傳感器影像(GF-2),在泉州研究區(qū)選擇不同傳感器影像(GF-2 和GF-7)進行實驗,以檢驗本方法在不同傳感器的適用性。每幅GF-2 影像包括一個0.8 m空間分辨率全色波段和4 個3.2 m 空間分辨率多光譜波段,GF-7 后視影像包含一個0.65 m 空間分辨率全色波段和4 個2.6 m 空間分辨率的多光譜波段。采用Gram-Schmidt 方法對影像的全色和多光譜波段進行融合,使用雙線性內(nèi)插方法對融合后影像重采樣,獲得分辨率為0.8 m 的高分辨影像,并進行幾何校正、地理配準,提高變化檢測效率。
為構(gòu)建模型訓練樣本庫,分別在福州市、浦城縣GF-2 遙感影像上各制作1000 對256 像素×256像素的樣本數(shù)據(jù),泉州市GF-2、GF-7遙感影像上制作1368對樣本數(shù)據(jù),構(gòu)成研究區(qū)數(shù)據(jù)集。此外,本文對CD_Data_GZ(https://github.com/daifeng2016/Change-Detection-Dataset-for-High-Resolution-Satellite-Imagery)公開數(shù)據(jù)集進行樣本遷移,獲取6400 對仿研究區(qū)數(shù)據(jù)。經(jīng)過樣本增強和篩選,共制作了13000 對訓練樣本,按照7∶3 比例劃分訓練集和測試集。
使用eCognition 軟件中多分辨率分割算法對雙時相疊加影像分割,選擇包含欠分割和過分割情況的3個分割尺度(scale)分別為:80、160、240。由于建筑物邊界特征明顯,因此增大形狀因子參數(shù)(Shape),將其設為0.2,經(jīng)過多次分割實驗,本研究將緊密度參數(shù)(Compactness)設為0.4。各研究區(qū)在3 個分割尺度下的分割結(jié)果如圖8 所示??芍寒攕cale=80時,圖像過分割,單個建筑物被分割成多個對象,分割結(jié)果破碎;分割尺度為scale=160 時,建筑物分割較完整,分割邊界與實際邊界更吻合;當scale=240 時,圖像欠分割,多個建筑物或其他地物被分割為一個對象,存在較嚴重的粘連問題。
圖8 各研究區(qū)在3個分割尺度下的對象分割結(jié)果Fig.8 The results of segmentation objects at three different segmentation scales in each study area
首先,使用相同的模型訓練參數(shù)和樣本對不同深度ResNet構(gòu)建的Obj-SiamNet 訓練、測試。訓練模型時,將初始學習率設為10-3,每經(jīng)20 次迭代,學習率減小為原來的十分之一。批次大?。╞atch_size)設為16,迭代次數(shù)(epoch)設為200,優(yōu)化器采用Adam(Kingma 和Ba,2017)。結(jié)果表明:ResNet18,34,50,101 在測試集上的F1 指數(shù)分別為:0.676、0.789、0.793、0.799,ResNet34效果優(yōu)于ResNet18,且與ResNet50,101 效果相似,證實了使用ResNet34作為Obj-SiamNet 的主干網(wǎng)絡是兼顧模型性能和訓練成本的最佳選擇。
然后使用訓練獲取的Obj-SiamNet 最佳模型檢測研究區(qū)影像中的建筑物變化區(qū)域,獲得像素級特征差異度,再根據(jù)分割對象轉(zhuǎn)換到對象級特征差異度,詳見圖9。
圖9 各研究區(qū)不同分割尺度的對象級特征差異圖Fig.9 Difference maps of object-level feature at different segmentation scales in each study area
圖10 格網(wǎng)搜索法結(jié)果(c=77時,F(xiàn)1達到最大值)Fig.10 The results of grid search method(F1-Score reaches its maximum value at c=77)
圖9 對比了不同分割尺度下的對象特征差異??梢姡涸诜指畛叨葹?0、160 時,3 個研究區(qū)的對象特征差異圖表示的建筑物變化信息較完整,建筑物對象邊界與實際邊界更加吻合;分割尺度為240 時,圖像欠分割造成對象差異圖存在大區(qū)域粘連問題,但獲取的變化信息較另外兩個分割尺度的對象特征差異圖更豐富。
首先計算對象級特征差異度的隸屬度。對于S型隸屬度函數(shù)的參數(shù)a、b、c,設置a=0、b=0.5 ×(a+c)。在公開數(shù)據(jù)集CD_Data_GZ上,使用格網(wǎng)搜索法確定參數(shù)c取值。在參數(shù)c=77時,變化結(jié)果的F1指數(shù)最高,因此將參數(shù)c設為77。
對研究區(qū)影像使用S 型隸屬度函數(shù)計算得到3 個不同尺度下的對象隸屬度值μ1、μ2、μ3。根據(jù)μ1、μ2、μ3,計算變化可能性和變化確定性指數(shù),根據(jù)模糊規(guī)則自動融合多尺度變化信息,獲取融合變化結(jié)果。
為驗證本方法的有效性,選擇FZ研究區(qū)局部子圖(FZ-A),將本方法得到的變化圖與單一分割尺度使用自動閾值分割(Otsu,1979)獲得的變化圖進行對比。由圖11可知,單一分割尺度的檢測結(jié)果會存在較多的漏檢和誤檢。在圖11(e)、圖11(g)中(紅框內(nèi)),分別存在明顯的漏檢和誤檢;在圖11(e)中(黃框內(nèi))檢測的建筑物變化區(qū)域存在嚴重誤檢,在圖11(f)、圖11(g)中(藍框內(nèi))存在較嚴重的漏檢問題,圖11(f)、圖11(g)中(紅框內(nèi))檢測的變化邊界與真實建筑物變化邊界吻合度較低。融合3 個分割尺度獲得的檢測結(jié)果,較單一分割尺度檢測結(jié)果在精確度和檢測建筑物變化區(qū)域的完整度上有明顯提升,召回率由最低0.34 提升至0.66,全局總體誤差最多降低7%,F(xiàn)1分數(shù)最高提升23%(表2)。
表2 多尺度差異特征融合和單分割尺度差異特征獲取的建筑物變化檢測結(jié)果精度評價Table 2 Evaluation of the accuracy of detection results:a comparison between those obtained by fusing multi-scale difference features and those obtained using a single-scale difference feature/%
使用Cycle GANs 將公開數(shù)據(jù)集轉(zhuǎn)換為仿研究區(qū)數(shù)據(jù)集。在對Cycle GANs 訓練時,我們將學習率設為2 × 10-4,迭代次數(shù)設為150 次,批次大小設為8,最后共獲得偽研究區(qū)數(shù)據(jù)集6400 對。為驗證該樣本遷移方法的有效性,設置一組對比實驗:
(1)未使用Cycle GANs 遷移樣本:僅使用研究區(qū)數(shù)據(jù)集為樣本,在由公開數(shù)據(jù)集(ImageNet)訓練獲得的ResNet34 預訓練參數(shù)基礎上對Obj-SiamNet訓練,用訓練好的模型檢測研究區(qū)變化。
(2)使用Cycle GANs 遷移樣本:使用仿研究區(qū)和研究區(qū)數(shù)據(jù)集共同訓練Obj-SiamNet,其余實驗條件和實驗步驟保持一致。
選取FZ 研究區(qū)局部子圖(FZ-A)、QZ 研究區(qū)局部子圖(QZ-A),對比使用和未使用Cycle GANs遷移樣本的實驗結(jié)果。圖12展示了在實驗區(qū)FZ-A 和QZ-A 樣本遷移前后的建筑物變化檢測結(jié)果??芍菏褂脴颖具w移的建筑物變化檢測結(jié)果精確度更高,實驗區(qū)FZ-A 的精確率由71%提升至76%,QZ-A 的精確率由61%提升至74%。有效改善了漏檢現(xiàn)象,召回率最高提升16%,F(xiàn)1 分數(shù)最高提升14%,全局總體誤差降低9%(表3)。
圖12 樣本遷移前后變化結(jié)果圖Fig.12 Comparison of detected changes before and after sample transferring
使用Obj-SiamNet 對福州研究區(qū)子圖(FZ-B)進行變化檢測,并與其他3 種模型對比。由圖13可知,Obj-SiamNet 的檢測結(jié)果破碎度較低,能夠較完整的檢測出建筑物變化區(qū)域,漏檢現(xiàn)象得到明顯改善。而ChangeNet 檢測結(jié)果存在較多漏檢現(xiàn)象;加入金字塔注意力模塊的STANet 對于光照變化引起的錯檢現(xiàn)象有較明顯改善,精確率較高,但提取的變化區(qū)域破碎現(xiàn)象嚴重,漏檢嚴重;Siam-NestedUNet 的檢測結(jié)果存在較多錯檢漏檢現(xiàn)象。由表4 可知,本文提出的Obj-SiamNet 相比于其他3種方法在召回率上有較大提升,最高提升了32%,全局過分誤差最高降低了23%,相比于Siam-NestedUNet 方法,本方法在所有指標上均有明顯提升。
表4 各方法獲取的建筑物變化檢測結(jié)果精度評價Table 4 Evaluation of the accuracy of building change detection results obtained by each method/%
圖13 各方法在FZ-B區(qū)域中檢測到的變化建筑物的面向?qū)ο笤u價結(jié)果Fig.13 Object-based evaluation results of different methods in the FZ-B area
進一步對比Obj-SiamNet 與其他3 種方法的檢測結(jié)果細節(jié)圖,由圖14 可知,STANet 在檢測具有不規(guī)則形狀的小型密集建筑物時,檢測結(jié)果的變化邊界與實際變化邊界吻合度較低(圖14(a)),且存在較多漏檢現(xiàn)象(圖14(b)和(c));Siam-Nested-UNet 誤檢嚴重;ChangeNet 檢測結(jié)果破碎度高(圖14(c))。綜上,在不同類型的建筑物變化場景下,Obj-SiamNet檢測的變化邊界與實際變化邊界吻合度最高,且顯著降低檢測結(jié)果的破碎現(xiàn)象。
圖14 不同建筑物變化檢測方法與本方法(Obj-SiamNet)在結(jié)果細節(jié)上的對比分析Fig.14 Comparative analysis of building change results:our method(i.e.,Obj-SiamNet)vs.existing methods
使用本方法得到的3個研究區(qū)的完整變化檢測結(jié)果如圖15所示。由表5 可知,3 個實驗區(qū)的檢測結(jié)果召回率最高達83%,精確率最高為87%。其中,福州研究區(qū)檢測的變化邊界與實際變化邊界更吻合,泉州研究區(qū)召回率和精確率分別為83%、74%,但由于小型密集建筑物分割不不精確,導致檢測結(jié)果存在大片區(qū)域粘連。
表5 基于本方法Obj-SiamNet的3個研究區(qū)域建筑物變化檢測結(jié)果的精度評價表Table 5 Accuracy evaluation of the building change results obtained by Obj-SiamNet in three study areas/%
圖15 基于本方法Obj-SiamNet的3個研究區(qū)域建筑物變化檢測結(jié)果Fig.15 Building change results obtained by the proposed Obj-SiamNet in three study areas
本文提出一種基于面向?qū)ο髮\生神經(jīng)網(wǎng)絡的高分辨影像建筑物變化檢測方法,重點研究了利用面向?qū)ο蠓治黾夹g(shù)提升經(jīng)典孿生神經(jīng)網(wǎng)絡變化檢測結(jié)果的幾何精度,以及多尺度檢測結(jié)果的自動融合方法。較STANet、ChangeNet 和Siam-NestedUNet 變化檢測模型,本方法在處理檢測結(jié)果邊界鋸齒化以及檢測精度方面,具有明顯的優(yōu)越性;具體的,GTC 最高降低了9%,召回率最高提升32%,F(xiàn)1指數(shù)提升23%。在福州、泉州和浦城3個實驗區(qū)檢測結(jié)果中,Obj-SiamNet的召回率均可達70%以上,F(xiàn)1指數(shù)最高為79%。
本文使用多分辨率分割算法進行圖像分割,在圖像分割時,由于小型密集建筑群分割不精準(圖16 的區(qū)域A、圖16 的區(qū)域B)或?qū)⒔ㄖ锱c其他地物分割為一個對象(圖16 的區(qū)域C),造成檢測結(jié)果存在粘連現(xiàn)象,無法精確檢測出實際變化邊界,誤檢率和漏檢率增加。且該分割算法需手動設置分割參數(shù),所選參數(shù)可能無法適用于全部城市場景。進一步的研究可側(cè)重在圖像分割方法的選擇上,或者分割參數(shù)優(yōu)化上面,比如選擇ESP分割工具(Drǎgu? 等,2010),進一步提升本方法的檢測性能和適用性。
圖16 Obj-SiamNet獲取的建筑物變化檢測結(jié)果中存在粘連現(xiàn)象的實例Fig.16 Examples of building change results with adjacent buildings obtained by Obj-SiamNet
基于模糊集理論的多尺度檢測結(jié)果自動融合方法,避免了單一分割尺度檢測結(jié)果造成的漏檢誤檢問題。FZ-A 區(qū)域的多尺度融合結(jié)果相比于單一分割尺度檢測結(jié)果更精準,精確率最高提升11%,召回率較3個單一尺度檢測結(jié)果均提升25%以上。
另外,挑選研究區(qū)和仿研究區(qū)數(shù)據(jù)集中建筑物變化程度在20%—80%的樣本來構(gòu)建模型訓練樣本庫。使用該規(guī)則篩選后的樣本中,變化程度在20%—60%的樣本數(shù)量占了總樣本量的92.36%,變化程度在60%—80%的樣本數(shù)量僅占總量的7%左右,這保證了模型的正負樣本均衡,該樣本篩選規(guī)則具有合理性和可行性。未來,可進一步完善對于變化程度過高或過低的樣本取舍規(guī)則。
此外,本文利用Cycle GANs 進行樣本遷移,可將公開數(shù)據(jù)與研究區(qū)數(shù)據(jù)集相互轉(zhuǎn)換,且訓練Cycle GANs 的數(shù)據(jù)集不需要成對匹配,提高了樣本遷移效率。本研究使用空間分辨率為0.5 m 的CD_Data_GZ 數(shù)據(jù)集進行樣本遷移,在FZ-A 研究區(qū)和QZ-A 研究區(qū)的實驗結(jié)果均證實了該遷移方法的有效性。QZ-A 研究區(qū)效果更顯著,所有精度評價指數(shù)均有較大提升,召回率由67%提升至83%,精確率由61%提升至74%。但使用該方法樣本遷移時,要求公開數(shù)據(jù)集與研究區(qū)數(shù)據(jù)集的空間分辨率相近,對于空間分辨率相差較大的公開數(shù)據(jù)集,可能無法實現(xiàn)有效遷移,未來可進一步研究提升生成對抗網(wǎng)絡樣本遷移效率的策略。
本文提出一種基于面向?qū)ο髮\生神經(jīng)網(wǎng)絡(Obj-SiamNet)和Cycle GANs 樣本遷移策略的高分辨率遙感影像建筑物變化檢測方法,有效提升了傳統(tǒng)孿生神經(jīng)網(wǎng)絡獲取的建筑物變化檢測結(jié)果的幾何精度,降低了深度學習模型訓練樣本庫構(gòu)建成本。并應用本方法在3 個研究區(qū)上進行了驗證,主要結(jié)論如下:
(1)與STANet、ChangeNet 和Siam-Nest-edUNet 3 種現(xiàn)有模型相比,Obj-SiamNet 檢測結(jié)果整體較優(yōu),漏檢現(xiàn)象改善明顯,召回率平均提升26.3%,F(xiàn)1 平均提升16.7%,全局總體誤差平均降低7%,證明了本方法的優(yōu)越性。更進一步地,使用Obj-SiamNet 在福州、泉州、浦城3 個不同實驗區(qū)獲得了成功應用,全局總體誤差最低為19%,F(xiàn)1 分數(shù)最高為79%,召回率最高可達83%,驗證了本方法的適用性。
(2)融合面向?qū)ο蠖喑叨确指畹臋z測結(jié)果較單一尺度分割的檢測結(jié)果,可減少影像信息損失,提升檢測結(jié)果精度,召回率最高提升32%,F(xiàn)1 分數(shù)最高提升25%,全局總體誤差最高降低7%。
(3)使用Cycle GANs 遷移樣本,增加了訓練樣本量,進而提升了模型預測性能,兩個研究區(qū)的檢測結(jié)果較未使用樣本遷移的檢測結(jié)果有明顯提升,F(xiàn)1 分數(shù)最高提升14%,GTC 降低9%。在泉州研究區(qū),召回率由67%提升至83%,精確率由61%提升至74%,F(xiàn)1 分數(shù)由64%提升至78%,全局總體誤差由29%降低至20%。
Obj-SiamNet 方法對于其他地物變化檢測同樣具有借鑒意義。后續(xù)研究可側(cè)重在影像分割方法的選擇以及孿生神經(jīng)網(wǎng)絡主干網(wǎng)絡的設計上。此外,也可增加多種樣本類型,在土地利用層面進行語義變化檢測研究。