郝 明，田 毅，張 華，鄭南山

(1.江蘇省資源環(huán)境信息工程重點實驗室，江蘇 徐州 221116；2.中國礦業(yè)大學(xué)環(huán)境與測繪學(xué)院，江蘇 徐州 221116)

0 引 言

隨著城鎮(zhèn)化進(jìn)程不斷加快，中國城鎮(zhèn)化水平已從1995年的29.0%提高到2019年的60.6%[1]。建筑物作為城市中最重要的地物類型之一，其拆除、新增、改擴(kuò)建等與城市規(guī)劃、基礎(chǔ)建設(shè)和居民切身利益等密切相關(guān)。建筑物變化檢測廣泛應(yīng)用于城市地圖數(shù)據(jù)庫更新、城市規(guī)劃、三維建模以及“數(shù)字城市”和“智慧城市”等方面[2]。

相較于傳統(tǒng)的人工巡查，高分辨率遙感影像具有覆蓋范圍廣、成本低、地物細(xì)節(jié)豐富等優(yōu)勢，被越來越多地用于城市精細(xì)變化檢測[3]。季順平和袁修孝提出一種基于陰影檢測的建筑物變化檢測方法[4]。近年融合多特征的建筑物變化檢測取得進(jìn)展。張志強等提出一種基于像素級和對象級結(jié)果融合的建筑物變化檢測方法，一方面利用隨機(jī)森林分類器對多維影像特征分類，獲取像元級建筑物變化檢測結(jié)果；另一方面對后時相遙感影像分割獲得影像對象，通過二者融合識別變化建筑物[5]。李軍勝等在影像分割基礎(chǔ)上，利用變化矢量分析法生成兩期影像的光譜、紋理和形態(tài)學(xué)建筑物指數(shù)等差異特征，并利用證據(jù)理論對各類特征的變化概率進(jìn)行融合，通過設(shè)置規(guī)則檢測變化建筑物[6]。深度學(xué)習(xí)研究遙感影像建筑物變化檢測日益成為熱點。王明常等提出一種基于深度學(xué)習(xí)模型的高分辨率遙感影像建筑物變化檢測方法，將殘差結(jié)構(gòu)和特征金字塔網(wǎng)絡(luò)融合到Unet模型中，建立了特征提取更優(yōu)且具有多尺度分析能力的FPN Res-Unet模型，在所用數(shù)據(jù)集的實驗中準(zhǔn)確率、召回率、F1三種指標(biāo)均達(dá)到了90%以上[7]。顧煉等將超列和FlowNet中的細(xì)化結(jié)構(gòu)引入U-Net，提出一種面向建筑物變化檢測的FlowS-Unet網(wǎng)絡(luò)，實驗結(jié)果優(yōu)于全卷積網(wǎng)絡(luò)(FCN)和U-Net網(wǎng)絡(luò)[8]。

然而，多時相高分辨率遙感影像存在成像時間、角度、光照等差異，建筑物變化檢測面臨虛假變化的難題[9-10]，且無法滿足違章建筑物檢測對高時空分辨率的要求。隨著無人機(jī)續(xù)航時間和成像技術(shù)不斷改善，傾斜攝影測量可為城市建筑物變化檢測提供可靠解決方案。楊鈺琪等針對城市建筑物變化，提出一種無人機(jī)影像密集匹配點云多層次分割的建筑物層高變化檢測方法，實現(xiàn)建筑物的三維變化檢測，實驗結(jié)果表明提出方法的檢測完整率、正確率及檢測質(zhì)量均達(dá)到90%[11]。任媛媛等利用Faster R-CNN網(wǎng)絡(luò)模型目標(biāo)檢測方法對無人機(jī)遙感影像中的建筑物可進(jìn)行快速識別，且總體精度超過90%[12]。

本文研究基于深度學(xué)習(xí)的無人機(jī)影像建筑物變化檢測，驗證無人機(jī)影像建筑物變化檢測深度卷積神經(jīng)網(wǎng)絡(luò)方法的有效性：① 結(jié)合變化矢量分析生成無人機(jī)影像變化檢測數(shù)據(jù)集；② 研究基于DeepLab V3+深度網(wǎng)絡(luò)的建筑物變化檢測遷移學(xué)習(xí)；③ 利用訓(xùn)練網(wǎng)絡(luò)模型實現(xiàn)無人機(jī)影像建筑物變化檢測和精度評價。

1 無人機(jī)影像變化檢測深度學(xué)習(xí)方法

深度卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層和全連接層等組成，在圖像分類、目標(biāo)檢測和語義分割等領(lǐng)域具有廣泛應(yīng)用[13]。隨著深度學(xué)習(xí)的發(fā)展，大量的深度學(xué)習(xí)網(wǎng)絡(luò)被提出，其中DeepLab系列網(wǎng)絡(luò)(DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+)使用廣泛，較多研究是對已有網(wǎng)絡(luò)的改進(jìn)[14]。本文采用新近提出的DeepLab V3+深度學(xué)習(xí)網(wǎng)絡(luò)試驗研究無人機(jī)建筑物變化檢測。

1.1 DeepLab V3+深度學(xué)習(xí)網(wǎng)絡(luò)

如圖1所示，DeepLab V3+網(wǎng)絡(luò)結(jié)構(gòu)其網(wǎng)絡(luò)的創(chuàng)新在于使用空間金字塔結(jié)構(gòu)，利用膨脹卷積在擴(kuò)大局部感受野的同時，設(shè)置不同的膨脹系數(shù)獲得多尺度的上下文信息，在語義分割領(lǐng)域具有良好表現(xiàn)[15]。其在DeepLab V3 網(wǎng)絡(luò)基礎(chǔ)上增加了一個編碼模塊組成新編碼—解碼結(jié)構(gòu)，可選擇ResNet、Xception用于特征提取，利用不同膨脹系數(shù)的空洞卷積增加局部感受野，使用1×1的卷積混合特征，提高了網(wǎng)絡(luò)特征提取泛化能力。解碼模塊利用特征提取網(wǎng)絡(luò)獲得的深層抽象特征進(jìn)行上采樣，通過混合、3×3的卷積和上采樣恢復(fù)與原圖像大小一致的預(yù)測結(jié)果。

圖1 基于DeepLab V3+的無人機(jī)建筑物變化檢測流程圖

1.2 建筑物變化檢測遷移學(xué)習(xí)

現(xiàn)有DeepLab V3+網(wǎng)絡(luò)無法直接用于無人機(jī)影像建筑物變化檢測，需要對已有網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，生成適用于建筑物變化檢測的深度網(wǎng)絡(luò)。包括數(shù)據(jù)集生成、建筑物變化檢測網(wǎng)絡(luò)遷移學(xué)習(xí)、建筑物變化檢測和精度評價。

1.2.1 數(shù)據(jù)集生成

深度學(xué)習(xí)最為重要的環(huán)節(jié)是模型訓(xùn)練，而模型訓(xùn)練效果除了受算法模型和訓(xùn)練次數(shù)影響以外，便是樣本數(shù)據(jù)集質(zhì)量。本研究首先對兩個時期無人機(jī)影像進(jìn)行變化矢量分析[16]，即將兩個時期的特征向量相減，生成相應(yīng)的變化強度圖。

設(shè)無人機(jī)在T1、T2兩時期影像的多光譜特征矢量分別為A=(a1,a2,...,ak)和B=(b1,b2,...,bk)，k是兩時期影像的波段數(shù)，經(jīng)影像配準(zhǔn)后，生成變化特征向量表示為：

(1)

ΔG包含了兩幅影像中所有的變化信息，變化強度由|ΔG|決定。

(2)

|ΔG|越小，表示該像元的光譜相似性越高，發(fā)生變化的可能比越??；反之，則表示發(fā)生變化的可能性較大。在此基礎(chǔ)上，設(shè)置合適的閾值，即可得到初步的變化檢測結(jié)果，經(jīng)過人工分析后確定建筑物變化標(biāo)簽。最后以生成的變化強度|ΔG|作為輸入數(shù)據(jù)，與生成的變化標(biāo)簽組成數(shù)據(jù)集。

1.2.2 數(shù)據(jù)集增強

無人機(jī)數(shù)據(jù)集與計算機(jī)視覺中公開的數(shù)據(jù)集相比樣本數(shù)量較少，為達(dá)到較好的訓(xùn)練效果，需進(jìn)行樣本增強，實現(xiàn)網(wǎng)絡(luò)參數(shù)的調(diào)優(yōu)。首先，對無人機(jī)影像以256×256進(jìn)行隨機(jī)切圖，并對圖片進(jìn)行數(shù)據(jù)增強。① 將原圖和標(biāo)簽數(shù)據(jù)分別旋轉(zhuǎn)90°、180°和270°；② 對原圖和標(biāo)簽數(shù)據(jù)分別沿y軸作鏡像；③ 對原圖做模糊操作；④ 對原圖做光照調(diào)整；⑤ 對原圖分別增加高斯噪聲和椒鹽噪聲。經(jīng)過數(shù)據(jù)增強后，生成最終的數(shù)據(jù)集。

1.2.3 精度評價指標(biāo)

采用漏檢率、虛檢率和總錯誤率對實驗結(jié)果進(jìn)行定量評價[17]。

(1)漏檢率pm：標(biāo)簽數(shù)據(jù)中的變化建筑物像素被錯誤地檢測為未變化像素的數(shù)目與標(biāo)簽數(shù)據(jù)中變化建筑物像素數(shù)目的比值。

Pm=m1/n1×100%

(3)

式中，m1為漏檢像素數(shù)目，n1為標(biāo)簽數(shù)據(jù)中變化像素的數(shù)目。

(2)虛檢率Pf：標(biāo)簽數(shù)據(jù)中的未變化建筑物像素被錯誤地檢測為變化像素的數(shù)目與標(biāo)簽數(shù)據(jù)中未變化像素數(shù)目的比值。

Pf=m2/n2×100

(4)

式中，m2為虛檢像素數(shù)目，n2為標(biāo)簽數(shù)據(jù)中未變化像素的數(shù)目。

(3)總錯誤率Pt：總的錯檢的像素數(shù)目與總像素數(shù)目的比例。

Pt=m/n×100%

(5)

式中，m為總的錯檢像素數(shù)目，n為總像素數(shù)目。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)來源

實驗數(shù)據(jù)為大疆精靈4無人機(jī)分別于2018年6月和9月航拍的廣東省惠州市某地區(qū)影像，分辨率為0.8 m，經(jīng)過處理后生成正射影像。如圖2所示，從上到下為本研究選取的3個實驗區(qū)，數(shù)據(jù)大小分別為3 491×1 896、4 167×3 587、7 305×5 937像素，從左到右依次為前時期影像、后時期影像和變化強度影像，各實驗區(qū)包含建筑物、道路、河流、農(nóng)田等多種對象要素，同時存在部分建筑物變化。

圖2 實驗影像數(shù)據(jù)

2.2 變化檢測網(wǎng)絡(luò)訓(xùn)練

實驗選用硬件配置NVIDIA RTX2080ti顯卡，顯存11 G，Intel I9-9900k處理器，內(nèi)存64 G的計算終端。經(jīng)影像增強后，共生成9 999張256×256像素的影像和標(biāo)簽數(shù)據(jù)集。在訓(xùn)練過程中定義訓(xùn)練數(shù)據(jù)batch的大小為32，基礎(chǔ)學(xué)習(xí)率設(shè)置為0.01，正則化權(quán)重衰減設(shè)置0.000 01，訓(xùn)練次數(shù)設(shè)置為10 000次，損失函數(shù)使用交叉熵，最終學(xué)習(xí)準(zhǔn)確率穩(wěn)定在0.99附近。在此基礎(chǔ)上，將正射影像裁剪為256×256像素大小圖片，利用訓(xùn)練好的建筑物變化檢測網(wǎng)絡(luò)進(jìn)行檢測，最后進(jìn)行圖片拼接，生成最終的建筑物變化檢測結(jié)果。

2.3 結(jié)果分析

圖3為三個實驗區(qū)建筑物變化檢測結(jié)果，第一行和第二行影像分別為檢測結(jié)果和參考數(shù)據(jù)，從左到右依次為實驗區(qū)一、二、三。

圖3 建筑物變化檢測結(jié)果

3個實驗區(qū)建筑物變化檢測精度定量評價如表1所示。3個實驗區(qū)結(jié)果的錯檢率均較低，為1%左右，而漏檢率相對較高，分別為15.77%、12.38%和18.62%，其原因是由于兩時期無人機(jī)影像的拍攝間隔較短，發(fā)生變化的建筑物較少，導(dǎo)致定量精度評價時對于漏檢錯誤更加敏感。

表1 建筑物變化檢測精度評價

實驗區(qū)一中的建筑物變化主要為加蓋彩鋼結(jié)構(gòu)房屋，且部分變化房屋的光譜特性與原房屋相似，導(dǎo)致存在一棟房屋漏檢；由于光線和季節(jié)變化，導(dǎo)致部分虛假檢測；對于過小的建筑物變化效果不好。實驗區(qū)二中的建筑物變化檢測效果較好，但因光照引起的陰影變化，導(dǎo)致存在部分虛檢錯誤。實驗區(qū)三中的建筑物變化也得到了較好的檢測，但受光線變化影響，導(dǎo)致部分漏檢錯誤。對于小尺度的變化建筑物無法檢測。

總體分析表明，3個實驗區(qū)的總錯誤率均低于3%，且與參考數(shù)據(jù)的一致性較好，基本不存在“椒鹽”噪聲，為后期人工分析提供了較好的數(shù)據(jù)支持。

3 結(jié) 語

針對城市建筑物變化檢測高時間和高空間分辨率需求，研究了基于深度學(xué)習(xí)的無人機(jī)影像建筑物變化檢測方法。以大疆精靈4無人機(jī)正射影像為數(shù)據(jù)源，基于DeepLab V3+深度網(wǎng)絡(luò)，研究了無人機(jī)影像建筑物變化遷移學(xué)習(xí)，實現(xiàn)了建筑物變化檢測。實驗結(jié)果表明：深度學(xué)習(xí)可有效用于無人機(jī)影像建筑物變化檢測，總精度可達(dá)到97%以上，可為大范圍城市建筑物動態(tài)檢測、違章檢測、損害檢測提供技術(shù)支持。

現(xiàn)有深度學(xué)習(xí)方法對基于無人機(jī)正射影像的建筑物變化檢測，還存在無法檢測小尺寸和與原建筑物光譜高度相似的變化建筑物，易受光照變化影響。未來可將無人機(jī)點云數(shù)據(jù)引入深度網(wǎng)絡(luò)，進(jìn)一步提高建筑物變化檢測精度。