齊建偉,王偉峰,張 樂,王光彥

(1. 黃河水利職業(yè)技術(shù)學(xué)院,河南 開封 475004; 2. 中科北緯(北京)科技有限公司,北京 100043; 3. 江蘇省工程勘測(cè)研究院有限責(zé)任公司,江蘇 揚(yáng)州 225002)

隨著中國(guó)城市化進(jìn)程的不斷推進(jìn),城市違建等現(xiàn)象頻頻發(fā)生,傳統(tǒng)依靠人力執(zhí)法作業(yè)的方式效率低下,已無法滿足日益增長(zhǎng)的現(xiàn)實(shí)需求。根據(jù)衛(wèi)星影像進(jìn)行執(zhí)法的任務(wù)量與日俱增,近10年來,人工智能技術(shù)飛速發(fā)展。2012年是深度學(xué)習(xí)元年,在著名網(wǎng)絡(luò)結(jié)構(gòu)AlexNet[1]一舉拿下當(dāng)年大規(guī)模視覺識(shí)別大賽[2]的冠軍之后,計(jì)算機(jī)視覺領(lǐng)域迎來飛速發(fā)展,以深度學(xué)習(xí)(deep learning, DL)及卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)為基礎(chǔ)的算法取得諸多突破。2014年,全卷積網(wǎng)絡(luò)(fully convolutional network, FCN)[3]首次成功地將深度學(xué)習(xí)引入語(yǔ)義分割場(chǎng)景。

本文探索DeepLab系列相關(guān)算法[4-5],并針對(duì)變化檢測(cè)場(chǎng)景進(jìn)行改進(jìn),在建筑物變化檢測(cè)開源數(shù)據(jù)集上進(jìn)行效果驗(yàn)證,論證人工智能算法在遙感建筑物變化檢測(cè)場(chǎng)景下的可行性,為人工智能技術(shù)在通過衛(wèi)星影像執(zhí)法等場(chǎng)景提供實(shí)踐經(jīng)驗(yàn)。

1 算法理論基礎(chǔ)

1.1 DeepLab系列算法

DeepLab系列是語(yǔ)義分割領(lǐng)域中最常使用的算法之一,自2014年首篇文章DeepLabV1[6]發(fā)表以來,有學(xué)者不停地優(yōu)化改進(jìn)其結(jié)構(gòu),DeepLabV2[7]、DeepLabV3[8]和DeepLabV3+[9]等隨之出現(xiàn),并不斷地刷新語(yǔ)義分割開源數(shù)據(jù)集性能指標(biāo)。

DeepLabV1將空洞卷積[10](dilated convolution)引入語(yǔ)義分割網(wǎng)絡(luò),通過加大卷積核的空洞率以增加網(wǎng)絡(luò)的感受野。DeepLabV2在DeepLabV1的基礎(chǔ)上,借鑒SPPNet[11]的網(wǎng)絡(luò)設(shè)計(jì)思想,提出空間金字塔下采樣結(jié)構(gòu)(atrous spatial pyramid pooling, ASPP)。如圖1(a)所示,空間金字塔下采樣結(jié)構(gòu)通過不同尺度的空洞卷積增加網(wǎng)絡(luò)多尺度感受野,較大幅度提升了網(wǎng)絡(luò)性能。DeepLabV3在DeepLabV2的基礎(chǔ)上,改進(jìn)了空間金字塔下采樣結(jié)構(gòu),如圖1(b)所示。

圖1 ASPP結(jié)構(gòu)

DeepLabV3+是DeepLab系列中性能最優(yōu)的算法。DeepLabV3+的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,區(qū)別于常見的編碼器和解碼器對(duì)稱結(jié)構(gòu),DeepLabV3+采用Xception[12]結(jié)構(gòu)為網(wǎng)絡(luò)主干,網(wǎng)絡(luò)結(jié)構(gòu)的主要參數(shù)量集中于編碼器部分,而解碼器僅為兩個(gè)4倍上采樣插值操作。

圖2 DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)

1.2 損失函數(shù)

本文使用Softmax和交叉熵(cross entropy)損失函數(shù)。

一般分割網(wǎng)絡(luò)設(shè)計(jì)為輸出與輸入等像素分辨率的預(yù)測(cè)值,即每個(gè)像素均有一個(gè)長(zhǎng)度為類別數(shù)的預(yù)測(cè)輸出。一般使用softmax函數(shù)將最后的輸出映射為每個(gè)類別的概率,公式為

(1)

式中,fj為每個(gè)像素的預(yù)測(cè)向量。

交叉熵?fù)p失函數(shù)為深度學(xué)習(xí)領(lǐng)域常用的損失函數(shù),主要用于衡量模型輸出與標(biāo)注樣本的接近程度。交叉熵?fù)p失越小,說明模型輸出與標(biāo)注樣本越相近,模型性能越好。公式為

(2)

1.3 評(píng)價(jià)指標(biāo)

建筑物變化檢測(cè)本質(zhì)上為基于語(yǔ)義分割的相關(guān)算法,該場(chǎng)景一般使用平均交并比(mean intersection over union, mIoU)進(jìn)行模型評(píng)估。

以本場(chǎng)景為例,由于建筑物變化檢測(cè)為單一類識(shí)別,因此平均交并比轉(zhuǎn)換成交并比(intersection over union, IoU)。可以將模型輸出分為以下4類。

(1)正確預(yù)測(cè)的正樣本(true positive, TP):表示模型預(yù)測(cè)為正例,實(shí)際是正例。

(2)錯(cuò)誤預(yù)測(cè)的正樣本(false positive, FP):表示模型預(yù)測(cè)為正例,實(shí)際是負(fù)例。

(3)正確預(yù)測(cè)的負(fù)樣本(true negative, TN):表示模型預(yù)測(cè)為負(fù)例,實(shí)際是負(fù)例。

(4)錯(cuò)誤預(yù)測(cè)的負(fù)樣本(false negative, FN):表示模型預(yù)測(cè)為負(fù)例,實(shí)際是正例。

評(píng)價(jià)指標(biāo)交并比可以表示為

(3)

若任務(wù)場(chǎng)景為多類別場(chǎng)景,則評(píng)價(jià)指標(biāo)將每一類的交并比求均值,即平均交并比為

(4)

式中,N為目標(biāo)場(chǎng)景類別數(shù),在本文場(chǎng)景中,N=1。

2 DeepLabV3+算法應(yīng)用及改進(jìn)

2.1 語(yǔ)義分割算法在變化檢測(cè)場(chǎng)景中的應(yīng)用

在計(jì)算機(jī)視覺領(lǐng)域,語(yǔ)義分割是對(duì)輸入圖像進(jìn)行像素級(jí)分類。通用語(yǔ)義分割任務(wù)為“單入單出”,即輸入一張圖像,輸出與圖像等分辨率的預(yù)測(cè)結(jié)果。變化檢測(cè)與語(yǔ)義分割不同,是一種“雙入單出”任務(wù),輸入為一對(duì)等分辨率圖像,輸出與圖像等分辨率的預(yù)測(cè)結(jié)果。

一般如需將語(yǔ)義分割算法直接應(yīng)用于變化檢測(cè)場(chǎng)景,需要將兩張圖像在通道維度合并。如圖3(a)所示,以DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)為例,要對(duì)一組三通道可見光圖像進(jìn)行變化檢測(cè),則需要將這兩張三通道可見光圖像合并成六通道圖像,再輸入語(yǔ)義分割網(wǎng)絡(luò)。

圖3 算法結(jié)構(gòu)

這種直接使用語(yǔ)義分割算法的技術(shù)方案有很多優(yōu)點(diǎn),如不需要較多開發(fā)成本,對(duì)研發(fā)人員要求較低,現(xiàn)有開源方案較多,可以直接使用等。但這種方案的弊端也較為明顯,語(yǔ)義分割網(wǎng)絡(luò)結(jié)構(gòu)本身不是針對(duì)變化檢測(cè)任務(wù)設(shè)計(jì)的,且沒有針對(duì)變化檢測(cè)任務(wù)特性進(jìn)行結(jié)構(gòu)調(diào)整,在等網(wǎng)絡(luò)參數(shù)量的條件下,無法充分發(fā)揮網(wǎng)絡(luò)性能。

2.2 改進(jìn)的DeepLabV3+結(jié)構(gòu)

圖3(a)對(duì)兩張圖像合并通道,在同一個(gè)網(wǎng)絡(luò)中提取特征,無法充分融合兩張圖像特征,且容易丟失兩張圖像各自的特征。

本文以DeepLabV3+結(jié)構(gòu)為主體,提出一種針對(duì)變化檢測(cè)場(chǎng)景的交互孿生網(wǎng)絡(luò),如圖3(b)所示,該網(wǎng)絡(luò)的每一層特征不僅與當(dāng)前網(wǎng)絡(luò)的前一層特征相關(guān),還與其對(duì)應(yīng)的另一個(gè)網(wǎng)絡(luò)的前一層特征相關(guān)。此設(shè)計(jì)中,兩張圖像的特征在網(wǎng)絡(luò)淺層開始交互,使網(wǎng)絡(luò)的每一層都參與了語(yǔ)義變化信息的學(xué)習(xí)。

在網(wǎng)絡(luò)深層,提取兩張圖像的變化特征后,對(duì)兩張圖像特征進(jìn)行融合,本文使用的融合方案是在通道維度合并兩個(gè)特征圖,再使用兩個(gè)卷積核尺寸為3的卷積操作充分混合特征。在特征采樣過程中,融合網(wǎng)絡(luò)中間層的特征,對(duì)特征細(xì)節(jié)輔以修正。

上述改進(jìn)充分考慮了變化檢測(cè)場(chǎng)景的任務(wù)特殊性,針對(duì)兩張圖像輸入,網(wǎng)絡(luò)各自提取圖像特征,同時(shí)輔以孿生網(wǎng)絡(luò)同級(jí)特征,即充分學(xué)習(xí)圖像自身特征,又保留了網(wǎng)絡(luò)對(duì)變化區(qū)域的敏感性,較原始方案有較大提升。

3 試驗(yàn)結(jié)果分析

3.1 試驗(yàn)數(shù)據(jù)集

選用由北京航空航天大學(xué)發(fā)布的建筑物變化檢測(cè)數(shù)據(jù)集LEVIR-CD[13]。該數(shù)據(jù)集是一個(gè)大規(guī)模遙感建筑變化檢測(cè)數(shù)據(jù)集,是評(píng)估變化檢測(cè)算法的新基準(zhǔn),尤其是基于深度學(xué)習(xí)的算法。

LEVIR-CD數(shù)據(jù)集由637個(gè)約0.5 m空間分辨率的谷歌地球圖像對(duì)組成,所有圖像為RGB三通道,均被裁切成1024×1024像素的影像,如圖4所示。所有圖像對(duì)時(shí)間跨度為5～14 a,有明顯的土地類型變化,尤其是建筑增長(zhǎng)。LEVIR-CD涵蓋各種類型的建筑,如別墅住宅、高層公寓、小型車庫(kù)和大型倉(cāng)庫(kù)。該數(shù)據(jù)集重點(diǎn)關(guān)注建筑相關(guān)的變化,包括建筑新增和建筑消失,主要是土壤、草地、硬化地面或在建建筑到新建筑區(qū)域之間的變化。圖像標(biāo)簽是通用的二進(jìn)制標(biāo)簽,標(biāo)簽中1表示變化,0表示不變,與常見語(yǔ)義分割數(shù)據(jù)集格式相同。整個(gè)數(shù)據(jù)集包含共31 333個(gè)單獨(dú)的建筑物變更實(shí)例。

圖4 LEVIR-CD數(shù)據(jù)示例

3.2 試驗(yàn)參數(shù)

使用的GPU為NVIDIA Tesla V100,所有試驗(yàn)均為單機(jī)8卡配置。通過兩種算法的對(duì)比試驗(yàn),訓(xùn)練學(xué)習(xí)率為0.01,訓(xùn)練輪次為30輪,每張GPU的批處理大小為1,學(xué)習(xí)率下降策略為poly[14]。

3.3 試驗(yàn)結(jié)果及可視化

表1為2種算法的效果對(duì)比,改進(jìn)的DeepLabV3+算法性能有明顯提升。

表1 算法模型指標(biāo)

兩個(gè)模型的預(yù)測(cè)結(jié)果如圖5所示,兩種算法在輪廓及細(xì)節(jié)上有一定差距。直接將DeepLabV3+應(yīng)用于變化檢測(cè)場(chǎng)景,模型存在一定漏檢和少許誤檢,且變化輪廓在建筑物密集處容易粘連。DeepLabV3+改進(jìn)算法能較好地平衡誤檢及漏檢,同時(shí)保證建筑物輪廓清晰完整。

圖5 算法模型結(jié)果對(duì)比

3.4 消融試驗(yàn)

本文選用DeepLabV3+改進(jìn)算法展開消融試驗(yàn)(ablation experiment),即控制變量法,每次試驗(yàn)變化一個(gè)超參(Hyperparameter),通過多組試驗(yàn)對(duì)比,得到超參的最優(yōu)配比。

表2為DeepLabV3+改進(jìn)算法在不同超參下性能對(duì)比,根據(jù)試驗(yàn)結(jié)果,可得到以下結(jié)論:

表2 DeepLabV3+改進(jìn)算法在不同超參下性能對(duì)比

(1)初始學(xué)習(xí)率為0.01時(shí)更適合本文任務(wù)場(chǎng)景。

(2)學(xué)習(xí)率下降策略poly比cosine[15]策略更適合該場(chǎng)景。

(3)訓(xùn)練輪次越多,模型的效果越好。

(4)批處理越大,模型的效果越好。

根據(jù)以上4點(diǎn)結(jié)論,本文使用最優(yōu)超參再次對(duì)DeepLabV3+改進(jìn)算法進(jìn)行訓(xùn)練(見表2第8行)。最終通過模型效果對(duì)比,默認(rèn)超參有4.1%的提升。

4 結(jié) 語(yǔ)

針對(duì)遙感建筑物變化檢測(cè)場(chǎng)景,本文根據(jù)任務(wù)特性及網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn),對(duì)DeepLabV3+算法結(jié)構(gòu)進(jìn)行改進(jìn),改進(jìn)的結(jié)構(gòu)更適合變化檢測(cè)任務(wù)場(chǎng)景。同時(shí),針對(duì)改進(jìn)的DeepLabV3+算法進(jìn)行消融試驗(yàn),得到一組適合本場(chǎng)景的超參。

本文成功地將人工智能領(lǐng)域中DeepLabV3+算法應(yīng)用于遙感建筑物變化檢測(cè)場(chǎng)景,論證了方案的可行性,對(duì)于人工智能在通過衛(wèi)星影像執(zhí)法、城市違建等場(chǎng)景落地具有借鑒意義。