姬永清 李凱睿 巨煒龍

（1.中國電子科技集團(tuán)公司第二十八研究所 江蘇省南京市 210007）

（2.武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室 湖北省武漢市 430079 3.武漢大學(xué)測繪學(xué)院 湖北省武漢市 430079）

1 引言

深度神經(jīng)網(wǎng)絡(luò)可以從原始影像中學(xué)習(xí)復(fù)雜的關(guān)系，是實(shí)現(xiàn)變化檢測目地的最優(yōu)選擇。其中卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）可以從數(shù)據(jù)中自動提取多層面特征結(jié)構(gòu)[1]，從而在圖像處理領(lǐng)域取得了廣泛的應(yīng)用，在影像分類、影像匹配、目標(biāo)識別與探測和圖像融合[2]等方面也取得了較高的精度。Siamese 卷積神經(jīng)網(wǎng)絡(luò)可以將兩張對應(yīng)的影像同時輸入網(wǎng)絡(luò)中，對兩張影像進(jìn)行同步操作，相較傳統(tǒng)的CNN，檢測精度有較大的提升[3]。

2 基于Siamese卷積神經(jīng)網(wǎng)絡(luò)的變化檢測技術(shù)

基于Siamese 卷積神經(jīng)網(wǎng)絡(luò)的變化檢測技術(shù)可大致分為以下4步：

2.1 樣本采集及標(biāo)注

先手動選取特定范圍內(nèi)的目標(biāo)地物類型的衛(wèi)星影像，得到其經(jīng)緯度信息及范圍大小。在選取了一定數(shù)量的地物目標(biāo)后，使用爬蟲爬取這些地物目標(biāo)的一定時間范圍內(nèi)時序影像，形成較為龐大的樣 本數(shù)據(jù)集。

在獲取了足夠的樣本數(shù)據(jù)之后，采用人工目視的辦法，對時序影像的類別及變化情況進(jìn)行逐一核對，保證訓(xùn)練集的準(zhǔn)確性和有效性。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和訓(xùn)練

Siamese 卷積神經(jīng)網(wǎng)絡(luò)由兩個完全相同的分支網(wǎng)絡(luò)和一個決策層網(wǎng)絡(luò)組成（如圖1 所示）。分支網(wǎng)絡(luò)分別對兩時相影像瓦片進(jìn)行特征提取，提取后的特征經(jīng)過特征連接，生成兩時相影像對的整體特征。此時，這兩個特征會輸入到頂層的決策層網(wǎng)絡(luò)中。決策層網(wǎng)絡(luò)對輸入的整體特征進(jìn)行相似性測量。同時，生成的兩個特征也會被分別用來進(jìn)行分類學(xué)習(xí)，得到兩時相影像的類別，即場景信息。隨后，這些場景信息會被修正影像變化檢測的結(jié)果。

2.3 基于場景分類的變化檢測增強(qiáng)

場景分類是指從影像中提取相應(yīng)的場景特征，生成對應(yīng)于每一場景的概率值，來判斷該影像中的場景信息。由于僅涉及單分類或多分類問題，場景分類的準(zhǔn)確率一般都能達(dá)到90%以上[4]。因此考慮將場景分類網(wǎng)絡(luò)融合進(jìn)變化檢測網(wǎng)絡(luò)，以提高變化檢測的準(zhǔn)確率，具體流程如圖2 所示。

場景信息經(jīng)由綠色箭頭通過場景分類網(wǎng)絡(luò)傳遞到了特征提取網(wǎng)絡(luò)中，指導(dǎo)該網(wǎng)絡(luò)提取到更好的特征信息，紅棕色箭頭代表場景信息經(jīng)特征網(wǎng)絡(luò)進(jìn)一步的影響變化檢測網(wǎng)絡(luò)，提高其準(zhǔn)確度。

如圖3 所示，AB 場景信息以及變化信息與AB 場景分類以及變化檢測網(wǎng)絡(luò)相結(jié)合，分別使用binary_cross_entropy_loss 損失函數(shù)與變化檢測損失函數(shù)計(jì)算出三個loss 值，并賦予不同權(quán)重，即下式：

圖1：Siamese 卷積神經(jīng)網(wǎng)絡(luò)

圖2：場景分類示意圖

圖3：損失函數(shù)計(jì)算

圖4：高層建筑影像A

圖5：高層建筑影像B

先使用上式求解出一個總的loss，再利用該loss 進(jìn)行反向傳播，將場景信息帶入到變化檢測中去，從而將場景分類網(wǎng)絡(luò)與變化檢測網(wǎng)絡(luò)相結(jié)合，提高了變化檢測準(zhǔn)確率。

2.4 變化檢測損失函數(shù)硬例關(guān)注

針對變化檢測數(shù)據(jù)僅通過交叉熵?fù)p失函數(shù)獲取較高精度的網(wǎng)絡(luò)預(yù)測參數(shù)是極為困難的[5]。因此使用focal loss 替代傳統(tǒng)的交叉熵?fù)p失函數(shù)作為變化檢測的損失函數(shù)。但是，focal loss 面對的目標(biāo)為二分類問題中的類別信息識別和分割中的前景背景分析，無法滿足變化檢測中圖像信息豐富、內(nèi)容離散化分布的數(shù)據(jù)特點(diǎn)。因此提出了針對遙感影像的變化檢測損失函數(shù)硬例關(guān)注技術(shù)。

focal loss 計(jì)算公式如下：

其中α 是調(diào)節(jié)正負(fù)樣本數(shù)量的權(quán)重超參數(shù)，β 是調(diào)節(jié)難易樣本計(jì)算梯度的權(quán)重超參數(shù)，γ 代表真值，γ'代表預(yù)測結(jié)果。通過數(shù)量和難易樣本兩個函數(shù)進(jìn)行控制，達(dá)到對分布均衡和樣本重要性的同時關(guān)注。

變化檢測損失函數(shù)硬例關(guān)注技術(shù)依托于focal loss，采用不同的關(guān)注強(qiáng)化因子以及歸一化的硬例描述方式，實(shí)現(xiàn)了對變化檢測網(wǎng)絡(luò)參數(shù)的高精度訓(xùn)練，提升了變化檢測網(wǎng)絡(luò)的預(yù)測精度，解決了單一focal loss 的梯度消失問題，提升了整體網(wǎng)絡(luò)的穩(wěn)定性。

3 實(shí)驗(yàn)與分析

對擁有20 類地物目標(biāo)共19595 條數(shù)據(jù)的測試集影像進(jìn)行變化檢測，損失函數(shù)loss 平均值為0.293，測試集精度accuracy為87.5%，代表有87.5%的測試集數(shù)據(jù)預(yù)測正確，總用時為138.572s。

在開發(fā)的“遙感大數(shù)據(jù)智能融合與動態(tài)分發(fā)”集成平臺中，以武漢：高層建筑：009:2011-07-14 2012-04-13 對影像為例，在地物實(shí)際發(fā)生了變化時，狀態(tài)變化列表也顯示發(fā)生了變化。如圖4、圖5 所示。

4 結(jié)語

本文提出的基于Siamese 卷積神經(jīng)網(wǎng)絡(luò)的變化檢測技術(shù)實(shí)用強(qiáng)，可以針對變化檢測的本身特點(diǎn)將兩張對應(yīng)的影像同時輸入網(wǎng)絡(luò)中，對兩張影像進(jìn)行同步操作，使得檢測精度相較傳統(tǒng)的CNN 變化檢測網(wǎng)絡(luò)得到更高的提升，具有較好的應(yīng)用價值和應(yīng)用前景。