余 威，龍慧云

(貴州大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，貴州 貴陽 550025)

1 概 述

遙感影像目標(biāo)識別作為當(dāng)前遙感影像應(yīng)用領(lǐng)域中的主要研究內(nèi)容，具有重要的理論研究意義和廣泛的應(yīng)用價值[1]。以城市區(qū)域的高分辨率遙感影像為例，大部分識別目標(biāo)是建筑物、道路和橋梁等人工地物，這些目標(biāo)的有效識別和精確定位一直以來都是急需解決的問題。而這其中的遙感影像建筑物識別在民用領(lǐng)域和軍事領(lǐng)域都有較為重要的意義，為災(zāi)害應(yīng)急和生產(chǎn)生活提供便利。

近年來，傳統(tǒng)計算機(jī)視覺技術(shù)進(jìn)行高分辨率遙感影像地面建筑物識別提取主要是利用建筑物的多邊形形狀信息、顏色和紋理特征[2]，隨后使用傳統(tǒng)機(jī)器學(xué)習(xí)分類算法(例如AdaBoost、支持向量機(jī)、隨機(jī)森林等)對這些特征進(jìn)行分類，并完成建筑物的提取[3-5]。但是真實環(huán)境下，城市建筑物有著復(fù)雜多變的紋理和顏色，以及會受到陰影的遮擋，這些因素使上述算法在復(fù)雜的建筑物提取場景下處理能力不足[6]。

從遙感影像中進(jìn)行建筑物識別，在計算機(jī)視覺領(lǐng)域中被認(rèn)為是語義分割問題，語義分割是通過一定的方法，將整幅圖像分割成具有一定語義含義的區(qū)域塊，并識別出每個語義塊的類別，實現(xiàn)從底層到高層語義的推斷過程[7]。最終得到一幅逐像素語義標(biāo)注的分割圖像。建筑物分割是一種二分類的語義分割，分割后得到建筑物區(qū)域和非建筑物區(qū)域。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為計算機(jī)視覺任務(wù)上成功的監(jiān)督分類方法，將其應(yīng)用在圖像語義分割上有以下兩個問題：一是輸出結(jié)果相對輸入分辨率降低，影響最終的分類精度；二是忽略了上下文信息。圖像中物體之間存在局部上下文關(guān)系以及物體與圖像之間存在全局上下文關(guān)系，CNN模型會將這些信息忽略。為了解決這些問題，Jonathan Long等提出了Fully Convolutional Networks (FCN)[8]；Zheng等[9]將卷積神經(jīng)網(wǎng)絡(luò)的輸出作為全連接條件隨機(jī)場(full connected CRF)的輸入，提高了語義分割準(zhǔn)確率。此外，還有一些跳越連接(skip-connections)網(wǎng)絡(luò)結(jié)構(gòu)[8,10-11]，膨脹卷積(dilated convolutions)網(wǎng)絡(luò)結(jié)構(gòu)[12]能在一定程度上提高整體分割準(zhǔn)確率。雖然這些方法在處理自然圖像時性能較好，但是它們并不太適合處理遙感影像。因為高分辨率遙感影像每張影像包含成百上千的建筑物目標(biāo)，并且在影像中建筑物結(jié)構(gòu)精細(xì)，這些都與自然圖像不同。但是可以借鑒自然圖像語義分割思路，結(jié)合不同網(wǎng)絡(luò)模型優(yōu)點，研究一種對復(fù)雜場景具有較強(qiáng)魯棒性的遙感影像建筑物分割方法。

因此，文中構(gòu)建了兩種端對端的全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并將其應(yīng)用在遙感影像建筑物分割上。此外，重新設(shè)計結(jié)合交叉熵?fù)p失函數(shù)和Jaccard index的聯(lián)合損失函數(shù)，用以提高遙感影像建筑物分割精度。受ImageNet競賽集成方法[13-14]的啟發(fā)，文中提出融合兩種模型的遙感影像建筑物分割方法來提高整體分割精度。

2 端對端全卷積網(wǎng)絡(luò)模型

在高分辨率的遙感影像中，一張圖往往包含成千上萬個像元，這使得圖像占用很大的存儲空間。由于計算機(jī)硬件的限制，只能對一整張圖像進(jìn)行分塊預(yù)測，再對預(yù)測圖進(jìn)行拼接恢復(fù)。直接的預(yù)測拼接會有很明顯的拼接痕跡，影響建筑物的分割精度。解決這一問題的方式是在重疊的圖像塊上進(jìn)行預(yù)測。文中提出在模型中加入剪裁層的方式來解決這個問題，兩種端對端的模型均是基于此思想。即：

p(N(M(i,j),wm)|N(S(i,j),ws))

(1)

其中，N(I(i,j),w)表示在圖像I上以(i,j)為中心，大小為w*w的圖像塊。將給定大小為ws*ws的遙感影像輸入模型，經(jīng)模型預(yù)測得到大小為wm*wm的預(yù)測(wm

2.1 編解碼分割網(wǎng)絡(luò)模型(ED-Net)

典型FCN模型通過轉(zhuǎn)置卷積一次性將底層特征圖恢復(fù)成原圖大小，致使模型分割精度不高。與FCN不同的是，編解碼網(wǎng)絡(luò)逐級通過卷積和上采樣恢復(fù)圖像分辨率，這樣模型能保留更多細(xì)節(jié)特征。整個網(wǎng)絡(luò)模型的結(jié)構(gòu)[10]如圖 1所示。

圖1 編解碼分割網(wǎng)絡(luò)結(jié)構(gòu)

大小為128×128像素的圖像作為網(wǎng)絡(luò)輸入。在網(wǎng)絡(luò)編碼部分，使用VGG16結(jié)構(gòu)進(jìn)行特征提取，五個卷積結(jié)構(gòu)部分分別由64個、128個、256個、512個和512個3×3的卷積核進(jìn)行特征提取，緊隨其后的是2×2的最大池化層。在解碼部分，分別由五個2×2的上采樣層通過雙線性插值進(jìn)行分辨率還原。根據(jù)式1，加入剪裁層，將128×128的特征圖剪裁至80×80大小。在最后一層使用卷積核大小為1×1的卷積層。由于目標(biāo)輸出是建筑物和非建筑物兩類，采用Sigmoid函數(shù)得到最終的二類輸出，最終的輸出是輸入數(shù)據(jù)在兩種語義類別上出現(xiàn)的概率。最后設(shè)置一個最佳閾值，形成分割掩碼圖像。這里，將兩個池化層或者兩個上采樣層之間的結(jié)構(gòu)稱為一個卷積結(jié)構(gòu)。

2.2 U-Net分割網(wǎng)絡(luò)模型

U-Net網(wǎng)絡(luò)[11]與編解碼網(wǎng)絡(luò)模型結(jié)構(gòu)不同的是，它將包含上下文信息的低層級的特征圖和包含圖像細(xì)節(jié)的高層級的特征圖結(jié)合起來，實現(xiàn)了分割的精確定位。具體結(jié)構(gòu)圖和各特征圖維度如圖2所示。

輸入網(wǎng)絡(luò)中的是3維的RBG遙感影像，大小為112×112像素，通過滑動窗口選取像素塊。在對圖像進(jìn)行卷積(卷積核大小為3×3)后進(jìn)行批量正則化(batch normalization)操作，讓圖像像素值的均值為0并且方差為1，加速網(wǎng)絡(luò)收斂速度。緊接著采用ELU非線性激活函數(shù)。下采樣操作采用max-pooling來降低特征圖分辨率。在上采樣階段，使用Concat連接層將包含上下文信息的低層級的特征圖和包含圖像細(xì)節(jié)的高層級的特征圖結(jié)合起來。最后將剪裁得到的特征輸入到Sigmoid層，通過反向傳播進(jìn)行訓(xùn)練。

圖2 U-Net分割網(wǎng)絡(luò)結(jié)構(gòu)

2.3 損失函數(shù)及模型融合

上述兩個模型的損失函數(shù)采用與Sigmoid函數(shù)對應(yīng)的Binary Cross Entropy函數(shù)，并通過負(fù)對數(shù)，將輸出的概率值從最大化概率變成最小化信息熵。其表達(dá)式如下：

③對漢江堤防、航運等方面造成一定的負(fù)面影響。調(diào)水后枯水期延長，流量變化造成河勢多變，使得堤防的重點位置發(fā)生轉(zhuǎn)移。河堤基腳長期顯露，防守將更加被動，同時清水下泄嚴(yán)重危及堤防安全。此外，調(diào)水后漢江中下游航道水深下降，航道寬度和彎曲半徑發(fā)生變化，河漫灘增大，致使內(nèi)河航運能力大大下降。

(2)

此外，為了使建筑物分割任務(wù)有更高的精度，在二進(jìn)制交叉熵?fù)p失函數(shù)中加入IOU公式，形成聯(lián)合損失函數(shù)。最終兩個模型的損失函數(shù)如下：

L=H-logJm

(3)

(4)

受模型融合方法的啟發(fā)，將兩種模型的預(yù)測結(jié)果通過加權(quán)的方式融合，即保留編解碼分割網(wǎng)絡(luò)對大建筑物的分割提取，也保留了U-Net分割網(wǎng)絡(luò)在小型建筑物上的精確分割。結(jié)合式1，模型預(yù)測融合的公式如下：

P=α*pe+β*pu,α+β=1

(5)

其中，pe為編解碼網(wǎng)絡(luò)的預(yù)測結(jié)果；pu為U-Net網(wǎng)絡(luò)的預(yù)測結(jié)果。

模型融合流程如圖3所示。在輸入的影像中以給定點為中心，分別提取尺度大小為1122px和1282px的影像塊，分別送入兩個模型中進(jìn)行預(yù)測，經(jīng)過模型運算后得到大小為802px的預(yù)測結(jié)果，最后對預(yù)測結(jié)果按照上述公式進(jìn)行加權(quán)疊加得到最終的分割掩碼圖像。實驗表明，當(dāng)α=0.45，β=0.55時，融合模型能取得最好結(jié)果。

圖3 模型融合流程

3 實 驗

3.1 實驗數(shù)據(jù)

本次實驗的數(shù)據(jù)集[15]來自法國國家信息與自動化研究所(Inria)，該數(shù)據(jù)集包含來自美國和澳大利亞不同城市居民區(qū)上空的遙感影像，它們被標(biāo)注為建筑物和非建筑物兩類。與一般數(shù)據(jù)集不同的是，該數(shù)據(jù)集的訓(xùn)練樣本和測試樣本按影像所屬地區(qū)劃分，而不是將同一地區(qū)的不同區(qū)域分別劃分為訓(xùn)練樣本和測試樣本。也就是說，用來自Chicago的訓(xùn)練數(shù)據(jù)得到的分類器可以用來預(yù)測San Francisco的數(shù)據(jù)，旨在提高模型的泛化能力。該數(shù)據(jù)集的航空正射校正影像的空間分辨率是0.3 m，具體信息如圖4所示。

圖4 數(shù)據(jù)集樣本統(tǒng)計(每張圖大小為5 0002px)

(6)

(7)

3.2 實驗設(shè)計

對于所提出的兩種模型，使用Inria數(shù)據(jù)集中的180幅高分辨率影像及其對應(yīng)的語義標(biāo)注圖進(jìn)行學(xué)習(xí)。首先，從180幅影像中隨機(jī)切割出144塊大小為128×128像素的圖像塊，并隨機(jī)進(jìn)行圖像的水平、豎直或者鏡像翻轉(zhuǎn)，組成維度為144×128×128的圖像斑塊作為編解碼分割網(wǎng)絡(luò)的輸入。在一次迭代的過程中，使用5 000批上述維度圖像斑塊進(jìn)行網(wǎng)絡(luò)參數(shù)的批量梯度下降學(xué)習(xí)，共進(jìn)行25輪迭代。對于U-Net分割網(wǎng)絡(luò)模型，在25輪迭代過程中，使用維度為64×128×128的圖像斑塊作為模型輸入，每輪迭代使用8 000批圖像斑塊進(jìn)行訓(xùn)練。在兩個模型中，使用Nadam優(yōu)化器以初始學(xué)習(xí)率0.001進(jìn)行網(wǎng)絡(luò)參數(shù)學(xué)習(xí)。完成學(xué)習(xí)后，使用test time augmentation對測試集中180幅影像進(jìn)行預(yù)測，每張影像分別進(jìn)行水平旋轉(zhuǎn)預(yù)測、豎直翻轉(zhuǎn)預(yù)測、鏡像翻轉(zhuǎn)預(yù)測和直接預(yù)測，將預(yù)測得到的四幅圖像復(fù)原后，取各圖像像素值的平均值，并以0.5的預(yù)測閾值得到最終的二分類分割圖像。最后，將得到預(yù)測的語義分割圖與對應(yīng)Ground Truth進(jìn)行比對，分別得到每個地區(qū)的建筑物分割精度和IOU。

3.3 實驗結(jié)果

本次實驗是基于Keras深度神經(jīng)網(wǎng)絡(luò)框架，使用單張12 GB GTX TitanX顯卡完成模型的訓(xùn)練。模型訓(xùn)練結(jié)束后，給出模型在測試集上三個不同區(qū)域上的樣例結(jié)果。兩個模型預(yù)測結(jié)果和模型融合的預(yù)測結(jié)果如圖5所示。圖中從上到下分別是RGB遙感影像、Ground Truth、編解碼網(wǎng)絡(luò)、U-Net網(wǎng)絡(luò)和模型融合的結(jié)果?？梢钥闯?，編解碼網(wǎng)絡(luò)能更好地識別和提取大型建筑物的輪廓，而U-Net網(wǎng)絡(luò)由于結(jié)合了高低層級特征圖，能更好地提取建筑物的邊緣細(xì)節(jié)和小型建筑物輪廓。模型融合很好地結(jié)合了二者優(yōu)點。同時在結(jié)果上出現(xiàn)了小面積的false positive(將非建筑物識別為建筑物)和false negative(無法識別建筑物區(qū)域)。

(a)RGB輸入圖

(b)Ground Truth

(c)ED-Net結(jié)果

(d)U-Net結(jié)果

(e)融合結(jié)果

表1給出了三個模型在測試集上的定量化結(jié)果，按照區(qū)域顯示預(yù)測精度和IOU，并求取區(qū)域預(yù)測的結(jié)果的平均值作為最后的預(yù)測結(jié)果。從表中可以看出，模型融合在測試集上的整體結(jié)果相對U-Net有了近似2%的提升，達(dá)到了70.08%，也就是說預(yù)測區(qū)域的面積覆蓋了真實區(qū)域面積的70%。對于特定地區(qū)，例如Bloomington，IOU指數(shù)有3.46%的提升。

表1 模型在測試集上的定量評估結(jié)果

4 結(jié)束語

文中設(shè)計和實現(xiàn)了兩種基于高分辨率遙感影像的建筑物語義分割模型，進(jìn)行了模型融合，并通過實驗對模型進(jìn)行了驗證和分析。實驗結(jié)果表明，由于輸入編解碼分割網(wǎng)絡(luò)的圖像斑塊尺度較大，包含更多的上下文細(xì)節(jié)，使得編解碼網(wǎng)絡(luò)能更好地提取大型建筑物的輪廓。而U-Net網(wǎng)絡(luò)，結(jié)合了高層級的圖像細(xì)節(jié)特征，對于小型建筑的特征更加敏感。模型融合結(jié)合了二者優(yōu)點，在建筑物分割測試集上可以獲得更加令人滿意的語義分割結(jié)果。