胡敏，況潤元，陳增輝，劉靜

(江西理工大學，江西 贛州 341000)

0 引言

建筑物屋頂輪廓的自動提取是遙感在土地類型利用分析以及地圖自動更新和生成等應用領域中一個長期存在的問題[1]。近年來，基于成像傳感器和其操作平臺的快速發(fā)展，高分辨率遙感圖像的可利用性快速發(fā)展使得該問題日益突出[2]。由于顏色、亮度和紋理條件的復雜性，使得從包含各類地物影像中提取建筑物屋頂更為復雜，因此適合采用先構建建筑物屋頂，再由分割生成屋頂輪廓[3]。在數(shù)據(jù)源上有基于圖像數(shù)據(jù)[4]、點云數(shù)據(jù)[5]和圖像點云組合數(shù)據(jù)[6]3類。分割算法上可分為閾值分割法[7-8]、圖像分割法[9-11]、神經網(wǎng)絡分割法[12]。其中，基于神經網(wǎng)絡算法根據(jù)地面真實數(shù)據(jù)進行模式學習，再將結果模型應用于新圖像，可以根據(jù)地表真實數(shù)據(jù)進行調整[13]。但其僅通過人工描繪[14]從圖像中提取特征，利用各種分類器進行分類[15]，需進行大量反復實驗，耗費勞力且缺乏泛化能力。而卷積神經網(wǎng)絡[16]通過利用卷積，子采樣和全連接自動提取特征并執(zhí)行分類[17]，且特征提取直接基于數(shù)據(jù)中學習，具有更高的泛化能力和精度[18]。

LSVRC-2010大賽中采用了卷積神經網(wǎng)絡算法的AlexNet以壓倒性優(yōu)勢獲勝，且對數(shù)據(jù)進行開源的優(yōu)勢[19]，使得基于卷積神經網(wǎng)絡算法已成為眾多計算機視覺任務(如圖像分類、物體檢測和圖像分割等)中的基礎算法[20]。但由于其極高的內存成本和低計算效率，使得全卷積網(wǎng)絡引起了更多的關注[20]。FCN對圖像采用像素級的分類，接受任意尺寸的輸入圖像，并采用反卷積層對最后一個卷積層的feature map進行上采樣， 使其恢復與輸入圖像同尺寸，保留原始空間信息，上采樣時進行逐像素分類[21]，降低了內存成本和參數(shù)數(shù)量，提升處理效率[22]。但在上采樣過程中依然會引起部分邊緣信息丟失，使得FCN的預測結果通常具有邊緣模糊和一定的精度限制。

為克服全卷積網(wǎng)絡模型的局限性，語義分割網(wǎng)絡[23]將傳統(tǒng)的上采樣操作替換為非采樣。反卷積網(wǎng)絡[24]引入新的反卷積層產生上采樣結果，解決部分由上采樣操作引起的信息丟失。U-net[25]和特征金字塔網(wǎng)絡[26]，采用跳躍式連接以產生輸出；多約束全卷積網(wǎng)絡[27]利用多約束防止偏差。但此類算法僅專注于以信息保留替換雙線性上采樣(如語義分割網(wǎng)絡和反卷積網(wǎng)絡)，或通過添加跳躍層利用隱藏層特征(如U-net和多約束全卷積網(wǎng)絡)，其在生成預測區(qū)域值時僅采用了局部特征，忽略了形狀信息和線性關系等全局信息，使得建筑物多邊形各點間和多邊形各直線間的信息被忽略。在數(shù)據(jù)獲取過程亦存在建筑物被周圍植被遮擋和建筑物間相互遮擋等情況，此時使得模型對于邊界識別的預測值與真實值之間的差距越來越大。

針對此類問題，本文提出了一種利用局部和全局邊界信息，以實現(xiàn)更好的屋頂分割和更準確的輪廓提取的深度卷積神經網(wǎng)絡模型，稱為邊界校正網(wǎng)絡(boundary regulated network，BR-net)模型。并在武漢大學的開源數(shù)據(jù)庫(WHU)[28]中的航空影像和衛(wèi)星影像數(shù)據(jù)集上進行實驗，證明了所提出的BR-net模型的有效性。

1 實驗方法

1.1 研究方法

經典的FCN模型采用全卷積層執(zhí)行輸入到輸出間的像素到像素的轉換，并通過刪除全連接層，以減少模型的參數(shù)量，提高模型性能。基于全卷積網(wǎng)絡的改進模型通過利用非抽樣(語義分割網(wǎng)絡)、反卷積(反卷積網(wǎng)絡)、跳躍鏈接(U-net)和多約束(多約束全卷積網(wǎng)絡)等方式來提高模型性能，但其每個像素的預測值也是僅基于局部信息(如3×3或5×5)內的特征進行結果預測的，依舊無法利用建筑的邊界全局信息。同時在圖像獲取時，會產生大量噪聲數(shù)據(jù)(建筑物間遮擋，植被遮擋等)誤差。若網(wǎng)絡模型僅通過周圍像素之間的差異進行圖像分割，則導致建筑物的邊界等信息被浪費。為克服此類局限，本文所提出的BR-net模型采用多任務學習進行分割和輪廓提取，以充分利用圖像的局部和全局信息。在訓練階段，優(yōu)化器用以確保分割和輪廓提取預測結果與相應的建筑物標簽數(shù)據(jù)保持一致。在每次迭代期間，建筑物的邊界信息可以限制和調節(jié)參數(shù)更新，將防止映射模式偏向周圍像素的分割。模型由2個部分組成：優(yōu)化的U-net型全卷積神經網(wǎng)絡為共享后端、生成分割和輪廓提取的雙預測框架(圖1)。共享后端由4個下采樣層、一個中央轉換層和4個上采樣層組成。中央層為一個內核數(shù)為384的3×3的卷積層，后接LeakyReLU激活函數(shù)和BN層，在下采樣層間的第二BN層和上采樣層間的相應上采樣層之間采用跳躍連接。卷積運算是通過內核執(zhí)行的逐元素乘法，內核的大小決定了接收領域的范圍。與整數(shù)線性單位(ReLU)相比，它將所有小于0的值設置為0，輸出由Leaky ReLU[29]激活函數(shù)處理，其中，α的值設置為0.1。采用最大值池化對中間層特征的高度和寬度進行二次采樣；同時選取雙線性上采樣和跳躍連接，使輸入和輸出的圖像大小保持一致；最后選擇sigmoid激活函數(shù)生成分割預測結果。通過網(wǎng)絡訓練和交叉驗證，以優(yōu)化并確定超參數(shù)學習率和迭代次數(shù)，再根據(jù)由優(yōu)化的超參數(shù)訓練得到的網(wǎng)絡模型對測試集進行測試，最終生成測試集的建筑物結果。模型的初始輸入?yún)?shù)為512像素×512像素的RGB圖像。

1)下采樣層中，h、w和d分別代表輸入的高度、寬度和深度；y表示用于卷積的內核數(shù)。含2個卷積層、2個LeakyReLU激活函數(shù)、2個BN層和一個最大池化層。對于每個輸入，下行層會生成寬度和高度減半的輸出。4個層中的內核數(shù)分別為[24、48、96、192]。

2)上采樣層中，h、w和d分別代表輸入的高度、寬度和深度；Y和y分別表示下行層中相應BN層的尺寸和用于卷積運算的內核數(shù)。含一個雙線性上采樣層、一個跳躍連接層和3個卷積層，后接LeakyReLU激活函數(shù)和BN層。上行層將輸入的寬度和高度加倍。4個層中的內核數(shù)分別為[192、96、48、24]。

圖1 技術路線

共享后端的輸出是具有與輸入圖像一致寬度和高度的3D矩陣。將單個1×1卷積核跟sigmoid激活函數(shù)應用于輸出分割結果圖的預測。類似采用具有S形激活函數(shù)的單個3×3卷積核用于生成建筑物輪廓。然后選取預測值和相應的地面真值之間的二元交叉熵[29]對分割損失和輪廓損失進行計算。計算每項損失的表達如式(1)所示。

(1)

式中：h和w表示預測結果的高度和寬度(y)及相應的地表真實值(g)；yi，j的值為像素類別預測結果的概率值。BR-net的總損失結果的表達如式(2)所示。

lossfinal=(1-α)×lossseg+α×lossbou

(2)

式中：α為邊界損失的權重(lossbou)。本次實驗中，α的值設為0.5。在每次迭代中，當Adam優(yōu)化器將最終損失最小化時，BR-net模型學習得到對應的映射模式,其可根據(jù)單個輸入產生分割和輪廓的預測。

1.2 評價指標

為了充分反映邊界校正全卷積網(wǎng)絡對于樣本的分割性能，選取提取結果的準確率(accuracy)、精確率(precision)、召回率(recall)、F1、Kappa系數(shù)以及平均交并比(mean intersection-over-union， mIoU)6類指標來衡量提取結果的精度。mIoU即目標區(qū)域和預測區(qū)域之間的重合度，也就是用來表示某類標簽(ground truth，GT)的像素集合和預測(prediction，P)結果像素集合之間的交集比上并集。

6類指標的表達如式(3)～式(8)所示。

(3)

(4)

(5)

(6)

(7)

(8)

式中：TP為正確分類的像元數(shù)量；FN為漏分類的像元數(shù)量；FP為過分類的像元數(shù)量；TN為誤分類的像元數(shù)量；P0為總體分類精度；Pe為真實像元與分類像元的積之和除以總像元數(shù)目的平方。計算IoU時，進一步轉換如式(9)所示。

(9)

IoU的取值范圍在0到1之間，值越大說明預測效果越好，當GT和P完全重合的時候為最大值1。平均交并比mIoU如式(10)所示。

(10)

式中：m表示數(shù)據(jù)標簽類別個數(shù)；iIoU表示第i個類別的交并比。

同時，為了最直觀地反映改進后該網(wǎng)絡模型的性能，所有指標均采用未經任何數(shù)學形態(tài)學后處理[30]的情況下進行計算。

2 實驗結果與分析

2.1 數(shù)據(jù)源

本文使用的數(shù)據(jù)來自WHU數(shù)據(jù)庫，該數(shù)據(jù)庫分成航空建筑物數(shù)據(jù)庫和衛(wèi)星建筑物數(shù)據(jù)庫。航空影像數(shù)據(jù)來自新西蘭克賴斯特徹奇市(Christchurch)，涵蓋22萬棟形式各異的建筑，地面分辨率0.075 m，后期將數(shù)據(jù)下采樣到0.3 m。衛(wèi)星影像數(shù)據(jù)包含來自不同衛(wèi)星傳感器(ZY-3、Ikonos、WorldView系列等)、不同分辨率(0.3～2.3 m),包括亞洲、歐洲、北美洲、南美洲和非洲5大洲的不同城市，共含3.4萬棟建筑物。圖2和圖3分別展示了航空影像數(shù)據(jù)集和衛(wèi)星影像數(shù)據(jù)集的部分樣例，其中原圖和標簽數(shù)據(jù)均采用WHU數(shù)據(jù)集。同時，根據(jù)數(shù)據(jù)集中的標簽集，采用Python編程進行Sobel濾波，得到所有建筑物頂?shù)耐獠枯喞催吔鐢?shù)據(jù)，以充分利用建筑物頂多邊形的全局信息，即點間的方位關系與線間的角度關系。

圖2 航拍影像數(shù)據(jù)集示例

圖3 衛(wèi)星影像數(shù)據(jù)集示例

所有數(shù)據(jù)的大小均調整為512像素×512像素。本文主要將數(shù)據(jù)分成航空影像數(shù)據(jù)集、衛(wèi)星影像數(shù)據(jù)集，進行網(wǎng)絡模型訓練。各類數(shù)據(jù)集中均采用70%數(shù)據(jù)作為訓練集，20%的數(shù)據(jù)作為驗證集，10%的數(shù)據(jù)作為測試集。表1為WHU數(shù)據(jù)庫與其他國際開源數(shù)據(jù)庫的對比。

表1 WHU數(shù)據(jù)庫與其他國際開源數(shù)據(jù)庫的總體比較[28]

2.2 驗證分析

本文采用經典的U-net模型為基礎模型與BR-net模型結果進行橫向比較，使用相同的數(shù)據(jù)集與處理平臺進行建筑物頂提取。從建筑物頂輪廓提取結果的定性判別中對照圖4(其中，綠色對應代表區(qū)為true positive(TP)；藍色對應代表區(qū)為false negative(FN)；紅色對應代表區(qū)為false positive(FP)；白色對應代表區(qū)為true negative(TN))?？梢?，無論是在航空影像數(shù)據(jù)集還是在衛(wèi)星影像數(shù)據(jù)集基礎上的輪廓提取結果，BR-net模型均明顯優(yōu)于傳統(tǒng)U-net模型的提取結果。從建筑物的屋頂輪廓上看，改進后的BR-net模型所提取的建筑物頂輪廓，與基準屋頂?shù)妮喞呛隙让黠@更優(yōu)(圖5)，特別是在建筑物頂?shù)闹苯枪战翘?，采用傳統(tǒng)U-net模型的提取結果大部分出現(xiàn)了過度分類的情況，主要因為在網(wǎng)絡中沒有加入邊界校正全卷積網(wǎng)絡的誤差限制條件；同時，在負樣本(沒有建筑物但存在其他地類圖像)中，U-net模型將具有高亮反射區(qū)域的部分道路提取為建筑物，存在明顯誤差，總體表現(xiàn)在：較為大型的建筑物上，U-net模型的提取結果區(qū)域對于地表真實區(qū)域過大；在較小型密集建筑物區(qū)域，U-net模型提取的建筑物區(qū)域對于地表真實區(qū)域過小。

圖4 航空影像建筑物頂提取結果對比

圖5 衛(wèi)星影像建筑物頂提取結果

定量提取的建筑物頂結果(表2)顯示了航空影像和衛(wèi)星影像測試區(qū)域在U-net模型和BR-net模型間的6類提取精度比較。在總體精度上，BR-net模型的精度結果均明顯優(yōu)于U-net模型。其中，2類模型在衛(wèi)星影像和航空影像2類影像的精度差異上，衛(wèi)星影像數(shù)據(jù)集上的精度差異較低。在準確率、精確率、召回率、F1、Kappa系數(shù)以及平均交并比上，BR-net的總體精度分別提升了8.95%、16.01%、25.23%、23.42%、26.89%和33.57%，且在6類精度中BR-net模型的建筑物提取精度均達到89%以上。

表2 建筑物頂提取結果精度對比

3 結束語

本文提出了一種新的邊界校正全卷積網(wǎng)絡模型，用于精確進行屋頂分割預測，并基于WHU影像數(shù)據(jù)集進行建筑物輪廓提取。所提出的BR-net模型能夠基于RGB圖像進行建筑物的自動分割預測和輪廓提取。采用WHU數(shù)據(jù)集上的航空影像數(shù)據(jù)和衛(wèi)星影像數(shù)據(jù)，分別對改進后的網(wǎng)絡進行了6類精度評估。BR-net模型憑借其獨特的邊界限制條件和誤差調節(jié)設計，比經典的U-net模型得到了更高的精度提取結果。與U-net模型相比，在對航空影像和衛(wèi)星影像建筑物頂提取精度中的mIoU精度及Kappa系數(shù)分別提高了(0.478、0.193)和(0.362、0.174)。在今后研究中，將進一步探尋更優(yōu)化的網(wǎng)絡架構，力求以更低的計算成本實現(xiàn)更好的網(wǎng)絡模型計算性能。