蘇杭 劉佳蕙

基金項(xiàng)目：江蘇省研究生科研與實(shí)踐創(chuàng)新計(jì)劃項(xiàng)目；項(xiàng)目名稱(chēng)：基于深度學(xué)習(xí)的高分辨率遙感圖像邊緣提取研究；項(xiàng)目編號(hào)：2021XKT0095。江蘇省研究生科研與實(shí)踐創(chuàng)新計(jì)劃項(xiàng)目；項(xiàng)目名稱(chēng)：電力設(shè)施環(huán)境AI遙感監(jiān)測(cè)研究；項(xiàng)目編號(hào)：KYCX21_2627。

作者簡(jiǎn)介：蘇杭（1998— ），女，河南洛陽(yáng)人，碩士研究生；研究方向：深度學(xué)習(xí)，邊緣檢測(cè)，遷移學(xué)習(xí)。

摘要：建筑物邊緣提取對(duì)智慧城市建設(shè)具有重要的研究意義，采用人工標(biāo)注建筑物邊緣的方法需要消耗大量的人力物力。目前，利用深度學(xué)習(xí)的方法已經(jīng)能提取建筑物大致輪廓，但其需要大量的人工標(biāo)注的精確樣本進(jìn)行訓(xùn)練。因此，文章構(gòu)建了3個(gè)邊緣檢測(cè)數(shù)據(jù)集并復(fù)現(xiàn)了2個(gè)經(jīng)典邊緣檢測(cè)網(wǎng)絡(luò)RCF和BDCN進(jìn)行交叉訓(xùn)練測(cè)試實(shí)驗(yàn)，評(píng)估邊緣檢測(cè)模型的可遷移性，為研究構(gòu)建普適性更強(qiáng)的邊緣檢測(cè)網(wǎng)絡(luò)提供思路。

關(guān)鍵詞：深度學(xué)習(xí)；邊緣檢測(cè)；遷移學(xué)習(xí)

中圖分類(lèi)號(hào)：P237 文獻(xiàn)標(biāo)志碼：A

0 引言

建筑物是城市化建設(shè)過(guò)程中更新最頻繁的地物之一，因此及時(shí)更新建筑物變化信息對(duì)于城市的發(fā)展至關(guān)重要。近年來(lái)，越來(lái)越多的測(cè)繪學(xué)者傾向于從高分遙感影像上提取建筑物信息［1］。傳統(tǒng)的邊緣檢測(cè)算法主要依靠局部像素的灰度劇烈變化判斷邊緣［2］，然而在遙感圖像中存在道路、汽車(chē)等非建筑物的邊緣。因此，傳統(tǒng)的邊緣檢測(cè)算子提取出的邊緣并不純粹。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，學(xué)者們將深度卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到邊緣檢測(cè)中來(lái)，并提出了一系列基于深度學(xué)習(xí)的邊緣檢測(cè)方法。其中，比較經(jīng)典的有：RCF充分考慮VGG16網(wǎng)絡(luò)所有的卷積層，從而能夠獲得更豐富的特征信息，大幅提高邊緣檢測(cè)的性能。BDCN在網(wǎng)絡(luò)模型中加入了尺度增強(qiáng)模塊，使網(wǎng)絡(luò)能夠充分學(xué)習(xí)不同尺度的特征。近年來(lái)，不少學(xué)者將其應(yīng)用于高分遙感影像的建筑物邊緣檢測(cè)并取得了較高的精度。

但深度學(xué)習(xí)模型的訓(xùn)練依賴于大量人工標(biāo)注的精確樣本，且不同地區(qū)不同分辨率的遙感圖像存在差異，訓(xùn)練好的模型普適性較差，表現(xiàn)出強(qiáng)烈的樣本依賴性。遷移學(xué)習(xí)指將一個(gè)區(qū)域?qū)W習(xí)到的知識(shí)運(yùn)用到另一個(gè)區(qū)域中。其中，帶有精確標(biāo)簽的區(qū)域稱(chēng)為源域，缺乏標(biāo)簽的區(qū)域稱(chēng)為目標(biāo)域。遷移學(xué)習(xí)可以使網(wǎng)絡(luò)在學(xué)習(xí)源域特征時(shí)兼顧學(xué)習(xí)目標(biāo)域的特征，使深度學(xué)習(xí)模型能夠更好地適用于目標(biāo)域［3］。目前，邊緣檢測(cè)的遷移多為醫(yī)學(xué)領(lǐng)域［4］，醫(yī)學(xué)影像相似度高，背景比較單一，遷移難度低。而遙感影像地物復(fù)雜，背景雜亂，不同地區(qū)各有特點(diǎn)，遷移難度大。因此，評(píng)估邊緣檢測(cè)網(wǎng)絡(luò)的可遷移性，并分析影響遷移性的各種因素具有重要的研究?jī)r(jià)值。本文復(fù)現(xiàn)了常用的深度邊緣檢測(cè)網(wǎng)絡(luò)RCF和BDCN并將其應(yīng)用于高分遙感影像的建筑物邊緣提取，構(gòu)建三大高分遙感影像建筑物數(shù)據(jù)集，評(píng)估邊緣檢測(cè)網(wǎng)絡(luò)的可遷移性。

1 數(shù)據(jù)集

1.1 南京市江北新區(qū)無(wú)人機(jī)數(shù)據(jù)集

本文的實(shí)驗(yàn)區(qū)的無(wú)人機(jī)正射影像是通過(guò)無(wú)人機(jī)于2019年10月在中國(guó)江蘇省南京市江北新區(qū)飛行航拍獲得。該數(shù)據(jù)的空間分辨率為0.3m，波段為RGB，尺寸為27 337×21 816大小的柵格圖像。整個(gè)數(shù)據(jù)集大約覆蓋9 km2。由于計(jì)算機(jī)配置有限，將圖片裁剪為256×256大小。通過(guò)數(shù)據(jù)標(biāo)注、劃分切片、篩去無(wú)建筑切片等步驟完成數(shù)據(jù)集制作。最終用于訓(xùn)練、測(cè)試的圖塊數(shù)目分別為8 000張、515張。

1.2 馬薩諸塞州衛(wèi)星遙感影像數(shù)據(jù)集

馬薩諸塞州數(shù)據(jù)集為多倫多大學(xué)2013年標(biāo)注的航空影像建筑數(shù)據(jù)集。該數(shù)據(jù)集空間分辨率為1m，波段為RGB，覆蓋馬薩諸塞州364.5 km2區(qū)域。該數(shù)據(jù)集每幅影像分辨率為1 500×1 500，共162張。該影像中建筑物個(gè)體分明，分布較為均勻，建筑物類(lèi)型多樣，其中以小型建筑物居多。本文主要研究邊緣檢測(cè)問(wèn)題，因此將原數(shù)據(jù)集中的面標(biāo)簽統(tǒng)一矢量化為線標(biāo)簽。為更好地做模型評(píng)價(jià)，統(tǒng)一將影像裁剪為256×256大小，最終用于訓(xùn)練、驗(yàn)證測(cè)試的圖塊數(shù)目分別為10 600張、250張。

1.3 Inria航空影像數(shù)據(jù)集

Inria數(shù)據(jù)集包含覆蓋面積810 km2的空間分辨率為0.3 m的航空正射彩色圖像。這些影像覆蓋了不同的城市聚落，數(shù)據(jù)量大，涵蓋范圍廣，建筑物風(fēng)格多樣。本文與馬薩諸塞州數(shù)據(jù)集處理方法相同，同樣將面標(biāo)簽進(jìn)行矢量化，將影像和標(biāo)簽統(tǒng)一裁剪為256×256大小。最終用于訓(xùn)練、驗(yàn)證測(cè)試的圖塊數(shù)目分別為55 955張、9 025張。

2 深度學(xué)習(xí)邊緣檢測(cè)網(wǎng)絡(luò)

2.1 RCF網(wǎng)絡(luò)

RCF以VGG16分類(lèi)網(wǎng)絡(luò)為基礎(chǔ)框架，RCF在每一層主干部分的卷積都連接一個(gè)卷積核大小為1×1，通道深度為21的卷積層，對(duì)得到的每層特征進(jìn)行上采樣，計(jì)算交叉熵?fù)p失。最終使用1×1大小的卷積對(duì)5個(gè)側(cè)邊層進(jìn)行特征融合，得到融合層的建筑物邊緣提取結(jié)果。本文經(jīng)過(guò)多次實(shí)驗(yàn)最終得出RCF網(wǎng)絡(luò)訓(xùn)練3個(gè)數(shù)據(jù)集的最優(yōu)參數(shù)如表1所示。

2.2 BDCN網(wǎng)絡(luò)

BDCN同樣以VGG16分類(lèi)網(wǎng)絡(luò)為基礎(chǔ)框架，不同于RCF，BDCN采用了雙向傳播邊緣特征圖的方式，可以在淺層和深層之間雙向傳播。低層的網(wǎng)絡(luò)可以注意到更多的邊緣細(xì)節(jié)，但是同時(shí)會(huì)引入很多非建筑物邊緣的噪聲。高層網(wǎng)絡(luò)提取的建筑物圖像更加整潔，非邊緣噪聲減少，但邊緣較粗，忽略了細(xì)節(jié)邊緣。將10個(gè)特征層經(jīng)過(guò)上采樣后融合在一起可以使網(wǎng)絡(luò)提取不同尺度的信息。表2描述了BDCN網(wǎng)絡(luò)在3個(gè)建筑物邊緣數(shù)據(jù)集最終優(yōu)化的參數(shù)值。

2.3 訓(xùn)練結(jié)果

2.3.1 精度評(píng)價(jià)指標(biāo)

通常對(duì)邊緣檢測(cè)網(wǎng)絡(luò)提取結(jié)果的精度評(píng)價(jià)采用邊緣提取的評(píng)價(jià)指標(biāo)，本文采用6個(gè)常用的評(píng)價(jià)指標(biāo)衡量邊緣提取的準(zhǔn)確性，分別是總體準(zhǔn)確率（OA）、精確率（Precision）、召回率（Recall）、F1分?jǐn)?shù)、IoU值和Kappa系數(shù)。

在邊緣檢測(cè)網(wǎng)絡(luò)中，人眼難以精準(zhǔn)勾繪有些真值標(biāo)簽數(shù)據(jù)集。本文按照松弛標(biāo)準(zhǔn)下的精確率和召回率作為該類(lèi)情況的評(píng)價(jià)指標(biāo)。松弛精確率定義為真實(shí)建筑邊緣像元ρ個(gè)像元范圍內(nèi)的預(yù)測(cè)邊緣像元的指標(biāo)得分，而松弛召回率定義為預(yù)測(cè)建筑物邊緣像元ρ個(gè)像元范圍內(nèi)的真實(shí)邊緣像元的指標(biāo)得分。本研究將ρ設(shè)置為3作為松弛方案的實(shí)驗(yàn)參數(shù)。

2.3.2 江北新區(qū)數(shù)據(jù)集訓(xùn)練結(jié)果

本文按照常用的邊緣檢測(cè)評(píng)價(jià)指標(biāo)評(píng)估了2個(gè)邊緣檢測(cè)網(wǎng)絡(luò)的RCF和BDCN對(duì)于江北新區(qū)數(shù)據(jù)集預(yù)測(cè)精度結(jié)果。如表3所示，2個(gè)網(wǎng)絡(luò)的OA值得分均在94%以上。在召回率方面，2個(gè)網(wǎng)絡(luò)相差不大。在準(zhǔn)確率方面，BDCN明顯優(yōu)于RCF。

2.3.3 馬薩諸塞州數(shù)據(jù)集訓(xùn)練結(jié)果

表4為RCF和BDCN兩個(gè)邊緣檢測(cè)網(wǎng)絡(luò)對(duì)于馬薩諸塞州數(shù)據(jù)集的邊緣概率圖預(yù)測(cè)精度結(jié)果。在召回率方面，2個(gè)網(wǎng)絡(luò)相差不大。在準(zhǔn)確率方面，BDCN明顯優(yōu)于RCF。但不同的是，馬薩諸塞州地物背景單一。由于分辨率較低，小型建筑物群建筑物類(lèi)型區(qū)別不大，網(wǎng)絡(luò)能夠更快地完成收斂，總體預(yù)測(cè)精度較高。

2.3.4 Inria訓(xùn)練結(jié)果

表5為RCF和BDCN兩個(gè)邊緣檢測(cè)網(wǎng)絡(luò)對(duì)于Inria數(shù)據(jù)集的邊緣概率圖預(yù)測(cè)精度結(jié)果。BDCN在召回率方面比RCF高很多，在準(zhǔn)確率方面有所下降，但最終F1評(píng)分都比較低。由于Inria數(shù)據(jù)集建筑物類(lèi)型眾多且復(fù)雜，部分地區(qū)樹(shù)木對(duì)建筑物遮擋較多，且由于太陽(yáng)角度，建筑物陰影邊緣與真實(shí)建筑物邊緣難以區(qū)分。網(wǎng)絡(luò)參數(shù)有限，難以對(duì)每一類(lèi)建筑物都做出較好的預(yù)測(cè)。因此，Inria訓(xùn)練難度最大，時(shí)間最長(zhǎng)，訓(xùn)練結(jié)果精度較低。

3 交叉遷移結(jié)果評(píng)估

為了分析RCF、BDCN邊緣檢測(cè)網(wǎng)絡(luò)對(duì)于不同數(shù)據(jù)集的可遷移性，本文進(jìn)行了交叉數(shù)據(jù)集的評(píng)估實(shí)驗(yàn)。本文使用的兩種邊緣檢測(cè)網(wǎng)絡(luò)在3個(gè)數(shù)據(jù)集上進(jìn)行跨數(shù)據(jù)集訓(xùn)練和測(cè)試，松弛的定量評(píng)估結(jié)果如表6—7所示。顯然各數(shù)據(jù)集在其由自己區(qū)域的標(biāo)簽訓(xùn)練出來(lái)的網(wǎng)絡(luò)取得的精度最高，采用其他數(shù)據(jù)集和標(biāo)簽訓(xùn)練的網(wǎng)絡(luò)精度表現(xiàn)較差。

綜合對(duì)比兩表，從數(shù)據(jù)集方面看，以Inria數(shù)據(jù)集作為訓(xùn)練集遷移到其他測(cè)試集上取得的效果最好，尤其是在馬薩諸塞州測(cè)試集上能夠獲得更好的表現(xiàn)。而以馬薩諸塞州作為訓(xùn)練集訓(xùn)練出的模型遷移到其他數(shù)據(jù)集上取得的精度最差。由此分析，Inria數(shù)據(jù)集覆蓋面積大，建筑物類(lèi)型多，網(wǎng)絡(luò)能夠?qū)W習(xí)到更豐富的建筑物特征，采用此數(shù)據(jù)集作為訓(xùn)練集遷移效果會(huì)優(yōu)于其他數(shù)據(jù)集。而馬薩諸塞州數(shù)據(jù)集分辨率低，建筑物類(lèi)型單一，將其作為訓(xùn)練集學(xué)習(xí)到的建筑物特征太少，遷移效果不夠理想。因此，數(shù)據(jù)集的選擇對(duì)于遷移學(xué)習(xí)具有一定的影響，但過(guò)度增加訓(xùn)練集數(shù)量，會(huì)增加網(wǎng)絡(luò)訓(xùn)練時(shí)長(zhǎng)，甚至?xí)捎跀?shù)據(jù)差異過(guò)大，網(wǎng)絡(luò)參數(shù)有限，不能完成收斂。從邊緣檢測(cè)網(wǎng)絡(luò)方面看，在訓(xùn)練集和測(cè)試集相同的情況下，相對(duì)來(lái)說(shuō)BDCN的網(wǎng)絡(luò)的遷移性優(yōu)于RCF網(wǎng)絡(luò)，因?yàn)锽DCN網(wǎng)絡(luò)包含尺度增強(qiáng)模塊，且其獨(dú)特的雙向傳播方法可以更好地保留建筑物不同尺度的特征。因此，可以參考BDCN網(wǎng)絡(luò)的特性，重點(diǎn)關(guān)注如何提取不同尺度建筑物邊緣的特征，使其能夠適用于更多不同地區(qū)、不同風(fēng)格的建筑物邊緣提取。

4 結(jié)語(yǔ)

文章探討了深度學(xué)習(xí)、邊緣檢測(cè)、遷移學(xué)習(xí)等相關(guān)理論，構(gòu)建了江北新區(qū)、馬薩諸塞州、Inria三大建筑物邊緣數(shù)據(jù)集，同時(shí)復(fù)現(xiàn)兩個(gè)經(jīng)典的邊緣檢測(cè)網(wǎng)絡(luò)RCF和BDCN并將其應(yīng)用于建筑物邊緣提取中。通過(guò)實(shí)驗(yàn)對(duì)比可知，以數(shù)據(jù)量大、建筑物類(lèi)型豐富的數(shù)據(jù)集作為訓(xùn)練集，有助于網(wǎng)絡(luò)學(xué)習(xí)更多的建筑物邊緣特征，從而提升遷移效果。BDCN網(wǎng)絡(luò)的遷移性優(yōu)于RCF，但其效果仍具有很大的改進(jìn)空間。未來(lái)通過(guò)改進(jìn)邊緣檢測(cè)模型解決遷移問(wèn)題具有很大的研究空間和研究?jī)r(jià)值。

參考文獻(xiàn)

［1］ YANG G， ZHANG Q， ZHANG G. EANet： Edge-aware network for the extraction of buildings from aerial images［J］. Remote Sensing， 2020（13）： 2161.

［2］杜緒偉，陳東，馬兆昆，等.基于Canny算子的改進(jìn)圖像邊緣檢測(cè)算法［J］.計(jì)算機(jī)與數(shù)字工程，2022（2）：410-413，457.

［3］司龍偉.基于遷移學(xué)習(xí)的高分遙感影像場(chǎng)景分類(lèi)［J］.江蘇科技信息，2019（35）：22-24.

［4］黎英，宋佩華.遷移學(xué)習(xí)在醫(yī)學(xué)圖像分類(lèi)中的研究進(jìn)展［J］.中國(guó)圖象圖形學(xué)報(bào)，2022（3）：672-686.

（編輯 王永超）

Abstract： The edge extraction of buildings has important research significance for the construction of smart cities. The method of artificially marked the edge of the building requires a lot of manpower and material resources. At present， the method of deep learning has been able to extract the rough outline of the building， but it requires a large number of precise samples of artificially labeled for training. Therefore， this article builds three edge detection data sets and reproduces two classic edge detection network RCF and BDCN for cross-training test experiments， to evaluate the migration of the edge detection model and build a more universal edge detection network for the study.

Key words： deep learning; edge detection; transfer learning