康 健 王智睿 祝若鑫 孫 顯

①(蘇州大學(xué)電子信息學(xué)院 蘇州 215006)

②(中國科學(xué)院空天信息創(chuàng)新研究院 北京 100190)

③(西安測繪研究所地理信息工程國家重點實驗室 西安 710054)

④(中國科學(xué)院大學(xué)電子電氣與通信工程學(xué)院 北京 100190)

⑤(中國科學(xué)院網(wǎng)絡(luò)信息體系技術(shù)科技創(chuàng)新重點實驗室 100190)

1 引言

合成孔徑雷達(Synthetic Aperture Radar,SAR)是一種具備全天時、全天候觀測能力的主動式微波成像雷達，在軍事和民用對地觀測領(lǐng)域中具有廣闊的應(yīng)用前景。隨著SAR技術(shù)的快速發(fā)展，SAR圖像在空間分辨率及質(zhì)量上得到了顯著提升，這進一步提升了高分辨率SAR圖像解譯技術(shù)在城市規(guī)劃、城市變化監(jiān)測等方向的重要應(yīng)用價值[1–4]。

不同于光學(xué)圖像，SAR圖像的成像機理使得被觀測地物目標具有獨特的幾何特性，比如透視收縮、疊掩等，而且SAR圖像主要反映地物目標對微波的后向散射特性，并不能充分顯示出目標的紋理結(jié)構(gòu)及顏色特征，這些因素使得SAR圖像解譯一直面臨較大的挑戰(zhàn)。隨著對地觀測技術(shù)對大范圍、精細化SAR圖像的地物目標識別精度的要求不斷提升，大場景、高精度、智能化的SAR圖像解譯技術(shù)是領(lǐng)域內(nèi)近年來重要的研究方向。

城市地區(qū)的建筑物區(qū)域自動提取屬于SAR圖像解譯技術(shù)的主要任務(wù)之一[5]。SAR圖像建筑物提取旨在從獲取到的SAR圖像中分離出建筑物區(qū)域與背景區(qū)域。在城市地區(qū)，建筑物高度參差不齊且密集排布，存在相互遮擋的現(xiàn)象，而且背景目標豐富，電磁散射情況復(fù)雜，這些原因均影響了高分辨率SAR圖像中建筑物區(qū)域的提取精度。

經(jīng)典的SAR圖像中提取建筑物區(qū)域的方法主要是基于人為手工設(shè)計的建筑物區(qū)域特征，如線段與點特征。通過利用回波在建筑物與地面之間的二次散射(double bounce)現(xiàn)象，Tupin等人[6]設(shè)計了線段檢測器用以識別出SAR圖像中建筑物區(qū)域的輪廓。Xu等人[7]采用恒虛警率(Constant False Alarm Rate,CFAR)線段檢測及霍夫(Hough)變換等方法對建筑物區(qū)域兩端的平行線段進行檢測。Michaelsen等人[8]提出了基于感知分組的方法提取城市地區(qū)中建筑物的細節(jié)結(jié)構(gòu)。通過提取SAR圖像的一系列底層特征，F(xiàn)erro等人[9]將建筑物區(qū)域中不同類別的散射進行分類，從而實現(xiàn)了在單張SAR圖像中對建筑物區(qū)域的自動檢測。其他特征如矩形、L型結(jié)構(gòu)也被應(yīng)用于提取SAR圖像中特定形狀的建筑物[10,11]。雖然傳統(tǒng)的方法已經(jīng)應(yīng)用于城市地區(qū)SAR圖像建筑物提取，但人工設(shè)計的特征較適用于具有規(guī)則形狀的建筑物區(qū)域建模，并不能對復(fù)雜形狀的建筑物進行有效提取，而且上述方法通常應(yīng)用于小范圍場景圖像中的建筑物區(qū)域識別，很難應(yīng)用于城市級別的建筑物提取任務(wù)中。

近年來，數(shù)據(jù)驅(qū)動下的深度學(xué)習技術(shù)已經(jīng)成為圖像處理及視覺領(lǐng)域的主流方法。在海量訓(xùn)練數(shù)據(jù)的前提下，多層的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)可以自適應(yīng)地調(diào)節(jié)各層卷積核權(quán)重，使其能準確地挖掘目標從底層到高層的語義特征[12]。鑒于其特征提取的優(yōu)越性能，CNN方法在SAR圖像中的地物目標提取中獲得了廣泛關(guān)注。Wang等人[13]運用開放地圖(Open Street Map)作為真值訓(xùn)練輕量級建筑物分割模型，并在高分辨率SAR圖像城市地區(qū)建筑物提取中取得了良好的效果。杜康寧等人[14]結(jié)合時間序列圖像的特點，利用多層神經(jīng)網(wǎng)絡(luò)的方法，提出了一種基于時間序列的建筑物區(qū)域提取方法。Shermeyer等人[15]提供了包括高分辨率SAR圖像在內(nèi)的鹿特丹城市地區(qū)建筑物提取的多源遙感圖像數(shù)據(jù)集。通過融合層析SAR(TomoSAR)得到的建筑物點云以及OpenStreet-Map信息，Shahzad等人[16]研究了大尺度SAR圖像建筑物提取基準數(shù)據(jù)并利用全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Network,FCNN)實現(xiàn)了建筑物分割模型。Jing等人[17]提出了有選擇性的空間金字塔膨脹神經(jīng)網(wǎng)絡(luò)模型以及L型權(quán)重損失函數(shù)用來對SAR圖像建筑物區(qū)域進行識別。Chen等人[18]利用多張SAR圖像的干涉信息以及提出的復(fù)卷積神經(jīng)網(wǎng)絡(luò)模型對建筑物區(qū)域進行了有效分割。通過利用數(shù)字高程模型(Digital Elevation Model,DEM)以及地理信息系統(tǒng)(Geographic Information System,GIS)產(chǎn)生的建筑物區(qū)域真值，Sun等人[19]提出了多尺度特征融合的SAR圖像建筑物提取方法。

現(xiàn)有的基于深度學(xué)習的SAR圖像建筑物提取方法大部分利用交叉熵(Cross Entropy,CE)或者Dice系數(shù)作為損失函數(shù)訓(xùn)練CNN模型，這些基于分類或分割效果設(shè)計的損失函數(shù)并沒有充分利用建筑與背景像素在特征空間中的語義關(guān)系，這使得訓(xùn)練模型對于復(fù)雜城市地區(qū)散射點的辨識能力不強，從而制約了模型對于大范圍建筑物提取上的效果以及泛化能力。針對上述問題，本文設(shè)計了基于監(jiān)督對比學(xué)習正則化的方法，在分割損失函數(shù)的基礎(chǔ)上，利用同一類別像素在特征空間的距離近、不同類別像素在特征空間的距離遠的性質(zhì)，進一步在網(wǎng)絡(luò)訓(xùn)練過程中約束不同像素之間的語義相似性，從而提升CNN模型對于建筑和背景像素的分辨能力，模型對于SAR圖像建筑物的提取精度得到有效提高。

2 監(jiān)督對比正則化的SAR圖像建筑物提取

所提出的對比正則化的SAR圖像建筑物提取方法主要包括：(1)圖像分割網(wǎng)絡(luò)模塊；(2)像素級特征提取模塊。與一般的圖像分割所用網(wǎng)絡(luò)一致，圖像分割網(wǎng)絡(luò)模塊主要采取常用的分割網(wǎng)絡(luò)，如Deep-LabV3+[20]等，用來提取建筑物區(qū)域的預(yù)測結(jié)果，并利用分割損失函數(shù)進行優(yōu)化學(xué)習，像素級特征提取模塊主要用來學(xué)習一個特征空間，使得建筑物與非建筑物區(qū)域像素在其中更好地進行分離。圖1展示了所提出方法的主要模型結(jié)構(gòu)。

圖1 監(jiān)督對比學(xué)習正則化的SAR圖像建筑物提取模型示意圖Fig.1 Supervised contrastive learning regularized SAR building footprint segmentation model

2.1 對比學(xué)習

對比學(xué)習的核心思想是在特征空間中縮小同一類別特征之間的距離，增加不同類別特征之間的距離。這一樸素思想近年來廣泛應(yīng)用于圖像特征的自監(jiān)督學(xué)習以及模型參數(shù)的預(yù)訓(xùn)練等方向[21,22]?；诮o定的標簽信息，Khosla等人[23]運用監(jiān)督對比學(xué)習方法在ImageNet數(shù)據(jù)集上取得了比傳統(tǒng)基于交叉熵損失函數(shù)訓(xùn)練模型更好的效果。根據(jù)這一結(jié)果，Liu等人[24]將圖像級別的監(jiān)督對比學(xué)習機制拓展到像素級別，用來增強不同類別像素在特征空間中的可分辨性。該方法主要在分割輸出層之前引入卷積層，得到非線性特征投影，再利用圖像的真值信息對特征投影進行監(jiān)督對比學(xué)習，即約束類內(nèi)及類間的特征投影距離，使得同一類別的特征投影在特征空間中距離近，不同類別的特征投影之間的距離遠。在多類別場景圖像語義分割中，該方法取得了良好的效果。受到這一思想的啟發(fā)，本文將像素級別的監(jiān)督對比學(xué)習方法引入到SAR圖像的建筑物提取中。如圖2所示，與光學(xué)遙感圖像相比，SAR圖像的建筑物區(qū)域的特征不明顯，且受到相干斑噪聲的影響，難以將其與周圍地物進行區(qū)分?，F(xiàn)有基于深度學(xué)習的SAR圖像建筑物分割方法大多采用常用的CE或者Dice損失函數(shù)，這些損失函數(shù)均直接作用于類別的分割圖，沒有對不同類別像素對應(yīng)的深度特征進行約束，對于散射機制較為相近的地物目標，如樓房與街道，上述損失函數(shù)并不能取得很好的分類效果，因此，本文擬采用監(jiān)督對比學(xué)習方法，使CNN模型在訓(xùn)練過程中充分考慮到建筑物與非建筑物像素在特征空間中的特征相似性，迫使模型能更好地對不同類別像素在特征空間中加以分辨，從而進一步提升SAR圖像中建筑物提取精度。

圖2 城市地區(qū)的多模態(tài)遙感圖像Fig.2 Multi-modality remote sensing images for urban areas

為了實現(xiàn)上述效果，像素級別的監(jiān)督對比學(xué)習旨在優(yōu)化如下?lián)p失：

其中，c表示類別(0為背景，1為建筑物區(qū)域)，fq表示對比學(xué)習損失函數(shù)所作用的查詢(query)特征向量，其維度為D,表示所有正例特征的平均，表示負例特征，τ為溫度參數(shù)，為查詢特征向量選取集合，表示與查詢向量做對比的鍵(key)特征向量選取集合，Y表示類別的真值矩陣，F(xiàn)為三維的特征張量?？紤]到計算復(fù)雜性，本文從正例以及負例像素中選取一部分進行對比，Mq與Mk分別為查詢特征向量與鍵特征向量的個數(shù)。在對比學(xué)習過程中，需要特別關(guān)注的是能引起較大損失的查詢特征，而本文對已經(jīng)能很好進行分辨的特征不必過多關(guān)注。如圖3所示，能引起較大損失的特征通常在特征空間中離相應(yīng)的類別特征均值比較遠，屬于難以分辨的特征，因此，查詢特征需要從這些特征向量中進行選擇，這樣可以使模型收斂速度更快并且得到充分學(xué)習。

圖3 對比學(xué)習特征空間中的難易特征Fig.3 The easy and hard query feature vectors for contrastive learning

為此，本文采用了如下難分辨特征的采樣方法：

表示模型預(yù)測的類別概率矩陣，δ為類別閾值，式(5)表示對于查詢特征，本文選取類別預(yù)測概率較低的特征向量，而忽略已經(jīng)能很好被分類且可信度較高的特征向量。對于鍵特征向量，本文從中進行隨機選取。

2.2 建筑物提取的聯(lián)合損失函數(shù)

除了上述對比損失之外，本文采用常用的分割損失函數(shù)對建筑物區(qū)域進行學(xué)習，本文的分割損失包括焦點損失[25](Focal Loss)和Dice損失，其中Focal Loss為

其中，p為模型預(yù)測的類別概率，γ為超參數(shù)。與交叉熵損失函數(shù)相比，F(xiàn)ocal Loss對于容易分類的像素點得到的損失小，從而避免模型由于“過度自信”所造成泛化能力下降的問題。Dice損失函數(shù)為

其主要作用是提升模型預(yù)測結(jié)果的F1精度。至此，結(jié)合上述幾種損失函數(shù)項，本文所提出用于SAR圖像建筑物區(qū)域提取的聯(lián)合損失函數(shù)為

2.3 分割網(wǎng)絡(luò)

本文提出的聯(lián)合損失函數(shù)適用于任何分割網(wǎng)絡(luò)結(jié)構(gòu)，在實驗中選取了比較常用的DeepLabV3+[20]以及UNet[26]，其中的特征提取網(wǎng)絡(luò)分別選取了ResNet34與ResNet50[27]。DeepLabV3+與UNet網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 本文所采用的常用的DeepLabV3+與UNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 The CNN architectures of DeepLabV3+and UNet exploited in this paper

3 實驗與分析

3.1 數(shù)據(jù)集

本文采用的數(shù)據(jù)集為2020年EarthVision競賽發(fā)布的SpaceNet6[15]，其包括荷蘭鹿特丹港120 km2的3401張X波段全極化(HH,HV,VH和VV) SAR圖像，其空間分辨率為0.5 m，每張大小為900×900，共有大約48,000個帶標注的建筑物區(qū)域，如圖5所示。為了圖像顯示方便，文中的SAR圖像舉例均選取HH,HV和VV 3個通道并將其轉(zhuǎn)化為uint8格式。本文選取2696張圖像作為訓(xùn)練，其余705張作為測試。

圖5 SpaceNet6城市地區(qū)全極化SAR圖像(分辨率：0.5 m)Fig.5 Examples of SpaceNet6 full polarization SAR images (Resolution:0.5 m)

3.2 實驗設(shè)計

對于輸入數(shù)據(jù)，本文采用如表1的數(shù)據(jù)增強方法，并運用隨機梯度下降(SGD)方法對網(wǎng)絡(luò)模型進行優(yōu)化，訓(xùn)練過程中的其他參數(shù)如表2所示。為了衡量所提出方法的有效性，本文運用了包括F1分數(shù)在內(nèi)的4種度量指標。

表1 訓(xùn)練過程采用的數(shù)據(jù)增強方法Tab.1 Adopted data augmentation methods for training

表2 訓(xùn)練過程中的參數(shù)設(shè)定Tab.2 Other parameters for training

其中，TP,FP,FN,TN分別表示真正例、假正例、假負例和真負例，Precision與Recall分別表示精準度與召回率，即度量正例結(jié)果中有多少是真正例以及真正例像素有多少被挑選出來，IoU與F1主要衡量候選區(qū)域與真值區(qū)域的交疊程度，如果交疊度越高，則說明分割結(jié)果越精確。

3.3 實驗結(jié)果

為了驗證算法的有效性，在DeepLabV3+與UNet框架內(nèi)，本文分別采用了ResNet34與Res-Net50作為特征提取主干網(wǎng)絡(luò)，并且測試并對比常用的分割損失函數(shù)包括Dice以及Focal+Dice下取得的分割精度，除此之外，本文也列出文獻[15]所采用的方法在建筑物分割上取得的結(jié)果。針對每個模型，本文分別進行了3次獨立重復(fù)實驗，并且計算各個度量指標的均值與均方差。如表3所示，提出的聯(lián)合損失函數(shù)分別在不同特征提取主干網(wǎng)絡(luò)上均取得了最好的效果，相比于Focal+Dice，引入的對比損失正則化項可以將4項度量指標分別至少提升了1%，這表明在對建筑物區(qū)域進行分割的同時，需要考慮不同類別像素在特征空間之間的相互關(guān)系，通過優(yōu)化像素級特征之間的緊湊性以及分離性，可以增強模型在測試數(shù)據(jù)上的泛化能力。與基準方法[15]相比，DeepLabV3+與UNet均取得了更好的效果，可能的原因是本文采用了ResNet系列的特征提取主干網(wǎng)絡(luò)，相比于U-Net中采用的VGG網(wǎng)絡(luò)能對圖像中的語義特征刻畫得更加有效。另外，本文模型選用了ImageNet預(yù)訓(xùn)練模型參數(shù)作為初始條件，相比于文獻[15]中的隨機初始化，其能更好地遷移到基于SAR圖像的建筑物分割任務(wù)中。雖然提出的方法能明顯提升建筑物識別精度，但是總體上來看，從高分辨率SAR中提取建筑物區(qū)域的精度不算很好，主要原因在于相比于光學(xué)圖像，SAR圖像的紋理及顏色特征不明顯，而且成像過程中存在的相干斑噪聲均對分割結(jié)果造成了影響。除此之外，基于SAR的成像機理，斜視視角下觀測到的地表物體幾何結(jié)構(gòu)具有透視收縮效應(yīng)，這與光學(xué)圖像下的相同目標的幾何結(jié)構(gòu)大有不同，這也解釋了表3中精確率(Precision)數(shù)值較高而召回率(Recall)數(shù)值較低的原因。為了能進一步明顯地分析不同方法的建筑物分割效果，圖6展示了DeepLabV3+[ResNet50]網(wǎng)絡(luò)基于Focal+Dice以及Focal+Dice+CL在兩張SAR城市圖片上的建筑物提取結(jié)果。對比所框出區(qū)域，運用對比學(xué)習正則化項得到的建筑物區(qū)域更加精確，相反，采用Focal+Dice損失函數(shù)得到的結(jié)果較容易將建筑物像素以及背景像素相混淆，這進一步證明了本文所提出的對比學(xué)習正則化項在區(qū)分SAR圖像中建筑物及背景像素上的有效性。

圖6 不同方法的建筑物提取結(jié)果Fig.6 Different methods for building footprint extraction of SAR images

表3 不同網(wǎng)絡(luò)模型及損失函數(shù)下的建筑物提取性能比較(單位：%)Tab.3 Performance comparison of the building segmentation based on different methods (Unit:%)

為了進一步分析所提出的對比學(xué)習正則化項，圖7展示了難查詢像素的所在區(qū)域，可以看出，分類結(jié)果置信度較低的區(qū)域一般屬于建筑物邊界區(qū)域，通過對這些區(qū)域像素點的采樣，使得對比學(xué)習損失函數(shù)更加“關(guān)注”建筑物邊界與背景像素的特征對比，從而使模型能更精準地對建筑物邊界像素進行分類。圖8展示了DeepLabV3+[ResNet50]模型在有與沒有對比損失正則化下得到建筑物區(qū)域像素特征之間的相似性直方圖，其中橙色表示監(jiān)督對比正則化下得到的特征相似性，藍色表示沒有正則化下的特征相似性。在有對比損失函數(shù)的情況下，建筑物區(qū)域像素之間的特征相似性明顯高于沒有對比損失函數(shù)得到的特征預(yù)測結(jié)果，高的特征相似性可以使建筑物區(qū)域像素的特征更加一致，從而使其更容易被分類而且精度更高。本文所提出方法所涉及的主要參數(shù)包括查詢及鍵像素的數(shù)量，即Mq與Mk，為了測試不同參數(shù)下所提方法對于建筑物區(qū)域分割精度的影響，本文在Mq=128,Mk=256以及Mq=512,Mk=1024兩種不同參數(shù)下分別對所得結(jié)果進行評價，得到的F1數(shù)值如圖9所示。由此可見，在Mq與Mk取較大值的情況下，訓(xùn)練得到的模型在建筑物提取上能取得更好的效果。不過大量的查詢及鍵像素會增加訓(xùn)練計算量，降低模型訓(xùn)練速度，在實際應(yīng)用中需要根據(jù)速度及精度指標要求靈活選取參數(shù)值。為了驗證所提出方法在復(fù)雜城市地區(qū)建筑物提取上的效果，圖10 給出了兩塊城市中心地區(qū)的全極化SAR圖像以及本文方法取得的預(yù)測結(jié)果。從預(yù)測結(jié)果可以看出，所提出方法能將復(fù)雜城市地區(qū)的大部分建筑物識別出來，并且在紅色框選出的建筑物區(qū)域，方法能更好地將建筑識別出來，而沒有對比正則化項的損失函數(shù)在這些區(qū)域預(yù)測結(jié)果的一致性較差，從而產(chǎn)生整個建筑物被割裂的現(xiàn)象，因此，所提出的方法能較好地對大范圍城市地區(qū)建筑物區(qū)域進行識別提取。

圖7 提出算法選取到的難查詢像素：第1行為輸入SAR圖像，第2行為像素預(yù)測類別的置信度，顏色越深表示置信度越低Fig.7 Selection of hard query pixels:The first row is the input SAR images and the second row shows the classification confidences

圖8 DeepLabV3+[ResNet50]模型在有與沒有對比損失正則化下得到建筑物區(qū)域像素特征之間的相似性直方圖Fig.8 The histogram of the feature similarities among the building pixels obtained by the trained DeepLabV3+[ResNet50]models with and without the contrastive loss

圖9 不同查詢及鍵像素數(shù)量對所提出方法的敏感性分析(采用DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu))Fig.9 The sensitivity analysis of the proposed method under different numbers of query and key pixels (The CNN architecture of DeepLabV3+is adopted)

圖10 所提出方法得到的大范圍城市地區(qū)建筑物提取結(jié)果(DeepLabV3+[ResNet50])Fig.10 The large-scale urban building extraction result based on the proposed method (DeepLabV3+[ResNet50])

4 結(jié)束語

本文針對高分辨率SAR圖像的建筑物提取，提出了基于對比學(xué)習正則化的聯(lián)合損失函數(shù)，通過對圖像中建筑物與背景區(qū)域像素在特征空間中的語義關(guān)系建模，增強同一類別像素的特征相似性，同時減弱不同類別像素的特征相似性，可以有效地對城市地區(qū)建筑物以及復(fù)雜背景區(qū)域像素進行分離，從而提升訓(xùn)練模型對于建筑物與背景像素的判別能力以及對新數(shù)據(jù)的泛化能力。在SpaceNet6數(shù)據(jù)上取得了比常用分割損失函數(shù)如Dice,Focal+Dice等更加有效的建筑物提取結(jié)果，分割精度提升至少1%，這對于需要精確度量建筑物區(qū)域面積的任務(wù)中，如惡劣天氣條件下評估受災(zāi)建筑物面積，有著重要應(yīng)用價值。然而，本團隊在實驗過程中發(fā)現(xiàn)小型建筑物(別墅等)以及高樓(寫字樓等)的分割精度還有待提高，后續(xù)工作將著眼于利用多源異構(gòu)圖像融合技術(shù)來提升SAR圖像建筑物分割精度。