肖雨彤，張繼賢，黃國滿，顧海燕，盧麗君

(1.中國測繪科學(xué)研究院，北京 100036；2. 國家測繪產(chǎn)品質(zhì)量檢驗(yàn)測試中心，北京 100036)

0 引言

建筑區(qū)域是地物類別中的核心內(nèi)容，也是地圖制圖中的重要成圖元素。隨著近幾年城市建筑用地不斷增加，如何提高建筑區(qū)域的識別與提取精度，在民用領(lǐng)域和軍用領(lǐng)域都有比較重要的意義。目前，在光學(xué)影像中對建筑區(qū)的提取已經(jīng)取得了較好的研究成果，但光學(xué)傳感器成像依賴于光照條件，在云雨霧雪天氣、夜間環(huán)境中，無法完成持續(xù)有效的監(jiān)測，而合成孔徑雷達(dá)(synthetic aperture radar，SAR)影像則不存在這些問題。

極化合成孔徑雷達(dá)(polarimetric synthetic aperture radar，簡稱PolSAR或者極化SAR)是一種多參數(shù)、多通道的成像雷達(dá)系統(tǒng)。不同于單極化SAR數(shù)據(jù)只能通過單一極化發(fā)射通道來獲取數(shù)據(jù)，PolSAR可以通過設(shè)置不同的極化發(fā)射通道和接收通道來獲取物體在相異極化通道下的數(shù)據(jù)，獲取更多的極化信息。利用SAR影像對地物進(jìn)行解譯有更大優(yōu)勢[1-3]。根據(jù)現(xiàn)有的研究成果，利用PolSAR影像提取建筑區(qū)域的方法可分為：基于幾何紋理信息的建筑物提取，如Chellappa[4]提出的基于主線條和陰影的矩形輪廓進(jìn)行提取的方法；基于極化散射特征的建筑物提取，如Lee等[5]提出的結(jié)合復(fù)Wishart分布和H/A/α分解的H/a-Wishart方法；基于多特征融合的建筑物提取，如Schuler等[6]提出的基于規(guī)范化相關(guān)系數(shù)和地物目標(biāo)散射機(jī)理的提取方法。然而，這3類方法均無法充分利用影像特征信息。

深度學(xué)習(xí)起源于人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)，是一種對深層人工神經(jīng)網(wǎng)絡(luò)進(jìn)行有效訓(xùn)練的方法。其中，全卷積網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)[7]、SegNet[8]等基于像素的語義分割網(wǎng)絡(luò)模型具有自學(xué)習(xí)能力，能夠?qū)⒌蛯犹卣鞒橄蠼M合為高層特征，廣泛應(yīng)用于圖像處理領(lǐng)域，用以提取特定物體或進(jìn)行圖像分割。

因此，本文考慮將語義分割網(wǎng)絡(luò)FCN引入PolSAR建筑區(qū)域提取研究。利用語義分割網(wǎng)絡(luò)可以逐像素進(jìn)行分類的優(yōu)勢，嘗試提高PolSAR影像建筑區(qū)域提取的精度。然而，基于像素的提取方法最常出現(xiàn)的問題就是出現(xiàn)許多孤立點(diǎn)?？紤]到這一問題，對FCN網(wǎng)絡(luò)的提取結(jié)果進(jìn)行基于條件隨機(jī)場(conditional random field，CRF)[9-10]的后處理，利用其能聯(lián)系上下文信息的特點(diǎn)，提高提取區(qū)域的完整性。

1 FCN+CRF的建筑區(qū)域提取方法

1.1 PolSAR影像預(yù)處理

PolSAR影像具有非常豐富的地物極化散射信息，但對每一類地物缺乏對應(yīng)的具體物理解釋。為了更充分地應(yīng)用這些極化散射信息進(jìn)行地物解譯，學(xué)者們提出了多種極化目標(biāo)分解方法，將目標(biāo)的散射過程分解為代表不同散射機(jī)理的若干項(xiàng)。本文選用經(jīng)典的Freeman 3分量極化目標(biāo)分解方法[11-12]，對PolSAR影像進(jìn)行預(yù)處理。Freeman分解是非相干目標(biāo)極化分解方法中常用的一種基于協(xié)方差矩陣C或相干矩陣T的分解方法，它將協(xié)方差矩陣C或相干矩陣T分解成粗糙表面的Bragg散射、由二面角反射器得到的偶次散射和由一系列隨機(jī)取向偶極子得到的體散射3種散射模型進(jìn)行疊加。這一過程充分利用了雷達(dá)散射的物理特性，使得到的3種成分可以用來初步確定哪種散射機(jī)制成分占主要地位，并通過將3種散射分量與R、G、B一一對應(yīng)合成假彩色圖像，來對分解結(jié)果進(jìn)行可視化處理。由此可以初步得到利于建筑物提取的極化散射特征。然而，這些特征都是需要先驗(yàn)知識判定的低層的特征，傳統(tǒng)分割方法并不能良好地利用影像的語義信息，容易將同一內(nèi)容的區(qū)域分割成不同的區(qū)域。因此，需要引入深度學(xué)習(xí)的方法來更好地應(yīng)用圖像的語義信息進(jìn)行語義分割[13]，使具有同一內(nèi)容信息的像素劃分到同一語義類中，從而提高建筑區(qū)域提取的精度。

1.2 FCN網(wǎng)絡(luò)原理

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)[14-15]在卷積層后連接3個全連接層，得到的結(jié)果是一個固定長度的特征向量。而FCN將全連接層去掉，換成了3個卷基層，這使得FCN可以接受任意尺寸的輸入圖像。在圖像輸出前，利用反卷積層對最后一個卷積層的特征圖進(jìn)行上采樣，使它恢復(fù)到與輸入圖像相同的尺寸。在這個過程中，可以對每個像素都產(chǎn)生一個預(yù)測，同時可以保留原始輸入圖像中的空間信息；最后在與輸入圖像等大小的特征圖像上對每個像素進(jìn)行分類，逐像素地用softmax分類計(jì)算損失，相當(dāng)于每個像素對應(yīng)一個訓(xùn)練樣本。

其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。在傳統(tǒng)的CNN結(jié)構(gòu)中，前5層是卷積層，第6層和第7層分別是一個長度為4 096的一維向量，第8層是長度為1 000的一維向量，分別對應(yīng)1 000個類別的概率，而FCN將這3層表示為卷積層。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖

對最后一個卷積層的特征圖進(jìn)行上采樣，也可以理解為反卷積過程。首先根據(jù)原圖像大小判斷是否需要對特征圖各神經(jīng)元之間進(jìn)行0填充，即上池化；然后進(jìn)行卷積運(yùn)算，最后得到一張與輸入圖尺寸相同的結(jié)果圖。經(jīng)過上一步的操作，基本可以實(shí)現(xiàn)語義分割，但是直接將全卷積后的結(jié)果進(jìn)行反卷積，得到的結(jié)果往往比較粗糙。因此，引入跳級連接的策略，以加入更多前層的細(xì)節(jié)信息。根據(jù)結(jié)合層不同分為3種。

1)FCN-32s。上采樣步長為32，運(yùn)算后得到與原圖像大小一致的結(jié)果，但這樣做會導(dǎo)致?lián)p失過多的信息，結(jié)果不夠精細(xì)。

2)FCN-16s。首先將最后一層上采樣；然后和池4層的預(yù)測結(jié)合起來，最后再上采樣恢復(fù)為原圖大小。

3)FCN-8s。同樣地，先上采樣再結(jié)合更高層信息；最后上采樣為原圖大小。使用跳級結(jié)構(gòu)使網(wǎng)絡(luò)能夠更好地預(yù)測細(xì)節(jié)，同時保留高級別的語義信息。

1.3 后處理CRF

雖然FCN可以從像素級別對圖像進(jìn)行分析，但得到的結(jié)果依舊比較模糊散亂，對像素間的聯(lián)系考慮不充分，缺乏空間一致性。因此，需要引入CRF進(jìn)行后處理，利用CRF能聯(lián)系上下文的特性，完善建筑區(qū)域的提取。

CRF被定義為：在給定一組輸入隨機(jī)變量條件下，另外一組輸出隨機(jī)變量的條件概率分布模型，它是一種判別式的概率無向圖模型。CRF的輸出隨機(jī)變量假設(shè)是一個無向圖模型或者馬爾科夫隨機(jī)場，CRF的圖模型結(jié)構(gòu)理論上可以任意給定，但在實(shí)際應(yīng)用中經(jīng)常應(yīng)用定義在線性鏈上的特殊的條件隨機(jī)場，即線性鏈條件隨機(jī)場。

設(shè)有線性鏈結(jié)構(gòu)的隨機(jī)變量序列X=(X1，X2，…，Xn)，Y=(Y1，Y2，…，Yn)，在線性鏈條件隨機(jī)場中，在給定觀察序列X的條件下，隨機(jī)變量序列Y的條件概率分布為P(Y|X)。根據(jù)定義，最終條件隨機(jī)場的條件概率可表達(dá)為式(1)。

(1)

式中：

(2)

由此可見，在運(yùn)算過程中，目標(biāo)像素點(diǎn)的屬性判斷與相鄰元素的屬性相關(guān)，相鄰元素的特征越相似，則越可能被賦予相同的屬性。

2 實(shí)驗(yàn)過程與結(jié)果分析

本文采用廣州地區(qū)高分三號PolSAR數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，分辨率為8 m。為防止影像噪聲對結(jié)果產(chǎn)生影響，首先采用Lee refined濾波對影像進(jìn)行去噪，再對去噪后的影像進(jìn)行Freeman 3分量分解。將得到的3分量分別對應(yīng)R、G、B 3個通道合成假彩色圖像，得到的假彩色圖像即為初步的特征提取影像。利用它再進(jìn)行深度特征提取，并引入條件隨機(jī)場進(jìn)行結(jié)果優(yōu)化，得到最終的建筑區(qū)域提取結(jié)果。技術(shù)流程圖如圖2所示。

圖2 技術(shù)流程圖

2.1 數(shù)據(jù)預(yù)處理

選取經(jīng)典的Lee refined濾波算法對圖像進(jìn)行濾波。該方法既能避免通道間的串?dāng)_，又能保持均勻區(qū)域的極化信息。對濾波后的影像結(jié)果進(jìn)行Freeman分解，并將表面散射成分賦為藍(lán)色，偶次散射成分賦為紅色，體散射成分賦為綠色，得到的假彩色合成結(jié)果分別如圖3所示。

圖3 濾波分解后影像

不同地物在假彩色合成后區(qū)分度較高，說明散射功率能夠反映地物間的不同。由于植被、樹木的形狀結(jié)構(gòu)比較隨機(jī)，且普遍為圓柱形散射體，因此可以用偶極子進(jìn)行建模。電磁波被高矮不同的植被向各個方向隨機(jī)的散射，其散射類型為體散射，在假彩色圖中以綠色為主(山體被樹木覆蓋，依舊以體散射為主，呈現(xiàn)綠色)。農(nóng)田相對來說，表面平坦，主要產(chǎn)生表面散射，但也有部分農(nóng)作物高矮不同形狀多枝葉，會產(chǎn)生一定的體散射，因此農(nóng)田在假彩色圖中呈藍(lán)綠混雜色。人造建筑物的墻壁和地面構(gòu)成二面角結(jié)構(gòu)，所以以二面角散射為主。但是，建筑物區(qū)域的結(jié)構(gòu)比較復(fù)雜，也會存在大量的體散射成分，所以在假彩色圖中的人造建筑物區(qū)域既有粉色又有綠色，極個別強(qiáng)反射建筑會呈現(xiàn)高亮白色。

2.2 樣本集制作

高分三號是2016年我國成功發(fā)射升空的一顆遙感衛(wèi)星，由于其升空時間較短，人們對它所獲得的數(shù)據(jù)研究不夠充分，目前還沒有成形的地物標(biāo)注圖。所以，針對實(shí)驗(yàn)所應(yīng)用的廣州地區(qū)影像，需要人工手動采集建筑區(qū)域標(biāo)記。

利用Freeman分解得到的假彩色圖，進(jìn)行建筑區(qū)域樣本集制作。將勾取的建筑區(qū)域柵格文件視為掩膜文件，將柵格文件與極化SAR影像文件進(jìn)行大小為1 024、每次窗口移動步長為500的重疊剪裁，將得到的SAR切片記為Image、得到的掩膜切片記為Label，同時按4∶1的比例，將其分為訓(xùn)練集和測試集。其中，訓(xùn)練集用于網(wǎng)絡(luò)模型的訓(xùn)練；測試集用于訓(xùn)練完成后測試模型精度。由于采用的FCN網(wǎng)絡(luò)需要大量樣本，所以將整合好的樣本數(shù)據(jù)集進(jìn)行進(jìn)一步的擴(kuò)充操作[16]。為保證標(biāo)簽和影像的一一對應(yīng)，現(xiàn)階段主要使用鏡像和旋轉(zhuǎn)操作(圖4)。

圖4 樣本示意圖

2.3 FCN網(wǎng)絡(luò)搭建與訓(xùn)練

基于FCN的前半段與VGG19架構(gòu)相同，直接使用了VGG19預(yù)訓(xùn)練好的權(quán)重。VGG19包括16個激勵層、5個池化層。其中，設(shè)卷積層卷積步長為1，padding=‘SAME’。池化層采用平均池化。根據(jù)輸入影像大小，將核大小設(shè)為2×2，步長為[1，2，2，1]，padding=‘SAME’。據(jù)此，每經(jīng)過一個池化層，影像的長和寬就變?yōu)樵镜?/2。經(jīng)過全部池化層后，影像大小變?yōu)樵瓉淼?/32。FCN的中段將CNN網(wǎng)絡(luò)原有的全連接層改為全卷積層，設(shè)置反卷積層卷積核的大小為7×7，1×1，1×1，padding=0，步長為1。根據(jù)文獻(xiàn)[7]所闡述，F(xiàn)CN-8s結(jié)果普遍好于FCN-32s及FCN-16s，因此后段直接采用FCN-8s的思想，將淺層特征與深層特征聯(lián)合，可具體表達(dá)為((conv7×2+pool4)×2+pool3)×8。

由于模型要求輸入數(shù)據(jù)為3個通道的歸一化影像，因此，網(wǎng)絡(luò)搭建好之后，將影像的R、G、B對應(yīng)的3個通道作為模型的輸入對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，設(shè)置批量訓(xùn)練大小為20，學(xué)習(xí)速率為0.000 1。

2.4 CRF后處理

將測試數(shù)據(jù)集輸入上一步驟中訓(xùn)練好的網(wǎng)絡(luò)模型中，得到FCN網(wǎng)絡(luò)模型提取的建筑區(qū)域結(jié)果，并將其作為CRF模型的輸入。具體步驟如下。

1)數(shù)據(jù)的輸入。將FCN-8s的結(jié)果作為原始圖像輸入CRF模型，輸入值為R、G、B 3個通道及坐標(biāo)位置x、y。

2)二次像素分類。利用FCN模型所得到softmax(具有概率分布)，結(jié)合輸入數(shù)據(jù)，進(jìn)行再一次的像素點(diǎn)分類。由于建筑區(qū)域提取影像只分背景與建筑區(qū)域2種，因此softmax維度為2。隨后，利用最大似然估計(jì)法對函數(shù)進(jìn)行優(yōu)化，直到模型收斂(本次實(shí)驗(yàn)迭代次數(shù)為15時收斂)。此時，可以通過模型求出每個像素的上下文信息，并可以根據(jù)計(jì)算的概率，推測出給定的一幅測試圖像中像素是否屬于建筑物。

2.5 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文FCN結(jié)合CRF方法的有效性，與其他2種經(jīng)典的極化SAR分類方法——H/a-Wishart方法和支持向量機(jī)SVM方法的結(jié)果作對比，并用未經(jīng)過CRF優(yōu)化處理的FCN-8s結(jié)果驗(yàn)證優(yōu)化處理的有效性。實(shí)驗(yàn)結(jié)果如圖5所示。

由圖5可以看出，對于不同大小的建筑區(qū)域，本文FCN結(jié)合CRF的方法均能較好地識別和提取，說明模型具有多尺度要素分割的能力。相較于未加CRF優(yōu)化的FCN-8s結(jié)果，利用CRF優(yōu)化處理后的結(jié)果，可以更準(zhǔn)確地提取出建筑區(qū)域的輪廓，還原建筑區(qū)域的真實(shí)細(xì)節(jié)特征。相較于H/a-Wishart法和SVM法，本文FCN結(jié)合CRF的方法在視覺效果上最為貼近真實(shí)地物。同時，本文方法出現(xiàn)的誤分區(qū)域遠(yuǎn)遠(yuǎn)少于其他2種經(jīng)典方法，證明了本文方法可以有效避免傳統(tǒng)方法中由于建筑區(qū)域的極化散射特征復(fù)雜、不能很好地聯(lián)系上下文信息等原因造成的建筑區(qū)域容易與其他地物混分的情況。實(shí)驗(yàn)結(jié)果表明，將語義分割網(wǎng)絡(luò)FCN應(yīng)用于PolSAR影像進(jìn)行建筑區(qū)域提取，可以實(shí)現(xiàn)高層特征與低層特征的聯(lián)合，這種聯(lián)合既保留了多維深度特征的精確性，又結(jié)合了低層特征的準(zhǔn)確性，同時引入能聯(lián)系上下文信息的CRF進(jìn)行后處理，可以進(jìn)一步利用臨近像元信息輔助判斷該像元的屬性，盡可能地避免出現(xiàn)漏分錯分，提高細(xì)節(jié)及輪廓提取精度。然而，本文方法依舊存在個別區(qū)域無法提取的問題，主要是由于樣本選擇時未能很好地做到均衡選擇，個別特征樣本選擇數(shù)量過少導(dǎo)致網(wǎng)絡(luò)對該特征學(xué)習(xí)不夠。

圖5 實(shí)驗(yàn)結(jié)果圖

利用深度學(xué)習(xí)中常用的精度評價(jià)指標(biāo)F1分?jǐn)?shù)(F1 score)進(jìn)行測評。F1分?jǐn)?shù)又稱平衡F分?jǐn)?shù)，它被定義為精確率和召回率的調(diào)和平均數(shù)。精確率和召回率同等重要，最大為1，最小為0。其計(jì)算如式(3)所示。

(3)

式中：Recall表示為正確識別為1的個數(shù)/所有真值為1的個數(shù)；Precision表示為正確識別為1的個數(shù)/所有認(rèn)為是1的個數(shù)，具體結(jié)果如表1所示。

表1 精度評價(jià)表

由表1看到，本文方法精度遠(yuǎn)高于H/a-Wishart方法，略高于SVM法，實(shí)現(xiàn)了提高建筑區(qū)域提取精度的目的。

3 結(jié)束語

本文提出FCN與CRF相結(jié)合的方法提取建筑區(qū)域，用以減少基于像素的提取方法易出現(xiàn)大量孤立點(diǎn)的問題，并利用高分三號全極化SAR影像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，利用極化分解方法進(jìn)行低層特征提取后，再利用深度學(xué)習(xí)網(wǎng)絡(luò)提取高層特征，對于提取建筑區(qū)域有較好的效果。但同時依舊存在一些問題，如小面積建筑區(qū)域提取不完整、部分建筑區(qū)域無法提取等，考慮主要是由于樣本選擇量不均勻?qū)е履Ｐ蛯€別特征學(xué)習(xí)不夠充分。因此，在以后的研究中，需要針對不同幾何結(jié)構(gòu)的建筑區(qū)研究其極化散射特征，并盡量均衡地選擇樣本，從而進(jìn)一步提高建筑區(qū)域提取精度。