王文慶，胡若同，賀浩，楊東方,* 馬曉華

1. 西安郵電大學(xué) 自動(dòng)化學(xué)院，西安 710121 2. 火箭軍工程大學(xué) 導(dǎo)彈工程學(xué)院，西安 710025 3. 火箭軍裝備部駐南京地區(qū)第二軍事代表室 南京 210023

遙感圖像數(shù)據(jù)通常包含道路空間分布信息，建筑物和其他人工特征等信息，道路的提取在交通導(dǎo)航、城市規(guī)劃、農(nóng)林及飛行器自動(dòng)駕駛等諸多領(lǐng)域發(fā)揮重要作用。人類觀測(cè)手段的更新和交通建設(shè)的日新月異對(duì)道路自動(dòng)提取技術(shù)不斷提出更高的要求。在此情況下，如何利用海量的數(shù)據(jù)，快速且完備地提取道路信息以更新地理信息系統(tǒng)，成為該領(lǐng)域的研究熱點(diǎn)。

針對(duì)遙感圖像道路智能提取問題，在深度學(xué)習(xí)之前，相關(guān)研究絕大多數(shù)都采用“特征匹配+道路連接”的思路[1-7]。2010年，Mnih等[8]首次提出使用深度人工神經(jīng)網(wǎng)絡(luò)從遙感影像中提取道路的方法，這也被認(rèn)為是遙感圖像道路智能提取的開端。隨后，Wang等[9]訓(xùn)練了一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)，將道路類型分為直線，十字路口和街區(qū)，用于地表交通信息的智能提取。Saito[10]，Zhong[11]等將FCN等深度網(wǎng)絡(luò)對(duì)道路和建筑物進(jìn)行同時(shí)提取，進(jìn)一步豐富了遙感圖像智能分割的功能。Wei等[12]基于FCN架構(gòu)，設(shè)計(jì)了基于交叉熵?fù)p失函數(shù)的道路提取網(wǎng)絡(luò)優(yōu)化指標(biāo)。Panboonyuen[13]利用SegNet結(jié)構(gòu)，并使用條件隨機(jī)場(chǎng)對(duì)提取結(jié)果進(jìn)行后處理，提高了道路提取精度。Cheng[14]，Zhang[15]等對(duì)道路提取網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，分別提出了級(jí)聯(lián)Encoder-Decoder網(wǎng)絡(luò)以及深度殘差網(wǎng)絡(luò)，得到了比典型分割網(wǎng)絡(luò)U-net更高的精度。除了對(duì)網(wǎng)絡(luò)模型的研究和應(yīng)用外，還有一些針對(duì)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)和針對(duì)目標(biāo)特征的后處理方法的創(chuàng)新研究。Mosinska[16]提出了一種基于U-Net作為損失函數(shù)評(píng)估的VGG網(wǎng)絡(luò)的預(yù)訓(xùn)練模型，并將提取結(jié)果的優(yōu)化后處理集成到網(wǎng)絡(luò)的訓(xùn)練過程中。Pan等[17]在同一層中考慮了線性目標(biāo)的空間特征與空間卷積結(jié)構(gòu)之間的相關(guān)性，從而提高了網(wǎng)絡(luò)表示微小線狀目標(biāo)的能力。

事實(shí)上，道路通常是線狀的，有時(shí)具有網(wǎng)狀結(jié)構(gòu)，細(xì)節(jié)信息豐富，但抽象語義信息則相對(duì)簡單，這些特征對(duì)網(wǎng)絡(luò)提取細(xì)節(jié)特征的能力提出了更高的要求?；谶b感圖像道路提取問題的實(shí)際特點(diǎn)，本文將淺層編解碼網(wǎng)絡(luò)和道路的結(jié)構(gòu)化特征相結(jié)合，提出了一種新的遙感圖像道路智能提取方法，文中稱其為結(jié)構(gòu)化特征輔助的道路智能提取方法。

1 結(jié)構(gòu)化特征描述道路智能提取方法

首先設(shè)計(jì)了一種適合于道路高分辨率提取任務(wù)的淺層編解碼分割網(wǎng)絡(luò)(shallow encoder-decoder，SED)，同時(shí)在損失函數(shù)中引入結(jié)構(gòu)相似性(SSIM)損失，并提出道路結(jié)構(gòu)描述算子對(duì)道路提取進(jìn)行優(yōu)化。通過對(duì)道路影像的多角度旋轉(zhuǎn)和鏡像映射來擴(kuò)充訓(xùn)練數(shù)據(jù)集，道路提取結(jié)果采用語義分割的評(píng)價(jià)方法，即準(zhǔn)確率(accuracy)、召回率(recall)、F1-score。由于道路更加關(guān)注細(xì)節(jié)特征，而對(duì)感受野更大的高層抽象特征不敏感。因此，在課題組前期研究工作的基礎(chǔ)上[18]，引入結(jié)構(gòu)相似性損失和結(jié)構(gòu)描述算子對(duì)道路提取結(jié)果進(jìn)行優(yōu)化。

1.1 SSIM損失函數(shù)

通常道路目標(biāo)呈現(xiàn)出高度結(jié)構(gòu)化，像素間表現(xiàn)出較強(qiáng)的依賴性，尤其是空間關(guān)系。但是，一般損失(例如交叉熵)為每個(gè)像素分配相等的權(quán)重，并在度量相似性時(shí)忽略兩圖空間信息。語義分割的交叉熵(BCE)損失函數(shù)如式(1)，采用該損失函數(shù)作為基礎(chǔ)。

(1)

SSIM(x,y)=[l(x,y)α·c(x,y)β·

s(x,y)γ]

(2)

式中：權(quán)重α>0,β>0,γ>0；l、c、s分別為亮度比較函數(shù)、對(duì)比度函數(shù)、相似度函數(shù)[18]。將該參數(shù)設(shè)置為α=β=γ=1，C3=C2/2，因此相似性度量又可被定義為：

(3)

對(duì)于道路分割問題，最好在局部而不是在全局應(yīng)用SSIM。這是因?yàn)閳D像中的道路分布不均勻：某些區(qū)域包含很多局部細(xì)節(jié)，而其他則是空白。全局SSIM可能忽略有效的本地信息，并且可能降低相似性估計(jì)的效率。此外，道路提取的預(yù)測(cè)結(jié)果通常針對(duì)局部，因此應(yīng)當(dāng)首先使用局部結(jié)構(gòu)統(tǒng)計(jì)數(shù)據(jù)來衡量相似性。

局部信息μx，σx和σxy可以通過滑動(dòng)窗口進(jìn)行計(jì)算，使用標(biāo)準(zhǔn)偏差為1.5的15×15單位圓對(duì)稱高斯加權(quán)矩陣ω，以使其表現(xiàn)出局部各向同性的特性。其中μx，σx和σxy定義為：

(4)

(5)

(6)

在訓(xùn)練網(wǎng)絡(luò)時(shí)，有必要將度量標(biāo)準(zhǔn)壓縮為一個(gè)函數(shù)。因此，將平均SSIM(MSSIM)損耗用于評(píng)估整體圖像質(zhì)量：

(7)

式中：X和Y為真實(shí)圖和預(yù)測(cè)圖；xj，yj為第j個(gè)窗口的內(nèi)容；M為局部滑動(dòng)窗口的總數(shù)量。要將SSIM損失與端到端的卷積網(wǎng)絡(luò)集成在一起，可以使用卷積層來計(jì)算所有局部統(tǒng)計(jì)信息：

μx=Conv(X,ω)

(8)

最終的SSIM損失為：

(9)

其中

(10)

σxy=Conv(X⊙Y,ω)-μx⊙μy

(11)

式中：Conv(X,ω)表示X與ω的卷積核；⊙表示兩個(gè)張量之間的Hadamard積。

顯然，SSIM損失函數(shù)中的所有數(shù)學(xué)運(yùn)算都是可導(dǎo)的，所以可以直接應(yīng)用于端到端卷積網(wǎng)絡(luò)，我們將SSIM損失與BCE損失相結(jié)合來訓(xùn)練網(wǎng)絡(luò)，最終損失為：

Loss=LossBCE+LossSSIM

(12)

1.2 結(jié)構(gòu)優(yōu)化算子

道路提取過程中，由于存在陰影、遮擋等原因，使得像素特征和其他道路區(qū)域差異很大。此時(shí)網(wǎng)絡(luò)對(duì)于該區(qū)域的表達(dá)能力受到了限制，調(diào)整超參數(shù)以使網(wǎng)絡(luò)對(duì)這些點(diǎn)的預(yù)測(cè)也和真實(shí)道路去接近會(huì)增加網(wǎng)絡(luò)訓(xùn)練的收斂難度。在進(jìn)行道路提取預(yù)測(cè)時(shí)，利用更多的是道路網(wǎng)絡(luò)的結(jié)構(gòu)特征，像素特征用于提取特別明確的道路區(qū)域，而被遮擋的區(qū)域可以通過結(jié)構(gòu)描述算子，實(shí)現(xiàn)結(jié)構(gòu)一致性，來彌補(bǔ)像素特征道路提取的缺陷。利用場(chǎng)景所描述的結(jié)構(gòu)特征，能夠更好地提升道路提取精度。道路語義信息較為簡單，網(wǎng)絡(luò)在得到語義分割圖時(shí)沒有考慮到道路的方向這一結(jié)構(gòu)信息，容易產(chǎn)生道路區(qū)域不連續(xù)、空洞和邊緣不平滑等問題。在道路二值分割圖的基礎(chǔ)上進(jìn)行道路區(qū)域逐像素方向判斷，利用道路二值分割圖的方向信息對(duì)原圖進(jìn)行修正以達(dá)到改善網(wǎng)絡(luò)輸出的目的。

在圖像道路區(qū)域隨機(jī)生成初始點(diǎn)并生成所有的初始方向，以像素點(diǎn)為原點(diǎn)將2π分為2n份，則不同初始方向誤差為π/n。以像素點(diǎn)O(x,y)為原點(diǎn)在不同初始方向上分別進(jìn)行延長操作，當(dāng)延長到非道路目標(biāo)區(qū)域時(shí)停止，此時(shí)停止點(diǎn)坐標(biāo)為Ps(xs,ys)。記錄該方向的向量模長，則該像素點(diǎn)的主方向向量V(x,y)由該點(diǎn)出發(fā)的所有方向模長最大的方向確定：

(13)

(14)

道路結(jié)構(gòu)化描述算子如圖1所示。

圖1 結(jié)構(gòu)算子示意Fig.1 Structural operator

在道路結(jié)構(gòu)化描述算子的基礎(chǔ)上，本文采用滑動(dòng)窗口的方法對(duì)道路區(qū)域進(jìn)行道路提取結(jié)果的優(yōu)化，其中滑動(dòng)窗口所在區(qū)域的方向由所有像素最大模長的方向確定。滑動(dòng)窗口操作過程如圖2所示。

圖2 滑動(dòng)窗口道路提取結(jié)果的優(yōu)化過程Fig.2 Sliding optimization of road extraction results

在一個(gè)窗口大小的范圍內(nèi)進(jìn)行道路區(qū)域修正，在語義分割二值化后的圖像上使用滑動(dòng)窗口。該窗口以圖像像素點(diǎn)為中心，采用一個(gè)大小與道路目標(biāo)路寬呈正相關(guān)的滑動(dòng)窗口對(duì)斷連部分進(jìn)行修正。道路目標(biāo)路寬由道路主方向的法線方向到達(dá)非目標(biāo)區(qū)域的方向向量模長確定，記錄落入該窗口的像素方向向量，分別計(jì)算該中心點(diǎn)到該窗口內(nèi)所有像素方向向量的截?cái)嗑嚯x。對(duì)每一個(gè)像素點(diǎn)與目標(biāo)道路接近程度進(jìn)行度量，f(i)描述第i個(gè)點(diǎn)(xi,yi)距離道路區(qū)域的接近程度：

(15)

(16)

其中

(17)

若f(i)達(dá)到某一閾值，則認(rèn)為該點(diǎn)為道路目標(biāo)，將該點(diǎn)Pixeli填充為白色，實(shí)現(xiàn)斷連道路目標(biāo)的修正，生成一幅修正后的分割圖。

(18)

式中：Pixeli為第i個(gè)像素點(diǎn)的灰度值；thresh為道路目標(biāo)相似性度量的閾值。結(jié)構(gòu)描述算子優(yōu)化結(jié)果對(duì)比如圖3所示，從左到右分別為真值圖，預(yù)測(cè)圖和優(yōu)化圖，可以看到道路斷連問題得到了一定程度的解決與優(yōu)化。

圖3 結(jié)構(gòu)化特征優(yōu)化對(duì)比示意Fig.3 Comparison between prediction and structural operator optimized image

不同的圖像分割任務(wù)，對(duì)特征的描述和提取過程存在較大的差異。針對(duì)道路目標(biāo)結(jié)構(gòu)性強(qiáng)、細(xì)節(jié)特征不明顯的特點(diǎn)，提出網(wǎng)絡(luò)分割與結(jié)構(gòu)化特征優(yōu)化相結(jié)合的方法，使用結(jié)構(gòu)化特征描述子對(duì)道路提取的高分辨率細(xì)節(jié)圖像特征進(jìn)行補(bǔ)充，對(duì)道路提取結(jié)果進(jìn)行優(yōu)化。

2 試驗(yàn)驗(yàn)證和性能分析

試驗(yàn)以最大的衛(wèi)星遙感影像道路數(shù)據(jù)集“馬薩諸塞州道路”作為數(shù)據(jù)集。該數(shù)據(jù)集覆蓋了美國馬薩諸塞州超過2 600 km2，每個(gè)都是1 500×1 500像素的RGB圖像，分辨率為1 m/像素。訓(xùn)練集包含1 108幅衛(wèi)星圖像，測(cè)試集包含49幅，驗(yàn)證集包含14幅。由于深度學(xué)習(xí)的訓(xùn)練過程需要大量數(shù)據(jù)，因此通過旋轉(zhuǎn)和翻轉(zhuǎn)(水平和垂直)來增加訓(xùn)練數(shù)據(jù)，最終共有6 648張圖像。

圖4 訓(xùn)練數(shù)據(jù)增廣過程示意Fig.4 Augmentation of training dataset

試驗(yàn)使用Adam優(yōu)化器來更新參數(shù)，參數(shù)采用了默認(rèn)設(shè)置。學(xué)習(xí)率設(shè)置為0.001，指數(shù)衰減率設(shè)置為β1=0.9和β2=0.999，ε=10-9。所有試驗(yàn)均使用PyTorch框架進(jìn)行。試驗(yàn)的硬件環(huán)境配置為：Intel Xeon E5-2630 v4，64 GB內(nèi)存，NVIDIA GeForce RTX 1080Ti GPU。對(duì)于結(jié)構(gòu)算子優(yōu)化部分，使用了一個(gè)大小為5像素的滑動(dòng)窗口，角度劃分為20，閾值設(shè)為0.01。

在馬薩諸塞州道路數(shù)據(jù)集上，對(duì)FCN，ELU-SegNet，Encoder-Decoder和SED等方法進(jìn)行了比較，對(duì)應(yīng)的預(yù)測(cè)可視化如圖5所示。

圖5 四種模型預(yù)測(cè)結(jié)果的可視化Fig.5 Visualization of prediction of four models

為了對(duì)試驗(yàn)結(jié)果進(jìn)行量化對(duì)比，試驗(yàn)過程中根據(jù)該數(shù)據(jù)及上采用不同方法得到的實(shí)驗(yàn)結(jié)果進(jìn)行了指標(biāo)量化，對(duì)應(yīng)的指標(biāo)結(jié)果對(duì)比如表1所示。

從表1可以看出，改進(jìn)的淺層Encoder-Decoder方法(SSIM)將道路提取精度提高到了85.3%，F(xiàn)1-score為84.6%，經(jīng)過結(jié)構(gòu)算子優(yōu)化后，與改進(jìn)前相比其精度提高了3.6%，F(xiàn)1-score提高了3.4%。結(jié)構(gòu)損失與結(jié)構(gòu)優(yōu)化操作使提取更加合理和完整，提出的方法不僅具有提取細(xì)節(jié)信息的能力，還具有對(duì)整個(gè)目標(biāo)道路的結(jié)構(gòu)信息描述的能力，此外結(jié)構(gòu)優(yōu)化對(duì)精度又進(jìn)一步提升，試驗(yàn)數(shù)據(jù)證明了改進(jìn)的有效性。

表1 不同模型的量化指標(biāo)

3 結(jié)束語

為了提高遙感圖像道路智能提取的精度，從結(jié)構(gòu)相似性損失和結(jié)構(gòu)化特征描述子兩個(gè)方面，在編解碼網(wǎng)絡(luò)中引入道路的結(jié)構(gòu)特征，以獲得分辨率更高、道路局部特征更完整的道路提取結(jié)果。試驗(yàn)結(jié)果證明了所提方法的有效性。基于以上研究，可以得到以下結(jié)論：

1)采用圖像分割網(wǎng)絡(luò)對(duì)遙感圖像進(jìn)行道路智能提取在多個(gè)道路數(shù)據(jù)集上都取得了明顯的效果，能夠很大程度上緩解測(cè)繪遙感領(lǐng)域的道路標(biāo)注任務(wù)復(fù)雜度，具有廣闊的應(yīng)用前景。

2)在圖像分割網(wǎng)絡(luò)的基礎(chǔ)上，引入結(jié)構(gòu)化特征描述子優(yōu)化方法后，能夠?qū)⒌缆诽崛【忍嵘s7%。此外，該方法不受遙感成像區(qū)域的限制，具有很強(qiáng)的泛化能力。

3)遙感圖像道路提取任務(wù)相比于普通的圖像分割任務(wù)而言，對(duì)目標(biāo)的結(jié)構(gòu)描述要求更高。本文提出的方法充分利用道路結(jié)構(gòu)化特征，實(shí)現(xiàn)了精度更高的道路提取。