赫曉慧，宋定君，李盼樂，田智慧，周廣勝

（1.鄭州大學(xué) 地球科學(xué)與技術(shù)學(xué)院，鄭州 450052；2.鄭州大學(xué) 信息工程學(xué)院，鄭州 450001；3.中國(guó)氣象科學(xué)研究院鄭州大學(xué)生態(tài)氣象聯(lián)合實(shí)驗(yàn)室鄭州 450052）

0 概述

隨著地球空間信息技術(shù)的發(fā)展以及衛(wèi)星數(shù)量的增加，研究人員可以獲得具有豐富空間信息和光譜信息的遙感影像數(shù)據(jù)。這些數(shù)據(jù)被廣泛應(yīng)用于天氣預(yù)報(bào)［1］、農(nóng)業(yè)研究［2］、交通監(jiān)控［3］等領(lǐng)域。在衛(wèi)星圖像空間分辨率得到極大提高的條件下，利用遙感影像提取的道路也會(huì)具有高分辨率和覆蓋范圍廣的特點(diǎn)，對(duì)城市規(guī)劃、交通運(yùn)輸管理、出行路線選擇等方面均具有重要的指導(dǎo)意義。

在圖形圖像處理中，越來越多的研究人員將深度學(xué)習(xí)方法應(yīng)用于邊緣檢測(cè)［4］、圖像分類［5］、語義分割［6］等任務(wù)中。在面向遙感影像數(shù)據(jù)中的道路提取任務(wù)時(shí)，主要涉及卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）［7］和全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）2 種網(wǎng)絡(luò)。研究人員利用CNN 聚焦到更深層的處理遙感影像問題中，相較于需要手動(dòng)提取淺層特征的傳統(tǒng)方法［8-10］，使用CNN 的方法具有時(shí)間復(fù)雜度小的優(yōu)勢(shì)。文獻(xiàn)［11］基于CNN 提取全局上下文特征，實(shí)現(xiàn)了遙感影像的高效分類。文獻(xiàn)［12］提出一種基于CNN 的遙感影像分類方法，可以從高空間分辨率遙感影像中提取道路。遙感影像與自然影像不同，其通常包含比背景更小及更分散的對(duì)象，雖然CNN 利用圖像級(jí)的分類應(yīng)用在遙感影像道路提取任務(wù)，但是采用的局部處理策略仍然使提取的道路信息存在誤差。

越來越多的研究人員將深度學(xué)習(xí)方法應(yīng)用于像素分類任務(wù)［13-14］。文獻(xiàn)［6］提出FCN 網(wǎng)絡(luò)，能夠?qū)γ恳粋€(gè)像素進(jìn)行分類，從而得到像素級(jí)的分類結(jié)果。FCN 相比CNN 解除了對(duì)輸入圖像大小的限制，大量減少了模型參數(shù)量，提高了效率。

目前，許多出色的語義分割網(wǎng)絡(luò)均是FCN 的改進(jìn)版本。文獻(xiàn)［15］在FCN 的基礎(chǔ)上通過全局平均池化和特征融合操作引入更多上下文信息，并使用輔助損失函數(shù)提高訓(xùn)練精度。文獻(xiàn)［16］基于FCN 提出U-net 網(wǎng)絡(luò)結(jié)構(gòu)，目前多用于遙感影像分割任務(wù)中，能夠?qū)θ我獯笮〉挠跋襁M(jìn)行卷積操作，在面向高分辨率遙感影像道路提取任務(wù)［17］中能夠利用U-net 進(jìn)行全局特征表達(dá)。為進(jìn)一步提高特征提取能力，WANG 等［18-19］使 用空洞卷 積（Dilated Convolution，DC）擴(kuò)大感受野，使卷積輸出包含較大范圍信息，同時(shí)保持特征圖尺寸不變。D-LinkNet［20］充分融入了DC 的特性，使道路分割結(jié)果有一定的提升。但高分辨率遙感影像中的道路具有多尺度特性，不同尺度的道路特征包括局部拐角、宏觀線條、交叉點(diǎn)等，多尺度信息收集會(huì)明顯改善提取結(jié)果的質(zhì)量。文獻(xiàn)［21］通過使用多尺度卷積神經(jīng)網(wǎng)絡(luò)將空間特征與光譜特征相結(jié)合，促進(jìn)原始數(shù)據(jù)集轉(zhuǎn)換為包含多尺度空間信息的金字塔，以捕獲豐富的空間信息。多孔空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）模塊［22］通過并行多個(gè)不同比例的空洞卷積將多尺度信息整合到ASPP 中，以獲得精細(xì)的分割結(jié)果，文獻(xiàn)［23］通過使用ASPP 模塊提高對(duì)道路的預(yù)測(cè)能力。隨著網(wǎng)絡(luò)的加深，ResNet［24］和DRSNet［25］等通過殘差模塊優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)及提升網(wǎng)絡(luò)性能。文獻(xiàn)［26］使用帶有殘差模塊的U-net，通過向前傳播，從圖像中提取道路區(qū)域。目前，雖然已有許多基于深度學(xué)習(xí)的道路提取方法，但針對(duì)深度網(wǎng)絡(luò)模型而言，池化操作的重復(fù)使用降低了特征圖分辨率，通過上采樣得到預(yù)測(cè)結(jié)果的精度有待提高，且沒有考慮多尺度融合的特性。此外，使用下采樣操作提取抽象的語義信息作為特征使遙感影像中高分辨率的細(xì)節(jié)語義信息容易丟失，導(dǎo)致提取結(jié)果存在細(xì)節(jié)缺失、邊緣模糊等問題。最后，空洞卷積堆疊使用會(huì)導(dǎo)致大部分像素?zé)o法參與運(yùn)算，形成網(wǎng)格效應(yīng)，無法準(zhǔn)確提取小型道路特征，因此在復(fù)雜道路提取任務(wù)中不同尺度特征的預(yù)測(cè)效果受限。

針對(duì)上述問題，本文基于深度殘差網(wǎng)絡(luò)模型提出一種融合多尺度特征的遙感影響道路的提取方法。在特征提取和特征融合方面進(jìn)行方法設(shè)計(jì)，采用混合空洞卷積的方式，定義新的卷積核處理數(shù)據(jù)間的距離，實(shí)現(xiàn)感受野指數(shù)級(jí)增長(zhǎng)。在網(wǎng)絡(luò)編碼器與解碼器間融入ASPP 模塊整合全局信息，通過將提取特征加權(quán)映射到ASPP 模塊，得到更準(zhǔn)確的預(yù)測(cè)結(jié)果。

1 本文方法

本文方法的框架如圖1 所示。首先，在特征提取階段利用融入混合空洞卷積增大感受野的方式提取特征，增強(qiáng)多尺度特征融合模塊中道路信息之間的聯(lián)系。其次，將提取特征作為所設(shè)計(jì)的ASPP 模塊的輸入并進(jìn)行加權(quán)映射，ASPP 模塊對(duì)不同尺度形狀的道路有更好的檢測(cè)性能，體現(xiàn)在提高分辨率時(shí)，多尺度特征融合后的預(yù)測(cè)結(jié)果能夠有效利用全局信息條件下不同尺度間的特征，更好地識(shí)別出正確的道路信息。

圖1 本文方法的框架Fig.1 Framework of method in this paper

1.1 特征提取網(wǎng)絡(luò)模型

本文模型以ResUnet［26］為基礎(chǔ)架構(gòu)，結(jié)合了U-net和殘差網(wǎng)絡(luò)。在只有有限訓(xùn)練數(shù)據(jù)的情況下，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)變得非常困難，而且在深度殘差網(wǎng)絡(luò)的殘差模塊中，步長(zhǎng)固定會(huì)使感受野變小，從而只能捕捉到遙感影像局部信息，在無法得到全局信息時(shí)會(huì)導(dǎo)致分割錯(cuò)誤、不能進(jìn)行多尺度問題的處理。

針對(duì)以上問題，基于ResUnet 引入空洞卷積層，在不做池化操作損失特征信息的情況下增大感受野且不丟失分辨率。每個(gè)卷積輸出包含比普通卷積更大范圍的特征，有利于獲取遙感影像中道路特征的細(xì)節(jié)信息。在新的特征提取模型DC-ResUnet 中擴(kuò)大感受野可以檢測(cè)分割更多道路目標(biāo)，當(dāng)分辨率提高后可以精確定位道路目標(biāo)。在卷積神經(jīng)網(wǎng)絡(luò)中，將各卷積層輸出特征圖上的像素點(diǎn)映射到輸入圖片上的像素范圍大小稱為感受野。

二維一般卷積公式如式（1）所示：

其中：F（x,y）表示卷積層的輸出；s[x,y]表示卷積層的輸入；Q[i,j]表示卷積核大小；X和Y表示影像的尺寸。

當(dāng)卷積層為q時(shí)，感受野為Rq，表達(dá)式如式（2）所示：

其中：Rq-1為上一層卷積的感受野；Qq-1為上一層卷積核的大小；S為步長(zhǎng)。

在如圖2 所示的殘差結(jié)構(gòu)中引入空洞率（Dilation Rate，DR）。

圖2 殘差結(jié)構(gòu)Fig.2 Residual structure

如圖3 所示，其中超參數(shù)Rate 定義了卷積核處理數(shù)據(jù)時(shí)各值的間距，相比一般卷積，混合空洞卷積采用的卷積核大小為3×3 像素。在殘差結(jié)構(gòu)中以梯度的形式設(shè)計(jì)串聯(lián)3 層，初步由Rate=1、Rate=2、Rate=3 組成，在更大的范圍內(nèi)獲取道路信息，同時(shí)避免出現(xiàn)網(wǎng)格問題，在實(shí)驗(yàn)過程中通過調(diào)節(jié)這3 組超參數(shù)實(shí)現(xiàn)參數(shù)變換。通過設(shè)計(jì)混合空洞卷積的方式實(shí)現(xiàn)特征增強(qiáng)，其中較小的Rate 與最近的像素相關(guān)，較大的Rate 與遠(yuǎn)程像素相關(guān)，從而保證獲取道路詳細(xì)信息。為避免提取特征的分辨率下降，每一層卷積的padding 值與所設(shè)置的空洞率維持一致。本文提出的特征提取結(jié)構(gòu)通過設(shè)計(jì)混合空洞卷積的方式實(shí)現(xiàn)了特征增強(qiáng)，能夠保證獲取道路詳細(xì)信息。

圖3 混合空洞卷積Fig.3 Hybrid atrous convolution

殘差結(jié)構(gòu)中空洞卷積表達(dá)式如式（3）所示：

其中：D表示空洞卷積的空洞率。

在設(shè)置不同空洞率時(shí)，感受野會(huì)不同，每種空洞卷積能提取對(duì)應(yīng)尺度的特征圖，從而獲取遙感影像多尺度特征的上下文信息?？斩淳矸e在尺寸為3×3像素的卷積核中依據(jù)超參數(shù)填充0，插0 的部分將不參與卷積運(yùn)算，其運(yùn)算量和標(biāo)準(zhǔn)卷積相同，即沒有增加額外的計(jì)算量。當(dāng)卷積核大小固定，在卷積層疊加時(shí)感受野呈現(xiàn)指數(shù)級(jí)的增長(zhǎng)，殘差結(jié)構(gòu)中空洞卷積的感受野表達(dá)式如式（4）所示：

空洞卷積實(shí)際卷積核大小為：

其中：k為原始卷積核大小；r為空洞卷積參數(shù)；(r-1)的值為填充0 的個(gè)數(shù)。通過調(diào)節(jié)一定范圍區(qū)間的空洞率，可以有效地控制殘差結(jié)構(gòu)中感受野的變換，獲取道路細(xì)節(jié)信息，為融合多尺度特征做足了準(zhǔn)備。本文所提出DC-ResUnet 特征提取模型充分利用了這一特性。

1.2 多尺度特征融合網(wǎng)絡(luò)模型

在遙感影像道路提取的過程中，要充分考慮道路周圍其他對(duì)象的影響，引入足夠的上下文信息及不同感受野下的全局信息。在語義分割方法中需要利用網(wǎng)絡(luò)深層特征圖中的語義信息幫助分類，同時(shí)也需要網(wǎng)絡(luò)淺層特征圖中的位置信息幫助定位。由于淺層與深層分辨率一個(gè)偏高一個(gè)偏低，所以本文設(shè)計(jì)多尺度特征融合方法將淺層的細(xì)節(jié)特征與深層的語義特征相結(jié)合，凸顯兩者各自的優(yōu)勢(shì)，從而充分利用空間信息提升復(fù)雜遙感影像場(chǎng)景下的解析能力。

在DC-ResUnet 模型中融入ASPP 模塊，將網(wǎng)絡(luò)中輸出的語義特征輸入到ASPP 模塊中，通過改進(jìn)并行深度為5 的多個(gè)不同比例空洞卷積核、一個(gè)尺寸為1×1 像素卷積核以及1 個(gè)全局平均池化，得到多尺度特征圖，并對(duì)其進(jìn)行融合。針對(duì)遙感影像中道路特征具有多尺度的特性，為避免在使用過高的空洞率時(shí)忽略小型線性道路的信息，本文設(shè)計(jì)ASPP 模塊中的空洞率分別為2、4、8。ASPP 模塊主要借助層級(jí)獲取全局先驗(yàn)信息，與深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合可以起到很好的優(yōu)化作用。ASPP 模塊的結(jié)構(gòu)如表1所示。

表1 ASPP 模塊的結(jié)構(gòu)Table 1 Structure of ASPP module

在特征提取階段，不同的層級(jí)用Mi表示。分別將得到的特征圖輸入到尺寸為1×1 像素的卷積中，進(jìn)行通道維度上的降維，通過批歸一化（Batch Normalization，BN）和ReLU 激活函數(shù)的融合，使用加快模型收斂速度，并對(duì)特征圖進(jìn)行整合可以保留更多原圖信息，通過雙線性插值將特征圖尺寸恢復(fù)。此外，在DC-ResUnet 編碼器提取的特征t4中生成一個(gè)具有尺度特征匹配的權(quán)重分布，使預(yù)測(cè)過程中每一個(gè)神經(jīng)元可以有相當(dāng)大小的感受野尺度契合。

權(quán)重分布的表達(dá)式如式（6）所示：

在網(wǎng)絡(luò)結(jié)構(gòu)中使t4與ASPP 模塊中每一層得到的特征圖一樣通過尺寸為1×1 像素的卷積進(jìn)行通道上的升降維，保證在后續(xù)融合的過程中特征圖在維度上的尺寸相同。此外，經(jīng)過Softmax 函數(shù)運(yùn)算得到Mk，特征Mk的每個(gè)通道Mki表示在對(duì)應(yīng)層級(jí)上的加權(quán)映射。多尺度融合模塊的框架如圖4 所示。

圖4 多尺度融合模塊的框架Fig.4 Framework of multi-scale fusion module

在多尺度融合模塊中，Mki為編碼器輸出經(jīng)過加權(quán)映射的高層語義特征，t5為通過ASPP 模塊融合后上采樣輸出的特征。隨后進(jìn)行特征拼接，此過程主要在融合過程的通道維度上組成一個(gè)特征圖。特征拼接的表達(dá)式如式（7）所示：

圖5 所示為多尺度特征融合的網(wǎng)絡(luò)結(jié)構(gòu)，可以看出，淺層的細(xì)節(jié)特征與高層的語義特征進(jìn)行融合（即上下文信息合并的過程），能夠充分利用淺層的特征（比如在提取道路任務(wù)中的邊緣信息、紋理信息等），改善隨著網(wǎng)絡(luò)的加深，高層網(wǎng)絡(luò)輸出的特征圖分辨率逐漸變小而導(dǎo)致的上下文信息損失。最后，對(duì)融合后的特征進(jìn)行3 次上采樣聚合，將融合后特征進(jìn)一步整合得到最后的特征輸出，輸出的卷積層設(shè)計(jì)由BN、ReLU 以及Dropout 組成。利用多尺度融合的方式，將編碼部分t1～t4作為特征融合的具體模塊，其通道數(shù)用表示，m表示層數(shù)，i表示具體的通道數(shù)目。最后，t4的輸出特征經(jīng)過Softmax 層后，再與ASPP 模塊輸出結(jié)果整合，t2、t3和t4通道數(shù)由尺寸為3×3 像素的卷積核控制，其余的由尺寸為1×1 像素的卷積核控制。最后將不同層級(jí)的融合特征上采樣到原始輸出大小，與ASPP 模塊的輸出特征進(jìn)行拼接。輸出的256 個(gè)特征映射是通過對(duì)tconcatenate上采樣聚合和殘差模塊中所用到的激活函數(shù)計(jì)算獲得。

圖5 多尺度特征融合的網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of multi-scale feature fusion

ni的計(jì)算公式如式（8）所示：

其中：*表示每次的上采樣聚合，聚合后通過跳躍連接到殘差模塊中。殘差模塊使用了線性整流函數(shù)ReLU 作為激活函數(shù)，使用ReLU 激活函數(shù)可以避免出現(xiàn)梯度彌散的問題，在輸入x>0 時(shí)可以控制梯度飽和效應(yīng)的情況出現(xiàn)。ReLU 激活函數(shù)的表達(dá)式如式（9）所示：

2 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)基于Keras 深度學(xué)習(xí)框架設(shè)計(jì)實(shí)現(xiàn)，使用Pycharm 及Anaconda 軟件進(jìn)行程序的編寫，實(shí)驗(yàn)基于Linux 運(yùn)行環(huán) 境，CPU 為2 個(gè)24 核Hygon C86 7165 24-core Processor 處理 器，GPU 采用了ASPEED Graphics Family 16 GB。在此基礎(chǔ)上，利用遙感影像數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練、測(cè)試和驗(yàn)證，印證所提方法面向遙感影像道路提取的突出優(yōu)勢(shì)。

2.1 實(shí)驗(yàn)數(shù)據(jù)集與預(yù)處理實(shí)驗(yàn)

本文實(shí)驗(yàn)使用Cheng_Data_Road［27］和Zimbabwe_Data_Roads 這2 個(gè)道路數(shù)據(jù)集，針對(duì)地形復(fù)雜的地區(qū)，該數(shù)據(jù)集能夠提供更加充分的特征信息。Cheng_Data_Roads 數(shù)據(jù)集涵蓋了城市、郊區(qū)以及農(nóng)村地區(qū)，其中，224 張遙感影像是從Google Earth 下載的。數(shù)據(jù)集中的標(biāo)簽均由手動(dòng)創(chuàng)建，包含大約47 341 公里的道路，其中影像尺寸至少為600×600 像素。Zimbabwe_Data_Roads 是根據(jù)Zimbabwe 國(guó)家公路特點(diǎn)專門建立的數(shù)據(jù)集，此數(shù)據(jù)集通過Bing Maps 收集構(gòu)建，其相對(duì)應(yīng)的標(biāo)簽由OpenStreetMap標(biāo)注生成，共包含248 張影像數(shù)據(jù)，涵蓋的城市道路類型遠(yuǎn)多于Cheng_Data_Roads 數(shù)據(jù)集，每張影像的尺寸為1 500×1 500 像素。本文對(duì)這兩套數(shù)據(jù)均進(jìn)行了初步的篩選，剔除了影像與標(biāo)簽相差較大的部分，將每張影像以及對(duì)應(yīng)的標(biāo)簽裁剪為224×224 像素，并分別劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

2.2 評(píng)價(jià)指標(biāo)與實(shí)驗(yàn)策略

為更好地表征本文方法的性能，選取了語義分割任務(wù)中較常用的幾種評(píng)價(jià)指標(biāo)［28］，包括準(zhǔn)確率（Precision）、召回率（Recall）、F1 值和交并比（Intersection over Union，IoU）。在定義它們之前，先用混淆矩陣表示每個(gè)像素點(diǎn)分類結(jié)果的實(shí)際意義：混淆矩陣中TTP表示預(yù)測(cè)為正樣本，實(shí)際預(yù)測(cè)正確（正確提取的道路）；FFP表示預(yù)測(cè)為正樣本，實(shí)際預(yù)測(cè)錯(cuò)誤（錯(cuò)誤提取的道路）；FFN表示預(yù)測(cè)為負(fù)樣本，實(shí)際預(yù)測(cè)錯(cuò)誤（預(yù)測(cè)為背景實(shí)際為道路）；TTN表示預(yù)測(cè)為負(fù)樣本，實(shí)際預(yù)測(cè)正確（預(yù)測(cè)為背景實(shí)際為背景）。本文采用的評(píng)價(jià)指標(biāo)公式如下：

由于本文只針對(duì)道路提取，因此只涉及道路和背景兩類，在訓(xùn)練過程中保存驗(yàn)證集IoU 指標(biāo)較高的模型作為最終模型，并使用平均交并比［29］（Mean Intersection over Union，MIoU）來評(píng)價(jià)模型在數(shù)據(jù)集上的分割效果，計(jì)算出遙感影像預(yù)測(cè)結(jié)果與影像真實(shí)值的交集和并集之比，MIoU 的表達(dá)式如式（14）所示：

其中：n代表標(biāo)簽標(biāo)記的類別；n+1 表示背景的總類別；pii表示實(shí)際為i類預(yù)測(cè)的像素?cái)?shù)量；pij表示實(shí)際為i類但預(yù)測(cè)為j類的像素?cái)?shù)量；pji表示實(shí)際為j類但預(yù)測(cè)為i類的像素?cái)?shù)量。MIoU 的取值范圍為[0,1]，MIoU 的值越大，說明預(yù)測(cè)結(jié)果越準(zhǔn)確。

本文實(shí)驗(yàn)是提取道路二分類問題，此類問題通常采用二分類交叉熵?fù)p失函數(shù)：

其中：yi為第i個(gè)像素的真實(shí)值；yi代表該像素屬于正樣本和負(fù)樣本的真實(shí)概率；ai為第i個(gè)像素的預(yù)測(cè)值，ai取值落于(0,1)內(nèi)，ai越趨近于1 代表其屬于正樣本的概率越高。訓(xùn)練的過程即通過不斷調(diào)整網(wǎng)絡(luò)的權(quán)值參數(shù)，使Loss 達(dá)到最小的過程。實(shí)驗(yàn)采用帶動(dòng)量的隨機(jī)梯度下降方法進(jìn)行訓(xùn)練，設(shè)置初始學(xué)習(xí)率為0.000 1，動(dòng)量為0.96，迭代次數(shù)為20 000 次。

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 Cheng_Data_Roads 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

為驗(yàn)證所提方法在Cheng_Data_Roads 數(shù)據(jù)集下提取道路的有效性，與常用的語義分割方法包括PSPnet［15］、U-net［16］、D-Linknet［21］以 及ResUnet［26］進(jìn) 行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2 所示。

表2 不同方法在Cheng_Data_Roads數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of different methods under Cheng_Data_Roads data set %

如表2 所示，由于U-net 與D-Linknet 采用編解碼網(wǎng)絡(luò)結(jié)構(gòu)，將編碼器中提取的特征復(fù)制到相應(yīng)的解碼器中進(jìn)行融合，因此F1 值相對(duì)于PSPnet 高2 個(gè)百分點(diǎn)，但對(duì)于遙感影像中復(fù)雜的道路提取任務(wù)，其表現(xiàn)仍然有待提高。PSPnet 在高層語義特征上使用金字塔池化融合全局與局部特征，這在一定程度上彌補(bǔ)了普通卷積神經(jīng)網(wǎng)絡(luò)只能獲取固定范圍特征信息的缺陷，但連續(xù)的下采樣依舊導(dǎo)致淺層信息丟失過多，所以F1 值和MIoU 值較低。ResUnet 由殘差網(wǎng)絡(luò)與U-net 組成，相比U-net，其表達(dá)能力更好。但其在遙感影像提取道路任務(wù)中，由于損失了一部分分辨率，導(dǎo)致復(fù)雜道路細(xì)節(jié)部分無法展現(xiàn)?；赗esUnet改進(jìn)的DC-ASPP-ResUnet 能夠獲取更加豐富的道路特征信息，并且能夠在擴(kuò)大感受野的同時(shí)控制特征映射權(quán)重，極大提高道路提取準(zhǔn)確率。DC-ASPPResUnet 的各項(xiàng)指標(biāo)相較于其他方法均高出至少3 個(gè)百分點(diǎn)，其召回率、F1 值和MIoU 值與ResUnet 相比分別高出至少3、6 和5 個(gè)百分點(diǎn)。

圖6 展示了不同方法在Cheng Data-Roods 數(shù)據(jù)集下提取道路的結(jié)果。由圖6 可知，U-net 無法對(duì)遮擋嚴(yán)重的道路進(jìn)行提取，且邊緣細(xì)節(jié)部分處理也不到 位。PSPnet、D-Linknet 和ResUnet 無法完 整提取道路交匯連接處，對(duì)于小目標(biāo)道路的提取也較為困難。針對(duì)道路整體結(jié)構(gòu)、形狀以及模型的泛化性和魯棒性，PSPnet、D-Linknet 和ResUnet 這3 個(gè)方法均存在不同程序的問題，而DC-ASPP-ResUnet 的預(yù)測(cè)結(jié)果展現(xiàn)出相對(duì)平滑和完整的道路結(jié)構(gòu)，并且在道路交匯和連接處的提取也很準(zhǔn)確，很少出現(xiàn)不連續(xù)和錯(cuò)誤識(shí)別的情況。實(shí)驗(yàn)表明，與上述網(wǎng)絡(luò)相比，本文方法提高了道路提取結(jié)果的整體效果。

圖6 不同方法在Cheng_Data_Roads 數(shù)據(jù)集下的結(jié)果展示1Fig.6 Results display of different methods under Cheng_Data_Roads data set 1

2.3.2 Zimbabwe_Data_Roads 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

為進(jìn)一步驗(yàn)證本文方法在不同路況下的表現(xiàn)，改用Zimbabwe_Data_Roads 影像數(shù)據(jù)集，該數(shù)據(jù)集中的影像比Cheng_Data_Roads 具有更高的分辨率，道路更加復(fù)雜多變，寬窄變換更加頻繁，且有不同程度的遮擋情況，所以該數(shù)據(jù)集與顯示的城市道路情況更加契合。在這樣的條件下，道路提取任務(wù)也會(huì)變得更加困難。不同方法在該數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果如表3 所示。由表3 可以看出，本文所設(shè)計(jì)的DCASPP-ResUnet 在各項(xiàng)實(shí)驗(yàn)指標(biāo)對(duì)比中至少比其他方法高2 個(gè)百分點(diǎn)。PSPnet 在此數(shù)據(jù)集中的表現(xiàn)優(yōu)于U-net，這是因?yàn)镻SPnet 通過金字塔池化聚合不同區(qū)域的上下文信息，提高了獲取全局信息的能力。

表3 不同方法在Zimbabwe_Data_Roads數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果Table 3 Experimental results of different methods under Zimbabwe_Data_Roads data set %

圖7 所示為不同方法在Zimbabwe_Data_Roads數(shù)據(jù)集下的結(jié)果展示。由圖7 可知，與U-net 和PSPnet 相 比，DC-ASPP-ResUnet 可以更 準(zhǔn)確地識(shí)別道路區(qū)域，幾乎沒有不干凈的點(diǎn)狀。相比較DLinknet 和ResUnet 的道路提取結(jié)果，DC-ASPPResUnet 可以更完整地提取道路，這著重體現(xiàn)在道路的邊緣和交匯處可以克服由于地物尺度導(dǎo)致的差異性。所以，這進(jìn)一步表明在面對(duì)復(fù)雜的遙感影像數(shù)據(jù)集時(shí)，所提方法可以更好地關(guān)注道路細(xì)節(jié)、邊緣以及不連續(xù)等問題。

圖7 不同方法在Zimbabwe_Data_Roads 數(shù)據(jù)集下的結(jié)果展示1Fig.7 Results display of different methods under Zimbabwe_Data_Roads data set 1

2.3.3 本文方法的結(jié)果分析

為更好地驗(yàn)證本文所提DC-ASPP-ResUnet 道路提取方法中各模塊對(duì)網(wǎng)絡(luò)有效性的影響，分別將深度殘差網(wǎng)絡(luò)ResUnet［26］、融合混合空洞卷積的DC-ResUnet、融 合ASPP 模塊的ASPP-ResUnet以及所提出的DC-ASPP-ResUnet 在Cheng_Data_Road 和Zimbabwe_Data_Roads 數(shù)據(jù)集下進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表4 和表5 所示，其中準(zhǔn)確率表明檢測(cè)到的道路像素?cái)?shù)值是參考原始影像和標(biāo)簽中的道路像素的概率，而召回率表明原始影像和標(biāo)簽中所有道路像素的數(shù)值被準(zhǔn)確檢測(cè)的概率。

表4 Cheng_Data_Roads 數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果Table 4 Experiment results under Cheng_Data_Roads date set %

表5 Zimbabwe_Data_Roads 數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果Table 5 Experiment results under Zimbabwe_Data_Roads date set %

通過表4 和表5 可以看出，DC-ResUnet 和ASPPResUnet 在2 個(gè)數(shù)據(jù)集上的各項(xiàng)評(píng)價(jià)指標(biāo)數(shù)值均高于ResUnet。在Cheng_Data_Roads 數(shù)據(jù)集上DCResUnet 和ASPP-ResUnet 的F1 值 和MIoU 值 與ResUnet 相 比，分別高 出2.83 和1.78 個(gè)百分 點(diǎn)；在Zimbabwe_Data_Roads 數(shù)據(jù)集 上，與ResUnet 相 比，至少高1.55 和3.56 個(gè)百分點(diǎn)。由圖8 和圖9 可以看出，DC-ResUnet 和ASPP-ResUnet 相 比ResUnet 的 提取道路完整性有一定的提升，尤其是能夠準(zhǔn)確預(yù)測(cè)在道路局部拐點(diǎn)位置。與ResUnet 相比，DC-ASPPResUnet 在道路提取完整性上有較大提升，提升效果比DC-ResUnet 和ASPP-ResUnet 更 優(yōu)，在Cheng_Data_Roads 數(shù)據(jù)集上的F1 值和MIoU 值分別提高了6.14 和5.59 個(gè)百分 點(diǎn)；在Zimbabwe_Data_Roads 數(shù)據(jù)集上的F1 值和MIoU 值分別提高了4.07 和7.68 個(gè)百分點(diǎn)。主要原因是DC-ASPP-ResUnet 通過結(jié)合優(yōu)化特征提取和融合多尺度特征2 個(gè)模塊，并利用提取特征加權(quán)映射到ASPP 模塊的方式進(jìn)行淺層和深層道路特征信息的多尺度特征融合，可以更完整地凸顯道路整體結(jié)構(gòu)。由圖8 和圖9 可以看出，DC-ASPP-ResUnet 能夠更準(zhǔn)確地預(yù)測(cè)道路的宏觀線條和交叉點(diǎn)，并且能夠消除大部分的點(diǎn)狀，即像素的識(shí)別分類能力更強(qiáng)。

圖8 不同方法在Cheng_Data_Roads 數(shù)據(jù)集下的結(jié)果展示2Fig.8 Results display of different methods under Cheng_Data_Roads data set 2

圖9 不同方法在Zimbabwe_Data_Roads 數(shù)據(jù)集下的結(jié)果展示2Fig.9 Results display of different methods under Zimbabwe_Data_Roads data set 2

2.3.4 DC 自參數(shù)分析

由于本文網(wǎng)絡(luò)采用了混合空洞卷積的架構(gòu)，因此在增大空洞率的同時(shí)能夠評(píng)估數(shù)值是否有所提升。為保證感受野的連貫性，串聯(lián)的空洞卷積空洞率之間的公約數(shù)需小于1，以增大最后一層的參數(shù)為基準(zhǔn)。用Di表示調(diào)節(jié)的參數(shù)，比如D的初始值分為別為1、2、3。

如圖10 和圖11 所示，在增大參數(shù)值的條件下，無論是在Cheng_Data_Roads 數(shù)據(jù)集還是道路更復(fù)雜的Zimbabwe_Data_Roads 數(shù)據(jù)集下，本文方法的F1 值和MIoU 值均表現(xiàn)出持續(xù)上升的趨勢(shì)。為防止過擬合的發(fā)生，把D參數(shù)值控制在8 以內(nèi)。這是因?yàn)橥ㄟ^提高參數(shù)值會(huì)使感受野逐步增大，且獲取道路不同尺度的信息范圍也逐漸變大，所以預(yù)測(cè)結(jié)果呈現(xiàn)上升趨勢(shì)，最終感受野覆蓋整個(gè)特征區(qū)域，并在D1=6、D2=7、D3=8 時(shí)結(jié)果最優(yōu)，即達(dá)到峰值。利用混合空洞卷積的思想設(shè)計(jì)殘差模塊以擴(kuò)大感受野的范圍，逐漸增大的空洞率能夠使計(jì)算更密集，增強(qiáng)對(duì)不同尺度特征的學(xué)習(xí)。將提取特征在輸入ASPP 模塊之后輸出，并進(jìn)行多尺度的特征融合，可以最大程度地保留道路上下文信息，且提取效果也有較大提升，保留了道路的細(xì)節(jié)特征信息。

圖10 Cheng_Data_Roads 數(shù)據(jù)集的自參數(shù)分析Fig.10 Self-parameter analysis of Cheng_Data_Roads date set

圖11 Zimbabwe_Data_Roads 數(shù)據(jù)集的自參數(shù)分析Fig.11 Self-parameter analysis of Zimbabwe_Data_Roads date set

3 結(jié)束語

本文提出基于深度殘差網(wǎng)絡(luò)的多尺度特征融合遙感影像道路提取方法。通過在特征提取階段設(shè)計(jì)混合空洞卷積以增大感受野，引入ASPP 模塊獲得多種不同尺度的特征信息，從而捕獲更完整的道路信息。提取的特征經(jīng)過上采樣得到與輸入圖像一致的大小，與通過加權(quán)映射的淺層特征進(jìn)行特征融合，提高預(yù)測(cè)精度。在Cheng_Data_Roads 和Zimbabwe_Data_Roads 兩種數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的ResUnet、PSPnet、U-net 等方法相比，本文方法提取的道路更具完整性和連續(xù)性，所得到的預(yù)測(cè)結(jié)果噪聲更少。下一步將通過探索更符合的注意力機(jī)制，提升本文方法的適用范圍，使其能夠應(yīng)用在建筑物、河流、農(nóng)田等多場(chǎng)景的提取任務(wù)中。