李代棟，赫曉慧，李盼樂，田智慧，周廣勝，3

1.鄭州大學 信息工程學院，鄭州 450001

2.鄭州大學 地球科學與技術學院，鄭州 450052

3.中國氣象科學研究院，北京 100081

近年來，從高分辨率遙感影像中提取道路已成功應用在眾多領域，例如城市規(guī)劃、實時地理信息系統(tǒng)和交通導航等[1]。在理想情況下，道路作為提取對象，應具有規(guī)則的形狀、均勻分布、固定寬度以及相互連接的拓撲結構。然而從遙感圖像提取道路存在如下困難：（1）多樣性，道路類型包括高速公路、城市干線道路和鄉(xiāng)村道路等，具有多尺度的特征；（2）狹長的結構，與建筑物之類的大型物體相比，道路是一段狹長的區(qū)域，很可能導致不連續(xù)的提取；（3）地物干擾較多，遙感圖像中的道路容易被樹木遮蓋或與空地相混淆，從而導致模棱兩可的提取結果。因此，從遙感影像中自動、準確地提取道路是一項艱巨的工作。

隨著深度語義分割領域的快速發(fā)展，例如全卷積網絡（FCN）[2]、編碼器-解碼器網絡（U-net[3]、SegNet[4]）、DeepLab[5-6]和金字塔場景解析網絡（PSPNet）[7]等深度卷積神經網絡（DCNN）展現了優(yōu)異的性能。在復雜的遙感影像信息提取工作中，國內外研究人員也越來越關注DCNN在其中的應用。例如蘇健民等人[8]提出一種基于U-Net改進的深度卷積神經網絡，實現了端到端的遙感影像分割。祖寶開等人[9]基于分塊低秩表示的方法，對城市遙感影像的不同區(qū)域進行劃分。李森森等人[10]提出了一種改進的Mask R-CNN卷積神經網絡，能夠對遙感影像中多個目標進行檢測與分割。而文獻[11-15]和針對道路結構修正的RSRCNN[16]等，則針對Massachusetts航空影像數據集對道路分割進行了大量研究。

基于DCNN的道路提取方法，憑借其捕獲高級語義的能力在道路分割方面取得了顯著進展。但大多數DCNN方法利用性能優(yōu)異的分類網絡結構，去掉用于分類的全連接層來提取道路。這些方法通過堆棧卷積和池化操作，沒有考慮道路的結構特點，因此很難較好地提取復雜的道路區(qū)域。對于細節(jié)信息豐富的道路結構，經過多個池化操作后盡管高級語義信息豐富，但低層位置信息等嚴重不足。賀浩等人[17]因此設計了較淺深度、分辨率較高的道路提取網絡，減少了重復池化的影響，提高了網絡的細節(jié)表示能力。其次，由于道路呈帶狀分布的特點，感受野的大小至關重要，而僅使用較大的正方形池化操作不能很好地解決此問題，因為其不可避免受到大量來自背景區(qū)域的信息干擾[18]。而Zhou等人[19]利用空洞卷積[20]，在不引入額外參數的情況下擴大感受野范圍，提高了道路提取能力。此外，改善感受野的研究是空間金字塔池化[7，18]，其通過一組具有固定大小的方形內核進行并行池化操作，網絡能夠捕獲大范圍的上下文信息。例如宋延強等人[21]利用空間金字塔池化模塊，改善了遙感圖像中識別結果過度分割，以及小物體識別差的問題。上述方法在道路提取中應用廣泛，但由于只應用了方形內核，限制了獲取遙感影像中帶狀道路信息的靈活性，因此在道路提取任務中利用上下文信息的能力有限。最后，盡管已經提出眾多基于DCNN方法的道路提取網絡，但現有網絡的訓練大多采用交叉熵作為損失函數[2，8-11，18，21]，在道路邊界及背景中存在大量模糊預測，嚴重影響道路提取質量。

為解決上述問題，進一步提升道路提取效果，本文設計了SPUD-ResNet的道路提取網絡：首先利用空洞卷積構建D-ResNet101網絡作為編碼器，增加低維特征向高維特征的跳躍連接，通過多級特征融合，能夠聚合多尺度的上下文信息，并保留豐富的低維細節(jié)特征以及高維語義特征；其次根據帶狀分布的道路特點，利用條形池化模塊，側重沿水平或垂直空間維度獲取道路區(qū)域的長距離依賴關系，同時區(qū)分局部細節(jié)信息；然后基于條形池化和金字塔池化，設計混合池化模塊，通過融合條形內核和不同尺寸的方形內核來獲取更加豐富的上下文信息；最后根據道路結構特點，設計混合損失函數，在網絡訓練過程中從像素級別到區(qū)域級別關注道路提取中的錯誤分類，進一步精細化道路目標邊界與背景質量。為驗證所提方法的有效性，本文通過實驗測試了模型結構、池化模塊與損失函數的性能。

1 SPUD-ResNet道路提取網絡

1.1 SPUD-ResNet網絡結構

本文對Resnet-101網絡進行如下改進：

（1）取消Resnet-101分類網絡的全連接層，利用空洞卷積減少下采樣次數，保持更大尺寸的特征圖，并增加基于跳躍連接的對應解碼器。

（2）根據帶狀的道路結構特點，構建條形池化模塊，沿水平或垂直空間維度獲取長距離上下文信息。

（3）通過融合金字塔池化和條形池化，提出混合池化模塊，對不同類型的上下文信息進行融合。

SPUD-ResNet道路提取網絡的結構如圖1所示，主要由適合道路提取的UD-ResNet101編碼器-解碼器網絡、SPM模塊和MPM模塊組成。

1.1.1 UD-ResNet101網絡結構

網絡的深度對視覺識別任務至關重要[22]。CNN可以提取低、中、高層次的特征，網絡層次越多，能夠提取的特征“層次”就豐富。然而簡單地增加深度會導致梯度分散或梯度爆炸，精度達到飽和后迅速下降。文獻[23]通過引入殘差網絡解決了退化問題，且性能優(yōu)異。但道路是線形且具有網狀分布的特殊結構，其細節(jié)信息豐富，而語義信息較為簡單。經典的語義分割網絡面對的圖像復雜多樣，對于語義信息的提取要求更高，輸入圖像經過重復的池化和下采樣導致分辨率大幅下降，位置信息容易丟失且難以恢復。如文獻[16]采用FCN架構，最小的中間特征圖被壓縮了32倍，因而丟失了目標的部分細節(jié)信息。因此，針對道路提取問題的特殊性，本文設計了下采樣次數較少，特征圖尺寸較大且性能優(yōu)異的D-ResNet101編碼器網絡。

D-ResNet101的網絡結構如表1所示，該網絡舍棄Resnet101分類網絡的全連接層，構成全卷積網絡，可以接受任意大小圖像，并確保網絡輸出的空間維度。原始的ResNet101網絡會對輸入影像進行多次下采樣，網絡得到的最小特征圖尺寸被壓縮32倍。下采樣雖然能夠擴大感受野范圍，提取主要信息，但由于圖像分割需要將池化操作后較小的圖像尺寸，再通過上采樣的方式恢復至原始的圖像尺寸進行預測。因此連續(xù)池化和下采樣容易導致空間信息的丟失、小目標信息無法重建等問題，會嚴重影響網絡性能。在卷積核不變的情況下，相比于常規(guī)卷積，空洞卷積保留的特征圖周圍像素信息更豐富，更有利于圖像語義分割像素點分類的準確性。在網絡中第Conv4和Conv5卷積塊中采用空洞率為2的空洞卷積進行替代部分池化層，可以降低池化層對圖像信息丟失的影響，并且能夠有效地聚合多尺度上下文信息。除此之外，還可維持與原網絡相同的感受野大小。經過改進后的編碼器網絡只經過三次下采樣處理，可以減少信號下采樣的程度，其最小特征圖的尺寸仍有原圖1/8，因而能夠更多地保留道路的局部細節(jié)特征。

圖1 SPUD-ResNet網絡結構Fig.1 SPUD-ResNet network architecture

表1 D-ResNet101網絡結構Table 1 D-ResNet101 Network Structure

UD-ResNet101網絡則是在D-ResNet101網絡基礎上，構建相應解碼器，通過逐步恢復物體的細節(jié)和空間維度的方式，將編碼器輸出的特征圖恢復到原圖大小。能夠減少道路結構的細節(jié)信息的丟失，改善分割的邊界粗糙的問題。并通過增加跳躍連接，將網絡的低層局部特征與高層語義特征進行融合，有助于更加精確的定位道路邊緣信息，提升對道路結構的語義信息和細節(jié)信息的獲取能力。

1.1.2 條形池化模塊

道路是呈帶狀分布的特殊結構，傳統(tǒng)池化方式僅能夠從固定的正方形區(qū)域內收集信息，如圖2（a）所示，其利用上下文信息的能力有限。為了更有效地捕獲道路結構的長距離依賴關系，SPUD-ResNet利用條形池化來擴大感受野范圍并獲取上下文信息。與普通池化方法相比，條形池化具有兩個顯著優(yōu)點。首先，如圖2（b）頂部所示，它沿水平或豎直空間維度設置了較長的內核形狀，因此可以捕獲孤立道路區(qū)域（矩形框）的長距離關系。其次，如圖2（b）其余部分所示，通過該條狀內核的設計，有助于捕獲局部道路結構的上下文信息，并防止無關區(qū)域的干擾。通過集成這種長而窄的條形池化，SPUD-ResNet能夠同時聚合全局和本地的上下文信息。

圖2 普通池化、條形池化和對應標簽Fig.2 General pooling，strip pooling，and corresponding labels

本文構建的條形池化模塊（SPM）由兩條路徑組成，分別側重于沿水平或垂直空間維度獲取長距離上下文信息，能夠有效擴大網絡的接收范圍。對于影像中的每個空間位置，對其水平和垂直信息進行編碼，然后通過平衡其自身的權重以進行特征細化。如圖3所示，在條形池化模塊中，輸入的特征圖尺寸為H×W，通道數為C。對任一通道的特征圖，x∈RH×W經過水平和垂直條形池化的處理后尺寸為H×1和1×W，再對其特征值分別進行平均。其中水平池化的輸出結果yh∈RH如式（1）所示：

垂直池化的輸出結果yv∈RW如式（2）所示：

兩個輸出結果分別沿著垂直和水平方向進行擴容，并將尺寸相同的特征圖通過對應位置求和的方式進行融合。在維度不變的情況下，融合兩個特征圖信息，得到與輸入尺寸相同的特征圖。融合結果如式（3）所示：

最后，對融合結果依次通過1×1卷積和sigmoid操作，再與原特征圖通過對應位置相乘的方式進行結合，得到SPM模塊的最終輸出結果。

特征圖在經過SPM模塊后，輸出特征圖中的每個位置都與水平或垂直方向建立了聯(lián)系。通過多次重復該模塊的聚合過程，能夠對所有特征信息構建長距離依賴關系。與普通池化操作相比，本文改進方法中條形池化考慮的是較長但較窄的范圍，更加側重沿水平或垂直方向獲取道路特征信息，避免了與相距較遠的背景之間建立不必要的關系。

1.1.3 混合池化模塊

金字塔池化模塊（PPM）是增強語義分割網絡的有效方法[7]。本文利用標準空間池化和條形池化的優(yōu)點，設計了混合池模塊（MPM）。該模塊利用不同內核形狀和尺寸的池化操作來探測復雜的遙感影像，獲取更加全面和豐富的特征信息，進一步在高語義級別上對長距離上下文信息進行建模，使道路和背景的特征表示更具區(qū)分性。

MPM模塊由金字塔池化和條形池化組成，可同時捕獲不同位置之間的長距離和短距離依賴關系，對于提高道路分割網絡的性能有極大幫助。對于長距離依賴關系，與全局平均池化層不同，同時使用水平和垂直條狀池化操作來收集此類信息。條形池化不僅在離散分布的道路區(qū)域之間構建聯(lián)系，而且能夠對條形道路區(qū)域進行編碼。但對于部分區(qū)域道路分布較為緊密的特點，采用金字塔池化模塊提高捕獲本地上下文信息的能力。該模塊結構如圖4所示，在MPM模塊之前，首先需要通過1×1卷積層用于channel縮減，其輸出結果經過融合并由另一個1×1卷積層進行channel擴展。

圖3 SPM模塊Fig.3 Strip pooling module

圖4 MPM模塊Fig.4 Mixed pooling module

1.2 損失函數

道路提取是區(qū)分道路及背景的二分類問題，通常利用二分類交叉熵損失函數對道路提取網絡進行訓練，其定義如式（4）所示：

在式（4）中，yi為第i個像素對應二值化標簽的值，該值等于0時為背景，等于1時則為道路；而ai為網絡對于第i個像素的預測值，其值在0到1之間，網絡預測為道路的概率越高，其值越趨近于1。但傳統(tǒng)二分類交叉熵損失函數對所有像素的損失分配了相同的權重，忽略了像素所處位置與其分類的聯(lián)系?；诖擞^點，RSRCNN[16]將損失函數改進為如式（5）所示：

在式（5）中，di表示第i個像素根據標簽計算出與道路區(qū)域的最小歐氏距離，T是判斷該像素距離道路是否足夠遠的閾值，RSRCNN[16]將其設置為。當di的值為0時，f(di)為0；當0＜di＜T時，其值為；當di＞T時，其值為。該損失函數的設計對道路附近的像素施加了更大的負樣本懲罰，使得道路結構的連續(xù)性能夠對損失函數產生影響。Ld損失函數能夠改善提取任務中道路結構的表現效果，但其僅考慮了單個像素的位置關系，未考慮相鄰區(qū)域的標簽，因此在道路分割中經常遇到提取結果模糊的問題。為改善此問題，本文引入用于評估圖像質量結構相似性（SSIM）[24]指標，其定義如式（6）所示：

SSIM是區(qū)域級別的度量，其考慮了每個像素局部鄰域的影響，并通過比較亮度，對比度和結構來評估兩個圖像之間的相似性，較高的SSIM意味著更清晰的結果[25]。因此，將SSIM作為損失函數訓練本文所提網絡，能夠有效減少提取結果模糊的問題，進一步提升道路分割質量。本文將遙感影像劃分為N個區(qū)域，x和y則分別表示某個區(qū)域的道路預測概率圖與對應標簽，LSSIM損失函數如式（7）所示：

在式（7）中，C1=0.012，C2=0.032，μx和μy分別表示x和y的平均值，σx和σy分別表示x和y的標準差，σxy表示x和y的協(xié)方差。LSSIM損失函數在訓練開始時給邊界區(qū)域分配較高的權重，沿邊界的損失最大，它有助于專注優(yōu)化道路邊界。LSSIM損失函數則隨著訓練的進行，道路區(qū)域的SSIM損失減少，背景損失成為主導，仍然有足夠的梯度來推動模型的學習。并且直到背景的預測非常接近標簽時，其損失值才迅速下降為0，對于模型的訓練十分有幫助。因此能夠消除背景中模糊的預測，整體背景的預測更加清晰。

由于道路邊界和背景質量對道路提取結果至關重要，因此本文在Ld損失函數的基礎上，利用LSSIM損失函數改善其模糊預測的問題。本文設計的混合損失函數Lds，能夠從像素級別和區(qū)域級別對道路邊界進行優(yōu)化，并在訓練后期優(yōu)化背景部分，其定義如式（8）所示：

2 實驗分析

為驗證算法對遙感影像道路提取的有效性，利用遙感影像數據對網絡進行訓練、測試與驗證。實驗基于Tensorflow深度學習框架設計，運行環(huán)境中CPU為InterCorei7-8700 4.6 GHz，GPU為NVIDIA TeslaP100 16 GB。

2.1 實驗數據

實驗采用Massachusetts道路數據集作為實驗數據。該數據集共涵蓋1 171張3通道影像及對應的2通道分割標簽，其影像空間分辨率為1 m，每張影像的尺寸為1 500像素×1 500像素。標簽為二值化圖像，其道路像素值為1，背景像素值為0。首先通過人工篩選方式去除數據集中誤差較大的影像和標簽，將每張影像及其對應標簽分別裁剪為128像素×128像素大小的影像，并將道路數據集劃分為訓練集、測試集和驗證集。此外，為有效擴增訓練數據，本文對原始影像及標簽隨機進行旋轉或水平、垂直的鏡像映射，將訓練數據量擴充為原來的8倍。

2.2 評價指標

本文采用評估遙感影像道路提取方法質量的普遍評價指標，即精確度（precision）、召回率（recall）和F1-score，其定義分別如式（9）～（11）所示：

在式（9）～（11）的定義中，TP（True-Positive）代表標簽為道路，預測像素也為道路；FP（False-Positive）代表標簽為背景，預測為道路；FN（False-Negative）代表標簽為道路，預測為背景。

2.3 實驗結果與分析

2.3.1 不同網絡結構實驗對比

為了驗證本文所提出網絡結構的有效性，本文選取RSRCNN、U-net、U-Resnet101、UD-ResNet101和SPUDResNet101，在Massachusetts Roads數據集上進行驗證測試，各項性能指標如表2所示。

表2 各模型提取結果對比Table 2 Comparison of extraction results of each model

從表2中可知，RSRCNN的設計是基于FCN網絡框架，其特征提取部分采用了預訓練的VGG16模型，由于網絡結構的限制和過低的特征圖尺寸，其F1-score僅為66.2%。U-net則采用了更加先進的Encoder-Decoder網絡結構，能夠有效提升分割精度；但其主要運用于醫(yī)學影像的處理，其模型設計并不能完全適應復雜的遙感影像道路提取任務。而U-Resnet101則利用強大的殘差網絡和Encoder-Decoder網絡結構，有效提升了特征編碼能力，能夠獲取更加豐富的道路特征信息，與U-net相比各項指標都有所進步。而本文在U-Resnet101網絡的基礎上設計的UD-ResNet101，利用空洞卷積減少下采樣次數，在擴大感受野的同時保證特征圖尺寸，提升了道路提取性能。同時，根據遙感影像中道路結構特點，融合條形池化模塊和混合池化模塊的SPUD-ResNet101，更加適合獲取條形的道路特征，在細節(jié)辨識能力上明顯優(yōu)于其他方法，與UD-ResNet101相比，Recall值提升1.2%，道路提取結果更加完整。各方法的道路分割結果如圖5所示，其中圖5（a）～（g）分別是原始影像、對應標簽、RSRCNN、U-net、U-Resnet101、UD-ResNet101和SPUD-ResNet101的道路提取結果。

如圖5所示，RSRCNN方法受限于網絡結構缺陷，導致其細節(jié)提取能力較差，存在較多誤檢測區(qū)域，對于并行的雙車道無法有效分離。U-net及U-Resnet101憑借更先進的結構，提升了道路提取效果，但仍不能準確地提取部分道路區(qū)域，其道路形狀和結構均存在不同程度的問題。由于上述方法都直接利用了針對分類任務進行設計的VGG、Resnet分類網絡，對輸入影像進行了4次下采樣，最小特征圖尺寸僅為輸入圖像的1/32，導致道路細節(jié)表達存在缺陷。UD-ResNet101則利用空洞卷積保持了較高的分辨率，較好地保存了道路結構細節(jié)信息，改善了網絡的細節(jié)表達能力。而增加SPM模塊和MPM模塊后，更加適合條形道路結構提取，整體的提取結果更加完整，進一步提升了道路提取質量。但上述兩種方法所提取的道路邊緣較為粗糙，并且背景中存在部分模糊不清的道路，嚴重影響了道路提取效果。

2.3.2 不同損失函數實驗對比

在本文所提SPUD-ResNet101網絡結構的基礎上，分別利用Ld損失函數、LSSIM損失函數和混合損失函數Lds對網絡進行訓練，其測試結果如表3。

表3 不同損失函數提取結果對比Table 3 Comparison of extraction results of different loss functions

從表3中可知，本文所提網絡結構在訓練過程中，Ld損失函數在提升道路提取完整度方面效果明顯。而LSSIM損失函數則通過對比局部區(qū)域的亮度，對比度和結構，得到了更為準確清晰的結果。最后，在對網絡進行改進的基礎上，引入本文所提混合損失函數，約束道路邊緣并優(yōu)化整體效果；與上述兩種損失函數相比，Precision和F1-score達到了84.5%和83.9%，進一步提升了道路提取質量。本文所提損失函數除了在各項性能指標上表現更好，其優(yōu)勢更在于能夠保留道路細節(jié)信息，得到更加精確清晰的道路提取結果。利用各損失函數訓練的道路提取結果如圖6所示，其中圖6（a）～（e）分別是利用Ld損失函數、LSSIM損失函數和本文方法的提取結果。

圖5 各模型提取結果Fig.5 Extraction results of each model

圖6 各損失函數提取結果Fig.6 Extraction results of each loss function

如圖6所示，利用Ld損失函數對道路附近的像素施加了更大的負樣本懲罰，能夠獲取更完整的道路結構。但由于Ld損失函數只關注道路附近的像素，當兩個道路結構較近時容易造成誤判，且對于距道路結構較遠位置的噪聲無法有效消除。而LSSIM損失函數通過對比圖像區(qū)域級別結構的相似性，優(yōu)化道路結構邊緣及背景的模糊預測，提取結果更加準確。但同時也存在將部分正確預測消除的現象，影響了整體提取結果。本文所提方法在混合損失函數的幫助下，能夠明顯減少道路結構缺損，同時消除大部分模糊預測的干擾，提取結果與標簽圖像達到更高的相似度，整體的道路提取效果更加精準。

3 結束語

針對遙感影像中道路目標特點，本文提出基于SPUDResNet的遙感影像道路提取網絡。該網絡以殘差深度神經網絡為基礎，采用Encoder-Decoder網絡框架，并由SPM模塊和MPM模塊組成。其中D-ResNet101作為編碼器的主要部分，利用空洞卷積擴大感受野范圍并保證特征圖尺寸；解碼器則通過跳躍連接，同時獲取高等級的全局信息和低等級的細節(jié)信息。SPM模塊相比傳統(tǒng)池化方式，能夠獲取更加豐富的上下文信息，更適合于對帶狀的道路結構進行提取。而MPM模塊則采用多種內核形狀進行池化操作，更加充分地利用全局信息。最后，不同于以往的道路提取算法，本文提出利用道路結構幾何信息和結構相似性構成混合損失函數，對網絡的訓練進行實時監(jiān)督。在Massachusetts道路數據集上的實驗結果表明，本文所提方法的各項性能指標表現優(yōu)異，其召回率、精確度和F值分別達到了83.4%、84.5%和83.9%，在道路提取任務中具有廣泛的應用前景。下一步工作和研究的重點是提升SPUD-ResNet的適用范圍，使其能夠更加廣泛地應用在各種目標提取任務中。