朱錦釗

（廣州方圖科技有限公司，廣州 510000）

0 引言

遙感圖像語義分割在地理信息系統(tǒng)、環(huán)境監(jiān)測、城市規(guī)劃等領(lǐng)域具有廣泛應(yīng)用。準(zhǔn)確的語義分割是實現(xiàn)這些應(yīng)用的關(guān)鍵。DeepLab v3+是一種領(lǐng)先的語義分割網(wǎng)絡(luò)，但它仍然需要改進(jìn)以應(yīng)對遙感圖像的挑戰(zhàn)。本研究旨在通過引入多尺度融合策略和深度可分離卷積，提高DeepLab v3+網(wǎng)絡(luò)的性能，從而更好地應(yīng)用于遙感圖像分割。

1 基于改進(jìn)的DeepLab v3+的遙感圖像語義分割方法

本研究聚焦于改進(jìn)的DeepLab v3+網(wǎng)絡(luò)在遙感圖像語義分割中的應(yīng)用，通過深度學(xué)習(xí)技術(shù)提高遙感圖像的語義分割精度。DeepLab 系列網(wǎng)絡(luò)一直在語義分割領(lǐng)域表現(xiàn)卓越，而DeepLab v3+作為其新一代版本，通過引入更多的解碼結(jié)構(gòu)，旨在更好地融合高層和低層特征。在遙感圖像領(lǐng)域，精確的語義分割對于地圖制圖、環(huán)境監(jiān)測等應(yīng)用具有重要意義。

DeepLab v3+通過引入空洞卷積，有效地擴大了感受野，提高了網(wǎng)絡(luò)對圖像的理解能力。同時，網(wǎng)絡(luò)結(jié)構(gòu)中的編碼-解碼形式有助于提取關(guān)鍵特征并將結(jié)果恢復(fù)到原始圖像大小。網(wǎng)絡(luò)模型主干網(wǎng)絡(luò)是DeepLab v3+的核心部分，它采用串行的空洞卷積以增強特征提取能力。同時，主干網(wǎng)絡(luò)的輸出被分為兩部分，一部分進(jìn)入解碼器用于恢復(fù)特征到原始圖像大小，另一部分進(jìn)行并行的空洞卷積來提取特征信息。這兩個部分的特征經(jīng)過合并后，經(jīng)過雙線性插值操作，最終進(jìn)行像素點分類，實現(xiàn)了遙感圖像的語義分割[1]。

2 基礎(chǔ)網(wǎng)絡(luò)選取及優(yōu)化

2.1 深度可分離卷積

深度可分離卷積的結(jié)構(gòu)包括一個3×3 的卷積層，用于數(shù)據(jù)集的特征提取，但其通道數(shù)僅有一層。在此卷積層中，卷積核會遍歷輸入張量的每個通道，生成相應(yīng)數(shù)量的輸出通道。接著，通過1×1 的卷積核來調(diào)整通道數(shù)的厚度。這種結(jié)構(gòu)的優(yōu)勢在于降低了計算和內(nèi)存的消耗，從而使網(wǎng)絡(luò)訓(xùn)練更加高效。

例如，考慮一個傳統(tǒng)的3×3 卷積層，其輸入通道為32，輸出通道為64。這將需要大約18432 個參數(shù)。然而，通過應(yīng)用深度可分離卷積，首先用32 個3×3 的卷積核遍歷32 個通道，生成32 個特征圖。然后，使用64 個1×1 的卷積核遍歷這32 個特征圖，只需要2336 個參數(shù)。這大大減少了模型的參數(shù)數(shù)量，加快了運行速度[2]。

2.2 基礎(chǔ)網(wǎng)絡(luò)介紹

在本文中，介紹了所選用的基礎(chǔ)網(wǎng)絡(luò)——Xception65，該網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域的一項重要成果。Xception 網(wǎng)絡(luò)結(jié)構(gòu)包括逐通道卷積和逐點卷積兩部分。首先，逐通道卷積對每個通道進(jìn)行單獨卷積操作，生成相應(yīng)數(shù)量的輸出通道。然后，逐點卷積（1×1 卷積）用于調(diào)整通道數(shù)，實現(xiàn)數(shù)據(jù)降維，從而減少計算量和參數(shù)數(shù)量。

在本文的遙感圖像處理中，鑒于圖像分辨率較高，采用了數(shù)據(jù)處理方法，包括添加噪聲、翻轉(zhuǎn)等，以擴充數(shù)據(jù)集的大小。此外，為了適應(yīng)模型訓(xùn)練的需要，對輸入圖像進(jìn)行了統(tǒng)一裁剪，將其尺寸調(diào)整為256×256[3]。

2.3 基礎(chǔ)網(wǎng)絡(luò)優(yōu)化

對于處理高分辨率的遙感圖像，神經(jīng)網(wǎng)絡(luò)的層數(shù)通常需要相對較深。然而，深層次網(wǎng)絡(luò)存在一個常見問題，即梯度消失，這會導(dǎo)致學(xué)習(xí)停滯。為了解決這個問題，本文提出了將中間流模塊之間的連接方式改進(jìn)為密集連接。密集連接的原理很簡單：對于網(wǎng)絡(luò)中的每一層，前面層的所有特征映射都被用作輸入，而自身的特征映射也被傳遞給后續(xù)層。這種連接方式顯著提高了網(wǎng)絡(luò)在每一層中提取語義信息和傳遞梯度的效率，使網(wǎng)絡(luò)能夠更好地提取特征信息。與傳統(tǒng)的一層層下采樣的卷積網(wǎng)絡(luò)不同，密集連接改變了信息傳遞方式，同時傳遞了有效信息。改進(jìn)原理如圖1所示。

圖1 中間流改進(jìn)原理圖

綜上所述，通過引入密集連接方式，中間流模塊的性能得到了顯著提升，網(wǎng)絡(luò)能夠更好地處理高分辨率遙感圖像，提高了特征的提取效率和網(wǎng)絡(luò)的性能，特別是在深度監(jiān)督和參數(shù)數(shù)量方面帶來了優(yōu)勢。這一改進(jìn)方法對于提高遙感圖像分割等任務(wù)的準(zhǔn)確性和魯棒性具有重要意義[4]。

3 引入多尺度融合策略的優(yōu)化

盡管DeepLab v3+網(wǎng)絡(luò)在處理遙感圖像分割方面表現(xiàn)出了出色的性能，但仍然存在一些不足之處。這些網(wǎng)絡(luò)中的特征響應(yīng)相對較弱。卷積神經(jīng)網(wǎng)絡(luò)在逐層處理圖像時，面臨一個重要問題，即如何更有效地利用特征信息。在網(wǎng)絡(luò)訓(xùn)練初期，低層網(wǎng)絡(luò)具有高分辨率的圖像，強調(diào)幾何信息，但在處理語義信息方面較弱。隨著訓(xùn)練的進(jìn)行，圖像分辨率降低，幾何信息減少，但語義信息的提取能力增強。高層次的特征對于分割大目標(biāo)非常有效，而淺層特征適合處理小目標(biāo)。然而，當(dāng)圖像的分辨率非常低時，對小目標(biāo)的分割能力就會受到影響。DeepLab v3+的基礎(chǔ)結(jié)構(gòu)只融合了1/4 和1/16 尺度的特征，難以準(zhǔn)確分割一些中等尺寸的目標(biāo)。此外，深層網(wǎng)絡(luò)中經(jīng)過多次卷積操作，導(dǎo)致小目標(biāo)的細(xì)節(jié)信息幾乎被忽略。

因此，本文通過反復(fù)的實驗，提出了引入逐層融合多尺度策略，這一策略通過多尺度融合改進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu)，如圖2 所示。在這種策略下，語義信息和幾何信息可以分別融合，極大地改善了深層和淺層網(wǎng)絡(luò)訓(xùn)練中存在的問題。這一策略對于保持物體邊緣的完整性以及捕獲細(xì)節(jié)信息具有顯著的作用，從而提高了遙感圖像分割任務(wù)的性能[5]。

圖2 引入多尺度融合策略優(yōu)化后的網(wǎng)絡(luò)結(jié)構(gòu)圖

4 應(yīng)用分析

4.1 某地區(qū)區(qū)域分割圖像訓(xùn)練策略

某地區(qū)遙感圖像預(yù)處理：由于遙感圖像數(shù)據(jù)集的特殊性，首先需要將其轉(zhuǎn)換為RGB 三通道圖像。由于本文所使用的遙感圖像數(shù)據(jù)集分辨率較高，無法直接輸入到網(wǎng)絡(luò)進(jìn)行訓(xùn)練，因此對本地區(qū)數(shù)據(jù)集進(jìn)行了裁剪操作，將本地區(qū)的圖像裁剪為256×256 像素大小。

基本參數(shù)設(shè)置：初始學(xué)習(xí)率設(shè)置為2e-4，訓(xùn)練次數(shù)均設(shè)置為50000 次，并采用Adam 策略來進(jìn)行模型訓(xùn)練。

評價指標(biāo)：本文采用了mIOU（平均交并比）和mPA（平均像素準(zhǔn)確性）這兩個評價指標(biāo)。mIOU 指標(biāo)常用于衡量模型的預(yù)測性能，它反映了數(shù)據(jù)集中像素標(biāo)注值和模型預(yù)測值之間相同區(qū)域的平均比例，即正確預(yù)測的像素在總像素數(shù)中所占的百分比。而mPA 是每個類別的正確像素占比的平均值，也是分割任務(wù)中的一項常見評價指標(biāo)。較高的mIOU 和mPA 值表示模型的分割性能更好。此外，還會統(tǒng)計每個模型生成一幅預(yù)測圖像所需的平均時間，以比較它們的分割速度，進(jìn)一步評估它們的性能。

某地區(qū)遙感圖像對比: 在相同的環(huán)境下，本文對比了改進(jìn)前后的網(wǎng)絡(luò)模型的分割性能。分別進(jìn)行了四種不同的對比實驗，包括DeepLab v3+、改進(jìn)后的DeepLab v3+、具有多尺度融合策略的DeepLab v3+，以及改進(jìn)后并帶有多尺度融合策略的DeepLab v3+。這些實驗的評判標(biāo)準(zhǔn)是基于DeepLab v3+在Vaihingen 數(shù)據(jù)集和Potsdam 數(shù)據(jù)集上的分割結(jié)果。

4.2 Vaihingen 數(shù)據(jù)集上的應(yīng)用結(jié)果

輸入圖像的分辨率為256×256，而各個模型的batch_size 均設(shè)置為16。經(jīng)過基礎(chǔ)網(wǎng)絡(luò)改進(jìn)和引入多尺度融合策略的網(wǎng)絡(luò)模型，均在不同程度上改善了分割性能。特別是，經(jīng)過基礎(chǔ)網(wǎng)絡(luò)改進(jìn)并引入多尺度融合策略的改進(jìn)模型，在一定程度上表現(xiàn)出更好的分割效果，盡管預(yù)測時間有所增加。但考慮到準(zhǔn)確度的提升，這種時間增加可以被接受。圖3 展示了在Vaihingen 數(shù)據(jù)集上，改進(jìn)前后模型的可視化分割結(jié)果。

圖3 改進(jìn)前后模型在Vaihingen 數(shù)據(jù)集上的可視化分割對比圖

梯度損失是分割網(wǎng)絡(luò)模型性能的一個重要指標(biāo)，從圖4 中改進(jìn)前后模型在Vaihingen 數(shù)據(jù)集上的Loss 值的變化曲線可以看出，改進(jìn)后的模型性能更佳。

圖4 改進(jìn)前后模型在Vaihingen 數(shù)據(jù)集上的Loss 值變化曲線

SegNet、U-Net、DeepLab v3+都是常用的語義分割網(wǎng)絡(luò)模型。分析這些網(wǎng)絡(luò)結(jié)構(gòu)可以得出，增大感受也有助于提高每一類的分割準(zhǔn)確度。

本文提出的基礎(chǔ)網(wǎng)絡(luò)優(yōu)化和引入多尺度融合策略的DeepLab v3+網(wǎng)絡(luò)模型在Vaihingen 數(shù)據(jù)集上表現(xiàn)出更高的分割準(zhǔn)確度。改進(jìn)后的網(wǎng)絡(luò)模型的mIOU 值比原始的DeepLab v3+提高了4.90%。這進(jìn)一步驗證了基礎(chǔ)網(wǎng)絡(luò)優(yōu)化和多尺度策略的引入，有助于更好地捕獲邊界信息，從而獲得更強的特征響應(yīng)。

4.3 Potsdam 數(shù)據(jù)集上的應(yīng)用結(jié)果

在Potsdam 數(shù)據(jù)集上，將某地區(qū)各個的batch_size 值設(shè)置為16，輸入圖像分辨率為256×256，統(tǒng)計各個區(qū)域網(wǎng)絡(luò)在不同策略下的分割結(jié)果，以確定對改進(jìn)模型的有效性。

在Potsdam 數(shù)據(jù)集上，引入多尺度融合策略相較于原始的DeepLab v3+區(qū)域模型，也可以顯著提升分割區(qū)域的精度。此外，區(qū)域基礎(chǔ)網(wǎng)絡(luò)改進(jìn)相對于引入多尺度融合策略，mIOU 值和mPA 值也有顯著的提升。這進(jìn)一步證明了本文提出的方法的有效性，以及改進(jìn)后區(qū)域模型的更好分割性能。

各個區(qū)域在數(shù)據(jù)集上的訓(xùn)練后的預(yù)測圖像如圖5 所示。從圖中所框出的部分可以看出，引入了兩種策略或者單獨引入一種策略相對于DeepLab v3+區(qū)域模型，在分割效果上均有顯著提升。同時，引入了兩種策略的區(qū)域模型對細(xì)節(jié)信息的分割也更為完整。

圖5 改善前后區(qū)域模型在Potsdam 數(shù)據(jù)集上的可視化分割對比圖

圖6 中，可以通過改進(jìn)前后區(qū)域模型在Potsdam 數(shù)據(jù)集上的Loss 值的變化曲線來進(jìn)行定量分析，結(jié)果表明梯度下降更為穩(wěn)定，改進(jìn)后的區(qū)域模型性能更佳。

圖6 改進(jìn)前后區(qū)域模型在Potsdam 數(shù)據(jù)集上的Loss 值變化曲線

對比了SegNet、U-Net、DeepLab v3+以及改進(jìn)后區(qū)域模型在Potsdam 數(shù)據(jù)集上的分割準(zhǔn)確度。從應(yīng)用結(jié)果可以看出，本文提出的改進(jìn)區(qū)域模型表現(xiàn)出更高的分割準(zhǔn)確度。

通過比較改進(jìn)前后區(qū)域模型在Vaihingen 和Potsdam 數(shù)據(jù)集上的實驗結(jié)果，可以得出深度可分離卷積的優(yōu)越性以及密集連接對于充分利用各特征響應(yīng)，從而提高網(wǎng)絡(luò)訓(xùn)練性能的重要性。

5 結(jié)束語

本研究通過引入多尺度融合策略、深度可分離卷積和密集連接，顯著改進(jìn)了DeepLab v3+網(wǎng)絡(luò)的性能，使其在遙感圖像語義分割中表現(xiàn)出更高的準(zhǔn)確度和魯棒性。這對于解決遙感圖像處理中的復(fù)雜任務(wù)具有重要意義。我們的研究為遙感圖像分割領(lǐng)域的進(jìn)一步發(fā)展提供了有力支持，有望在地圖制圖、環(huán)境監(jiān)測等應(yīng)用中產(chǎn)生積極的影響。