張 斌 張曉靜 趙丙辰 張江霄 李舟軍

1(邢臺(tái)學(xué)院數(shù)學(xué)與信息技術(shù)學(xué)院 河北 邢臺(tái) 054001) 2(北京航空航天大學(xué)軟件開發(fā)環(huán)境國家重點(diǎn)實(shí)驗(yàn)室 北京 100191)

0 引 言

對(duì)高分遙感圖像進(jìn)行像素級(jí)語義分割，在地形勘探、測繪，以及水土流失監(jiān)測和治理等領(lǐng)域都具有重要的理論意義和研究價(jià)值。但遙感圖像由于地形地貌特點(diǎn)各異，不同地形的尺度往往大小不一且相差較大，且圖像邊界細(xì)節(jié)也形態(tài)各異，這也給圖像分割的難度提出了挑戰(zhàn)[1]。本文針對(duì)此類問題，以DenseASPP網(wǎng)絡(luò)為基礎(chǔ)，提出一種改進(jìn)型的注意力網(wǎng)絡(luò)模型。

1 基于深度卷積網(wǎng)絡(luò)的圖像分割研究

自2015年提出全卷積網(wǎng)絡(luò)模型(FCN)[2]以來，基于深度卷積網(wǎng)絡(luò)模型的圖像分割方法一直是圖像分割領(lǐng)域的主流方法。但這類方法一直存在一個(gè)問題，即深層次的卷積特征圖像具有更大的感受野，卷積計(jì)算也可以獲得特征圖更抽象的特征信息，但卻會(huì)隨著每層的尺寸縮小丟失一些有關(guān)圖像分割邊界的細(xì)節(jié)信息，這種圖像經(jīng)過反卷積上采樣后的分割圖像將會(huì)出現(xiàn)邊界細(xì)節(jié)不清；而淺層次的特征圖像具備這些細(xì)節(jié)信息，但卻不具備更抽象的特征信息。為了解決這個(gè)問題，人們提出了許多改進(jìn)方法，典型的有U-Net[3]、RefineNet[4]等，這類方法是將淺層卷積與深層卷積特征圖在不同尺度結(jié)合，從而在一定程度上彌補(bǔ)各自的缺陷，其被稱為編碼器-譯碼器方法[5]。另一類方法就是帶孔卷積[6]方法，這類方法是使用彼此拉開距離的卷積核對(duì)特征圖像進(jìn)行卷積采樣，由于卷積核具有更大的范圍，其卷起采樣后的特征圖像也具有更大的感受野，從而可以在淺層網(wǎng)絡(luò)獲得較全面抽象的特征圖，這種卷積核元素之間的距離就是擴(kuò)張率。典型的網(wǎng)絡(luò)如deeplab[7-10]系列，deeplab系列網(wǎng)絡(luò)提出了一種帶孔卷積金字塔(ASPP)[8]的模型，使用不同擴(kuò)張率的卷積核對(duì)特征圖進(jìn)行卷積后合并，可以解決不同尺度圖像的分割的問題。

以上各個(gè)模型在解決圖像分割問題時(shí)都取得了很好的效果，但這些模型在對(duì)圖像卷積采樣時(shí)對(duì)于所有通道和特征圖都是一視同仁地均勻采樣。但結(jié)合我們自身觀察事物的經(jīng)驗(yàn)就可以發(fā)現(xiàn)，在注視一幅圖像時(shí)大腦在圖像各點(diǎn)的注意力并不是均勻的，而是有側(cè)重點(diǎn)的，這種注意力機(jī)制也使得我們能夠更好地找出圖像中自己感興趣的關(guān)鍵信息。

本文根據(jù)這種人類視覺注意力不均勻的機(jī)制，提出一種注意力模型，在圖像進(jìn)行卷積采樣時(shí)加入了權(quán)重參數(shù)，這種權(quán)重參數(shù)在通道和特征圖兩個(gè)層面，在加入了權(quán)重參數(shù)之后，每個(gè)通道的權(quán)重是不同的，特征圖中每個(gè)點(diǎn)的權(quán)重也是不同的，擁有關(guān)鍵點(diǎn)特征的通道和特征點(diǎn)會(huì)在卷積采樣時(shí)得到更大的權(quán)重。而權(quán)重參數(shù)本身是通過訓(xùn)練學(xué)習(xí)到的。

2 DenseASPP網(wǎng)絡(luò)及其改進(jìn)模型

2.1 DenseASPP網(wǎng)絡(luò)

DenseASPP網(wǎng)絡(luò)[11]結(jié)合了DenseNet網(wǎng)絡(luò)[12]和ASPP的思想。如圖1所示，特征圖像經(jīng)由不同擴(kuò)張率的帶孔卷積核卷積采樣，而這些采樣后的特征圖使用密集連接的結(jié)構(gòu)，這種連接使得每一層的卷積特征圖與之后的所有層結(jié)合，每一層的特征圖也是之前所有層特征圖的結(jié)合。通過不同擴(kuò)張率的帶孔卷積，獲取不同尺度的目標(biāo)圖像特征，再通過密集連接的方式進(jìn)行結(jié)合，而這種密集連接會(huì)獲得比某一個(gè)帶孔卷積或者單純的多個(gè)帶孔卷積金字塔具有更大的感受野，而且顯然比之前的ASPP或者編碼器-譯碼器模型具有更好的特征重用的優(yōu)點(diǎn)。同時(shí)由于不同尺度特征圖的密集連接和互相合并，也可以彌補(bǔ)擴(kuò)張率較大的帶孔卷積核留下的空隙無法采樣細(xì)節(jié)信息的問題。該網(wǎng)絡(luò)還具有DenseNet的優(yōu)點(diǎn)，即可以緩解深層網(wǎng)絡(luò)梯度消失的問題。DenseASPP網(wǎng)絡(luò)的缺點(diǎn)也很明顯，就是密集連接導(dǎo)致的內(nèi)存占用過大的問題。其他網(wǎng)絡(luò)前層網(wǎng)絡(luò)的特征圖可以被覆蓋回收內(nèi)存，但DenseASPP網(wǎng)絡(luò)由于每一層都會(huì)用到前面所有層的特征圖，本層的特征圖也會(huì)被后面的所有層使用，所以所有層的特征圖不能被覆蓋而要在每一層參與運(yùn)算，而且越到后面的層，由于參與計(jì)算的特征圖的增加，計(jì)算量會(huì)越大。

圖1 DenseASPP網(wǎng)絡(luò)模型[11]

2.2 對(duì)網(wǎng)絡(luò)的改進(jìn)

本文對(duì)DenseASPP網(wǎng)絡(luò)進(jìn)行了改進(jìn)，改進(jìn)后網(wǎng)絡(luò)的設(shè)計(jì)如圖2所示。網(wǎng)絡(luò)使用了與DenseASPP相似的結(jié)構(gòu)，使用擴(kuò)張率分別為1、3、6、12、18、24的六種帶孔卷積核對(duì)特征圖進(jìn)行采樣，并使用密集連接的網(wǎng)絡(luò)結(jié)構(gòu)，后一層的帶孔卷積特征圖與前面所有層的帶孔卷積特征圖合并。本文對(duì)DenseASPP網(wǎng)絡(luò)的改動(dòng)有三點(diǎn)。第一是加入了注意力模型，包括通道注意力模型和空間注意力模型，即在通道和特征圖兩個(gè)層面加入權(quán)重參數(shù)，將通道和空間位置的權(quán)重矩陣作為系數(shù)乘以特征圖，這樣可以使具有關(guān)鍵信息的特征點(diǎn)得到強(qiáng)化。第二是針對(duì)DenseASPP網(wǎng)絡(luò)在密集連接時(shí)帶來的內(nèi)存占用和計(jì)算量過大問題，在帶孔卷積采樣時(shí)使用了分組卷積和剪枝策略，分組卷積使計(jì)算量減小，但同時(shí)也減少了通道間的特征信息融合，會(huì)使分割效果大打折扣，因此，本文在分組卷積之后加入了預(yù)排序操作，重新打亂混合通道間的特征信息；同時(shí)為了進(jìn)一步減小計(jì)算量，本文還提出在訓(xùn)練時(shí)計(jì)算特征通道的權(quán)值，對(duì)權(quán)值較小的通道進(jìn)行剪枝，即舍去權(quán)值較小的通道，這樣做并不會(huì)影響分割效果，因?yàn)橛?xùn)練的結(jié)果表明每次的迭代計(jì)算會(huì)逐漸集中到權(quán)重較大的特征通道，而剪枝策略的引入可以大幅減小網(wǎng)絡(luò)的測試時(shí)間，也實(shí)現(xiàn)了網(wǎng)絡(luò)的稀疏化。第三是加入了擴(kuò)張率為1的帶孔卷積，即普通卷積。這是由于注意力模型的引入使得網(wǎng)絡(luò)的抽象特征得到強(qiáng)化，在開始階段加入一個(gè)普通卷積層可以加強(qiáng)細(xì)節(jié)信息的權(quán)重。

圖2 本文改進(jìn)的網(wǎng)絡(luò)模型

2.3 注意力模型

本文提出的注意力模型有通道注意力模型和空間注意力模型，通道注意力模型提供了通道的權(quán)重參數(shù)，使含有豐富特征信息的通道得到更大的權(quán)重，空間注意力模型則提供了特征圖的空間權(quán)重參數(shù)，使特征圖中的關(guān)鍵點(diǎn)得到更大的權(quán)重。本文加入的注意力模型只應(yīng)用在特征圖的通道上，并沒有應(yīng)用在其他帶孔卷積的通道上，因?yàn)槊芗B接網(wǎng)絡(luò)結(jié)構(gòu)實(shí)際是對(duì)同一幅特征圖的信息重用，對(duì)所有密集連接通道都使用注意力模型會(huì)使得某些信息得到過分強(qiáng)化而削弱其他信息，還有可能產(chǎn)生過擬合以及內(nèi)存占用過大等一系列問題，本文在后面測試部分的結(jié)果也證明了這一點(diǎn)。兩種注意力模型沒有采用并行結(jié)構(gòu)而是采用串行結(jié)構(gòu)的設(shè)計(jì)，且是通道注意力模型在前、空間注意力模型在后的結(jié)構(gòu)，經(jīng)過實(shí)際測試發(fā)現(xiàn)這種結(jié)構(gòu)效果是最好的。

2.3.1通道注意力模型

通道注意力模型借鑒了SENet的思想，采用先壓縮再擴(kuò)張的模型[13]，其結(jié)構(gòu)如圖3所示。假設(shè)有C×H×W的特征圖像，其中：C是通道數(shù)；H和W分別是圖像的高和寬。首先要進(jìn)行通道層面的特征圖壓縮，即將每個(gè)通道的特征圖分別進(jìn)行平均值池化的處理，把特征圖變?yōu)镃×1×1的大小，即每個(gè)通道的特征圖只有1個(gè)點(diǎn)，壓縮過程的計(jì)算為：

(1)

式中：uc是某通道H×W的特征圖；zc是壓縮后的1×1的特征圖；Fsq表示壓縮后的特征圖的計(jì)算公式。式(1)完成對(duì)某一通道特征圖的所有點(diǎn)求平均值。這里不使用最大池化的原因是每個(gè)通道的特征圖是被池化成為1個(gè)點(diǎn)，而不是一個(gè)縮小的特征圖。在這種前提下，如果某個(gè)通道的特征圖有某個(gè)數(shù)值最大的噪聲點(diǎn)，就會(huì)對(duì)這個(gè)通道的權(quán)重產(chǎn)生很大的影響，所以平均池化的方法更能反映某通道特征圖的整體特性。

圖3 通道注意力模型的結(jié)構(gòu)

壓縮后的特征圖(實(shí)際應(yīng)該是特征向量，因?yàn)槊總€(gè)通道的特征圖實(shí)際只是一個(gè)數(shù)值)再進(jìn)行擴(kuò)張操作，其過程如下：

s=Fex(z,W)=σ(W2σ(W1,z))

(2)

式中：z是經(jīng)過壓縮后的特征圖，也就是式(1)中的zc的所有通道的集合(zc是某一個(gè)通道的特征圖)；s是擴(kuò)張后的權(quán)重向量；Fex表示對(duì)壓縮后的特征圖進(jìn)行擴(kuò)張；W表示擴(kuò)張超參數(shù)矩陣；W1和W2是用于降維和升維的超參數(shù)矩陣；δ是ReLU函數(shù)；σ是Sigmoid函數(shù)。壓縮后的特征圖z首先經(jīng)過全連接的維度壓縮，即乘以一個(gè)大小為C×(C/16)的超參數(shù)矩陣W1，使向量降維為C/16，這里降維的目的是繼續(xù)擴(kuò)大權(quán)重向量的感受野，同時(shí)降低計(jì)算復(fù)雜度。之后通過ReLU層后，再通過超參數(shù)矩陣W2完成升維，W2的維度為(C/16) ×C。其中W1和W2的超參數(shù)都通過反向傳播學(xué)習(xí)得到。升維后的向量通過Sigmoid層變?yōu)橥ǖ罏镃(即C×1×1大小)的權(quán)重參數(shù)向量s，最后再按通道分別乘以原特征圖。

2.3.2空間注意力模型

空間注意力模型[14]的思想與通道注意力模型相似，也是采用先壓縮再擴(kuò)張的思路。其模型結(jié)構(gòu)如圖4所示，C×H×W的特征圖首先按照通道層面進(jìn)行最大池化，計(jì)算過程如下：

zhw=Fsq(uhw)=max(uhw)

(3)

式中：zhw是特征圖某點(diǎn)壓縮后的結(jié)果；uhw特征圖某點(diǎn)所有通道值的集合，也就是求特征圖某點(diǎn)所有通道值的最大值作為特征點(diǎn)的值，最后求得所有點(diǎn)的值后即得到單通道(H×W×1)的特征圖。這里使用最大池化是因?yàn)檫@樣可以將最明顯的特征點(diǎn)保存下來，而取平均值則會(huì)使特征圖像的權(quán)重參數(shù)變得平滑，不再突出特征權(quán)重，也就失去了注意力模型的意義。

圖4 空間注意力模型的結(jié)構(gòu)

壓縮后的特征圖(實(shí)際應(yīng)該是特征矩陣，因?yàn)榇藭r(shí)特征圖變?yōu)镠×W×1大小，即單通道特征圖)還要經(jīng)過擴(kuò)張計(jì)算，得到權(quán)重矩陣。其計(jì)算過程為：

(4)

2.4 網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化

本文的網(wǎng)絡(luò)以DenseASPP網(wǎng)絡(luò)為基礎(chǔ)，DenseASPP網(wǎng)絡(luò)結(jié)構(gòu)與DenseNet網(wǎng)絡(luò)相似，其繼承了DenseNet的很多優(yōu)點(diǎn)，比如可以有效控制梯度消失問題等。但同時(shí)也繼承了其缺點(diǎn)，由于采用了密集連接結(jié)構(gòu)，其每一次卷積的結(jié)果需要在后面的卷積中繼續(xù)使用，導(dǎo)致上一層卷積的特征圖不能被覆蓋，而下一次卷積的特征圖需要重新申請(qǐng)新的內(nèi)存，隨著網(wǎng)絡(luò)的加深，過多的卷積特征圖會(huì)造成內(nèi)存占用過大，使訓(xùn)練和測試時(shí)間較長[15]。本文對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了優(yōu)化，在帶孔卷積時(shí)使用了分組卷積，并運(yùn)用適當(dāng)?shù)募糁Σ呗裕褂?xùn)練時(shí)間減少為原來的1/5，同時(shí)分割精度并沒有明顯的下降。

2.4.1分組卷積

分組卷積的操作最早在VGGNet網(wǎng)絡(luò)[16]中就已經(jīng)出現(xiàn)過了，當(dāng)時(shí)由于計(jì)算能力無法完成大型網(wǎng)絡(luò)的運(yùn)算，而采用分組計(jì)算的方式。而分組卷積會(huì)使計(jì)算量大幅減小，但帶來的問題就是分組后組間的交互計(jì)算沒有了，這對(duì)網(wǎng)絡(luò)的效果影響很大。本文網(wǎng)絡(luò)在使用分組卷積時(shí)，帶孔卷積操作使用分組對(duì)于分割精度影響較小，這是因?yàn)閹Э拙矸e操作不涉及通道間的交互計(jì)算，各通道間本來就彼此獨(dú)立。而在1×1卷積時(shí)采用分組卷積則對(duì)精度影響很大，因?yàn)?×1卷積涉及到通道間的交互，分組后各分組彼此獨(dú)立，無法獲得其他分組的信息。所以，本文網(wǎng)絡(luò)在1×1分組卷積之后使用了預(yù)排序操作，其目的與ShuffleNet中的通道洗牌操作[17]相似，增加不同通道間的交互。具體操作是將1×1分組卷積后的特征圖按不同通道重新隨機(jī)排序，這樣原來通道間的孤立狀態(tài)被打破，各個(gè)通道間的信息實(shí)現(xiàn)了交互。另外，在訓(xùn)練和測試時(shí)的結(jié)構(gòu)略有不同，在訓(xùn)練時(shí)在分組卷積之后，還有剪枝操作，而在測試時(shí)由于剪枝已經(jīng)完成，使用的是稀疏化之后的網(wǎng)絡(luò)結(jié)構(gòu)，所以測試時(shí)只有分組卷積操作。

改進(jìn)后的分組帶孔卷積模型如圖5所示。輸入特征圖首先經(jīng)過BN-ReLU層和1×1卷積，這與原DenseASPP網(wǎng)絡(luò)結(jié)構(gòu)一致。而原DenseASPP網(wǎng)絡(luò)的1×1卷積雖然也實(shí)現(xiàn)了降維，減少了通道，但對(duì)網(wǎng)絡(luò)的優(yōu)化很有限。因?yàn)檫^多減少通道會(huì)影響分割效果，而且由于原DenseASPP網(wǎng)絡(luò)中1×1卷積對(duì)通道的減少是隨機(jī)和均勻的，這可能會(huì)舍去含有關(guān)鍵點(diǎn)信息的通道特征。本文改進(jìn)的網(wǎng)絡(luò)則按照權(quán)重參數(shù)進(jìn)行剪枝，只舍去權(quán)值較低的通道信息，這使得網(wǎng)絡(luò)稀疏化的同時(shí)還保留了關(guān)鍵信息。

圖5 改進(jìn)后的帶孔卷積操作模型

2.4.2剪枝策略

(5)

根據(jù)Wj的值進(jìn)行剪枝，隨著訓(xùn)練過程的迭代，逐步舍去較小的Wj的輸出特征值，實(shí)驗(yàn)結(jié)果表明每次迭代輸出的特征值實(shí)際都是由固定的幾個(gè)輸入提供的，所以其他的輸入特征值被剪枝后，并不會(huì)對(duì)測試結(jié)果有很大的影響。在進(jìn)行測試時(shí)，每個(gè)分組只對(duì)這幾個(gè)輸入計(jì)算輸出特征值即可，這樣就實(shí)現(xiàn)了網(wǎng)絡(luò)的稀疏化，大大減少了計(jì)算量。

3 遙感圖像分割測試

3.1 數(shù)據(jù)集制作

本文使用了武漢大學(xué)的開源遙感圖像數(shù)據(jù)集WHU-RS19，該數(shù)據(jù)集共有機(jī)場、海岸、橋梁、耕地、沙漠等共計(jì)19個(gè)分類的遙感圖像數(shù)據(jù)，每個(gè)分類約50幅左右遙感圖像，合計(jì)共1 005幅原始圖像，每幅圖像分辨率為600×600。除去草地、沙漠、森林等單一背景的遙感圖像外(單一背景的遙感圖像無須分割)，又加入我們自己采集的遙感衛(wèi)星圖像，共有1 632幅原始圖像。我們又通過圖像鏡像、圖像旋轉(zhuǎn)、改變對(duì)比度、改變亮度、圖像數(shù)據(jù)倍乘等方式進(jìn)行了圖像增強(qiáng)，最終的圖像數(shù)據(jù)集共有10 835幅圖像。取其中8 835幅作為訓(xùn)練集，另外2 000幅圖像作為測試集。

圖像數(shù)據(jù)集獲取之后還需要進(jìn)行圖像標(biāo)注，因?yàn)樵紙D像數(shù)據(jù)集是進(jìn)行圖像分類，并未進(jìn)行像素級(jí)圖像分割的標(biāo)注，還需要對(duì)原始圖像數(shù)據(jù)集進(jìn)行手工標(biāo)注。本文借鑒了文獻(xiàn)[18]的方法，該方法只需在同一分類上劃線即可快速標(biāo)注。大部分增強(qiáng)的圖像不需要進(jìn)行標(biāo)注，只需對(duì)原始圖像進(jìn)行標(biāo)注即可，因?yàn)樵鰪?qiáng)后的圖像數(shù)據(jù)集標(biāo)注的結(jié)果與原始圖像基本一致。

3.2 實(shí)驗(yàn)測試環(huán)境與評(píng)價(jià)標(biāo)準(zhǔn)

我們的實(shí)驗(yàn)測試硬件環(huán)境為一臺(tái)CPU為Intel Xeon E5 2600 v3系列的12核處理器，內(nèi)存為16 GB，GPU為RTX2080Ti 11 GB顯存的服務(wù)器。軟件環(huán)境為Ubuntu16操作系統(tǒng)，TensorFlow1.4環(huán)境。

評(píng)價(jià)標(biāo)準(zhǔn)使用了圖像分割的兩大指標(biāo)平均精度(MPA)和平均交并比(MIOU)進(jìn)行評(píng)價(jià)。平均精度是指多次測試的分類正確的像素占圖像全部像素的比值平均值，平均交并比是多次測試的分割預(yù)測圖像與圖像真實(shí)值重復(fù)像素占全部所有像素的比值平均值。另外，為了評(píng)價(jià)優(yōu)化前后的性能，使用了測試平均時(shí)間，即模型完成多次圖像分割所用時(shí)間的平均值。

3.3 測試結(jié)果及其分析

3.3.1注意力模型測試

首先測試注意力模型，這里主要測試了DenseASPP加入注意力模型的效果以及兩種注意力模型的順序。測試結(jié)果如表1所示。以DenseASPP網(wǎng)絡(luò)為基準(zhǔn)進(jìn)行比較測試，當(dāng)僅加入通道注意力模型時(shí)，平均精度提高了0.45百分點(diǎn)，平均交并比提高了1.1百分點(diǎn)，這比僅加入空間注意力模型提升的0.09百分點(diǎn)和0.53百分點(diǎn)來說是比較顯著的，說明通道注意力模型對(duì)精度的影響更大。在測試時(shí)間上，由于兩種模型的加入增加了計(jì)算量，平均測試時(shí)間有0.5 ms的增加，其中通道注意力模型用時(shí)更長，這主要因?yàn)樗挠?jì)算量更大。當(dāng)兩種注意力模型都加入時(shí)，我們對(duì)比了兩種注意力模型并行、先空間后通道和先通道后空間的三種網(wǎng)絡(luò)結(jié)構(gòu)，三種結(jié)構(gòu)在平均精度和平均交并比上都比單加入通道或者空間模型有提高，也說明了兩種注意力模型一起使用的效果更好。但在平均測試時(shí)間上，并行模型稍快，先空間后通道模型稍慢，但都比原網(wǎng)絡(luò)慢1 ms以上。綜合對(duì)比后，先通道注意力模型，后空間注意力模型的效果是最好的。

表1 注意力模型對(duì)比測試結(jié)果

3.3.2網(wǎng)絡(luò)優(yōu)化性能測試

在性能優(yōu)化測試一項(xiàng)，本文目標(biāo)是在平均精度和交并比沒有明顯變化的前提下減少平均測試時(shí)間，因?yàn)闇y試時(shí)間基本上可以體現(xiàn)出網(wǎng)絡(luò)計(jì)算量和性能。測試數(shù)據(jù)如表2所示，首先對(duì)比了表1的DenseASPP網(wǎng)絡(luò)和加入本文的注意力模型的網(wǎng)絡(luò)。需要說明的是，從表2第3行開始，測試項(xiàng)是逐漸增加的，比如第5行加入通道排序，則是在加入了前面的帶孔卷積分組以及1×1卷積分組之后再加入通道預(yù)排序得出的數(shù)據(jù)。從數(shù)據(jù)可知，當(dāng)加入帶孔卷積之后，測試平均時(shí)間減少到一半以下，而測試平均精度和平均交并比分別下降了0.01百分點(diǎn)和0.03百分點(diǎn)，并沒有明顯下降。當(dāng)加入1×1卷積分組后，平均精度和平均交并比分別下降了28百分點(diǎn)和27百分點(diǎn)，雖然平均測試時(shí)間也降低了12.2 ms，但這項(xiàng)改動(dòng)對(duì)網(wǎng)絡(luò)性能影響較大，原因在前文已經(jīng)分析過了，主要是1×1卷積分組后隔絕的各個(gè)通道間信息的交互。所以要加入通道預(yù)排序，加入這項(xiàng)后可以看到平均精度和平均交并比又恢復(fù)到之前的水平，雖然仍然低于加入1×1卷積分組卷積之前的狀態(tài)，但僅比之前下降了0.1百分點(diǎn)左右。最后再加入剪枝策略，隨著計(jì)算量的減少，測試時(shí)間進(jìn)一步大幅下降到最初優(yōu)化之前的1/5，而平均精度和平均交并比比優(yōu)化之前(表2第2行)僅下降0.34百分點(diǎn)和0.13百分點(diǎn)，達(dá)到了我們的預(yù)期。

表2 網(wǎng)絡(luò)優(yōu)化性能對(duì)比測試結(jié)果

3.3.3網(wǎng)絡(luò)模型對(duì)比測試

我們還對(duì)比了本文改進(jìn)后的網(wǎng)絡(luò)和DenseASPP網(wǎng)絡(luò)在不同場景下的圖像分割表現(xiàn)，如圖6所示?？梢钥吹?，在對(duì)耕地、河流等簡單場景的遙感圖像分割時(shí)，兩種網(wǎng)絡(luò)都有比較好的表現(xiàn)，除了有部分邊界交代不清，基本能夠正確分割，但在對(duì)復(fù)雜的城市遙感圖像進(jìn)行分割時(shí)，DenseASPP出現(xiàn)了一些分類錯(cuò)誤，而本文網(wǎng)絡(luò)則錯(cuò)誤率更低且邊界更清楚。

(a) 原始圖像 (b) 手動(dòng)分割 (c) 本文網(wǎng)絡(luò) (d) denseASPP圖6 遙感圖像分割效果對(duì)比測試

同時(shí)還對(duì)比測試了幾個(gè)經(jīng)典網(wǎng)絡(luò)與本文改進(jìn)后的網(wǎng)絡(luò)的圖像分割的結(jié)果，數(shù)據(jù)如表3所示。U-Net網(wǎng)絡(luò)由于是相對(duì)較早的網(wǎng)絡(luò)，僅僅是編碼器-解碼器的簡單結(jié)構(gòu)，其應(yīng)用主要在醫(yī)學(xué)圖像分割上，在對(duì)遙感圖像分割時(shí)效果不是很理想，僅有62.23%的平均精度。較新的Deeplab v3+網(wǎng)絡(luò)也是使用了帶孔卷積金字塔，其效果與DenseASPP網(wǎng)絡(luò)相近，而且由于其沒有采用密集連接，測試平均時(shí)間更少。DenseASPP網(wǎng)絡(luò)數(shù)據(jù)前文已經(jīng)列出，而本文改進(jìn)后的網(wǎng)絡(luò)在對(duì)遙感圖像分割時(shí)平均精度比最好的DenseASPP網(wǎng)絡(luò)提高了1.1百分點(diǎn)，平均交并比提高了1.42百分點(diǎn)，而且平均測試時(shí)間也減少為DenseASPP的1/5，說明本文提出的分組卷積核剪枝策略取得了很好的效果。

表3 不同網(wǎng)絡(luò)模型遙感圖像分割對(duì)比測試結(jié)果

3.3.4遙感圖像場景測試

最后測試了本文的網(wǎng)絡(luò)在不同遙感圖像場景中的表現(xiàn)，測試結(jié)果如表4所示。在場景較為簡單的橋梁、耕地、河流等上平均精度可以達(dá)到95%以上，平均交并比可以達(dá)到90%以上；而在較復(fù)雜的場景比如機(jī)場、車站、城市等場景上則有80%左右的平均精度和70%左右的交并比。因?yàn)檫@些場景中有小的目標(biāo)物比如汽車、飛機(jī)等我們并沒有給以標(biāo)注，導(dǎo)致有些分類識(shí)別錯(cuò)誤，另外有些高樓的陰影較大，給準(zhǔn)確分割造成了一定困難。而對(duì)海岸線的分割精度較低主要是由于海岸線原始圖片分辨率較低，導(dǎo)致邊界界定不清。

表4 本文網(wǎng)絡(luò)在不同場景遙感圖像下的測試結(jié)果 %

4 結(jié) 語

本文對(duì)DenseASPP網(wǎng)絡(luò)進(jìn)行了改進(jìn)，首先引入了通道注意力模型和空間注意力模型，使得敏感信息有更大的權(quán)重，測試結(jié)果表明，這種改進(jìn)有助于提高圖像分割的精度；其次對(duì)網(wǎng)絡(luò)進(jìn)行了優(yōu)化，在帶孔卷積時(shí)用分組卷積實(shí)現(xiàn)，其中在對(duì)1×1分組卷積之后增加了通道預(yù)排序?qū)?，有效解決了1×1分組卷積導(dǎo)致的圖像分割精度下降問題，另外還通過剪枝策略實(shí)現(xiàn)了網(wǎng)絡(luò)的稀疏化，有效減少了計(jì)算量。優(yōu)化和改進(jìn)后的網(wǎng)絡(luò)在對(duì)遙感圖像測試的平均精度比原DenseASPP網(wǎng)絡(luò)提高了1.1百分點(diǎn)，而平均測試時(shí)間減少為原來的1/5。本文的網(wǎng)絡(luò)在對(duì)不同場景的遙感圖像測試時(shí)發(fā)現(xiàn)在對(duì)原始圖像存在陰影和模糊背景的圖像測試效果還不是很理想，今后可以考慮增加圖像預(yù)處理模塊，加大圖像的銳度、去除陰影等干擾信息，或者考慮增加陰影分割學(xué)習(xí)，對(duì)圖像陰影部分的分割線進(jìn)行學(xué)習(xí)，并達(dá)到能夠預(yù)測陰影分割線的效果，網(wǎng)絡(luò)在不同場景的遙感圖像下將具有更強(qiáng)的魯棒性。