馬吉權(quán)，趙淑敏，孔凡輝

1. 黑龍江大學(xué)計算機科學(xué)與技術(shù)學(xué)院，哈爾濱 150080； 2. 黑龍江大學(xué)數(shù)據(jù)科學(xué)與技術(shù)學(xué)院，哈爾濱 150080

0 引 言

圖像語義分割是計算機視覺領(lǐng)域經(jīng)典的研究課題。全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)(Long等，2015)的提出拓寬了基于深度神經(jīng)網(wǎng)絡(luò)的研究方法在圖像分割領(lǐng)域的視野，該網(wǎng)絡(luò)將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)(LeCun等，1989)中的全連接層全部替換為卷積層，并在此基礎(chǔ)上使用softmax函數(shù)對每個像素進(jìn)行分類以完成圖像分割。同年提出的U-Net(Ronneberger等，2015)在解碼階段使用多尺度特征融合的方式(concatenate)形成多通道特征圖，提升了圖像分割質(zhì)量。隨后，涌現(xiàn)出眾多基于深度學(xué)習(xí)的圖像語義分割模型，進(jìn)一步提升了圖像分割任務(wù)的效果。包括基于FCN/U-Net網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的方法(如3D UNet(?i?ek等，2016))、基于多尺度感知獲得圖像特征信息的方法(如DeepLabV1-V4(Chen等，2018b)和郭彤宇等人(2019)方法)、基于注意力機制的方法(如dual attention network(Fu等，2019))和基于網(wǎng)絡(luò)參數(shù)優(yōu)化及半監(jiān)督的分割方法(如MobileNets(Howard等，2017))等。常見的基于以上4種方法分類的圖像分割網(wǎng)絡(luò)如圖1所示。

圖1 常見的圖像分割網(wǎng)絡(luò)分類Fig.1 Summary of common image segmentation networks

現(xiàn)有語義分割網(wǎng)絡(luò)在復(fù)雜場景下容易對圖像中有色差或圖像中占有區(qū)域廣、跨度大的物體產(chǎn)生錯誤的劃分結(jié)果。針對這些問題，本文提出一種新的基于改進(jìn)的條形池化與通道注意力機制的雙分支語義分割網(wǎng)絡(luò)(strip pooling and channel attention net，SPCANet)。該網(wǎng)絡(luò)從空間和內(nèi)容兩方面對輸入圖像進(jìn)行特征提取，并通過注意力機制實現(xiàn)對特征權(quán)重的重分配，提高特征表達(dá)能力。本文創(chuàng)新點如下：1)在空間感知子網(wǎng)中使用改進(jìn)的條形池化技術(shù)(strip atrous block，SA Block)，進(jìn)一步在編碼階段增大水平與豎直方向上的感受野，提高對圖像區(qū)域中跨度較大物體的感知能力。2)使用二階通道注意力(second-order channel attention，SOCA)優(yōu)化通道特征選擇，一定程度減少了色差導(dǎo)致的圖像分割錯誤。3)使用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的VGG16(Visual Geometry Group 16-layer network)(Simonyan和Zisserman，2015)作為內(nèi)容感知子網(wǎng)，以輔助空間感知子網(wǎng)優(yōu)化語義分割的嵌入特征。4)SPCANet在Cityscapes數(shù)據(jù)集上的目標(biāo)分割指標(biāo)mIoU(mean intersection over union)與backbone相比提升了1.2%。消融性實驗表明，本文提出的各種改進(jìn)成分在分割任務(wù)中均起到了積極作用。

1 基于注意力和特征融合的圖像分割方法介紹

1.1 基于注意力的圖像分割方法

引入注意力機制的目的是根據(jù)某種關(guān)系對神經(jīng)網(wǎng)絡(luò)提取的不同層次的特征進(jìn)行權(quán)重分配，以提升網(wǎng)絡(luò)的特征表達(dá)能力。常見的注意力實現(xiàn)方式包括通道注意力和空間注意力兩類，實現(xiàn)方法的簡要展示如圖2所示。其中，通道注意力使用簡單的全局平均池化來實現(xiàn)，空間注意力則通過計算特征的自相似性來獲取其空間依賴關(guān)系，從而實現(xiàn)注意力分配。如今，注意力機制廣泛應(yīng)用于圖像分類、圖像修復(fù)及圖像分割等諸多深度學(xué)習(xí)網(wǎng)絡(luò)中(Vaswani等，2017)。其中，SENet(squeeze-and-excitation networks)(Hu等，2018)使用池化、全連接及門控機制形成通道注意力，提高通道特征信息的表達(dá)能力。該網(wǎng)絡(luò)提出的SE Block是一種即插即用的模塊化結(jié)構(gòu)，可以方便地嵌入到其他神經(jīng)網(wǎng)絡(luò)中，如SE-Inception、SE-ResNet。Fu等人(2019)將基于上下文的空間信息引入圖像分割網(wǎng)絡(luò)，提出雙重注意網(wǎng)絡(luò)(dual attention network，DA-Net)，通過矩陣轉(zhuǎn)置及矩陣乘運算探索空間自相似性和特征在通道維度上的依賴關(guān)系。在金字塔注意力網(wǎng)絡(luò)(pyramid attention network，PAN)(Li等，2018a)中，進(jìn)一步將注意力機制應(yīng)用于上采樣過程，采用全局注意力上采樣模塊(global attention upsample，GAU)將高層次特征生成的全局上下文信息依次經(jīng)過卷積、批量歸一化和非線性變換等操作后與低層次特征相乘，最后將高層次特征與加權(quán)后的低層次特征相加并進(jìn)行上采樣。OCNet(object context network)(Yuan和Wang，2021)、DA-Net(dual attention network)(Fu等，2019)和CCNet(criss-cross attention network)(Huang等，2019)則利用非局部(non-local)思想來聚合遠(yuǎn)程空間信息。該類方法可以捕獲圖像中的長距離依賴關(guān)系，在計算某個位置的響應(yīng)特征時，會計算該位置與圖中其他所有像素點的相似度，并根據(jù)這個相似度值進(jìn)行加權(quán)計算作為該位置的輸出來實現(xiàn)注意力的權(quán)重分配。

圖2 通道注意力與空間注意力示意圖Fig.2 Sketch of channel attention and spatial attention

本文提出的圖像語義分割網(wǎng)絡(luò)采用了兩種注意力機制。一種是基于二階特征的通道注意力，在使用協(xié)方差保留通道間關(guān)聯(lián)關(guān)系的基礎(chǔ)上，進(jìn)一步使用門控開關(guān)來調(diào)整各通道的權(quán)重比例關(guān)系；另一種是基于改進(jìn)后條形池化技術(shù)的空間注意力，這種注意力可以進(jìn)一步增大在水平和豎直方向上的感受野，同時提高對圖像中大尺度物體的感知度，并針對性的重新分配注意力權(quán)重，使這些大尺度物體的特征在學(xué)習(xí)過程中獲得更大的關(guān)注度。

1.2 基于特征融合的圖像分割方法

特征融合廣泛應(yīng)用于計算機視覺領(lǐng)域。為了解決圖像中目標(biāo)物體形狀、顏色及亮度等多樣性導(dǎo)致分割不準(zhǔn)確問題，本文提出了基于條形池化和通道注意力的雙分支分割網(wǎng)絡(luò)，并引入特征融合來增強圖像細(xì)節(jié)信息的表達(dá)。

現(xiàn)有的特征融合大部分基于多尺度思想實現(xiàn)。例如，使用并行的、不同大小的卷積或池化在特征提取后進(jìn)行融合，或?qū)⒕哂谐橄笳Z義的高層特征圖與具有更多圖像細(xì)節(jié)的低層特征進(jìn)行特征融合。圖3是多尺度及特征融合思想的示意圖，這樣的設(shè)計思路可以從多個尺度感知圖像物體，從而增強圖像細(xì)節(jié)信息的表達(dá)。DeepLabV2(Chen等，2017)引入空洞空間金字塔池化(atrous spatial pyramid pooling，ASPP)概念，使用多個并行的、具有不同大小感受野的卷積或池化操作來提取特征圖信息以實現(xiàn)多尺度特征表達(dá)。類似地，PSPNet(pyramid scene parsing network)(Zhao等，2017)和RFBNet(receptive field block net)(Liu等，2018)也采用這樣的思路進(jìn)一步提高了分割質(zhì)量。DeepLabV3在將多尺度應(yīng)用于下采樣階段的同時，將特征融合的思路引入上采樣階段，進(jìn)一步優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)。

本文提出的SPCANet引入了多尺度思想。首先利用改進(jìn)后的條形池化技術(shù)進(jìn)一步增大感受野，然后在此基礎(chǔ)上從多個尺度對圖像特征進(jìn)行提取并融合。此外，使用內(nèi)容感知子網(wǎng)增強對圖像內(nèi)容的感知，進(jìn)一步提升后續(xù)特征融合階段的圖像特征表達(dá)能力。

2 方 法

SPCANet的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。網(wǎng)絡(luò)輸入為三通道彩色圖像，將該輸入圖像分別送入空間感知子網(wǎng)和內(nèi)容感知子網(wǎng)進(jìn)行編碼，獲得嵌入空間的特征表達(dá)，然后采用concatenate特征融合方式對這兩組特征進(jìn)行融合。將融合后的特征圖送入分類預(yù)測模塊(head模塊)進(jìn)行分類；此時的輸出已經(jīng)是完成分類后、尺寸為輸入圖像1/8大小的分割圖，最后使用最鄰近插值法將圖像恢復(fù)成原始圖像大小作為最終的分割結(jié)果。

該網(wǎng)絡(luò)旨在解決3個問題。1)采用改進(jìn)后的條形池化技術(shù)SA Block，在1維的水平和豎直方向上擁有更大的感受野，增強對圖像中大尺度物體的感知度，以解決在復(fù)雜場景下物體被錯誤分類問題；2)使用二階通道注意力機制，進(jìn)一步利用通道之間的關(guān)聯(lián)關(guān)系對通道信息進(jìn)行特征優(yōu)化選擇；3)通過引入特征融合的思想，利用內(nèi)容感知子網(wǎng)Sub_VGG16改善由于空間感知子網(wǎng)更關(guān)注單維方向上的感受野導(dǎo)致的特征提取特異性問題。

圖3 兩種常用的多尺度特征融合方法Fig.3 Commonly used multi-scale feature fusion methods ((a) spatial pyramid pooling module;(b) encoder-decoder multi-scale feature fusion)

2.1 改進(jìn)的條形池化技術(shù)

受條形池化(strip pooling)(Hou等，2020)的啟發(fā)，本文在條形池化技術(shù)的基礎(chǔ)上結(jié)合多尺度思想加入并行的1維膨脹卷積，以進(jìn)一步增大在水平及豎直方向上的感受野。具體實現(xiàn)過程如圖5所示。該模塊將輸入的特征圖同時送入兩個子分支進(jìn)行不同維度(水平和豎直方向)的編碼。在水平方向上，首先使用1×n的池化操作將特征圖變換成形狀為n×1的特征表示，這里n為模塊輸入特征圖(n×n)的尺寸。在此基礎(chǔ)上，使用一組并行的膨脹卷積對特征圖進(jìn)行特征提取，膨脹率的選擇借鑒了DeepLabV3(Chen等，2017)中ASPP的經(jīng)驗：隨著特征圖尺寸的減小，過大的膨脹率反而不利于提取到特征中更有效的圖像特征，綜合考量之后，將膨脹率(rate)設(shè)定為[0, 6, 12, 18]。該設(shè)計可以在不增加額外參數(shù)的情況下進(jìn)一步增大在水平方向上的感受野，同時從多個尺度感知水平方向上的物體。之后，將這些并行分支產(chǎn)生的特征圖采用concatenate特征融合方式進(jìn)行特征融合，并使用最鄰近插值法將n×1的特征圖恢復(fù)至該模塊輸入時的尺寸大小。豎直方向上的做法與水平方向類似。使用n×1的池化操作將特征圖變換成形狀為1×n的特征表示，在此基礎(chǔ)上，使用一組并行的膨脹卷積進(jìn)行特征提取并融合，在填充之后得到豎直方向上的圖像特征。在得到水平與豎直方向上的特征后，將這兩個分支的結(jié)果通過加操作來完成特征融合，實現(xiàn)水平與豎直方向上的特征疊加。最后將疊加后的特征圖送入1×1的卷積中進(jìn)行特征調(diào)整，使用sigmoid函數(shù)將輸出值映射到(0, 1)，隨后與原始輸入相乘形成水平和豎直方向疊加后的權(quán)重分配。

2.2 二階通道注意力機制

圖4 SPCANet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 The structure of SPCANet

二階通道注意力機制最先應(yīng)用于圖像的超分辨率領(lǐng)域，是一種參數(shù)較少且方便嵌入及調(diào)用的特征模塊。該注意力機制是基于SE Block提出的。SE Block中的通道注意力是通過一階統(tǒng)計信息(使用全局平均池化，將每張?zhí)卣鲌D用一個值表征)來實現(xiàn)的。本文通過基于協(xié)方差與全局池化的二階特征統(tǒng)計實現(xiàn)通道特征加權(quán)。

在數(shù)學(xué)角度上，協(xié)方差可以用來描述變量之間的相關(guān)性。對于H×W×C的圖像特征，可以將其維度轉(zhuǎn)換為WH×C，用協(xié)方差矩陣來描述C個通道之間的相關(guān)性。與傳統(tǒng)一階注意力機制的全局平均池化操作相比，該注意力通過使用二階特征統(tǒng)計自適應(yīng)地重新標(biāo)定通道特征(按重要程度分配不同的權(quán)重)，獲得更具有區(qū)分性的特征表示，捕獲優(yōu)于一階注意力的統(tǒng)計特征。二階通道注意力模塊的結(jié)構(gòu)如圖6所示。該模塊的輸入是一組特征圖，使用協(xié)方差對輸入特征圖的通道關(guān)系進(jìn)行關(guān)聯(lián)性表示后進(jìn)行特征選擇，相關(guān)操作與SE Block類似。具體做法如下：將協(xié)方差處理后得到的關(guān)聯(lián)性結(jié)果送入一個池化函數(shù)中進(jìn)行特征轉(zhuǎn)換，并使用兩個卷積層進(jìn)行特征調(diào)整(這兩個卷積層中間使用ReLU(rectified linear unit)來增加非線性)，此后，通過函數(shù)sigmoid實現(xiàn)門控機制，動態(tài)地學(xué)習(xí)通道權(quán)重W。最后將學(xué)習(xí)到的權(quán)重W與該模塊的輸入相乘得到加權(quán)后的特征輸出F。

圖6中，HGCP表示協(xié)方差池化函數(shù)，HGCP的具體實現(xiàn)方式為

圖5 改進(jìn)后的條形池化模塊Fig.5 Revised strip atrous block

(1)

式中，yc是使用協(xié)方差關(guān)聯(lián)通道之間特征后的輸出結(jié)果。

WD和WU均為1×1的卷積層，其通道數(shù)分別為c/r和c。SE Block中r的設(shè)定為16，但為了較大程度獲取通道間關(guān)聯(lián)性，嘗試將r設(shè)定為8。實驗發(fā)現(xiàn)，當(dāng)r=8時，實驗結(jié)果相對較好，最終確定r值為8。w是門控開關(guān)后得到的各通道權(quán)重分配，具體實現(xiàn)為

w=f(WUδ(WDz))

(2)

式中，f()和δ()分別代表sigmoid 和ReLU函數(shù)。該模塊在得到w后，與輸入時的特征圖對應(yīng)相乘，得到模塊最終的輸出結(jié)果。

圖6 二階通道注意力模塊圖Fig.6 SOCA Block

2.3 內(nèi)容感知子網(wǎng)

本文網(wǎng)絡(luò)模型借助內(nèi)容感知輔助子網(wǎng)提升特征的內(nèi)容表達(dá)能力，彌補由于空間感知子網(wǎng)更關(guān)注長條狀感受野導(dǎo)致的圖像內(nèi)容特征信息的缺失。

在內(nèi)容感知輔助子網(wǎng)結(jié)構(gòu)的選擇上，將3種在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的網(wǎng)絡(luò)作為候選項，分別是VGG16(Simonyan和Zisserman，2015)、ResNet101(He等，2016)和DenseNet101(Huang等，2017)。實際使用過程中，對網(wǎng)絡(luò)的編碼部分進(jìn)行了截取，以保證在特征融合時其特征圖尺寸與空間感知子網(wǎng)的特征圖尺寸一致。對基于以上3種網(wǎng)絡(luò)結(jié)構(gòu)的空間感知子網(wǎng)模型進(jìn)行消融性實驗，發(fā)現(xiàn)使用VGG16作為內(nèi)容感知子網(wǎng)的效果最佳。最終選擇在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的VGG16的前10層(10層卷積與3次池化操作)作為內(nèi)容感知子網(wǎng)。

2.4 預(yù)測分類模塊(Head)

在圖像分割或分類網(wǎng)絡(luò)中，獲取高層特征后，會將特征圖送入一個分類預(yù)測模塊(Head)中進(jìn)行分類。SPCANet選擇延用SPNet中的Head模塊，模塊參數(shù)部分未做修改。該Head包括一個簡單的通道降維、5個并行的卷積和池化操作。其內(nèi)部卷積尺寸分別為3、1×3和3×1，池化操作的尺寸對應(yīng)為1、12、20、1×n和n×1(后期通過最鄰近插值法將輸出恢復(fù)至原尺寸大小)，這里的池化操作是為了能在提取了較高語義特征的特征圖上，進(jìn)一步捕捉像素之間的依賴性。最后使用分類函數(shù)對像素進(jìn)行分類。需要注意的是，在Head中已經(jīng)完成了對像素的分類，但是此時的輸出分割結(jié)果尺寸為原始圖像的1/8。在Head模塊之后，通過最鄰近插值法恢復(fù)其圖像大小，得到最后的圖像語義分割結(jié)果。

3 實 驗

3.1 實驗運算及參數(shù)說明

SPCANet模型在2塊2080Ti的GPU上進(jìn)行訓(xùn)練，使用框架為pytorch。網(wǎng)絡(luò)訓(xùn)練過程中，將輸入圖像尺寸調(diào)整為768×768像素(原始圖像為1 024×2 048像素，SPNet模型的圖像輸入大小即為768×768像素，為了能較好地對比兩者的輸出，控制訓(xùn)練參數(shù)，將本文模型的圖像輸入定為768×768像素)，同時使用旋轉(zhuǎn)、隨機高斯模糊、水平隨機翻轉(zhuǎn)等方式進(jìn)行數(shù)據(jù)增強。該網(wǎng)絡(luò)的損失函數(shù)采用交叉熵?fù)p失，并將SGD(stochastic gradient descent)作為優(yōu)化器。初始學(xué)習(xí)率設(shè)置為0.005，momentum為0.9，權(quán)重衰減值設(shè)置為0.000 1，該類參數(shù)均采用經(jīng)驗值作為默認(rèn)值。并使用poly的學(xué)習(xí)率策略以加快收斂速度(power為0.9，DeepLabV2及PARSENET均采用這種學(xué)習(xí)策略)，其迭代策略為

(3)

式中，R為學(xué)習(xí)率衰減因子，i為當(dāng)前迭代次數(shù)，imax為最大迭代次數(shù)，power為指數(shù)控制因子。

3.2 數(shù)據(jù)集

Cityscapes數(shù)據(jù)集共有5 000幅基于汽車駕駛場景的高分辨率圖像，其中訓(xùn)練集2 975幅、驗證集500 幅、測試集1 525 幅，記錄了50個不同城市的街道場景。該數(shù)據(jù)集共有19個類別的密集像素標(biāo)注(97%覆蓋率)。此外，Cityscapes數(shù)據(jù)集有fine和coarse兩套評測標(biāo)準(zhǔn)，前者提供5 000幅精細(xì)標(biāo)注的圖像，后者提供5 000幅精細(xì)標(biāo)注外加20 000幅粗糙標(biāo)注的圖像。SPCANet使用精細(xì)標(biāo)注的圖像標(biāo)簽進(jìn)行訓(xùn)練。

3.3 實驗結(jié)果

3.3.1 實驗結(jié)果對比

表1為Cityscapes測試集在各網(wǎng)絡(luò)模型上的預(yù)測結(jié)果，為杜絕惡意刷指標(biāo)現(xiàn)象，官網(wǎng)未提供該數(shù)據(jù)集test部分的真實標(biāo)注(ground truth)，所以測試集指標(biāo)需要將模型的輸出結(jié)果打包上傳至官網(wǎng)以獲取最終的指標(biāo)結(jié)果。表中指標(biāo)值均為Cityscapes數(shù)據(jù)集官網(wǎng)提供。

表1 不同方法在Cityscapes測試集上的結(jié)果展示Table 1 Results of different methods on Cityscapes test set /%

此外，實驗選擇一些相關(guān)度較高的網(wǎng)絡(luò)模型復(fù)現(xiàn)并進(jìn)行對比。由于本文網(wǎng)絡(luò)是基于條形池化技術(shù)、注意力機制和特征融合的語義分割網(wǎng)絡(luò)，在復(fù)現(xiàn)其他模型時，針對性地選擇了經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu) U-Net、提出條形池化模塊的SPNet、基于注意力的SENet和特征融合提取網(wǎng)絡(luò)PSPNet，對比結(jié)果如表2所示。

表2 各類網(wǎng)絡(luò)在Cityscapes驗證集上的實驗對比Table 2 Comparison with others networks on Cityscapes val set

需要說明的是，復(fù)現(xiàn)網(wǎng)絡(luò)模型采用的代碼均為在GitHub中尋找的網(wǎng)絡(luò)模型源碼。將這些源碼下載后進(jìn)行調(diào)試訓(xùn)練，部分網(wǎng)絡(luò)在復(fù)現(xiàn)過程中受參數(shù)及訓(xùn)練環(huán)境的影響無法完全復(fù)現(xiàn)其真實效果，指標(biāo)值相對較低，表2僅供參考。

圖7為本文網(wǎng)絡(luò)在Cityscapes驗證集上與其他網(wǎng)絡(luò)模型的分割結(jié)果對比。圖中藍(lán)色框為提升效果較為明顯部分。在第1組對比圖中，SPCANet對藍(lán)色框中較小區(qū)域的黃色路標(biāo)進(jìn)行了有效識別，這類物體易在光照影響下出現(xiàn)一定色差，從而導(dǎo)致分割錯誤；在第2組對比圖中，SPCANet較為清晰地將長條狀的交通標(biāo)識和欄桿(灰色標(biāo)注部分)分割出來，行人(紅色標(biāo)注部分)的輪廓也清晰準(zhǔn)確。道路和建筑這類在圖像中占有區(qū)域廣、跨度大的物體，容易受距離影響而導(dǎo)致分割錯誤，在第3組和第4組對比圖中，道路(粉色部分)和建筑的分割精準(zhǔn)度也有明顯提升。

圖8展示了本文方法在Cityscapes測試集的分割效果?？梢钥闯?，交通信號牌、信號燈、行人和籬笆等物體被較為清晰完整地標(biāo)記出來，圖像整體分割質(zhì)量較高。

3.3.2 消融性對比

為了對引入的3個模塊組件進(jìn)行有效性分析，實驗在原backbone的基礎(chǔ)上，采用從無到有的方式依次對3個組件進(jìn)行有效性驗證，對比結(jié)果如表3所示。

消融性對比實驗采用小批量數(shù)據(jù)集進(jìn)行。在Cityscapes數(shù)據(jù)集中隨機抽取 520 幅圖像作為訓(xùn)練數(shù)據(jù)，187幅圖像作為驗證數(shù)據(jù)。在消融性實驗中，分別將圖像裁剪為 768 × 768像素和512 × 512 像素送入網(wǎng)絡(luò)。同時，為了防止小數(shù)據(jù)集訓(xùn)練導(dǎo)致欠擬合，在訓(xùn)練過程中增加了相應(yīng)的迭代次數(shù)，設(shè)定其epoch值為360，單卡訓(xùn)練的 batch_size 值為1。

圖7 SPCANet在Cityscapes數(shù)據(jù)集上與其他網(wǎng)絡(luò)模型的分割結(jié)果對比Fig.7 Comparison of the segmentation resultson on Cityscapes between SPCANet and other models((a)input images;(b)ground truth;(c)PSPNET;(d)SPNET;(e)ours)

圖8 Cityscapes測試集實驗結(jié)果圖Fig.8 Experimental results of Cityscapes test set((a) input images；(b) output results)

Backbone的基礎(chǔ)結(jié)構(gòu)采用SPNet的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，即Resnet101為基準(zhǔn)(bn1層略有調(diào)整)，其4個layer后分別添加了條形池化模塊(SPBlock)，并且在編碼后使用分類模塊(head)進(jìn)行分類。

為了進(jìn)一步對改進(jìn)后條形池化技術(shù)SA Block的有效性進(jìn)行研究，對19種分類中每一類物體的精準(zhǔn)度進(jìn)行比較，具體指標(biāo)結(jié)果如表4所示。從指標(biāo)IoU和Acc的變化中可以發(fā)現(xiàn)，人行道、交通信號燈、交通標(biāo)志、行人和載重汽車的正確率明顯提高。

圖9為SA Block使用對比圖，展示了基礎(chǔ)backbone模型(輸入尺寸為768×768像素)和在backbone基礎(chǔ)上添加SA Block模型(輸入尺寸分別為512×512像素和758×758像素)的輸出結(jié)果。可以看出，人行道、行人和載重汽車的可視化結(jié)果更為明顯，與表4的結(jié)論相同。

圖10為SOCA Block使用對比圖，展示了基礎(chǔ)backbone模型(輸入尺寸為768×768像素)和在backbone基礎(chǔ)上添加SOCA模型(輸入尺寸分別為512×512像素和758×758像素)的輸出結(jié)果。從結(jié)果圖中可以發(fā)現(xiàn)，相關(guān)圖像細(xì)節(jié)分類及準(zhǔn)確度均有所提高。

4 結(jié) 論

本文探索了優(yōu)化的條形池化技術(shù)SA Block、二階通道注意力機制SOCA以及基于內(nèi)容感知子網(wǎng)的特征融合對語義圖像分割的作用。實驗表明，SA Block增大了圖像感受野，并對在圖像中占有區(qū)域廣、跨度大的物體具有較好的感知度；通道注意力的使用可以進(jìn)一步利用圖像間的通道信息提升物體分割質(zhì)量，在一定程度上減少了光照導(dǎo)致的分割錯誤；同時，使用內(nèi)容感知子網(wǎng)進(jìn)行特征融合可以最大程度地保留圖像的原始細(xì)節(jié)特征，使模型的整體分割精度得到進(jìn)一步提升。

表3 不同模塊的消融性分析Table 3 Ablation analysis on different models

表4 Cityscapes不同類別物體的結(jié)果分析Table 4 Segmentation results analysis of Cityscapes in different kinds of objects

圖9 SA Block使用對比圖Fig.9 Comparison chart of SA Block usage ((a) input image；(b) basic backbone；(c) add SA Block(512×512)；(d) add SA Block(768×768))

圖10 SOCA Block使用對比圖Fig.10 Comparison chart of SOCA Block ((a) input image；(b) basic backbone；(c) add SOCA block(512×512)；(d) add SOCA block)(768×768)

在后續(xù)研究工作中，計劃通過弱監(jiān)督或無監(jiān)督的訓(xùn)練方式減少模型對數(shù)據(jù)的依賴性。同時，希望借鑒光譜及色相的概念，進(jìn)一步緩解由于色差導(dǎo)致的分割問題，提高算法模型的容錯性及可移植性，爭取探索到更加準(zhǔn)確且高效的分割算法。