陳 娜， 張榮芬， 劉宇紅， 李 麗， 張雯雯

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院， 貴州 貴陽 550025）

1 引 言

隨著科學(xué)基礎(chǔ)和技術(shù)實(shí)現(xiàn)的進(jìn)步，通過數(shù)據(jù)學(xué)習(xí)來解決問題的深度學(xué)習(xí)已經(jīng)成為無人駕駛、醫(yī)療影像處理［1］、遙感分割和光學(xué)領(lǐng)域［2-3］中解決問題的通用支柱。圖像語義分割是眾領(lǐng)域中一個(gè)經(jīng)典而基礎(chǔ)的課題。2015年，Long等人提出全卷積網(wǎng)絡(luò)（FCN）［4］來獲取任意大小的輸入并產(chǎn)生相應(yīng)的分割圖，在自然圖像處理中取得了良好的效果。然而，基于FCN的算法對于分割小而復(fù)雜的對象能力有限。

為了解決這些問題，出現(xiàn)了兩種基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像語義分割算法。一種是采用對稱編解碼結(jié)構(gòu)的語義分割模型，主要通過下采樣操作將目標(biāo)信息分布到不同特征圖中，然后通過跳躍連接與解碼器中逐層上采樣恢復(fù)的同層次圖像進(jìn)行拼接，如 U-Net［5］、SegNet［6］。另一種通過加強(qiáng)抽象語義結(jié)合骨干網(wǎng)絡(luò)的思路保留淺層高分辨率的空間細(xì)節(jié)和高層低分辨率的全局語義，如PSPNet［7］中用于提取目標(biāo)圖像全局信息的金字塔池化模塊（Pyramid Pooling Module，PPM）。谷歌 Chen等人引入空洞卷積［8］，提出 DeepLab［9-12］架構(gòu)的幾種變體，采用ASPP （Atrous spatial pyramid pooling）結(jié)構(gòu)，對輸入特征圖進(jìn)行并行采樣，多尺度捕捉特征圖上的圖像上下文信息。Pan等人［13］提出一種用于語義分割的稠密金字塔網(wǎng)絡(luò)（DPN），通過提取每個(gè)通道的特征圖并進(jìn)行通道切換操作以增強(qiáng)網(wǎng)絡(luò)的表示能力。2018年，Shen等人［14］提出一種簡單有效的前向卷積神經(jīng)網(wǎng)絡(luò)注意模塊，隨后胡潔等人提出了SeNet，Woo等人提出了CBAM［15］，主要思想都是利用注意力機(jī)制來推斷特征像素的重要特征。2020年，Li等人［16］提出的SFNet利用注意力機(jī)制學(xué)習(xí)不同感受野之間的語義流來獲取信息。2020年，Zeng等人［17］在Deeplabv3+中增加了特征交叉注意模塊，該模塊通過兩個(gè)分支提取低層空間信息和高層上下文特征來細(xì)化分割結(jié)果。2021年，Liu等人［18］提出了自適應(yīng)多尺度模塊和自適應(yīng)融合模塊，能夠根據(jù)圖像尺度自適應(yīng)地為每幅圖像生成不同的融合權(quán)重比，融合不同尺度圖像的多尺度特征，有效地提高了分割效果。孟俊熙［19］等人設(shè)計(jì)了異感受野拼接的空洞空間金字塔池化結(jié)構(gòu)，增強(qiáng)了各層級(jí)信息間相關(guān)性。然而，上述方法忽略了類別之間的上下文信息，不能很好地整合全局像素，并且圖像特征提取過程細(xì)節(jié)信息有所丟失［20］，造成目標(biāo)邊緣分割精度低等問題。

針對這些問題，相較于第一類缺乏語義信息的模型，目前第二類中專門用于處理語義分割的Deeplabv3+網(wǎng)絡(luò)模型更為優(yōu)越。本文以Deeplabv3+網(wǎng)絡(luò)為基礎(chǔ)，提出基于類特征注意力機(jī)制融合的語義分割算法CFANet（Class Feature Attention Mechanism Network）。本文主要的貢獻(xiàn)如下：（1）針對DeepLabv3+模型對圖像目標(biāo)特征提取困難，注意力信息不能有效利用等問題，提出了CFANet。它采用端到端的深度CNN結(jié)構(gòu)，結(jié)合了空間細(xì)節(jié)信息、全局上下文信息和類上下文信息來增強(qiáng)特征表征能力，最后通過一個(gè)通道注意力模塊對前期多層融合的特征進(jìn)行重新校準(zhǔn)，抑制冗余信息加強(qiáng)顯著特征來提高模型語義分割精度。（2）為了更好地提取高級(jí)語義信息。首先構(gòu)建了類特征注意力機(jī)制模塊(Class Feature Attention Mechanism，CFAM)[21]來捕捉對象的類別上下文信息,然后改進(jìn)了ASPP模塊(Multi-parallel Atrous Spatial Pyramid Pooling，M-ASPP)來合并全局上下文信息，優(yōu)化卷積運(yùn)算帶來局部信息丟失問題。(3)最后利用通道注意力模塊 FCA（Feature Channel Attention）的特性對大量的融合特征重新校準(zhǔn)，抑制冗余信息加強(qiáng)顯著特征來提高網(wǎng)絡(luò)的表征能力。

2 本文算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出了一種改進(jìn)的Deeplabv3+網(wǎng)絡(luò)，命名為CFANet，如圖1所示。它以更有效的方式從空間、通道和類別的角度自適應(yīng)地捕捉全局相關(guān)性。它的編碼器采用ResNet50［22］作為骨干網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2所示。ResNet50首先通過7×7卷積將特征圖大小縮小2倍，然后通過最大池化層將其縮小2倍，之后經(jīng)過4個(gè)殘差塊，其中前兩個(gè)殘差塊都將特征圖大小縮小2倍，后兩個(gè)殘差塊通過空洞卷積保持特征圖大小不變。每個(gè)殘差塊由多個(gè)殘差結(jié)構(gòu)組成，結(jié)構(gòu)如圖3所示，包含兩個(gè)不同通道的1×1卷積和一個(gè)3×3卷積，每個(gè)殘差結(jié)構(gòu)都有一條跳躍連接線，引入跳躍連接線是為了解決大量網(wǎng)絡(luò)層造成的梯度爆炸。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Overall network structure

圖2 ResNet50的結(jié)構(gòu)Fig.2 Structure of ResNet50

圖3 殘差塊的結(jié)構(gòu)Fig.3 Structure of the residual block

編碼器使用ResNet50進(jìn)行特征提取，將4個(gè)階段的輸出作為多尺度特征融合過程的輸入，在塊3和塊4之后分別連接CFAM和M-ASPP模塊，豐富關(guān)于類別和全局上下文的信息。編碼端通過將前期大量融合的拼接特征輸入到通道注意力［15，17］（Feature channel attention，F(xiàn)CA）模 塊 ，鑒于通道注意力機(jī)制對重要信息的選擇性注意，能更有效提取到關(guān)注的正確特征，弱化不重要的冗余信息，保留關(guān)鍵特征，提高自我注意力機(jī)制的效率。注意力機(jī)制是一個(gè)簡單有效的輕量級(jí)模塊，添加這個(gè)模塊幾乎不會(huì)增加額外的計(jì)算。最后將輸出的重要特征經(jīng)過卷積和上采樣操作恢復(fù)到原始圖像大小，以更有效和更高效的方式從空間、通道和類別的角度自適應(yīng)地捕捉全局相關(guān)性。

2.2 類特征注意力模塊

注意力機(jī)制本質(zhì)上是一種矩陣乘法的運(yùn)算，可以確定圖像中每個(gè)像素的依賴關(guān)系，增加依賴關(guān)系強(qiáng)的像素的權(quán)重，從而減少不必要噪聲的干擾。為了更準(zhǔn)確地捕捉類之間的依賴關(guān)系，增強(qiáng)網(wǎng)絡(luò)理解各類信息的能力，本文提出了類特征注意力機(jī)制模塊（CFAM）［21]，如圖4所示。

圖4 類特征注意力結(jié)構(gòu)Fig.4 Structure of the class feature attention module

類特征注意力模塊可以從類別信息的角度捕捉遠(yuǎn)程上下文信息，即圖像中每個(gè)類別與輸入特征每個(gè)通道之間的關(guān)系被顯式建模，來增強(qiáng)每個(gè)類別之間的上下文信息依賴性。首先，將主干網(wǎng)絡(luò) Block3的輸出特征定義為A∈RC×H×W，將其分別通過兩個(gè)1×1卷積生成特征圖B∈RC'×H×W和類別關(guān)注度特征圖D∈RN×H×W，其中C'是B縮減后的通道數(shù)，N代表圖像分類中的類別數(shù)。接下來將B轉(zhuǎn)換變?yōu)锽∈RC'×HW，同時(shí)將D經(jīng)過softmax函數(shù)后變換得到D∈RN×HW，將B∈RC'×HW和D∈RN×HW的轉(zhuǎn)置相乘通過softmax函數(shù)生成聚集所有類的相似性映射圖X∈RC'×N，具體運(yùn)算如式（1）所示：

其中：Bu，i表示特征圖B第u個(gè)通道的第i個(gè)像素值，Dk，i表示特征圖D第k個(gè)通道的第i個(gè)像素值，au，k表示Bu和Dk之間的類特征關(guān)聯(lián)矩陣，xu，k∈X表示類之間的影響因子，u∈[1，2，...C']，k∈[1，2，...N]。

將X∈RC'×N和D∈RN×H×W相乘得到Y(jié)∈RC'×H×W，將其通過1×1卷積和A相加，最終輸出的類增強(qiáng)特征圖如式（2）所示：

其中，F(xiàn)u表示表示輸出特征F∈RC×H×W第u個(gè)通道，f(·)表示1×1卷積-BN-ReLU系列運(yùn)算。式（2）顯示每個(gè)通道的最終輸出是類別特征注意圖中所有通道基于類別的加權(quán)和，表示特征圖之間基于類別的語義依賴，也就是提出的CFAM直接提高了類別級(jí)信息的感知和辨別能力。

2.3 改進(jìn)的ASPP模塊

在DeepLabv3+結(jié)構(gòu)編碼最后階段，通過并行不同膨脹率的空洞卷積來增大卷積核的感受野，抵消一部分池化層帶來的信息丟失，進(jìn)而有效實(shí)現(xiàn)多尺度特征提取。雖然使用ASPP結(jié)構(gòu)在一定程度上通過增大感受野提高了分割性能，但是空洞卷積存在卷積核不連續(xù)的缺陷。為了解決上述問題，本文結(jié)合混合擴(kuò)張卷積［23-24］（HDC）的思想將ASPP重構(gòu)為MASPP。HDC的思想就是當(dāng)使用多個(gè)空洞卷積時(shí)，需要設(shè)計(jì)各卷積核的膨脹率使其剛好能覆蓋底層特征層。改進(jìn)的ASPP模塊如圖5所示?；贏SPP模塊，M-ASPP模塊將不同采樣率的空洞卷積串聯(lián)起來，這樣空洞卷積的空洞可以被覆蓋，防止信息丟失。然后，對每個(gè)分支中不同采樣率提取的特征進(jìn)行融合，得到最終的特征圖。

圖5 M-ASPP結(jié)構(gòu)Fig.5 Structure of the multi-parallel ASPP

2.4 通道注意力模塊

CFANet在編碼端集成了MASPP和CFAM模塊。分別利用MASPP模塊提取多尺度信息，CFAM模塊提取類特征信息，能更好地提取底層細(xì)節(jié)。編碼端不同尺度特征圖之間重復(fù)的通道融合操作，會(huì)使最終的輸出存在特征冗余現(xiàn)象，故利用FCA模塊（圖6）將拼接的特征圖通過全局池化和最大池化沿空間維度壓縮上下文特征，得到兩個(gè)向量，然后將兩個(gè)向量共享給全連通層和Sigmoid算子生成一個(gè)權(quán)重系數(shù)，將根據(jù)信息的重要性分配好的加權(quán)系數(shù)乘以原始特征，得到縮放后更有效的新特征，提高分割圖重要特征的精度。運(yùn)算過程可用式（3）表示：

圖6 FCA結(jié)構(gòu)Fig.6 Structure of FCA

其中：MLP是多感知層，σ是sigmoid激活函數(shù)，F(xiàn)是通道拼接后新的特征圖。先分別進(jìn)行一個(gè)全局平均池化和最大池化，得到兩個(gè)1×1×C通道描述。

3 實(shí)驗(yàn)研究與結(jié)果分析

3.1 數(shù)據(jù)集和訓(xùn)練策略

本文網(wǎng)絡(luò)的有效性和泛化性用Pascal Voc2012和Cityscapes數(shù)據(jù)集進(jìn)行驗(yàn)證。Voc2012分割數(shù)據(jù)集包含21個(gè)類別，1 464張訓(xùn)練圖片、1 449張驗(yàn)證圖片和1 456張測試圖片。我們通過對圖像進(jìn)行亮度增強(qiáng)、對比度增強(qiáng)、水平翻轉(zhuǎn)和隨機(jī)方向翻轉(zhuǎn)擴(kuò)展數(shù)據(jù)集得到增強(qiáng)版Pascal Voc2012數(shù)據(jù)集，共10 582張訓(xùn)練圖像。Cityscapes是城市街景相關(guān)的語義數(shù)據(jù)集，包含50個(gè)城市和21個(gè)類別的5 000張圖像，其中有2 975張訓(xùn)練集、500張驗(yàn)證集和1 525張測試集。這兩個(gè)數(shù)據(jù)集都是圖像語義分割任務(wù)中的重要數(shù)據(jù)庫。

在對本文提出的算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練和預(yù)測時(shí)，采用Pytorch框架，在Ubuntu16.04系統(tǒng)和Nvidia GeForce GTX1080Ti設(shè)備的實(shí)驗(yàn)條件下。網(wǎng)絡(luò)輸入圖像的尺寸分別是512 pixel×512 pixel和768 pixel×768 pixel，批量大小設(shè)置分別為8和4，初始學(xué)習(xí)率設(shè)置為0.000 1，動(dòng)量是0.9。

3.2 評(píng)價(jià)指標(biāo)

針對本文提出的算法模型，使用語義分割中的標(biāo)準(zhǔn)度量MIoU（平均交并比）作為評(píng)價(jià)標(biāo)準(zhǔn)來驗(yàn)證網(wǎng)絡(luò)的有效性，它反映了模型對每一類預(yù)測的結(jié)果和真實(shí)值的交集與并集的比值求和再平均的結(jié)果，IoU值越高，測量值與真實(shí)值的重疊越大，網(wǎng)絡(luò)預(yù)測越準(zhǔn)確，如式（4）所示：

其中，物體標(biāo)簽類別數(shù)量用k表示，k+1為加上背景以后的總標(biāo)簽類別，pij是指預(yù)測結(jié)果中將i預(yù)測為j的概率。在本文網(wǎng)絡(luò)與其他不同網(wǎng)絡(luò)性能對比的實(shí)驗(yàn)中，還使用了類別平均像素準(zhǔn)確率（MPA）。

3.3 特征提取網(wǎng)絡(luò)選取實(shí)驗(yàn)

為了探索不同特征提取網(wǎng)絡(luò)對CFANet的影響并找到最佳特征提取網(wǎng)絡(luò)，連續(xù)使用Mobilenetv2、Xception、ResNet34、ResNet50和 ResNet101等不同的骨干網(wǎng)絡(luò)做了對比實(shí)驗(yàn)。獲得的結(jié)果如表1所示。

從表1可以看出，Mobilenetv2達(dá)到了參數(shù)數(shù)量的最優(yōu)值，但精確度最低，MIoU比最優(yōu)值低7.21%。Xception的預(yù)測時(shí)間較長，參數(shù)量大，MIoU值也不優(yōu)。ResNet34達(dá)到了預(yù)測時(shí)間的最優(yōu)值，但其MIoU低于ResNet50，兩者之間的差距較大。ResNet50的MIoU達(dá)到最優(yōu)值80.34%，參數(shù)量雖大于Mobilenetv2，但各項(xiàng)對比綜合來說最佳。ResNet101的參數(shù)數(shù)量和預(yù)測時(shí)間都比較大，其MIoU也低于ResNet50。因此，從綜合的角度來看，使用ResNet50進(jìn)行特征提取可以提供最佳的總體結(jié)果。

表1 不同基礎(chǔ)網(wǎng)絡(luò)的性能Tab.1 Performance of different base networks

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證各模塊對網(wǎng)絡(luò)CFANet的影響及性能效果，在Voc2012增強(qiáng)版數(shù)據(jù)集上設(shè)計(jì)該實(shí)驗(yàn)。采用ResNet50作為主干模型，分別將本文提出的CFAM、M-ASPP和FCA模塊添加到網(wǎng)絡(luò)中進(jìn)行實(shí)驗(yàn)并記錄MIoU值，結(jié)果如表2所示。

表2 模塊消融實(shí)驗(yàn)Tab.2 Module ablation experiment

從表2可以看出，MASPP模塊比ASPP模塊表現(xiàn)更好，MIoU結(jié)果比ASPP模塊高了0.54%。類特征注意力模塊的MIoU值高達(dá)78.83%，比不加該模塊增加了1.24%，表明原網(wǎng)絡(luò)中被忽略的類別特征信息得到了利用，有助于獲得對對象類別信息更敏感的細(xì)粒度特征表示，增強(qiáng)網(wǎng)絡(luò)的判別能力?？偟膶?shí)驗(yàn)結(jié)果表明，本文綜合注意力機(jī)制提出的融合多尺度特征的模塊能提升網(wǎng)絡(luò)表征能力，對不同特征的語義信息進(jìn)行更好的提取融合。

3.5 對比實(shí)驗(yàn)

為了驗(yàn)證本文設(shè)計(jì)算法的有效性，設(shè)計(jì)了兩個(gè)對比實(shí)驗(yàn)，其一將本文算法與復(fù)現(xiàn)的經(jīng)典網(wǎng)絡(luò)對比；其二將本文算法與近年相關(guān)研究對比。表3記錄了復(fù)現(xiàn)網(wǎng)絡(luò)和本文網(wǎng)絡(luò)改進(jìn)前后的MPA值、MIoU值、預(yù)測時(shí)間值等網(wǎng)絡(luò)性能的比較。由于SegNet忽略了圖像的上下文信息，分類精度不理想。DenseASPP比其他方法具有更輕的網(wǎng)絡(luò)結(jié)構(gòu)，MIoU值比最優(yōu)值低4.7%。雖然Deeplabv3+結(jié)合了多尺度信息，但預(yù)測時(shí)間最高且MIoU 值不是最優(yōu)。ACFNet［25］結(jié)合了類注意模塊，MIoU值達(dá)到了78.98%。本文所提出的CFANet取得了81.34%的最優(yōu)MIoU值，比原來的Deeplabv3+提高了4.75%，MPA值也提高了2.95%，其參數(shù)數(shù)量和預(yù)測效率與其他方法相比處于中等水平。盡管它比其他模型稍大且效率較低，但分割結(jié)果更優(yōu)。

表3 經(jīng)典網(wǎng)絡(luò)性能對比Tab.3 Classic network performance comparison

表4顯示了近兩年相關(guān)研究和本文算法的比較，可以看出，不管是在復(fù)現(xiàn)的經(jīng)典網(wǎng)絡(luò)還是近年研究中，本文算法在準(zhǔn)確性方面達(dá)到了更優(yōu)值。在實(shí)際應(yīng)用中，不僅要考慮模型大小，還要考慮模型效率。因此CFANet在整體性能方面可以被認(rèn)為是最好的。

表4 不同網(wǎng)絡(luò)性能對比Tab.4 Performance of different networks

圖7顯示了本文提出算法模型的可視化劃分結(jié)果?？梢钥闯觯珻FANet在整體圖像、邊緣和細(xì)節(jié)上均優(yōu)于原模型算法。本文網(wǎng)絡(luò)利用不同注意力之間的特性探索不同像素之間的位置對應(yīng)關(guān)系，空間細(xì)節(jié)特征增強(qiáng)和類別上下文信息的聯(lián)合研究提高了平均交并比和平均像素精度，有效增強(qiáng)了圖像邊緣相同的目標(biāo)特征，從而準(zhǔn)確分割邊緣目標(biāo)。

圖7 Voc2012數(shù)據(jù)集上每個(gè)模型的可視化結(jié)果Fig.7 Visualization results of each model on the Voc2012 dataset

3.6 泛化實(shí)驗(yàn)

為了進(jìn)一步證明該算法的泛化性，在Cityscapes數(shù)據(jù)集上測試了改進(jìn)前后網(wǎng)絡(luò)對圖像的分割效果，記錄的MIoU值如表5所示。

從表5可以看出，絕大部分物體都得到了更好的分割精度，總的平均交并比相比于原模型提高了2.14%，進(jìn)一步表明了該算法的普適和有用。從圖7的可視化圖片中可以更直觀地發(fā)現(xiàn)，圖中所有目標(biāo)物均有了更精細(xì)的分割結(jié)果，并減少了意外的錯(cuò)誤分類。如圖8的第三行中黃色虛線圓圈內(nèi)的物體被原模型錯(cuò)誤分類為汽車，在本文模型中被正確分類。相較于原始網(wǎng)絡(luò)，本文算法對圖片的邊緣和類別有了更準(zhǔn)確的分割效果。

圖8 在Cityscapes數(shù)據(jù)集上可視化結(jié)果Fig.8 Visualize the results on the Cityscapes dataset

表5 在Cityscapes數(shù)據(jù)集上的性能檢測Tab.5 Performance testing on the Cityscapes dataset

以上實(shí)驗(yàn)表明，本文提出的實(shí)現(xiàn)類別語義信息補(bǔ)充的CFAM和多并行的ASPP模塊以及保留重要特征FCA模塊的效用均得到了驗(yàn)證，各個(gè)模塊之間的聯(lián)合學(xué)習(xí)可以更高效地使用目標(biāo)區(qū)域中的信息并從中聚合特征，在一定程度上解決因局部特征提取不連貫所造成的大規(guī)模目標(biāo)類內(nèi)不一致和目標(biāo)分割不完整、不清晰等問題。整個(gè)網(wǎng)絡(luò)的特征細(xì)化過程最終將引導(dǎo)網(wǎng)絡(luò)合理使用給定的特征，可以看出，我們的模型在整體、邊緣和細(xì)節(jié)方面都優(yōu)于原始模型。

4 結(jié) 論

為了使DeepLabv3+模型中圖像邊緣像素得到更清晰的呈現(xiàn)以及注意力信息得到高效利用，本文提出的基于類特征注意力機(jī)制融合的語義分割算法CFANet，通過增強(qiáng)特征的多樣性和關(guān)鍵信息的捕捉來細(xì)化目標(biāo)邊緣像素和類別的高精度分割。在兩個(gè)常用的數(shù)據(jù)集Pascal Voc2012和Cityscapes上對改進(jìn)模型的有效性和泛化性進(jìn)行了測試，平均交并比分別達(dá)到了81.34%和76.27%。實(shí)驗(yàn)數(shù)據(jù)和可視化結(jié)果均表明，本文設(shè)計(jì)的CFANet可以提供更多的語義信息來細(xì)化分割結(jié)果。雖然本文所提出的方法可以使圖像達(dá)到很好的分割效果，但仍有改進(jìn)的空間，本文沒有考慮小對象分割的相關(guān)網(wǎng)絡(luò)設(shè)計(jì)，因此，今后的工作將致力于對小目標(biāo)分割進(jìn)行相關(guān)研究。