殷梓YIN Zi

（南京信息工程大學，南京 210044）

0 引言

近年來隨著卷積神經(jīng)網(wǎng)絡的飛速發(fā)展，基于全信息學習的語義分割網(wǎng)絡在性能上取得了顯著的提升。然而語義分割任務所需要的數(shù)據(jù)標注往往需要耗費大量的人力和時間成本，這成為其技術(shù)發(fā)展最主要的限制因素，弱信息語義分割方法應運而生，該方法只需類別標簽的前提下完成語義分割的任務。本文設計了一個多尺度類激活圖學習機制，該機制考慮了類激活圖與特征圖之間的學習。其機制中的多尺度注意力學習算法將生成不同尺度特征圖與原尺寸類激活圖學習得到的類激活圖。同時，本文還進行了一系列的消融對比研究。實驗結(jié)果表明，該方法在定性和定量上都優(yōu)于許多現(xiàn)有模型?？偟膩碚f，本文的主要貢獻可歸納如下：①提出了一種新的多尺度類激活圖學習機制（Multi-scale class activation mapping learning mechanism，MCAM），通過機制進行多尺度類激活圖結(jié)合。②多尺度注意力學習算法（Multi-scale attention learning algorithm，MA），來提高類激活圖中對前景的挖掘能力。

1 網(wǎng)絡結(jié)構(gòu)

本文的網(wǎng)絡模型如圖1，采用了多尺度圖片輸入，其分別是原尺寸圖片，原尺寸圖片的0.5 倍，原尺寸圖片的1.5 倍，將三種尺寸圖片輸入進模塊1，模塊1 將得到對應的一系列類激活圖的輸出，具體的類激活圖生成過程將在本文的下一節(jié)進行詳細說明。

圖1 模型結(jié)構(gòu)總示意圖

1.1 多尺度類激活圖學習機制

特征圖與類激活圖之間存在的特征信息在弱信息語義分割任務中具有重要意義。本文將進一步利用不同尺度下的特征圖與類激活圖的信息，故將該模塊命名為多尺度類激活圖學習機制（Multi-scale class activation mapping learning mechanism,MCAM），結(jié)構(gòu)圖如圖2 所示。Feature map（1.0х）、Feature map（0.5х）、Feature map（1.5х）分別表示原尺寸產(chǎn)生的特征圖、原尺寸0.5 倍產(chǎn)生的特征圖、原尺寸1.5 倍產(chǎn)生的特征圖。接著，利用分類網(wǎng)絡全連接層的權(quán)重以類激活圖的傳統(tǒng)始生成方式生成各尺寸特征圖對應的類激活圖CAM（1.0х）、CAM（0.5х）、CAM（1.5х），在下分支，如圖2 中虛線框所示。將Feature map（0.5х）、Feature map（1.5х）和CAM（1.0х）作為模塊2 多尺度注意力學習算法的輸入來生成強化CAM*all，再將兩者結(jié)合生成CAM*all，最后通過融合算法（下文將對其算法進行詳細說明）使CAM（1.0х）、CAM（0.5x）、CAM（1.5х）與CAM*all進行有效結(jié)合。結(jié)合之后的結(jié)果為最終的輸出。

圖2 多尺度類激活圖學習機制

1.2 多尺度注意力學習算法

本文的模塊2 是提出的多尺度注意力學習算法（Multi-scale attention learning algorithm,MA），該模塊嵌入在模塊1 的整體框架中，用于進行不同尺度之間的特征信息學習。如圖3 所示，多尺度注意力學習算法模塊（MA）主要是原尺寸的類激活圖結(jié)果與Feature map（1.5х）進行結(jié)合，F(xiàn)eature map（1.5х）與CAM（1.0х）通過卷積g 學習參數(shù)，卷積g為1x1 的卷積，最后經(jīng)過相乘得到CAM*all，該算法利用不同尺寸之間的信息相關(guān)性生成增強類激活圖，能夠更有效地挖掘前景區(qū)域。

圖3 多尺度注意力學習算法模塊結(jié)構(gòu)圖

2 實驗分析

本文的方法主要由多尺度類激活圖學習機制（MCAM），多尺度注意力學習算法（MA）組成。本文的分割網(wǎng)絡VGG-16[2]在實驗前已經(jīng)由ImageNe 數(shù)據(jù)集進行了預訓練。為了探究各個模塊和算法的有效性，在本節(jié)將對模型以不同的設置條件下進行實驗。本節(jié)中的所有模型都是在PASCAL VOC 2012[1]數(shù)據(jù)集上進行訓練的，本小節(jié)均以數(shù)據(jù)集中訓練集產(chǎn)生的類激活圖與真實標簽來進行質(zhì)量比較，以平均交并比（mean intersection-over-union,mIoU）指標作為判斷準繩。表1 顯示了多尺度類激活圖學習機制（MCAM）的成類激活圖CAM*all和融合之后的最終輸出在mIOU 指標上的表現(xiàn)。從表1 可以看出得到的類激活圖CAM*all要比原始類激活圖CAM 的mIoU 提升約7%，最終輸出結(jié)果要比原始類激活圖CAM 的mIoU 提升約8.4%，這表明MCAM 對模型性能都具有一定的提升。

表1 模型各個模塊在訓練上的性能表現(xiàn)，最佳結(jié)果以粗體顯示

2.1 多尺度類激活圖學習機制實驗分析

上一部分通過指標驗證了其算法能帶來性能的提升，為了進一步證明多尺度類激活圖學習機制的有效性，本部分將針對該機制上下分支輸出結(jié)果CAM*all進行可視化分析，CAM*all如圖4 所示，第一行是在單類別目標圖像，CAM*all相比于CAM 能夠挖掘到更豐富的前景信息，同時對目標的邊緣也較為敏感。第二行和第三行是相同圖片在不同類別（分別是人和飛機）做出的特征反應。可以發(fā)現(xiàn)，CAM*all挖掘到更多背景的同時把部分背景和其他不屬于此類的信息挖掘了出來，對結(jié)果帶來了一定干擾。

圖4

2.2 不同尺度條件下類激活圖的性能

本文研究了不同尺度對多尺度類激活圖學習機制（MCAM）的影響并尋得最為有效的一組尺度輸入。在本文模型結(jié)構(gòu)中，默認輸入的多尺度為{0.5，1.0，1.5}這三種尺度。本節(jié)例舉試驗的三種配置（即{0.25，0.5，1}、{0.5，1，1.5}、{1，1.5，2}），其結(jié)果在表2 中進行了展示。通過表中指標可以直觀發(fā)現(xiàn)，b 組{0.5，1，1.5}獲得了最好的性能55.54%。a 組組合是全部為縮小尺寸輸入其結(jié)果要比b組低1.4%，c 組是全部為放大尺寸的輸入其結(jié)果要比b 組低1.7%。

表2 不同尺度組合的性能表現(xiàn)，最佳結(jié)果以粗體表示

2.3 與其他實驗性能對比

本文提出的弱信息語義分割方法與其他最先進的模型進行了比較，如表3 所示包括MCOF[3]、SeeNet[4]、DSRG[5]、FickleNet[6]、CIAN[7]、EME[8]、MCIS[9]、OAA++[10]、ECS-Net[11]。

表3 與近年先進算法的對比，最佳結(jié)果以粗體表示

為了與各個先進算法模型進行公正的比較，表3 中所有數(shù)據(jù)均來源公開論文的指標。從表中可發(fā)現(xiàn)，本文的方法取得了驗證集67.8%，測試集67.7%的指標，在PASCAL VOC2012 數(shù)據(jù)集[1]的驗證集和測試集中都優(yōu)于近年部分最先進的方法，意味著本文的方法具有更佳的性能表現(xiàn)。

3 結(jié)語

本文提出了一種新的用于弱信息語義分割任務的多尺度特征融合網(wǎng)絡算法，其算法具有高性能的判別性區(qū)域挖掘能力，并使得模型在各種情況下都具有一定的有效性。對于今后的工作，我們將改善在多類別情況下前景挖掘不夠充分的問題，并重點研究如何以一種更加輕量化的網(wǎng)絡來實施特征的提取，同時保持較高的精度。