伍邦谷，張?zhí)K林，石 紅，朱鵬飛，王旗龍，胡清華

（1. 天津大學智能與計算學部,天津 300350；2. 中汽數(shù)據(jù)(天津)有限公司,天津 300380）

1 引言

深層卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用到多種人工智能相關(guān)的任務(wù)中，例如圖像分類、目標檢測、實例分割等，并在相應(yīng)任務(wù)中都取得了卓越的性能和效果. 但是如何在復(fù)雜場景和任務(wù)上進一步提升卷積神經(jīng)網(wǎng)絡(luò)的準確率和穩(wěn)定性仍是一個非常具體挑戰(zhàn)性的問題. 解決該問題的一個重要思路就是提升卷積神經(jīng)網(wǎng)絡(luò)的特征學習能力，從而提升神經(jīng)網(wǎng)絡(luò)的表達和泛化能力［1］.沿著這個思路，近年來研究者們在如何進一步提升深層卷積神經(jīng)網(wǎng)絡(luò)性能方面做了大量的工作［2～8］，包括不斷擴增深層卷積神經(jīng)網(wǎng)絡(luò)的深度和寬度［3～5］，利用跳躍連接［6］和密集連接［7］提升深層卷積神經(jīng)網(wǎng)絡(luò)的訓練穩(wěn)定性和特征利用率. 特別地，視覺注意力機制［8］通過自適應(yīng)學習特征的重要性，對不同的特征進行加權(quán)，突出對特定任務(wù)重要的特性，壓制對任務(wù)無用或者有害的特征，實現(xiàn)樣本級別的自適應(yīng)特征選擇，從而增強特征學習能力，提升卷積神經(jīng)網(wǎng)絡(luò)的表達和泛化能力.

SENet［8］是利用視覺注意力機制提升深層卷積神經(jīng)網(wǎng)絡(luò)性能最具有代表性的工作之一，它通過聚合和激發(fā)操作來學習通道之間的相關(guān)性，并生成通道級的注意力圖對卷積特征進行加權(quán). 其中，聚合操作通過全局平均池化對輸入的卷積特征進行全局編碼，激發(fā)操作通過兩層全連接層學習通道之間的全局相關(guān)性，最后使用Sigmoid 函數(shù)對學習的相關(guān)性進行激活從而獲得各個通道的權(quán)重.SENet在圖像分類任務(wù)上取得了非常優(yōu)異的性能，并且啟發(fā)了后續(xù)一系列關(guān)于視覺注意力機制的探索［9～14］. 例如，CBAM［9］在聚合操作中同時引入了全局均值池化和全局極大值池化，并且額外加入空間維度的視覺注意力模塊，進一步提升了視覺注意力機制的性能. 此外，還有一些工作［10～14］通過設(shè)計一些更為精巧的視覺注意力模塊學習所有通道之間的非局部非線性相關(guān)性. 雖然這些方法在性能上得到了一定的提升，但是不可避免地引入了更多的參數(shù)和計算量，從而提升了模型復(fù)雜度，并限制了計算效率.

對于通道注意力機制而言，通道相關(guān)性建模是一個至關(guān)重要的環(huán)節(jié).ECA-Net［15］提出一種局部通道相關(guān)性建模的思想，打破了之前全局通道相關(guān)性建模的必要性假設(shè)，在效率和性能上得到了非常好的平衡. 然而，無論是ECA-Net還是現(xiàn)有其他的視覺注意力方法都忽略了卷積通道相關(guān)性建模中不確定性帶來的影響.例如，由輸入數(shù)據(jù)或標簽噪聲和缺失導(dǎo)致的卷積特征噪聲和異常值會給通道相關(guān)性估計帶來明顯的偏差和不確定性，在一定程度上限制了注意力機制的泛化能力和穩(wěn)定性. 類似的不確定性問題已經(jīng)在深層神經(jīng)網(wǎng)絡(luò)模型中得到了研究者的關(guān)注. 貝葉斯神經(jīng)網(wǎng)絡(luò)［16］通過對深層神經(jīng)網(wǎng)絡(luò)的輸出進行概率化建模，是實現(xiàn)神經(jīng)網(wǎng)絡(luò)不確定性建模的重要手段. 然而這些貝葉斯神經(jīng)網(wǎng)絡(luò)通常具有較高的計算復(fù)雜度，特別是其推理過程. 為了緩解貝葉斯神經(jīng)網(wǎng)絡(luò)計算復(fù)雜度高的問題，研究者針對后驗分布的建模提出多種近似算法［17，18］. 其中，文獻［18］提出了一種MC Dropout 方法，并取得了較好的性能.

受到ECA-Net［15］和MC Dropout［18］的啟 發(fā)，本文提出一種多分支局部通道注意力模塊（Multi-Branch Local Channel Attention，MBLCA）. 如圖1 所示，在模型訓練階段，MBLCA模塊對聚合后特征向量進行多重采樣，使用Dropout［19］得到多個隨機生成重采樣的特征，利用權(quán)重共享的1D 卷積學習所有重采樣特征各自的局部通道之間的相關(guān)性，最終通過平均融合和Sigmoid 函數(shù)得到通道權(quán)重. 因此，MBLCA 模塊可以通過快速1D 卷積和MC Dropout 實現(xiàn)局部通道注意力機制的不確定性建模. 在模型推理階段，為了避免隨機性，直接使用訓練好的1D 卷積進行運算，這也使得MBLCA 方法的推理效率與ECA-Net［15］完全一致. 通過訓練不確定性局部通道注意力模塊，可以進一步提升深層卷積神經(jīng)網(wǎng)絡(luò)中視覺注意力機制的泛化能力和穩(wěn)定性. 為了驗證所提方法的有效性，本文在ImageNet［3］和MS COCO［20］數(shù)據(jù)集上進行了大量的實驗. 主要貢獻總結(jié)如下.

圖1 多分支局部通道注意力（MBLCA）模塊整體框圖

（1）嘗試通過對局部通道注意力機制進行不確定性建模，以提高視覺注意力模塊的泛化能力和穩(wěn)定性.為此，提出了一種多分支局部通道注意力模塊（MBLCA），該模塊采用權(quán)重共享的快速1D 卷積和MC Dropout 來學習通道之間的局部相關(guān)性和建模模型的不確定性.

（2）提出的MBLCA 方法在ImageNet-1K 和MS COCO2017 數(shù)據(jù)集上針對圖像分類、目標檢測以及實例分割等多種任務(wù)進行了大量的實驗驗證. 實驗結(jié)果表明，MBLCA方法相比于其他同類方法具有更低的模型復(fù)雜度和更好的性能，在模型復(fù)雜度和性能之間實現(xiàn)了較好的平衡.

2 相關(guān)工作

2.1 視覺注意力機制

視覺注意力機制在提升深層卷積神經(jīng)網(wǎng)絡(luò)性能方面展現(xiàn)了強大的潛力.SENet［8］在學習視覺注意力時建模所有通道之間的相互依賴關(guān)系，利用了通道的全局上下文信息. 在SENet［8］的基礎(chǔ)上，CBAM［9］同時引入了通道維度和空間維度的注意力模塊，并且探索了2個模塊之間不同融合方式的影響. 文獻［21］將注意力學習與相關(guān)濾波跟蹤算法結(jié)合，引入對目標的空時域特性的考慮，提升了算法的精確度和成功率. DSCA-Net［22］提出了一種基于雙流信息與通道注意力的室內(nèi)檢測方法以解決計數(shù)問題中目標尺度多樣性的問題. 此外，一些研究者探索了更加復(fù)雜的通道相關(guān)性學習方法以獲得更高的性能. 其中，非局部神經(jīng)網(wǎng)絡(luò)［14］提出了一種非局部模塊用于捕獲跨通道和空間位置的全局依賴關(guān)系，在視頻識別任務(wù)中取得了顯著的性能提升. 文獻［23］將基于深度學習的非局部注意力模塊應(yīng)用于增強網(wǎng)絡(luò)的圖像去雨效果，有效地解決了不同雨密度和不同大小雨條紋的問題.GCNet［24］簡化了非局部模塊［14］，并且將之與SE模塊相結(jié)合得到一種更高效的全局通道依賴關(guān)系學習方式. DANet［12］、A2-Net［11］和AANet［10］在非局部模塊［14］的基礎(chǔ)上探索了更加有效的全局的依賴關(guān)系學習模塊.GSoP 模塊［13］從二階統(tǒng)計信息的角度發(fā)掘通道和空間的全局二階相關(guān)性. 上述的方法主要基于2種思路對注意力模塊進行設(shè)計：第一種思路是計算空間維度或者通道維度的注意力圖，通過利用注意力圖重加權(quán)策略實現(xiàn)特征增強［8，9，13］；另一種思路是學習并利用空間與通道之間的長距離非局部的相關(guān)性以提升模型的表達能力的方法［10～12，14］. 但是，這些方法在通過利用注意力機制提升深層神經(jīng)網(wǎng)絡(luò)模型性能的同時，也引入了大量參數(shù)量和計算復(fù)雜度，影響了網(wǎng)絡(luò)模型的計算效率. 與這些方法不同，MBLCA 模塊采用局部通道視覺注意機制，用一種更加高效的方式達到同樣甚至更好的性能. 本文方法與ECANet［15］在建模通道相關(guān)性上具有相似思想，它們均采用高效的1D 卷積學習通道局部相關(guān)性. 然而，與ECANet［15］不同的是，MBLCA 通過對通道注意力模塊進行不確定性建模，進一步提升模型的泛化能力和穩(wěn)定性，同時不引入額外的推理代價.

2.2 模型不確定性

近年來，深度學習中的不確定性建模引起了研究者們的廣泛關(guān)注. 貝葉斯神經(jīng)網(wǎng)絡(luò)［16］隨之被提出來用于解決這個問題. 然而其存在計算復(fù)雜度高的問題，很難應(yīng)用到實際任務(wù)中. 為此，研究者提出了多種貝葉斯神經(jīng)網(wǎng)絡(luò)的近似算法，其中包括基于抽樣的變分推理和隨機變分推理方法［18，25～27］. 特別地，文獻［18］提出了使用MC Dropout 方法對貝葉斯推斷進行近似以完成深層神經(jīng)網(wǎng)絡(luò)的不確定性建模. 與此同時，不確定性建模在多個領(lǐng)域都得到了廣泛的應(yīng)用. 文獻［28］將不確定性建模應(yīng)用于高密度椒鹽噪聲降噪方法中，并顯著提升了算法的綜合性能. 文獻［29］提出了一種新的空間數(shù)據(jù)不確定性建模方法，并在圖像數(shù)據(jù)上驗證了該方法的有效性. 上述現(xiàn)有的不確定性建模方法主要關(guān)注數(shù)據(jù)的不確定性和整體模型預(yù)測的不確定性，極少關(guān)注整體模型中局部模塊的不確定性. 本文提出的MBLCA 受MC Dropout［18］的啟發(fā)，引入MC Dropout 策略對局部注意力模塊進行不確定性建模，從而進一步提升整體神經(jīng)網(wǎng)絡(luò)模型的泛化能力和穩(wěn)定性.

2.3 多分支結(jié)構(gòu)

在深度學習的模型設(shè)計中，多分支結(jié)構(gòu)經(jīng)常被用于學習多尺度、多視角的信息等，以提升模型的表征能力. 文獻［30］提出一種全局多分支RNN 對時間序列數(shù)據(jù)中時間延遲進行建模，以增強網(wǎng)絡(luò)的表征能力. 不同于文獻［30］，本文的方法（MBLCA）所設(shè)計的多分支結(jié)構(gòu)是一種局部模塊，其目的是建模通道注意力機制的不確定性，以提高神經(jīng)網(wǎng)絡(luò)的泛化能力和穩(wěn)定性. Inception 網(wǎng)絡(luò)［5］和雙通路網(wǎng)絡(luò)（Dual Path Network，DPN）［31］設(shè)計了局部多分支結(jié)構(gòu)用于提升神經(jīng)網(wǎng)絡(luò)的性能，其中Inception 網(wǎng)絡(luò)［5］采用不同尺寸的卷積運算，形成了一種多分支結(jié)構(gòu)用于提取圖像多尺度特征；DPN［31］結(jié)合了ResNet［6］和DenseNet［7］的優(yōu)勢，一邊利用殘差旁支通路復(fù)用特征，另一邊利用密集連接旁支通路探索新特征. 不同于上述這些方法，MBLCA 基于MC Dropout方法設(shè)計了多分支結(jié)構(gòu)對通道注意力機制進行不確定性建模.

3 多分支局部通道注意力機制

3.1 SENet中的通道注意力機制

SE模塊通過建模所有通道之間的關(guān)系學習每個通道的權(quán)重. 對于任意卷積層的輸出X∈RW×H×C，其中W，H和C分別表示特征圖的寬度，高度以及通道的維度，SE模塊通過引入聚合，激發(fā)以及重校準三個連續(xù)的操作得到加權(quán)后的特征圖，具體計算過程如下：

其中，W是一組可學習參數(shù)，用于建模聚合后特征所有通道之間的相關(guān)性.

SE模塊的聚合操作Fsq(X)通過對卷積特征進行全局均值池化得到其維度上的全局分布. 具體而言，對于給定的特征圖X，F(xiàn)sq：X→s∈RC對X進行聚合操作，其中s的第c個元素計算如下：

其中，Xc表示卷積特征的第c維通道的特征圖.

隨后，激發(fā)操作Fex(s，W)采用2 個全連接層和Sigmoid 激活函數(shù)生成每一個通道的權(quán)重，其中兩個全連接層用于建模所有通道之間的相關(guān)性. 最終生成的權(quán)重ω計算如下：

其中，W=，ReLU 表示線性整流函數(shù)［32］，σ為Sigmoid 激活函數(shù). 為了降低模型的復(fù)雜度，W1和W2為2 個低秩矩陣，對特征向量進行了降維，而r表示降維的比例. 最后，權(quán)重ω通過通道級的點積運算對卷積特征進行加權(quán)重校準.

3.2 多分支局部通道注意力機制（MBLCA）

MBLCA 模塊同樣采用全局均值池化（Global Average Pooling，GAP）生成特征向量s. 與以往關(guān)注于建模全局通道相關(guān)性的注意力方法不同，MBLCA 方法旨在更高效建模通道之間的相關(guān)性，從而降低模型復(fù)雜度.受ECA-Net［15］的啟發(fā)，本文采用快速1D 卷積建模通道之間的局部相關(guān)性. 具體而言，在聚合后的特征向量上利用快速1D 卷積計算通道的局部相關(guān)性，采取Sigmoid函數(shù)獲得各通道的權(quán)重，整體運算過程如下：

其中，C1Dk(·)表示卷積核大小為k的1D 卷積，σ為Sigmoid激活函數(shù).

上述的局部通道注意力機制（式（4））可以非常高效地建模通道之間的相關(guān)性，并生成較為有效的通道權(quán)重. 然而，通道局部交互范圍的限制（例如，不同的通道存在不同的交互范圍）以及輸入信息自身復(fù)雜性（例如，通道特征存在潛在的噪聲或者異常點）都會對這種通道局部相關(guān)性的建模，帶來明顯的不確定性. 為了能夠建模局部通道注意力機制存在的不確定性，在式（4）的基礎(chǔ)上引入了MC Dropout 機制，通過近似貝葉斯推斷的方式，對視覺注意力模型中的不確定性進行建模.

在具體實現(xiàn)過程中，MBLCA 模塊中引入了一個可學習參數(shù). 對于給定的輸入s和期望權(quán)重參數(shù)，MBLCA模塊期望可以學習到以下分布：

然而，式（5）是很難計算得到的. 因此，本文采用蒙特卡洛方法在較小計算量的前提下，對s進行有限次數(shù)的重采樣. 同時，Dropout 作為一個天然的隨機生成器，對重采樣的特征進行隨機擾動，以近似后驗分布于是，構(gòu)造了一種多分支結(jié)構(gòu)，利用蒙特卡洛采樣和Dropout生成多分支通道特征向量：

如圖1（a）所示，在訓練過程中對于聚合的通道特征先進行重采樣和Dropout 操作，利用帶有共享權(quán)重的1D 卷積計算多分支通道特征向量的局部相關(guān)性，最后對多分支的輸出結(jié)果進行平均聚合. 根據(jù)式（4），MBLCA模塊在訓練過程中的權(quán)重ω可以有如下公式計算：

由式（7）可以看出，通過對輸入特征進行多重隨機采樣，可以建模共享權(quán)重的不確定性，從而獲得更好的泛化能力和穩(wěn)定性.

在訓練階段，所有的分支都共享同樣的1D 卷積核，因此在推理的過程中，如圖1（b）所示，未使用MC Dropout 策略以消除隨機性，并采用單分支用于最終預(yù)測. 與SENet和其他的注意力方法相比，MBLCA模塊具有更低的模型復(fù)雜度，詳見3.3節(jié).

3.3 模型復(fù)雜度分析

本節(jié)從引入的參數(shù)量和每秒浮點運算量（FLOPs）的角度分析了提出的MBLCA 模塊的模型復(fù)雜度. 對比了3 個同類方法（即ECA 模塊［15］，SE 模塊［8］和CBAM 模塊［9］）. 4 種注意力模塊的參數(shù)量和每秒浮點運算計算量如表1 所示，其中B表示訓練批次的大小，H和W分別表示輸入特征圖的高度和寬度，k和n分別表示ECA模塊和MBLCA 模塊中1D 卷積核的大小以及分支數(shù)量. 如表1 所示，SE 模塊包含2 個全連接層，它的參數(shù)量和計算量分別為2C2/ r和2C2·B/r.CBAM 將通道和空間維度的注意力機制相結(jié)合，其包含的參數(shù)量和計算量分別為2C2/ r +49·2 和2C2·B/r+H·W·49·2. ECA模塊采用1D 卷積的方式學習局部通道之間的相關(guān)性，其包含的參數(shù)量和計算量分別為k和kC·B.MBLCA 模塊和ECA 模塊具有相同的參數(shù)量. 在模型訓練階段，MBLCA模塊的計算量是ECA模塊的n倍（n為分支的數(shù)量，通常n=6）. 但值得一提的是，MBLCA 模塊在模型推理階段的計算量與ECA-Net 完全相同. 因此一旦模型訓練完成，MBLCA 模塊相比ECA 模塊未帶來額外的計算代價，但提高了泛化能力和穩(wěn)定性. 顯然，相比于SE 模塊和CBAM 模塊，MBLCA 模塊具有更低的模型復(fù)雜度. 值得注意的是，這里k和n的取值通常不超過15和6.

表1 不同注意力機制方法的模型復(fù)雜度分析

4 實驗分析

為了驗證MBLCA 方法在提升深層卷積神經(jīng)網(wǎng)絡(luò)的泛化能力和穩(wěn)定性方面的有效性. 本節(jié)利用ImageNet-1K［3］和MS COCO［20］數(shù)據(jù)集在大規(guī)模圖像分類、目標檢測和實例分割任務(wù)，以及噪聲圖像分類上對MBLCA模塊進行驗證. 首先，為了探索MBLCA 模塊中所包含的超參數(shù)對模型的影響，同時找到最優(yōu)的參數(shù)組合與相關(guān)工作進行公平比較，本節(jié)在大規(guī)模圖像分類任務(wù)上對MBLCA 模塊中分支數(shù)量n，Dropout 概率p以及快速1D卷積核大小k進行了消融實驗. 之后，基于選取的最優(yōu)超參數(shù)組合在ImageNet-1K 數(shù)據(jù)集上對比了當前最新的同類相關(guān)方法，以驗證MBLCA 模塊的有效性.此外，為了進一步驗證本文方法在不同任務(wù)上的泛化能力，以ImageNet 預(yù)訓練的網(wǎng)絡(luò)模型作為骨干網(wǎng)絡(luò)，采用Mask R-CNN［33］作為基礎(chǔ)檢測器，在MS COCO 數(shù)據(jù)集上進行了目標檢測和實例分割實驗. 最后，為了驗證MBLCA 方法在提升噪聲魯棒性和穩(wěn)定性方面的有效性，采用ImageNet 預(yù)訓練的網(wǎng)絡(luò)模型在ImageNet-C 數(shù)據(jù)集［34］進行相關(guān)的對比實驗. 相關(guān)程序均使用PyTorch實現(xiàn)，并運行在裝備4 塊Titan Xp 顯卡和Intel Xeon（R）Silver 4112@2.60 GHz CPU的服務(wù)器上.

4.1 實驗設(shè)置

在ImageNet-1K 數(shù)據(jù)集上訓練網(wǎng)絡(luò)模型時，采用了與ResNet［6］相同的數(shù)據(jù)增廣方式，包括隨機裁剪、隨機水平翻轉(zhuǎn)和縮放. 采用權(quán)重衰減為1e-4，動量為0.9，批次大小為256 的隨機梯度下降算法（Stochastic Gradient Descent，SGD）優(yōu)化網(wǎng)絡(luò)模型參數(shù). 初始學習率為0.1，每30 輪迭代減小為原來的1/10. 所有的模型都訓練100 輪迭代. 對于MS COCO 數(shù)據(jù)集，本文以Resnet-50和ResNet-101 作為基礎(chǔ)網(wǎng)絡(luò)，并采用帶有FPN［35］的Mask R-CNN［33］作為基礎(chǔ)檢測器. 輸入圖像的短邊調(diào)整為800，所有模型都使用權(quán)重衰減為1e-4，動量為0.9的SGD 優(yōu)化算法進行訓練. 訓練批次大小為8（即每張顯卡上運算2張圖片）. 初始學習率為0.01，分別在訓練8和10輪迭代后縮減為原來的1/10，總計訓練12輪迭代.

4.2 在ImageNet-1K上的大規(guī)模分類實驗

4.2.1 消融實驗

本文首先在ImageNet-1K 數(shù)據(jù)集上分析MBLCA 方法中一些關(guān)鍵的超參數(shù)帶來的影響，主要包括分支的數(shù)量（n），Dropout的概率（p）以及快速1D 卷積的卷積核大小（k）. 在該部分實驗中采用ResNet-50為基礎(chǔ)模型.

（1）分支數(shù)量和Dropout 概率的影響.MBLCA 模塊中1D 卷積主要是為了學習局部通道之間的相關(guān)性，其在ECA-Net［15］中通常設(shè)置為7或者9. 分支數(shù)量和Dropout 概率是不確定性建模的2 個重要影響因素. 為了更好地驗證2個因素的影響，此處將局部通道相關(guān)性建模范圍進行擴大，將k設(shè)置為11. 因為通常較大的交互范圍中的不確定性越顯著. 這里的實驗將p和n分別設(shè)置為0.25、0.50、0.75 和4、6、8，共計9 種組合. 實驗結(jié)果如圖2所示，可以看到n和p對MBLCA 的性能有著明顯的影響. 當n=6，p=0.5 時，MBLCA 方法得到了最優(yōu)的性能（77.56%）. 相比于基線模型（n=1，p=0，77.04%），MBLCA 方法引入不確定性建模后可以得到0.52%的性能提升，這證明了適當?shù)牟淮_定性引入以及多樣性擾動對于MBLCA 方法的不確定性建模十分重要. 特別是當分支數(shù)量固定時，Dropout概率取0.5時一直取得最優(yōu)的性能. 當Dropout 概率固定時，分支數(shù)量取6 時一直取得最優(yōu)的性能. 從實驗結(jié)果可以看出n=6 和p=0.5是最優(yōu)的參數(shù)組合.

圖2 MBLCA模塊對于不同分支數(shù)量（n）和Dropout概率（p）組合的消融實驗

（2）快速1D 卷積核大小k 的影響.接下來的實驗采用上述最優(yōu)的參數(shù)（n=6，p=0.5）進一步驗證卷積核大小k的影響.1D卷積核的大小k控制著局部通道注意力機制的交互范圍. 如圖3 所示，同樣使用ResNet-50作為骨干網(wǎng)絡(luò)，分別將k設(shè)置為3，5，7，9，11，13，15 進行了7 組實驗. 相比于SENet，MBLCA 模塊在不同的設(shè)置下均保持著明顯的優(yōu)勢. 同時，k的變化也對模型的性能有一定的影響. 當k=13時，MBLCA 方法取得了最優(yōu)性能（77.59%）. 當k＞13 時，MBLCA 的性能有所損失，同時會引入更多的計算代價. 當k≤9時，MBLCA 模塊的性能比較穩(wěn)定，且均低于k=13 時的結(jié)果. 同時可以看出此時MBLCA 模塊對于k的敏感度也比較低，說明相對較大局部交互范圍中的不確定性會更突出，不確定性建模的作用也相應(yīng)越明顯. 這種現(xiàn)象表明適當范圍的局部通道相關(guān)性建模是十分重要的. 實驗結(jié)果表明，快速1D 卷積核大小的最優(yōu)設(shè)置是k=13. 綜上所述，在后續(xù)的實驗中均以n=6，p=0.5，k=13 的超參數(shù)組合作為默認設(shè)置.

圖3 MBLCA模塊對于卷積核大小k的消融實驗

4.2.2 比較當前最優(yōu)的同類方法

首先，以ResNet-50 和ResNet101 作為骨干網(wǎng)絡(luò)，本文比較了多種當前最優(yōu)的視覺注意力方法，包括SENet［8］，CBAM［9］，A2-Net［11］，AA-Net［10］，GSoPNet1［13］和ECA-Net［15］，實驗結(jié)果如表2所示. 在該部分實驗中，與文獻［15］一樣使用自適應(yīng)尺寸的1D 卷積，可以得到0.1%～0.2%的性能提升. 當ResNet-50 作為骨干網(wǎng)絡(luò)時，MBLCA方法相比于原始的網(wǎng)絡(luò)模型，在幾乎相同的模型復(fù)雜度的情況下可以帶來2.58%的Top-1 精度提升. 與其他注意力模型相比，MBLCA 方法利用更低的模型復(fù)雜度獲得了幾乎相同甚至更好的分類精度. 當ResNet-101作為骨干網(wǎng)絡(luò)時，MBLCA 方法的Top-1精度比原始的ResNet-101 高出2.02%，與其他同類方法相比，在效率和效果上實現(xiàn)了更佳的平衡. 與ECA-Net相比，嵌入MBLCA 模塊的模型具有一樣的模型復(fù)雜度，同時帶來了0.3%左右的精度提升. 此外，10 次隨機試驗中MBLCA 方法具有更小的方差，即更好的穩(wěn)定性.上述實驗證明了MBLCA 方法可以提升多種網(wǎng)絡(luò)架構(gòu)的分類準確率，同時令分類結(jié)果更加穩(wěn)定.

為了驗證MBLCA 方法在更輕量化的網(wǎng)絡(luò)上的有效性，在上述實驗的基礎(chǔ)上還以ResNet-18 作為骨干網(wǎng)絡(luò)與上述系列方法進行了對比，實驗結(jié)果表明，在保持與ResNet 和ECA-Net 幾乎相同的模型復(fù)雜度的情況下，MBLCA 方法分別帶來了0.48%和0.1%的性能提升. 同時，在10次重復(fù)實驗中，MBLCA方法具有更穩(wěn)定的性能.

最后，還與更深更復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)模型進行了對比，包括ResNet-200［36］，DenseNet［7］，Inceptionv3［37］. 如表2 所示，與ResNet-200 相比，MBLCA 方法使用ResNet-101 作為基礎(chǔ)網(wǎng)絡(luò)只有其近一半的模型復(fù)雜度，但是在Top-1 的準確率上提升了0.65%. 另外，基于ResNet-50 的MBLCA 模型比Inception-v3 擁有更低的模型復(fù)雜度和更優(yōu)的性能. 與DenseNet-161 相比，基于ResNet-50的MBLCA模型擁有相似的分類精度，但是僅利用接近一半的計算量（FLOPs）. 基于ResNet-101 的MBLCA 模型與DenseNet-161 具有幾乎一樣的計算量，但是在Top-1精度上提升了1.2%. 綜上所述，MBLCA 方法在模型分類準確率與模型復(fù)雜度之間實現(xiàn)了更好的平衡，在較低模型復(fù)雜度的條件下取得了與目前主流方法相近甚至更優(yōu)的分類準確率.

表2 各種當前最優(yōu)的視覺注意力方法的分類結(jié)果

4.3 MS COCO上的目標檢測與實例分割實驗

本節(jié)使用Mask R-CNN［30］作為基礎(chǔ)檢測器在目標檢測和實例分割任務(wù)上驗證MBLCA 模塊的泛化能力.實驗中所有檢測器的訓練都是在MS COCO2017訓練集上完成的，并在MS COCO2017 驗證集上進行測試. 實驗結(jié)果如表3 所示，本節(jié)在參數(shù)量、每秒浮點運算量以及平均準確率（mAP）等多個指標上對所有方法進行評估. 實驗結(jié)果表明，MBLCA 模塊在目標檢測和實例分割任務(wù)上都明顯優(yōu)于原始的ResNet. 用ResNet-50 和ResNet-101 作為骨干網(wǎng)絡(luò)，提出的MBLCA 方法在目標檢測（實例分割）任務(wù)上分別比SENet 提高了0.4%（0.1%）和0.7%（0.6%）的平均準確率（mAP），同時降低了模型的復(fù)雜度. 與ECA-Net50（ECA-Net101）相比，MBLCA 方法在保證相同的推理復(fù)雜度的前提下，也分別得到了0.1%的平均準確率提升. 上述結(jié)果表明，提出的MBLCA模塊在多種視覺任務(wù)上均具有良好的表現(xiàn)能力，能夠有效提升神經(jīng)網(wǎng)絡(luò)在下游任務(wù)上的泛化能力.

表3 各種方法在MS COCO2017驗證集上的目標檢測和實例分割結(jié)果

4.4 魯棒性和穩(wěn)定性實驗

為了進一步驗證MBLCA方法對噪聲數(shù)據(jù)的魯棒性和穩(wěn)定性，本文利用ImageNet-C［34］噪聲數(shù)據(jù)集進行了相關(guān)實驗.ImageNet-C［34］數(shù)據(jù)集在ImageNet-1K［3］驗證集數(shù)據(jù)的基礎(chǔ)上引入了15 種不同的擾動類型，主要涵蓋噪聲（Noise）、模糊（Blur）、天氣情況（Weather）、數(shù)字壓縮（Digital）四大類擾動，每種擾動的強度分為5個級別. 評估階段采用文獻［34］中的評價指標mCE 來評價模型的泛化能力和穩(wěn)定性，該指標的數(shù)值越低表示模型的泛化能力和穩(wěn)定性更強. 實驗結(jié)果如表4所示，從表4中可以看到：當ResNet50（ResNet101）作為骨干網(wǎng)絡(luò)時，MBLCA方法相比于基礎(chǔ)模型ResNet50（ResNet101）的mCE值分別降低了5.5（3.77）；與SENet 和ECA-Net 相比，MBLCA方法在mCE 指標上分別降低了1.6（2.6）和0.87（0.54）.上述結(jié)果進一步證明了MBLCA模塊可以較為明顯地提升模型對于噪聲的魯棒性和穩(wěn)定性.

表4 各種方法在ImageNet-C數(shù)據(jù)集上測試結(jié)果

5 結(jié)論

本文提出了一種多分支局部通道注意力模塊（MBLCA），核心思想是在局部通道注意力機制中引入不確定性建模，從而提升注意力模型的泛化能力和穩(wěn)定性. 實驗結(jié)果表明，該方法在圖像分類、目標檢測以及實例分割任務(wù)上都具有良好的性能. 本文主要探索了高效通道注意力機制中局部通道交互情況下的不確定性建模方法，如何引入非局部通道交互和空間維度的注意力機制，并對其進行不確定性建模仍是一個值得研究的方向. 未來將在該方向上進行深入探索，并將該思想應(yīng)用到更多的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)中，如MobileNets［38］和Inception［5，36，37，39］.