付國棟，黃 進，楊 濤，鄭思宇

西南交通大學 電氣工程學院，成都 611756

近幾年深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNNs）高速地推動著計算機視覺的發(fā)展，其在圖像分類[1-6]、目標檢測[7-9]、語義分割[10-11]、目標跟蹤[12]等任務中展示著強大力量。為了進一步增強CNNs的特征表達能力，最近的研究主要聚焦在網(wǎng)絡(luò)的三個重要因素：深度、寬度和基數(shù)。

從AlexNet[1]開始到目前為止，CNNs網(wǎng)絡(luò)通過不斷地疊加卷積操作，使得網(wǎng)絡(luò)深度更深，以獲得優(yōu)秀的特征表達能力。ResNet[2]將相同的殘差塊疊加起來，構(gòu)建了一個非常深的網(wǎng)絡(luò)結(jié)構(gòu)，極大提高了CNNs性能。GoogLeNet[3-5]通過實驗證明網(wǎng)絡(luò)寬度同樣是提高模型性能的另一個重要因素。ResNeXt[6]則從網(wǎng)絡(luò)的基數(shù)入手，證明基數(shù)不僅可以減小網(wǎng)絡(luò)模型的復雜度，而且比深度和寬度對網(wǎng)絡(luò)模型的提升效果更加明顯。

除了以上三個因素外，近幾年許多研究人員將注意力機制融入卷積模塊，證明注意力機制在對網(wǎng)絡(luò)性能改進方面擁有巨大的潛力。Hu等人提出了SE（Squeeze-Excitation）模塊[13]，它學習特征圖中各個通道間的關(guān)聯(lián)關(guān)系，生成通道注意力，讓網(wǎng)絡(luò)更加關(guān)注信息豐富的通道，為CNNs帶來明顯的性能提升。CBAM（Convolutional Block Attention Module）模塊[14]則在SE模塊基礎(chǔ)上進行了進一步的擴展，該模塊將特征圖按通道進行全局池化，獲得空間注意力；通道注意力讓網(wǎng)絡(luò)關(guān)注圖像“是什么”，而空間注意力則讓網(wǎng)絡(luò)關(guān)注圖像中物體“在哪”。BAM（Bottleneck Attention Module）[15]則采用并聯(lián)的方式將空間注意力和通道注意力整合。Wang等人提出的Non-Local[16]模塊則通過θ、?、g三個操作產(chǎn)生關(guān)于特征圖的全局注意力，并且成功融入三維卷積神經(jīng)網(wǎng)絡(luò)中，在視頻分類任務中效果提升明顯。Fu等人提出的DANet[17]則探索了輸入特征圖中各位置和各通道間的互相關(guān)性，分別生成全局空間注意力和通道注意力，該模型在語義分割任務中提升效果明顯。Li等人提出的SK（Selective Kernel）[18]結(jié)構(gòu)則將SE的思想和殘差網(wǎng)絡(luò)相結(jié)合，能夠讓網(wǎng)絡(luò)根據(jù)特征圖的不同尺度動態(tài)地選擇不同的感受野，進一步擴展了對注意力機制的研究。

盡管上述注意力模型從不同的角度提升了CNNs的特征表達能力，但同時也給網(wǎng)絡(luò)增加了大量開銷。以目前廣泛應用的SE和CBAM為例，它們通過全連接層生成通道注意力，其參數(shù)量與輸入特征圖的通道數(shù)平方成正相關(guān)，在深層的網(wǎng)絡(luò)中，往往特征圖的通道數(shù)量很大，因此融入注意力帶來的開銷也很龐大，這在需要實時性的應用場景中得不償失。針對此問題，本文在目前性能最優(yōu)且通用的CBAM模型的基礎(chǔ)上，提出了一種輕量級的注意力模型——EAM（Efficient Attention Module），該模型摒棄了計算量巨大的全連接層和大卷積核，使用一維卷積和空洞卷積分別來聚合通道和空間信息，使得模型的參數(shù)量大幅縮小。本文將EAM融入YOLOv4[9]目標檢測模型中，在VOC2012[19]數(shù)據(jù)集上進行實驗測試，檢測效果明顯提高，取得了媲美YOLOv4融合CBAM模型的效果。本文的主要貢獻如下：

（1）本文引入一維卷積和空洞卷積分別對CBAM中的通道注意力和空間注意力做了優(yōu)化改進，提出了EAM注意力模型，將整個注意力模塊的參數(shù)量減小到常數(shù)級別。

（2）本文將改進后的輕量級模型EAM融入YOLOv4目標檢測模型的特征融合部分，顯著提高YOLOv4算法的檢測精度，并通過消融實驗分析論證了EAM的優(yōu)越性。

1 CBAM與YOLOv4結(jié)構(gòu)介紹

1.1 CBAM

CBAM是一種簡單而有效的卷積神經(jīng)網(wǎng)絡(luò)注意力模塊。在卷積神經(jīng)網(wǎng)絡(luò)中任意給定一個中間特征圖，CBAM將注意力映射沿特征圖的通道和空間兩個獨立的維度進行注入，然后將注意力乘以輸入特征映射，對輸入的特征圖進行自適應特征細化。因為CBAM是一種端到端的通用模塊，它可以無縫地集成到任何CNNs架構(gòu)中，并且可以與基本CNNs一起端到端訓練。CBAM中的通道注意力和空間注意力的結(jié)構(gòu)如圖1所示。

圖1 CBAM中通道注意力和空間注意力結(jié)構(gòu)Fig.1 Channel attention and spatial attention structure in CBAM

給定一個中間特征圖F∈RC×H×W作為輸入，CBAM模塊的運算過程總體分為兩個階段：首先對輸入按通道進行全局最大值池化和均值池化，將池化后的兩個一維向量送入全連接層運算后相加，生成一維通道注意力M C∈RC×1×1，再將通道注意力與輸入按元素相乘，獲得通道注意力調(diào)整后的特征圖F′；其次將F′按空間進行全局最大值池化和均值池化，將池化生成的兩個二維向量拼接后進行卷積操作，最終生成二維空間注意力M S∈R1×H×W，再將空間注意力與F′按元素相乘。具體運算流程如圖1所示，CBAM總體生成注意力過程可描述為：

其中?表示對應元素相乘，在相乘操作前，通道注意力和空間注意力分別需要按空間維度和通道維度進行廣播。

1.2 YOLOv4結(jié)構(gòu)

YOLOv4是從YOLOv3的基礎(chǔ)上改進而來，屬于一階段目標檢測算法，其總體結(jié)構(gòu)如圖2所示。YOLOv4使用CSPDarknet53作為主干網(wǎng)絡(luò)，在CSPDarknet53中含有大量殘差邊，增加了網(wǎng)絡(luò)寬度，訓練時更加利于梯度的反向傳播。假設(shè)YOLOv4輸入416×416的圖像，經(jīng)過主干網(wǎng)絡(luò)進行特征提取，則獲得13×13、26×26、52×52的三組特征圖，針對13×13的特征圖，首先使用空間金字塔池化（Spatial Pyramid Pooling，SPP）結(jié)構(gòu)進行特征融合，在SPP中使用多種尺寸的池化核對特征圖進行池化處理，可以在沒有顯著降低網(wǎng)絡(luò)推理速度的情況下，提高感受野，分離出最有意義的上下文特征。隨后對三組不同級別的特征圖使用路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PANet）進行特征融合。相比于特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN），PANet額外增加了一條自下向上的特征融合路徑，使得特征圖融合的語義更加豐富，其特征表達能力也更強。最后，經(jīng)過特征融合后的三組特征圖的每個位置預測3個邊界框，若數(shù)據(jù)集中含有k個類別，那么對于每個邊界框?qū)㈩A測3×(5+k)個值，其中前4個值為(t x,t y,t w,t h)，用來確定邊界框的位置，第5個值s則表示該邊界框中存在目標的置信度。

圖2 YOLOv4總體結(jié)構(gòu)（輸入圖片大小為416×416，類別數(shù)為20）Fig.2 Overall structure of YOLOv4（input image size is 416×416，number of categories is 20）

2 EAM及融合EAM的YOLOv4

2.1 EAM

CBAM在計算生成通道注意力時，使用全連接層對特征進行映射，然而全連接層的計算量巨大，即使在設(shè)計共享全連接層時首先對通道特征壓縮r倍，共享全連接層的參數(shù)量仍然與輸入特征圖通道數(shù)的平方成正相關(guān)；另外在空間注意力模塊中，為了聚合更廣泛的空間上下文特征，使用一個7×7的大感受野卷積核來聚合空間特征，相比于使用3×3的小卷積核，這在增大了感受野的同時，模塊的參數(shù)量也隨之增大。因此當在一個卷積神經(jīng)網(wǎng)絡(luò)中大量插入CBAM模塊時，網(wǎng)絡(luò)參數(shù)量會大量增長，這也限制了該模塊的應用場景。針對此問題，本文借鑒了文獻[20]的思想，認為在CNNs中任意給定的中間特征圖，其相鄰通道間的相關(guān)性更大，使用全連接層對通道特征進行映射會產(chǎn)生許多冗余計算。因此本文設(shè)計使用一維卷積操作來對一維通道注意力進行通道特征聚合，一維卷積核的大小即為聚合鄰域內(nèi)通道數(shù)的數(shù)量，由于卷積操作的參數(shù)共享性質(zhì)，引入一維卷積使得通道注意力模塊的參數(shù)量下降到常數(shù)級。對于空間注意力，與CBAM中的思想相同，認為卷積操作的感受野大小決定了空間注意力的性能，大的感受野能聚合更加廣泛的上下文信息，使得空間注意力的表征能力更強。因此本文使用空洞卷積來對二維空間注意力進行空間特征聚合，使得在同等大小感受野的情況下，減小了模塊參數(shù)量。本文將改進后的模塊叫做EAM（Efficient Attention Module），EAM模塊的總體結(jié)構(gòu)如圖3所示。

圖3 EAM總體結(jié)構(gòu)Fig.3 Overall structure of EAM

2.1.1 通道注意力模塊

與CBAM模塊的思想相同，本文使用通道注意力讓網(wǎng)絡(luò)關(guān)注給定圖像“是什么”。為了有效地計算通道注意力，首先使用全局均值池化和最大值池化操作來聚合特征映射的空間信息，生成兩個不同的通道描述符和，分別表示均值池化特征和最大值池化特征。與CBAM中使用全連接層聚合通道特征不同，本文選擇使用卷積核長度為k的一維卷積來聚合該通道鄰域內(nèi)的k個通道的信息。將卷積后的兩個特征按元素相加，并通過Sigmoid函數(shù)運算，生成通道注意力，隨后將生成的通道注意力沿空間上的兩個維度進行廣播擴充至RC×H×W，再與輸入特征圖按對應元素相乘獲得注入通道注意力后的特征圖。具體地，通道注意力計算過程可如下表示：

其中，σ表示Sigmoid函數(shù)，表示卷積核大小為k的一維卷積操作。k的大小由文獻[20]中的方程自適應決定：

C表示輸入特征圖的通道數(shù)，||todd表示與t最接近的奇數(shù)。

2.1.2 空間注意力模塊

本文利用特征圖中的空間關(guān)系生成空間注意力，空間注意力作為通道注意力的補充，使網(wǎng)絡(luò)關(guān)注圖像的有用信息“在哪里”?？臻g注意力模塊首先沿輸入特征圖的通道軸進行全局均值池化和最大值池化操作，生成兩個不同的空間上下文描述符和，并將分別生成的描述符沿通道軸進行拼接，生成一個有效的空間特征描述符。隨后使用空洞卷積來對空間中需要強調(diào)或抑制區(qū)域信息進行編碼映射，更加高效地聚合空間上下文信息，將卷積后的特征經(jīng)過Sigmoid函數(shù)運算生成空間注意力。最后將生成的空間注意力沿通道維度廣播擴充至RC×H×W，再與輸入特征圖按對應元素相乘獲得注入空間注意力后的特征圖。具體地，空間注意力計算過程可如下表示：

其中，表示卷積核大小為3的空洞卷積，實驗使用空洞率為2的空洞卷積。

2.2 融合EAM的YOLOv4

由于本文提出的EAM模型是一個通用的CNNs模塊，它可以插入網(wǎng)絡(luò)中的任意位置，本文將注意力模型融入YOLOv4網(wǎng)絡(luò)中主要遵循以下兩點原則：

（1）不顯著增加網(wǎng)絡(luò)的復雜度。因為YOLOv4本身屬于一階段網(wǎng)絡(luò)，為滿足實時性目標檢測而設(shè)計，因此不必在整個網(wǎng)絡(luò)中每個位置添加注意力模型。同時網(wǎng)絡(luò)在訓練時應方便加載CSPDarknet的預訓練權(quán)重，減少網(wǎng)絡(luò)的訓練時間。

（2）在深度卷積神經(jīng)網(wǎng)絡(luò)中，淺層的特征比較具有通用性，它符合圖像廣泛的一般性特征；而深層特征更加抽象和復雜，其表征能力也更獨特，更加適合融入注意力調(diào)整。

根據(jù)以上兩點原則，本文不修改YOLOv4的主干網(wǎng)絡(luò)CSPDarknet的結(jié)構(gòu)，選擇將注意力引入PANet結(jié)構(gòu)中，在同級別的特征圖進行卷積操作后注入注意力，融合注意力模塊的PANet結(jié)構(gòu)如圖4所示。

圖4 注意力模型融入PANetFig.4 Attention model integrated into PANet

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集及評價指標

本文將融入注意力模型的YOLOv4目標檢測算法進行實驗論證，實驗數(shù)據(jù)集選擇使用VOC2012公開數(shù)據(jù)集。該數(shù)據(jù)集共包含飛機、自行車、鳥、船、汽車等20個類別，在該數(shù)據(jù)集中，含有5 717個訓練樣本和5 823個驗證樣本。

實驗選擇參數(shù)量和平均精確率（Average Precision，AP）[20]兩個評價指標。參數(shù)量用來描述目標檢測算法模型的復雜度，特別地，本文以YOLOv4的參數(shù)量為基準，融入注意力模型后整個網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)增量來評價模型的復雜度。AP被定義為不同召回率下的平均檢測精度，通常以特定類別的方式進行評估，AP用來描述目標檢測模型的性能。為了比較目標檢測算法對所有對象類別即整個數(shù)據(jù)集的檢測效果，使用所有類別AP的均值（mAP）作為目標檢測算法性能的最終度量。在計算mAP的過程中，為了測量對象定位精度，判斷目標預測的包圍框是否正確，使用交并比（Intersection over Union，IoU）來衡量預測框和目標真實框之間的誤差。預定義一個IoU閾值，如果預測框和真實框的IoU大于該閾值，則目標將被認為成功檢測，否則將被標識為誤檢。實驗計算mAP時，取IoU閾值為0.5。

3.2 融合注意力模型的YOLOv4實驗測試

本文在YOLOv4中的PANet部分分別融入SE（記為YOLOv4+SE）、CBAM（記為YOLOv4+CBAM）、EAM（記為YOLOv4+EAM）模塊進行對比實驗。目標檢測網(wǎng)絡(luò)的輸入大小固定為416×416，訓練時對圖片采取隨機水平翻轉(zhuǎn)和亮度調(diào)節(jié)的數(shù)據(jù)增廣方法，選擇Adam優(yōu)化器對網(wǎng)絡(luò)參數(shù)進行優(yōu)化，β1設(shè)為0.9，β2設(shè)為0.999，訓練批次大小設(shè)為8，訓練時加載YOLOv4主干網(wǎng)絡(luò)的預訓練模型，首先凍結(jié)主干網(wǎng)絡(luò)的參數(shù)訓練20個周期，學習率設(shè)置為1E-3，隨后解凍整個網(wǎng)絡(luò)對全局參數(shù)進行微調(diào)15個周期，學習率設(shè)置為1E-4。所有算法均使用tensorflow2.2深度學習框架實現(xiàn)，實驗硬件環(huán)境CPU為Intel?Xeon?Gold 6278C@2.60 GHz，GPU為Tesla T4@16 GB。

實驗對SE和CBAM模塊中全連接層的通道壓縮率設(shè)置為16，YOLOv4與三種改進模型在VOC2012數(shù)據(jù)集上測試結(jié)果如表1所示。由表1可以看出，YOLOv4融合本文提出EAM注意力模型后，在VOC2012數(shù)據(jù)集上測試，mAP顯著提高3.48個百分點。并且本文提出的EAM注意力模型相比于SE和CBAM的參數(shù)量顯著減小，對比SE和CBAM可以發(fā)現(xiàn)主要是因為全連接層使得注意力模型的參數(shù)量顯著增加。另外EAM在引入微量參數(shù)的情況下，網(wǎng)絡(luò)的性能提升顯著，分析認為因為在SE和CBAM模塊生成通道注意力的過程中，首先使用全連接層來對通道數(shù)量進行了壓縮，此過程丟失了部分特征信息，而一維卷積并未進行通道壓縮而效果更好，在3.3節(jié)中會深入分析通道注意力中一維卷積和空間注意力中空洞卷積的優(yōu)勢。

表1 融入注意力模型的YOLOv4實驗結(jié)果對比Table 1 Experimental comparison of YOLOv4 incorporating attention module

針對單個類別，四種算法在VOC2012數(shù)據(jù)集上的測試實驗結(jié)果如圖5所示。由圖表可以看出，在VOC2012數(shù)據(jù)集上，YOLOv4對于椅子和餐桌兩個類別的檢測效果相對較差，在融入注意力模型后，對于這兩個類別的檢測效果明顯提升。瀏覽數(shù)據(jù)集發(fā)現(xiàn)數(shù)據(jù)集中的椅子和餐桌樣本通常與其他類別的樣本有較多重疊，并且包含困難樣本較多，分析認為YOLOv4在融合注意力模型后能夠顯著提高網(wǎng)絡(luò)的特征表達能力，因此網(wǎng)絡(luò)對兩個類別的檢測效果明顯提升。另外，YOLOv4在融合本文提出的EAM注意力模型后對船、盆栽、沙發(fā)這三個類別的檢測精度相比較融入其他注意力模型有明顯提高。分析認為主要原因在于三種類別的樣本在VOC2012數(shù)據(jù)集中數(shù)量較少，在PANet中融合EAM注意力能夠顯著提高網(wǎng)絡(luò)的特征表達能力，增強網(wǎng)絡(luò)對少樣本的學習能力，提高網(wǎng)絡(luò)的檢測性能。

圖5 YOLOv4及三種改進算法在VOC2012數(shù)據(jù)集上檢測結(jié)果對比Fig.5 Comparison of detection results of YOLOv4 and three improved algorithms on VOC2012 data set

本文對YOLOv4及融合CBAM和EAM后的檢測結(jié)果進行了可視化對比，對比結(jié)果如圖6所示，根據(jù)對比可以發(fā)現(xiàn)YOLOv4在融合EAM注意力模型后對遮擋較為嚴重的目標檢測效果明顯提高，并且目標置信度也有小幅提高。由圖6（d）、（e）、（f）三個檢測結(jié)果對比可以發(fā)現(xiàn)在復雜的環(huán)境條件下，YOLOv4在融合本文提出的EAM注意力模型后，網(wǎng)絡(luò)的檢測效果提升顯著。

圖6 YOLOv4及其改進算法檢測效果可視化對比Fig.6 Visual comparison of detection effect of YOLOv4 and its improved algorithm

3.3 消融實驗

3.3.1 通道注意力

實驗只保留CBAM和EAM模塊中的通道注意力，舍棄兩個模塊中的空間注意力，依然將保留的通道注意力模塊融入YOLOv4的PANet結(jié)構(gòu)中，在VOC2012數(shù)據(jù)集上進行測試，只保留通道注意力設(shè)計了三組實驗來驗證EAM通道注意力的有效性：

（1）使用共享全連接層聚合通道特征，壓縮率取r=16，用CBAM-C表示。

（2）直接使用一層含C個（輸入通道數(shù)）神經(jīng)元的全連接層聚合通道特征，用CBAM-C+表示。

（3）使用一維卷積聚合通道特征，用EAM-C表示。

實驗結(jié)果如表2所示。

表2 CBAM與EAM中通道注意力模塊對比Table 2 Comparison of channel attention modules in CBAM and EAM

由表2可知，在CBAM生成空間注意力過程中為了減小模塊的參數(shù)量，首先使用了r倍壓縮率的全連接層對通道進行聚合壓縮，對比直接使用一層全連接層對通道信息進行聚合的效果，后者雖然舍棄了一個全連接層，但是mAP提高了0.85個百分點。分析認為是因為CBAM引入了對通道進行特征壓縮的過程，該過程雖然使得模塊的運算量減少，同時也舍棄了特征圖的部分信息，使得通道注意力的特征表達能力下降。對比EAM的通道注意力，由于直接對全局池化后的通道特征進行一維卷積，并沒有對特征進行壓縮，整個特征圖的通道信息得以完整保留，因此生成的通道注意力比CBAM效果更好，但由于一維卷積只聚合了k個鄰域通道的信息，相比于直接使用全連接層進行特征映射效果略微下降。另外，使用全連接層聚合通道信息，在參數(shù)量大量增長的情況下，模型的檢測效果并未獲得顯著性提高，這也證實在特征圖中相鄰通道間的信息依賴關(guān)系更強，使用全連接層聚合所有通道信息存在大量冗余運算。

3.3.2 空間注意力

實驗只保留CBAM和EAM模型中的空間注意力模塊，舍棄模型中的通道注意力，來測試空洞卷積的有效性。仍然將保留空間注意力模塊融入YOLOv4的PANet部分，在VOC2012數(shù)據(jù)集上進行測試，只保留空間注意力設(shè)計了四組實驗：

（1）使用卷積核大小為7×7的標準卷積，用CBAM-S表示。

（2）使用卷積核大小為3×3，空洞率為2的空洞卷積，用EAM-S表示。

（3）使用卷積核大小為7×7，空洞率為2的空洞卷積，用EAM-S+表示。

（4）使用兩次卷積核大小為3×3，空洞率為2的空洞卷積，用EAM-S++表示。

實驗結(jié)果如表3所示。

表3 CBAM與EAM中空間注意力模塊對比Table 3 Comparison of spatial attention modules in CBAM and EAM

由表3可知，對比使用7×7的標準卷積和7×7空洞卷積的實驗結(jié)果，論證了在卷積聚合空間信息過程中，感受野越大，能聚合的空間上下文信息越豐富，對空間特征的編碼能力越強，映射生成的空間注意力效果越好?？斩绰蕿?的3×3的空洞卷積與7×7的標準卷積擁有相同的感受野，兩者的效果近似，但前者的參數(shù)量只有后者的9/49。另外由第二組和第四組實驗結(jié)果對比發(fā)現(xiàn)堆疊多個卷積層同樣能提高空間注意力的特征表達能力。

4 結(jié)束語

基于CBAM注意力模型，本文提出了一種輕量級的通用注意力模型EAM，該模型使用一維卷積來聚合通道信息生成通道注意力，使用空洞卷積來聚合空間上下文信息生成空間注意力，極大地減少了注意力模型的參數(shù)量。本文將EAM融入YOLOv4網(wǎng)絡(luò)中進行實驗測試，實驗結(jié)果證明該注意力模型只需要付出少量參數(shù)的代價，模型檢測的效果可以顯著提高。未來將進一步探索EAM模塊在CNNs其他領(lǐng)域的應用，如實例分割、目標跟蹤等。