李鶴喜，李記花，李威龍

(五邑大學(xué) 智能制造學(xué)部，廣東 江門 529020)

1 引 言

隨著深度學(xué)習(xí)技術(shù)[1～4]的廣泛研究，基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的計算機視覺技術(shù)有了突破性的進展。CNN在圖像識別、圖像分割、目標(biāo)檢測等許多應(yīng)用領(lǐng)域取得了顯著成績。以往相關(guān)人員設(shè)計卷積神經(jīng)網(wǎng)絡(luò)模型一直在追求更高的識別率，這些深度網(wǎng)絡(luò)通常通過簡單的卷積層疊加來實現(xiàn)，模型的識別精度確實不斷地被提升，網(wǎng)絡(luò)模型也就越來越深。但網(wǎng)絡(luò)通常會包含很多冗余參數(shù)，計算量也隨之增大，使得網(wǎng)絡(luò)訓(xùn)練越來越慢[5～8]。在實際應(yīng)用中，計算能力有限、內(nèi)存資源有限等的移動設(shè)備也很難部署這些深度卷積神經(jīng)網(wǎng)絡(luò)。

視覺注意機制是指視覺焦點主要集中在顯著性區(qū)域而忽略其他不重要區(qū)域。故將其應(yīng)用到目標(biāo)識別中，能夠增強目標(biāo)在場景中的顯著性，有效減少背景信息的干擾。傳統(tǒng)的注意機制模型主要是利用高斯金字塔計算圖像的顏色特征圖、亮度特征圖和方向特征圖，并結(jié)合不同尺度的特征圖獲得亮度、顏色和方向顯著圖，最后相加得到最終的顯著區(qū)域[9]。目前，越來越多的人將注意機制引入到卷積神經(jīng)網(wǎng)絡(luò)模型中。Jaderberg M等[10]提出的空間注意力模型(spatial transformer network，STN)可對網(wǎng)絡(luò)模型的數(shù)據(jù)進行空間操作，使網(wǎng)絡(luò)能夠進行特征圖的空間變換，從而通過確定空間位置信息來提高網(wǎng)絡(luò)精度。Hu J等[11]提出的通道注意力模型(squeeze-and-excitation networks，SE)通過學(xué)習(xí)的方式可以自動獲取到每個特征通道的重要程度，然后根據(jù)不同重要程度去提升有用的特征并抑制對當(dāng)前任務(wù)用處不大的特征來提高網(wǎng)絡(luò)精度。Woo S等[12]提出的空間通道注意力模型(convolutional block attention module，CBAM)是從通道和空間兩個不同維度所計算出的特征圖來進行特征的自適應(yīng)學(xué)習(xí)來提高網(wǎng)絡(luò)精度。STN模型忽略了通道之間的關(guān)系；SE模型沒有捕捉到空間信息；CBAM模型雖然同時考慮到通道和空間信息，但其通道注意和空間注意是分離的，計算時相互獨立，忽略了通道和空間的交互信息。

本文提出了一種深度可分離卷積(depthwise separable convolution，DSC)結(jié)合3重注意機制模塊(triple attention module，TAM)的方法，稱其為DSC-TAM方法并通過大量實驗對比改進算法和原始算法在圖像識別率和參數(shù)量的差異，驗證了該算法的有效實用性。

2 深度可分離卷積

CNN是一種常見的深度學(xué)習(xí)架構(gòu)，它通過卷積處理能夠從原始圖像中提取有效特征，因而被廣泛用于各種視覺模型的建立[13]。傳統(tǒng)的標(biāo)準(zhǔn)卷積是對所有的輸入特征進行卷積運算得到一系列輸出，如圖1所示，其模型規(guī)模和計算量都很龐大。DSC是一種將標(biāo)準(zhǔn)卷積分解成深度卷積和逐點卷積的算法[14]，它將計算分成兩步完成。首先是深度卷積操作，對每一個輸入通道用單個濾波器進行濾波，然后采用1×1像素逐點卷積操作并結(jié)合所有深度卷積得到輸出，這種分解能夠大量的減少計算量以及模型的規(guī)模，實現(xiàn)了卷積模型的輕量化。其計算過程如圖2所示，第1層為深度卷積，主要是進行空間相關(guān)性的計算，對特征進行有效的提取；第2層是逐點卷積，是主要是通過輸入通道的線性組合來調(diào)整輸出特征通道數(shù)。

圖1 標(biāo)準(zhǔn)卷積過程Fig.1 Standard convolution process

圖2 深度可分離卷積過程Fig.2 Deep convolution process

假設(shè)輸入和輸出的特征圖一樣，采用的卷積核是Dk×Dk，則標(biāo)準(zhǔn)卷積的計算量為

Dk·Dk·M·N·Df·Df

(1)

式中：Dk表示卷積核k的長和寬；M表示輸入特征圖的通道數(shù)；N表示輸出特征圖的通道數(shù)；Df表示輸入與輸出特征圖f的寬度與高度。

深度卷積的計算量為

Dk·Dk·M·Df·Df

(2)

逐點卷積的計算量為

M·N·Df·Df

(3)

故深度可分離卷積的總計算量為

Dk·Dk·M·Df·Df+M·N·Df·Df

(4)

由式(1)和式(4)可得出深度可分離卷積和標(biāo)準(zhǔn)卷積之比：

(5)

由以上公式可以看出，深度可分離卷積輸出特性與標(biāo)準(zhǔn)卷積輸出特性具有相同的大小，深度可分離卷積可以顯著地減少參數(shù)量和計算代價，計算消耗的比例只與卷積核的數(shù)量N和它的尺寸大小Dk有關(guān)，當(dāng)N和Dk越大，DSC呈現(xiàn)的效率越高。

3 注意機制

人類的視覺處理能力是有限的，不可能同時處理所有的信息，注意力主要集中在特征顯著的區(qū)域，機器視覺也是利用這種注意機制來有效地提高工作效率[15]。復(fù)雜場景下圖像的信息量很大，且圖像中最重要的信息一般集中在很小的區(qū)域，所以能夠利用視覺注意機制快速準(zhǔn)確地獲取圖像中有效的信息，在視覺模型的建立過程中顯得尤為重要。

3.1 通道注意力模塊

卷積神經(jīng)網(wǎng)絡(luò)中，一張圖片最初會由(R、G、B)3個通道來表示，經(jīng)過卷積層后會產(chǎn)生新的通道，每個通道的信息是不同的[16]。通道注意力模塊是利用特征的通道間的關(guān)系，生成通道注意圖。由于特征圖的每個通道都被認為是一個特征檢測器，所以通道的注意力集中在給定輸入圖像包含“什么”是有意義的。為了學(xué)習(xí)通道注意力的有效表示，首先通過全局平均池化和全局最大池化來聚合空間維度信息，為每個通道生成2個特征描述符。然后將這2個特征描述符輸入到一個共享的多層感知器中，以生成更具代表性的特征向量。接著通過元素求和操作輸出合成特征向量，最后利用sigmoid函數(shù)得到最終的通道注意圖。通道注意力模塊流程圖如圖3所示，通道注意力計算公式如公式(6)所示。

Mc(F)=σ(MLP(Avg Pool(F))+MLP(Max Pool(F))

(6)

圖3 通道注意力模塊Fig.3 Channel attention module

3.2 空間注意力模塊

與通道注意力模塊不同的是，空間注意力模塊主要集中于對當(dāng)前任務(wù)有價值的地方，是對通道注意力的補充。為了計算空間注意力，首先通過全局平均池化和全局最大池化操作為每個位置生成兩個特征描述符。然后將兩個特征描述符集中在一起，通過7×7像素的卷積運算得到空間注意圖。最后，使用sigmoid函數(shù)將空間注意力映射縮放到0～1之間。空間注意模塊流程圖如圖4所示。空間注意力計算公式如下：

Ms(F)=σ(f7×7([Avg Pool(F)；Max Pool(F)]))

(7)

圖4 空間注意力模塊Fig.4 Spatial attention module

3.3 通道空間注意力模塊

通道空間注意力模塊就是同時使用空間注意力機制和通道注意力機制兩種維度，其主要思想就是將從通道和空間2個不同維度所計算出的特征圖與卷積神經(jīng)網(wǎng)絡(luò)所產(chǎn)生的特征圖相乘來進行特征的自適應(yīng)學(xué)習(xí)，其模型圖如圖5所示。假設(shè)F為輸入的特征圖，則通道和空間注意力模塊所做的運算分別為

(8)

式中：Mc表示基于通道維度的注意提取操作；Ms表示基于空間維度的注意提取操作；?表示按元素的叉乘。

圖5 通道空間注意力模塊Fig.5 Channel-space attention module

3.4 3重注意力模塊

很多注意機制模型證明了通道注意機制和空間注意機制的重要性，而未關(guān)注到其交互的重要性。傳統(tǒng)的通道注意力的計算方法是先計算一個權(quán)值，然后使用權(quán)值對輸入張量中每個通道的標(biāo)量進行縮放得到特征圖，這種方法導(dǎo)致了空間信息的大量丟失，因此在單像素通道上計算注意力時，通道維數(shù)和空間維數(shù)之間的相互依賴性也不存在。文獻[12]引入空間注意作為通道注意的補充模塊。該方法的通道注意和空間注意是分離的，計算時相互獨立，沒有考慮兩者之間的任何關(guān)系?；谝陨线@些原因，提出了通道空間交互作用的概念，通過捕捉空間維度和輸入張量通道維度之間的交互作用，解決了這一缺陷。提出了3重注意機制模塊，從3個分支維度計算注意力權(quán)值，其模型圖如圖6所示。第1個分支是計算通道注意力權(quán)值；第2個分支計算空間注意力權(quán)值，第3個分支是計算通道和空間的交互。然后將3個分支所產(chǎn)生的特征張量加權(quán)相加后求平均值。

(9)

式中：Mcs表示通道空間交互提取操作；w1、w2和w3分別是3個分支計算出注意權(quán)重；y1、y2和y3分別是3個分支的注意圖。

最后輸出組合特征3重注意力模塊圖如圖6所示。

圖6 3重注意力模塊Fig.6 Triple attention module

4 改進網(wǎng)絡(luò)

本文對深度可分離卷積和注意機制模塊進行了改進，設(shè)計了一個新的網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)以深度可分離卷積為主，同時引入3重注意機制模塊。其中深度可分離卷積用于減少網(wǎng)絡(luò)參數(shù)，而3重注意機制模塊用于增強網(wǎng)絡(luò)的特征提取能力。該結(jié)構(gòu)在保證良好準(zhǔn)確度的同時縮小了訓(xùn)練時間，優(yōu)化了模型性能。該網(wǎng)絡(luò)結(jié)構(gòu)主要由深度可分離卷積、3重注意力模塊2部分組成，如圖7所示。

圖7 模型結(jié)構(gòu)圖Fig.7 Model structure drawing

先使用深度可分離卷積提取特征，然后分為3個子網(wǎng)絡(luò)同時進行運算。第1個子網(wǎng)絡(luò)計算空間注意力，首先將逐點卷積后的特征圖分別進行最大池化和平均池化，然后將經(jīng)過2種池化后的特征進行連接，最后進行7×7的卷積得到空間注意圖。第2個子網(wǎng)絡(luò)計算通道空間注意圖，首先將逐點卷積后的特征圖進行轉(zhuǎn)置操作，接著輸入到最大池化和平均池化層，最后將經(jīng)過池化后的特征進行連接并輸入到全連接層得到通道空間注意圖。第3個子網(wǎng)絡(luò)計算通道注意圖，首先將逐點卷積后的特征圖分別進行最大池化和平均池化，然后將經(jīng)過2種池化后的特征輸入多層感知機，最后對多層感知機輸出的2個特征圖進行元素求和操作得到通道注意圖。將這3個子網(wǎng)絡(luò)產(chǎn)生的特征圖相加并求平均值得到輸出。改進后的主體網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

5 試驗結(jié)果與分析

5.1 數(shù)據(jù)集

實驗數(shù)據(jù)集共收集了16 834張常見的物品圖片，42個類別的圖像，每個類別包含400張左右，大小為640像素×480像素的圖像，訓(xùn)練集為14 308張，測試集為2 526張。圖8為部分物品圖像集。

5.2 試驗結(jié)果與分析

本文所有實驗均在Windows10環(huán)境下進行，所使用的主機裝有1塊NVIDIA GeForce GTX 1080Ti顯卡，采用Keras框架進行實驗。網(wǎng)絡(luò)的訓(xùn)練參數(shù)設(shè)置如下：批次batch_size為64，循環(huán)次數(shù)epochs為30，初始學(xué)習(xí)率為0.01，每10個epoch學(xué)習(xí)率縮小10倍，權(quán)重衰減值為0.000 1。

表1 主體網(wǎng)絡(luò)Tab.1 The main network 像素

圖8 部分物品圖像集Fig.8 Part of the item image set

實驗比較了5種網(wǎng)絡(luò)模型：深度可分離卷積(DSC)、深度可分離卷積-空間注意(DSC-STN)、深度可分離卷積-通道注意(DSC-SE)、深度可分離卷積-通道空間注意(DSC-CBAM)和本文提出的深度可分離卷積-3重注意(DSC-TAM)模型算法。其效果對比如圖表2所示，M為計算機存儲單位。

表2 不同模型算法效果對比Tab.2 Effect comparison of different algorithm models

從表2中可以看出，DSC-TAM的準(zhǔn)確率高于DSC、DSC-STN、DSC-SE、DSC-CBAM這4種模型，可達99.63%；參數(shù)量和模型規(guī)模與同樣采用注意機制模塊的DSC-STN、DSC-SE、DSC-CBAM相比更低，平均模型規(guī)模降低13%，略高于無注意機制的DSC模型。這說明本文方法綜合性能優(yōu)于其他模型，應(yīng)用于圖像識別、嵌入式機器人視覺實時性要求高的場合效果會更好。

表3是在本文改進模型中不同位置加入注意機制模塊，從表中可以看出添加TAM模塊不僅可以提高準(zhǔn)確率并且還能減少訓(xùn)練時間。

表3 注意機制對比實驗Tab.3 Attention mechanism contrast experiment

6 結(jié) 論

提出了一種基于注意機制和神經(jīng)網(wǎng)絡(luò)視覺模型。采用深度可分離卷積處理降低了模型的大小，使卷積神經(jīng)網(wǎng)絡(luò)輕量化，采用的TAM模塊通過通道注意機制和空間注意機制以及交互信息的融合能夠有效地提高網(wǎng)絡(luò)特征提取能力。在基準(zhǔn)數(shù)據(jù)集上完成的試驗表明：采用的輕量化視覺模型與目前流行的模型相比，在網(wǎng)絡(luò)識別的準(zhǔn)確率和優(yōu)化參數(shù)量上都取得了較好的性能，識別準(zhǔn)確率為99.63%，模型規(guī)模降低了13%。