徐宇奇,王欣悅,徐小良

(杭州電子科技大學(xué)計算機學(xué)院,浙江 杭州 310018)

0 引 言

脈沖卷積神經(jīng)網(wǎng)絡(luò)(Spiking Convolutional Neural Network,SCNN)作為第三代神經(jīng)網(wǎng)絡(luò)中的分支,使用離散的脈沖信號進行信息傳遞,類似大腦皮層的信息處理方式使其具有巨大的發(fā)展?jié)摿?成為神經(jīng)形態(tài)視覺任務(wù)中的研究熱點,在目標跟蹤、圖像識別與視頻識別等領(lǐng)域應(yīng)用廣泛[1]。得益于脈沖傳遞的低耗能特性,SCNN還可以應(yīng)用于邊緣設(shè)備。與卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)不同,SCNN具有獨特的時間維度,與通道、二維空間維度相結(jié)合形成了相當復(fù)雜的維度空間,大量的脈沖事件分布在復(fù)雜的網(wǎng)絡(luò)空間內(nèi),增加了網(wǎng)絡(luò)學(xué)習(xí)的壓力,使神經(jīng)元容易錯誤地關(guān)注到某些不重要的脈沖事件,在時間窗口內(nèi)發(fā)放大量冗余脈沖,致使網(wǎng)絡(luò)在增加計算量與能耗的同時,降低了后續(xù)神經(jīng)元的可選擇性,損害網(wǎng)絡(luò)的信息表示[2-5]。相比于CNN,SCNN更需要多維度的注意力方法幫助網(wǎng)絡(luò)對分布復(fù)雜化的脈沖事件作出精準的重要性判斷。目前還沒有專門適用于SCNN的多維度注意力方法來緩解上述問題。

在CNN中,有一種多維度的注意力方法(Convolutional Block Attention Module,CBAM)[6]可以通過壓縮-提取模塊獲取特征圖通道維度與二維空間維度的注意力并加以融合,快速聚焦于特征圖的關(guān)鍵位置,但對于脈沖數(shù)據(jù),CBAM無法考慮時間域范圍內(nèi)的全局性與多個樣本間的全局性,并不適用于SCNN。因此,本文對CBAM進行改進,提出一種適用于SCNN的多維度注意力方法,使得神經(jīng)元對各個脈沖事件的重要性作出精準的判斷。

1 STBP學(xué)習(xí)算法

Wu等[5,7]提出了隨時空域反向傳播(Spatio-Temporal Backpropagation,STBP)學(xué)習(xí)算法,并與Pytorch框架兼容,將帶泄漏整合發(fā)放(Leaky Integrate-And-Fire,LIF)神經(jīng)元模型轉(zhuǎn)換為顯示迭代版本,快速訓(xùn)練更深層的脈沖神經(jīng)網(wǎng)絡(luò)。其膜電位u計算如下:

(1)

(2)

(3)

STBP學(xué)習(xí)算法使用近似導(dǎo)數(shù)來解決脈沖活動不可微問題。將瞬時的變化率近似為神經(jīng)元在激活前一小段時間內(nèi)的變化率,使用梯度下降算法進行誤差的反向傳播,近似導(dǎo)數(shù)如下:

(4)

式中,a為影響曲線寬窄的超參數(shù)。

2 SCNN多維度注意力方法

本文提出適用于SCNN的多維度注意力方法主要包括3個方面,分別為通道維度注意力的獲取、時間維度注意力的獲取、通道和時間與二維空間注意力的融合。

2.1 通道維度注意力

本文采用通道維度注意力(Channel Attention,CA)方法來獲取SCNN中特征圖V的通道維度注意力。首先,將特征圖V的維度進行重新排列,獲得通道維度在批次維度與時間維度下的全面信息;然后,通過卷積操作獲取每個二維空間位置的重要性,對通道維度下的數(shù)據(jù)進行加權(quán)壓縮;最后,通過全連接層獲取全局信息通道維度的注意力。CA方法的步驟主要為批次-時間-通道整合、CA獲取。

2.1.1 批次-時間-通道整合

為了使獲取的通道注意力包含批次與時間維度的全局性,分別對V進行批次與通道維度、時間與通道維度的整合。假設(shè)1個尺寸為S×Ti×C×W×H的矩陣V,其中,S表示批次下的樣本數(shù),Ti表示包含當前時間點t=ti在內(nèi)的前置時間點,即Ti∈{t1,t2,…,ti},C表示通道數(shù),W與H表示二維寬和高。對處于當前時間點t=ti的V進行批次與通道維度的整合,將V沿S維度進行累加,矩陣尺寸由S×1×C×W×H變?yōu)?×C×W×H,記為矩陣A。此時,矩陣A攜帶了該批次的全局信息。

對V進行時間與通道維度的整合,將V沿前置時間點進行關(guān)于f(t)的加權(quán)相乘并累加,再經(jīng)過函數(shù)g(x)進行激活,矩陣尺寸由1×Ti×C×W×H變?yōu)?×C×W×H,記為矩陣B,此時的矩陣B攜帶了前置時間點的全局信息。

(5)

(6)

(7)

2.1.2 通道維度注意力CA的獲取與使用

將得到的矩陣A和B與當前樣本在時間點t下的特征圖Vt進行整合,得到的矩陣記為Ct。

Ct=λA+μB+ξVt

(8)

式中,矩陣A,B,Ct和Vt尺寸均為C×W×H。λ,μ,ξ為可學(xué)習(xí)參數(shù),三者初始值相加為1,通過學(xué)習(xí)來確定矩陣A,B與Vt對矩陣Ct的貢獻程度,并使其限制在±0.1。通道注意力CA的獲取過程如圖1所示。

圖1 通道注意力CA獲取示意圖

對矩陣Ct進行雙通道壓縮操作時,直接使用MaxPool與AvgPool進行壓縮并未考慮二維空間位置不同的重要性,存在一定的缺陷,故通過對矩陣Ct進行額外的卷積操作來獲取全局二維空間的注意力。首先使用SoftMax與Sigmoid激活函數(shù)對卷積得到的數(shù)據(jù)進行激活,并將激活后的數(shù)據(jù)分別與矩陣Ct相乘,獲得的矩陣記為D1與D2;然后,對D1進行AvgPool操作,對D2進行MaxPool操作,得到2個尺寸為C×1×1的矩陣。特別地,對于通過AvgPool得到的矩陣,將其中的每個元素乘以W×H,隨后將2個尺寸為C×1×1的矩陣共同輸入到1個共享的雙層全連接感知機MLP={Fc1(C,C/r1),Fc2(C/r1,C)}中,其中C為通道維度,r1為超參數(shù),Fc為全連接層。再將通過感知機MLP輸出的2個矩陣相加后,通過ReLu激活函數(shù)進行激活,得到最終的多維度整合的通道注意力尺寸為C×1×1的矩陣CA,將CA與對應(yīng)的Vt中通道維度的數(shù)據(jù)相乘即可使后續(xù)膜電位攜帶通道注意力。本文將由輸入矩陣Ct到獲取通道注意力的一系列操作記為ConvSE(Convolutional Squeeze Excitation)模塊。

2.2 時間維度注意力

本文采用適合于SCNN的時間維度注意力方法(Temporal Attention,TA)來獲取SCNN中特征圖V的時間維度注意力。先通過轉(zhuǎn)換迭代維度來獲取所有時間點的信息,再由ConvSE模塊獲取時間維度注意力TA。

2.2.1 迭代維度轉(zhuǎn)換

在STBP算法中,將LIF神經(jīng)元模型定義為顯式迭代的版本,具體實現(xiàn)中使用先層次后時間的迭代方法,即完成當前時刻下的網(wǎng)絡(luò)前饋后,保存各層膜電位與各層輸出數(shù)據(jù),再進入下一個時間點進行前饋,直到遍歷時間點結(jié)束。

若使用時間維度進行迭代,在經(jīng)過卷積層后只能獲取當前時間點之前的中間特征圖,無法獲取還未遍歷到的時間點數(shù)據(jù),導(dǎo)致網(wǎng)絡(luò)無法獲取每一層的完整時間維度的注意力?？蛇M行迭代維度的轉(zhuǎn)換來解決該問題。首先,將先層次后時間的迭代方法轉(zhuǎn)換為先時間后層次迭代,忽略前置時間點的膜電位對后續(xù)時刻的影響,在每層(如第i層)獲得所有時間點直接得到的中間特征圖Vi;然后,使用Vi獲取時間維度注意力,再進行后續(xù)的前置時間膜電位衰減加權(quán),或進行發(fā)送脈沖后的超極化操作;最后,繼續(xù)以上步驟進行層次上的迭代直到網(wǎng)絡(luò)結(jié)束。

2.2.2 時間維度注意力TA的獲取與使用

獲取的第i層中間特征圖Vi的尺寸為T×C×W×H,分別表示時間、通道、二維空間寬和高維度。通過對Vi進行2.1.2節(jié)所述的ConvSE操作,獲取時間維度注意力TA,并將其迭代作用于膜電位的更新,如圖2所示,具體步驟如下。

圖2 TA的獲取與作用示意圖

(1)對所有時間點的中間特征圖Vi進行通道維度的累加,尺寸變?yōu)門×W×H。

(2)針對步驟1獲得的矩陣,使用結(jié)合了二維空間注意力的ConvSE模塊,將其感知機MLP中的參數(shù)r1替換為r2,通過基于卷積操作的雙路池化操作獲取到時間維度上的注意力矩陣TAi,該矩陣大小為T×1×1。

2.3 多維度注意力融合策略

將通道維度注意力、時間維度注意力與在ConvSE模塊中的二維空間維度注意力互相結(jié)合,形成適用于調(diào)整SCNN中神經(jīng)元膜電位的多維度注意力方法。首先對迭代維度進行調(diào)整,獲取第i層經(jīng)過卷積后得到的所有時刻的中間特征圖Vi,后續(xù)步驟如下。

本文提出的適用于SCNN的多維度注意力方法能將各個維度的注意力互相結(jié)合,使其形成相輔相成的關(guān)系以幫助網(wǎng)絡(luò)更好地獲取到在各個復(fù)雜維度下多維度有機融合的注意力分布,隨著SCNN本身學(xué)習(xí)的進行,各個維度的注意力獲取也在相應(yīng)地進行調(diào)整,以達到適應(yīng)網(wǎng)絡(luò)的最好效果。

3 實驗結(jié)果與分析

實驗中,所有代碼的實現(xiàn)均采用Python3.8,平臺運行為PyCharm2020.2,服務(wù)器操作系統(tǒng)版本為Ubuntu18.04,CPU型號為Intel(R)Core(TM)i9-10900X,主頻為3.70 GHz,GPU型號為RTX3090。實驗數(shù)據(jù)集為3個神經(jīng)形態(tài)數(shù)據(jù)集N-MNIST[8],CIFAR10-DVS[9]和DVS-Gesture[10],從識別精度、收斂速度、各維度注意力等方面來評估系統(tǒng)的性能。

3.1 數(shù)據(jù)集與實驗環(huán)境

3.1.1 數(shù)據(jù)集

3個神經(jīng)形態(tài)數(shù)據(jù)集中,N-MNIST和CIFAR10-DVS數(shù)據(jù)集上的時間窗口T=10,劃分時間流時取間隔dt=10 ms;DVS-Gesture數(shù)據(jù)集上的時間窗口取T=40,dt=15 ms。

3.1.2 網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)置

選用表1中的網(wǎng)絡(luò)結(jié)構(gòu)與具體參數(shù),采用本文提出的適用于SCNN的多維度注意力方法分別在3個數(shù)據(jù)集上進行實驗。

表1 實驗數(shù)據(jù)集的網(wǎng)絡(luò)結(jié)構(gòu)表

表1中,128C3表示輸出通道為128且卷積核尺寸為3×3的卷積層,AP2表示池化核尺寸為2×2的平均池化層,1024 FC表示輸出數(shù)量為1 024的全連接層,VOTING表示分類層,Stride表示卷積核單次移動的步長。

3個數(shù)據(jù)集使用的參數(shù)與優(yōu)化器如表2所示,其中,θ,A與k為STBP學(xué)習(xí)算法中的參數(shù);λ,μ,ξ與r1為獲取通道注意力CA時所使用的參數(shù);τ,σ與r2為獲取時間注意力TA時所使用的參數(shù),優(yōu)化器選擇使用Adam[11]。

表2 實驗數(shù)據(jù)集參數(shù)表

3.2 實驗結(jié)果與分析

從識別精度、收斂速度與復(fù)雜度等方面對本文提出的適用于SCNN的多維度注意力方法(簡稱CTSA)進行評估和分析。

3.2.1 精度評估

分別對通道維度注意力CA、時間維度注意力TA、多維度注意力CTSA在3個數(shù)據(jù)集上進行識別精度的評估。結(jié)果如表3—表5所示,其中的“-comp”項為對比方法。

表3 CA精度評估

通道維度注意力CA、時間維度注意力TA與常規(guī)網(wǎng)絡(luò)和對照方法(-comp組)的精度評估對比如表3所示,其中,CA-comp為不進行批次-通道與時間-通道的整合,直接對中間特征圖進行壓縮-提取以獲得通道注意力,且在壓縮時不考慮二維空間注意力;TA-comp為對輸入數(shù)據(jù)直接進行壓縮-提取操作獲取注意力,且在壓縮時不考慮的二維空間注意力。

表3與表4分別展示了CA,TA與常規(guī)網(wǎng)絡(luò)和對照方法(-comp組)的精度評估對比,可以發(fā)現(xiàn):盡管以往的通道與時間維度注意力(-comp組)的應(yīng)用在每個數(shù)據(jù)集上都帶來了一定的精度提升,但與本文方法對比,仍具有一定的差距。其中在N-MNIST與CIFAR10-DVS數(shù)據(jù)集上,CA比TA帶來了更多的提升,這是因為這2個數(shù)據(jù)集將時間窗口大小T設(shè)置為10,與通道維度數(shù)量相差較大,CA取得了更好的效果;而在DVS-Gesture數(shù)據(jù)集上,T=40,時間維度極大延長后,使數(shù)據(jù)本身隱含了更多的時間維度的信息,給TA帶來更大的發(fā)揮空間,TA的精度提升高于CA。

表4 TA精度評估

表5展示了通道維度注意力CA、時間維度注意力TA與多維度注意力CTSA在各個數(shù)據(jù)集上的識別精度,可以看出,在單維度注意力方法的基礎(chǔ)上,CTSA進一步幫助SCNN提升了性能。

表5 CTSA精度評估

在CIFAR10-DVS數(shù)據(jù)集進行實驗時發(fā)現(xiàn),訓(xùn)練精度與測試精度相差較大,存在一定程度的過擬合現(xiàn)象,這是由于該數(shù)據(jù)集的復(fù)雜程度較高且數(shù)據(jù)量相對不足,導(dǎo)致網(wǎng)絡(luò)泛化能力較低。針對以上問題,通過對圖像進行裁剪、翻轉(zhuǎn)等傳統(tǒng)數(shù)據(jù)增強方法(Data Augmentation,DA)來提升訓(xùn)練數(shù)據(jù)的差異性,從而緩解過擬合現(xiàn)象[12]。在網(wǎng)絡(luò)進行訓(xùn)練之前,本文先對CIFAR10-DVS的數(shù)據(jù)進行增強處理,對應(yīng)表5中的STBP(DA)方法。如圖3所示,首先,在128×128的圖片上增加大小為24的padding,尺寸變?yōu)?76×176,并將尺寸隨機裁剪回128×128;然后,對圖片進行隨機的水平翻轉(zhuǎn)。在此基礎(chǔ)上,繼續(xù)驗證各注意力在CIFAR10-DVS數(shù)據(jù)集上的性能,實驗結(jié)果表明,相比于經(jīng)過數(shù)據(jù)增強的STBP算法,CTSA在該數(shù)據(jù)集上的識別精度提高了4.31%。

圖3 CIFAR10-DVS數(shù)據(jù)增強流程圖

3.2.2 收斂速度評估

為進一步探究各維度注意力方法為SCNN帶來的性能提升,先采用CA與CA-comp、TA與TA-comp分別在3個數(shù)據(jù)集上進行收斂速度的對比,結(jié)果如圖4所示,再對CA,TA與CTSA進行收斂速度的對比,結(jié)果如圖5所示。其中normal曲線為只使用STBP算法的常規(guī)網(wǎng)絡(luò),圖中橫軸為迭代次數(shù),縱軸為精度。

圖4 單一維度注意力方法收斂速度對比

圖5 CA,TA,CTSA收斂速度對比

從圖4可以看出,和原網(wǎng)絡(luò)與對照方法(-comp)相比,CA與TA均能更為快速地達到較高的精度,圖中虛線圓圈標注的部分相差最大。前期精度上升速度略低于對照方法的主要原因在于本文方法整合了全局數(shù)據(jù),且額外加入了卷積與全連接操作,在訓(xùn)練初始階段更為困難,但最終均能快速地收斂到更高的精度。

從圖5可以看出,在迭代過程的中期,多維度注意力方法CTSA與其他的單維度注意力方法逐漸拉開差距,最終以最小的迭代次數(shù)完成收斂。因為CTSA方法不局限于單個維度,而是將通道維度與時間維度的注意力有機結(jié)合,使兩者相輔相成,在幫助網(wǎng)絡(luò)提高精度的同時獲得更快的收斂速度。

3.2.3 參數(shù)分析

對CTSA中參數(shù)λ,μ,ξ的默認值進行分析,將λ,μ限定在[0,0.3]之間,ξ隨兩者變化而變化,三者相加為1。每次變化步長為0.05,分別進行實驗并使用精度評估。實驗過程中,使用網(wǎng)格搜索方法[13-15]尋找最優(yōu)的參數(shù)組。由于實驗量較大,本文使用預(yù)訓(xùn)練與自訓(xùn)練聯(lián)合的方法[16-17]進行,結(jié)果如圖6所示。

圖6 參數(shù)分析

從圖6可以看出,在3個數(shù)據(jù)集上得到最好精度的λ,μ取值分別為(0.1,0.1),(0.15,0.15)與(0.1,0.15)。此外可以觀察到,(0,0)附近的邊緣位置與(0.3,0.3)邊緣位置精度較低,前者主要是由于當λ,μ都為0或有某一個為0時,通道維度CA注意力失去了整合后的某些全局數(shù)據(jù)導(dǎo)致精度較低;后者是由于當λ,μ較大時,ξ取值較小,自身的原始信息傳遞效率過低導(dǎo)致精度下降。

3.2.4 注意力可視化展示

在網(wǎng)絡(luò)收斂完全時,將3個數(shù)據(jù)集的CA矩陣與TA矩陣分別相乘,得到通道-時間二維位置的重要性,如圖7所示,每個位置的重要性由暗到亮而遞增。對于N-MNIST與CIFAR10-DVS,取時間維度全長進行展示;對于DVS-Gesture,從0開始每4個時間點選取1個用于展示。3個數(shù)據(jù)集的通道維度均取0～9,數(shù)據(jù)均取自于第1個卷積層。

圖7 CA與TA融合重要性示意圖

對比圖7可以看出,DVS-Gesture數(shù)據(jù)集受時間維度的影響更為明顯。這是因為DVS-Gesture數(shù)據(jù)集對時間維度會更為敏感,使用的是由DVS相機直接捕獲的脈沖數(shù)據(jù),而N-MNIST與CIFAR10-DVS數(shù)據(jù)集是通過基于幀的圖片轉(zhuǎn)換得到的。

3.2.5 復(fù)雜度分析

對CA,TA與CTSA進行時間與空間的復(fù)雜度分析。

(1)時間復(fù)雜度:對于CA方法,由于矩陣相加可并行操作,因此其中B-C,T-C整合與壓縮提取過程均只需在每個時間點進行1次操作即可,每個步驟執(zhí)行次數(shù)均為時間窗口的大小T,因此時間復(fù)雜度為O(n);對于TA方法,時間維度只需進行1次操作即可獲取時間維度注意力,其時間復(fù)雜度為O(1);對于CTSA方法,將CA矩陣、TA矩陣與在TA方法中獲得的SASA矩陣結(jié)合共同作用于每個時間點,復(fù)雜度為O(n);

(2)空間復(fù)雜度:從輸入數(shù)據(jù)的角度分析,上述方法都在每個時間點產(chǎn)生了額外的中間變量,因此空間復(fù)雜度為O(n);從網(wǎng)絡(luò)參數(shù)的角度分析,ConvSE模塊中卷積層與2個全連接層所用參數(shù)遠小于原始網(wǎng)絡(luò)卷積層的參數(shù),空間復(fù)雜度為O(1)。綜上所述,CTSA方法的空間復(fù)雜度為O(n)。

4 結(jié)束語

本文提出一種適用于SCNN的多維度注意力方法。從全局視野出發(fā),運用SCNN復(fù)雜的時空動力學(xué),通過壓縮-提取模塊獲取SCNN中特征圖的通道、時間與二維空間維度注意力并加以融合,對分布在復(fù)雜時空維度下的各個脈沖事件作出更為精準的重要性判斷,保證了網(wǎng)絡(luò)信息的高效傳輸。但是,本文方法需要整合每個時間點的通道和批次,增加了一定的存儲負擔,計劃繼續(xù)挖掘時間維度與通道維度之間的共性,形成全局適用的注意力,減少存儲空間的消耗。