楊彥辰，云利軍,2，梅建華，盧 琳

（1. 云南師范大學(xué) 信息學(xué)院，云南 昆明 650500；2. 云南省光電信息技術(shù)重點實驗室，云南 昆明 650500；3. 云南省煙草煙葉公司 設(shè)備信息科，云南 昆明 650218）

引言

紅外人體步態(tài)識別作為最有潛力的非侵入式中遠(yuǎn)距離生物特征識別技術(shù)之一，可在無需被采集者配合的情況下，利用采集到的中遠(yuǎn)距離低分辨率紅外步態(tài)圖像，識別行人的身份信息[1]。相較人臉、指紋等識別條件相對嚴(yán)格的生物特征識別技術(shù)而言，紅外步態(tài)識別技術(shù)應(yīng)用場景更為廣泛，在可見光強(qiáng)度不足、雨雪天氣等特殊環(huán)境下仍能保證較高的識別準(zhǔn)確率，在身份識別領(lǐng)域異軍突起[2]。

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）作為一種快速、可擴(kuò)展的端到端學(xué)習(xí)框架，極大地簡化了傳統(tǒng)機(jī)器學(xué)習(xí)低效、冗雜的結(jié)構(gòu)，在圖像處理的各個領(lǐng)域都取得了不錯的成果。He K 等人[3]提出了一種易優(yōu)化的深度殘差網(wǎng)絡(luò)，通過各殘差塊之間的跳躍連接，防止網(wǎng)絡(luò)過深帶來的梯度消失問題，并提高了準(zhǔn)確率。Wang H 等人[4]以殘差網(wǎng)絡(luò)為基礎(chǔ)構(gòu)建了一種L-Resnet-50 網(wǎng)絡(luò)，在維持較高步態(tài)識別準(zhǔn)確率的前提下減少各部分50%的參數(shù)量，取得了不錯的效果。Huang G 等人[5]采用調(diào)節(jié)局部特征流動的方法構(gòu)建了一種處理步態(tài)數(shù)據(jù)的網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)通過提取幀級特征和幀間局部特征間的關(guān)系，靈活地獲取局部和全局中最有判別性的特征，在CASIA B 中取得了95.1%的準(zhǔn)確率。由于CNN 無法捕捉序列化數(shù)據(jù)中的連續(xù)動態(tài)時空信息，使得卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理NLP（natural language processing）及一些數(shù)據(jù)間有順序關(guān)系的領(lǐng)域表現(xiàn)并不是很理想。之后Wang X 等人[6]設(shè)計了FF-GEI（frame-by-frame GEI），擴(kuò)大了步態(tài)能量圖可用數(shù)據(jù)量，結(jié)合帶有長短期記憶的Conv-LSTM（convolutional long short-term memory）模型，在CASIA B 和OU-ISIR 上對泛化能力進(jìn)行驗證，取得了較為優(yōu)秀的結(jié)果。Vaswani A 等人[7]首次在NLP 領(lǐng)域中提出了完全基于自注意力機(jī)制的Transformer 架構(gòu)，使模型在擁有簡單結(jié)構(gòu)的情況下，對帶有時序信息的數(shù)據(jù)進(jìn)行特征提取。Dosovitskiy A 等 人[8]利 用Transformer 處 理 圖 像 數(shù)據(jù)，將圖像進(jìn)行無重疊切片，再進(jìn)行包含位置信息的數(shù)據(jù)特征學(xué)習(xí)，提供了一種全新的模型架構(gòu)思想，在擁有大量樣本的數(shù)據(jù)集中已經(jīng)逐步趕超現(xiàn)在流行的一些CNN 網(wǎng)絡(luò)模型，但在小樣本數(shù)據(jù)集上的表現(xiàn)仍有很大的提升空間。

本文將構(gòu)建對稱的雙重完全注意力機(jī)制模型，以中科院CASIA C 紅外步態(tài)庫作為數(shù)據(jù)集，經(jīng)過數(shù)據(jù)預(yù)處理和步態(tài)周期劃分之后，采用多次實驗取平均的方式進(jìn)行多輪消融實驗。首先將本文模型和同尺寸ViT Base 模型對比，以證明對稱雙重注意力結(jié)構(gòu)能有效促進(jìn)模型收斂。然后加入遷移學(xué)習(xí)，得出其對模型收斂速度的促進(jìn)效果。最后將加入遷移學(xué)習(xí)的本文模型同CNN 模型進(jìn)行穩(wěn)定性、收斂速度和準(zhǔn)確率對比，證明融合了遷移學(xué)習(xí)之后的本文模型在保留背包、步速等雜項步態(tài)特征的狀態(tài)下，仍能取得較優(yōu)的識別準(zhǔn)確率。

1 數(shù)據(jù)處理

1.1 數(shù)據(jù)集

實驗數(shù)據(jù)集采用中國科學(xué)院自動化研究所CASIA 步 態(tài) 數(shù) 據(jù) 庫 中 的Dataset C 紅 外 步 態(tài) 數(shù) 據(jù)庫。該數(shù)據(jù)庫在單人單一角度下對153 名被采集者正常行走（fn）、快速行走（fq）、慢速行走（fs）、背包行走（fb）的4 種不同行走狀態(tài)進(jìn)行拍攝。固定角度設(shè)置為90°，大小約有66.5 MB。圖1 給出了CASIA C 數(shù)據(jù)庫中的兩種紅外步態(tài)實例。

圖1 CASIA C 數(shù)據(jù)庫中的紅外步態(tài)實例Fig. 1 Examples of infrared gait in CASIA C database

1.2 紅外步態(tài)圖像預(yù)處理

本文首先采用背景減除法[9-10]來提取行走過程中的人體輪廓特征，再將圖像進(jìn)行二值化處理，進(jìn)一步強(qiáng)化人體姿態(tài)信息，最后剪裁大量無用背景信息，并將被采集者的步態(tài)信息居中顯示，最后將其調(diào)整為128×128 像素。具體處理結(jié)果如圖2所示。

圖2 紅外步態(tài)圖像預(yù)處理Fig. 2 Image preprocessing results of infrared gait

1.3 步態(tài)周期估計函數(shù)

由于ViT 是對一組帶有時間信息的圖像數(shù)據(jù)進(jìn)行特征學(xué)習(xí)的模型結(jié)構(gòu)，因此，需要將行人的步態(tài)數(shù)據(jù)按照步態(tài)周期進(jìn)行劃分。將步態(tài)周期組作為數(shù)據(jù)輸入，可使模型在特征學(xué)習(xí)過程中不止學(xué)習(xí)到人體瞬時姿態(tài)特征，同時又將一段時間內(nèi)的姿態(tài)特征按照時間順序聯(lián)系起來，有助于增加模型的魯棒性和穩(wěn)定性。圖3 為背包狀態(tài)下以左腳邁出為初始狀態(tài)的雙腳步態(tài)周期圖。

圖3 背包狀態(tài)雙腳步態(tài)周期Fig. 3 Feet gait cycle in backpack state

目前常用的圖像相似性模板匹配算法有絕對差和（sum of absolute differences，SAD）[11]、歸一化交叉相關(guān)系數(shù)（normalized cross correlation，NCC）[12]與零均值歸一化交叉相關(guān)系數(shù)（zero-normalized cross correlation，ZNCC）[13]3 種，考慮到紅外步態(tài)圖中對人體行走姿態(tài)特征敏感度要求較高，同時為避免計算絕對差和或誤差平方和可能出現(xiàn)的模式匹配錯誤，本文采用對人體姿態(tài)輪廓識別更精細(xì)的ZNCC 函數(shù)作為步態(tài)周期的估計函數(shù)，其結(jié)果越大表明兩張圖像的相關(guān)性越強(qiáng)。ZNCC 函數(shù)可以用（1）式來表示：

式中： (x,y) 為 圖像中的像素位置坐標(biāo)；f(x,y)是原圖像像素值；t(x,y) 為 模板圖像像素值；n為模板中像素（元素）的個數(shù)； μf、 μt分別為原圖像和模板圖像的像素均值。將包含有時間順序的一連串步態(tài)圖像逐一輸入ZNCC 函數(shù)中，與設(shè)定好的初始狀態(tài)圖像進(jìn)行相關(guān)系數(shù)計算，根據(jù)相關(guān)系數(shù)變化圖對比得出特征重復(fù)周期，再取最大值，從而估算得到本文研究的步態(tài)周期。以001 號類別為例，如圖4 所示，其中2 個相鄰峰值之間為1 個單腳步態(tài)周期。

圖4 4 種不同狀態(tài)下的相關(guān)系數(shù)周期圖Fig. 4 Periodogram of correlation coefficient in four different states

2 網(wǎng)絡(luò)模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)對比模型

卷積神經(jīng)網(wǎng)絡(luò)(CNN)[14]是一種典型的前饋網(wǎng)絡(luò)結(jié)構(gòu)，主要由輸入層、隱藏層和輸出層3 個部分組成。輸入層將圖像輸入CNN 中；隱藏層通過對輸入的圖像卷積、池化等操作進(jìn)行特征學(xué)習(xí)，其中利用池化層來壓縮數(shù)據(jù)和參數(shù)量，去掉特征圖中不重要的信息，突出重要特征；卷積層則是利用卷積核對感受野內(nèi)的局部特征數(shù)據(jù)進(jìn)行計算，其參數(shù)權(quán)重是共享的，這也使得CNN 具有圖像上的空間局部相關(guān)性；輸出層根據(jù)最終的圖像特征來給出圖像分類結(jié)果。傳統(tǒng)CNN 通過增加隱藏層規(guī)模來提升識別準(zhǔn)確率，但隨著卷積的逐漸深入，丟失的輸入圖像細(xì)節(jié)和位置特征也越多，導(dǎo)致模型不易訓(xùn)練，準(zhǔn)確度出現(xiàn)飽和甚至下降[15]。為解決這種網(wǎng)絡(luò)退化問題，Resnet 網(wǎng)絡(luò)[3,16]中構(gòu)建了一種殘差結(jié)構(gòu)。通過不同殘差塊之間的跳躍連接，實現(xiàn)了一種短路機(jī)制，使得網(wǎng)絡(luò)可以在一定條件下通過恒等映射規(guī)則跳過一些殘差塊，以此來適當(dāng)?shù)卣{(diào)節(jié)網(wǎng)絡(luò)深度，一定程度上解決了準(zhǔn)確度飽和以及不易訓(xùn)練的問題。

考慮到模型對小樣本數(shù)據(jù)集的擬合特點，本文基于Resnet 網(wǎng)絡(luò)構(gòu)建了一種淺層雙路殘差網(wǎng)絡(luò)。如圖5 所示，將Conv1 Block 和Block1 這2 個淺層塊組并聯(lián)，通過AVG 模塊，將雙路特征信息進(jìn)行直接融合后取平均，然后依次輸入Block2、Block3和Block4 中進(jìn)一步擬合特征，之后輸入AdaptiveAvg-Pool2D（二元自適應(yīng)平均池化層）調(diào)整數(shù)據(jù)格式，最后經(jīng)由FC 層輸出結(jié)果。Block 塊中利用恒等映射方法來調(diào)節(jié)隱藏層深度，每個Block 都可由shortcut塊跳過，以保證在接收到屏蔽該殘差塊信號之后仍可以將圖像按照相應(yīng)尺寸輸出。采用RELU 作為本網(wǎng)絡(luò)的激活函數(shù)，Block 塊結(jié)構(gòu)均相同但參數(shù)不同，其中In_ch 為輸入通道數(shù)，O_ch 為輸出通道數(shù)，B_num 為該Block 循環(huán)次數(shù)，Stride 為步長。

圖5 雙路CNN 步態(tài)識別模型Fig. 5 Gait recognition model of double channel CNN

2.2 對稱雙重注意力機(jī)制模型

注意力機(jī)制（Attention）[17]是一種仿照人類視覺關(guān)注重點，捕獲輸入信息重點特征的結(jié)構(gòu)。如今常將其與CNN 結(jié)合作為卷積的補(bǔ)充，通過構(gòu)建“查詢向量(Query)”、“值向量(Value)”和“鍵向量(Key)”來進(jìn)行縮放點積注意力操作，使得網(wǎng)絡(luò)對不同特征分配不同的注意力，可以用（2）式、（3）式、（4）式表示：

Transformer[7]是一種完全基于注意力機(jī)制的特征提取網(wǎng)絡(luò)，其通過構(gòu)建一種多頭注意力機(jī)制（multi-head attention），在Attention 模塊的基礎(chǔ)上進(jìn)一步完善了自注意力層，增強(qiáng)了模型專注于不同位置的能力，并為不同的注意力層加入了不同的“獨立子空間”。經(jīng)過多頭注意力機(jī)制后，每個頭都會有獨立的權(quán)重矩陣，使得網(wǎng)絡(luò)對每個不同位置的特征都有不同的權(quán)重參數(shù)。

ViT 不同于傳統(tǒng)卷積對整張圖像進(jìn)行操作，其將一張圖像以固定尺寸無交叉分割成為一組圖像塊，并將每個小塊轉(zhuǎn)化為一維張量。由于這種分割的圖像塊仍未標(biāo)識每個小塊的位置關(guān)系，因此采用Positional Encoding 方式為其添加位置嵌入，如（7）式所示：

式中：pos 表示token 在全局中的位置序列號；i取 [0,···,dmodel/2]；dmodel取512。這種位置嵌入方式可以適應(yīng)不同尺寸分割塊。

本文通過多次模型消融實驗，發(fā)現(xiàn)導(dǎo)致ViT 模型對小樣本步態(tài)數(shù)據(jù)集擬合速度較低、效果較差的原因，是由于模型在特征擬合過程中對注意力機(jī)制模塊不夠重視導(dǎo)致的。另外，這種分割不同位置的特征提取方式，雖加入了位置嵌入，但對人體步態(tài)整體特征學(xué)習(xí)能力仍較弱。因此，本文構(gòu)建了一種對稱雙重注意力機(jī)制步態(tài)模型，通過設(shè)計對稱雙重注意力機(jī)制塊，抵消模型在擬合步態(tài)特征時速率較低的缺陷；另外，為了避免該模塊影響過大導(dǎo)致準(zhǔn)確率震蕩反而不易收斂的問題，本文設(shè)計特征融合模塊（feature fusion，F(xiàn)F），其先將2 個通道獲得的特征信息進(jìn)行等尺寸融合，然后再通過設(shè)置影響因子來對影響效果進(jìn)行控制。

雖然這種基于完全注意力的模型可以在保留特征位置信息的情況下對一組順序數(shù)據(jù)進(jìn)行學(xué)習(xí)，但在較小樣本的數(shù)據(jù)集上會導(dǎo)致收斂較慢，對模型正則化或數(shù)據(jù)增強(qiáng)（AugReg）的依賴性增加[18]。而遷移學(xué)習(xí)[19]可以很好地解決這種問題，在大型數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練后，將訓(xùn)練權(quán)重參數(shù)遷移到小樣本數(shù)據(jù)集上，使各層參數(shù)無需從初始值開始收斂，加快數(shù)據(jù)擬合效率。

具體模型結(jié)構(gòu)如圖6 所示。首先將步態(tài)周期組中每一時刻的圖像按序輸入Embedding 層，再將尺寸為128×128 像素的步態(tài)圖像分割成16 個尺寸為32×32 像素的圖像塊，然后將圖像塊分別重構(gòu)成一維張量，利用（7）式中的正弦位置嵌入方法計算并添加位置嵌入后，輸入Encoder Block 中，經(jīng)過并聯(lián)的多頭注意力模塊，對輸入的不同人體位置姿態(tài)圖像（如：手臂、腿等）進(jìn)行姿態(tài)細(xì)節(jié)特征提取后，通過特征平均融合模塊擬合特征權(quán)重，再經(jīng)過LayerNormalization 層后進(jìn)入MLP 模塊中，最后傳入MLP_Head 塊得到分類結(jié)果。為防止模型過分?jǐn)M合小樣本數(shù)據(jù)，在對稱的多頭注意力模塊和MLP 模塊中采用DropPath 來代替?zhèn)鹘y(tǒng)的Dropout，隨機(jī)將網(wǎng)絡(luò)中的多分支結(jié)構(gòu)隨機(jī)刪除。

圖6 雙重對稱注意力機(jī)制步態(tài)模型Fig. 6 Dual symmetrical attention mechanism gait model

3 仿真實驗與結(jié)果分析

3.1 實驗設(shè)計

本文在Pytorch 1.7、Python 3.8 環(huán)境下進(jìn)行模型搭建。采用CASIA C 紅外步態(tài)數(shù)據(jù)庫作為數(shù)據(jù)集，包含153 名被采樣者的4 種行走狀態(tài)，共100346張紅外圖像。運(yùn)用2.2 節(jié)中的預(yù)處理方法剔除無用特征，突出人體姿態(tài)細(xì)節(jié)，然后再按估算的單腳步態(tài)周期劃分為步態(tài)周期組，并按照7∶3 的比例將其分割為訓(xùn)練集和測試集。

按照圖5 構(gòu)建本文的CNN 對比模型，將數(shù)據(jù)無序輸入模型中，設(shè)置初始學(xué)習(xí)率為1×10-2。使用Adam 優(yōu)化器加強(qiáng)有效收斂，并采用 categorical_crossentropy 多分類交叉熵?fù)p失函數(shù)計算Loss 值。設(shè)置Batchsize 為14，訓(xùn)練迭代次數(shù)為16 次。按照圖6構(gòu)建本文模型，設(shè)置Embedding 尺寸為32，影響因子為1/2。采用相同的ViT Base 模型作為對比，由于ViT 是處理帶有時序性數(shù)據(jù)的模型結(jié)構(gòu)，因此，要保持人體行走姿態(tài)的順序性，故將劃分好的步態(tài)周期組作為模型的數(shù)據(jù)輸入，再將圖像按照相應(yīng)的Embedding 尺寸切割成多個部分，按照從左到右、從上到下的順序輸入 Encoder 中。采用消融實驗思想，設(shè)置初始學(xué)習(xí)率為1×10-3，Multi_Head Attention 數(shù)量為12 個，以Adam 作為優(yōu)化器，使用categorical_crossentropy 多分類交叉熵?fù)p失函數(shù)計算Loss。

3.2 結(jié)果分析

模型效果通過模型分類準(zhǔn)確率曲線進(jìn)行比較說明。首先將本文模型與相同尺寸的ViT Base 模型在10 個Epoch 內(nèi)進(jìn)行效果對比。經(jīng)過4 次試驗，將得到的結(jié)果取平均值如圖7 所示。由圖7 中圓點線和三角點線可以明顯看出，Embedding 尺寸為32 的本文模型始終快于同尺寸的ViT 對比模型，且在5 個Epoch 前，二者都有較快的收斂速度，之后模型對人體姿態(tài)細(xì)節(jié)的掌握程度隨訓(xùn)練迭代增多逐漸加深，學(xué)習(xí)速度放緩，收斂加速度減少。最終，傳統(tǒng)ViT Base32 模型和本文模型在第10 個Epoch 時多次測試的平均識別準(zhǔn)確率分別為60.3%和75.3%。經(jīng)分析得出，該結(jié)果是因為傳統(tǒng)ViT Base 模型對注意力權(quán)重不夠重視導(dǎo)致的，適當(dāng)?shù)丶訌?qiáng)注意力機(jī)制的影響程度，可以有助于提高準(zhǔn)確率飽和上限，使之不易出現(xiàn)準(zhǔn)確率震蕩。可見，本文構(gòu)建的對稱雙重注意力機(jī)制模型可以在一定程度上加快數(shù)據(jù)收斂速度，能夠更好地擬合小樣本數(shù)據(jù)特征。

圖7 本文模型與同尺寸Vit 對比Fig. 7 Comparison between proposed model and ViT of same size

為進(jìn)一步解決ViT 在小樣本數(shù)據(jù)集上的應(yīng)用存在的收斂速度過慢、不易訓(xùn)練等諸多問題，對本文模型采用異類遷移學(xué)習(xí)方法，先將ViT 模型在ImageNet21K 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并將訓(xùn)練的各層參數(shù)權(quán)重進(jìn)行剪裁后應(yīng)用于本文構(gòu)建的模型中，經(jīng)過3 次試驗，將結(jié)果取平均值后如圖8 所示。由圖8 中圓點線和菱點線對比可見，利用遷移學(xué)習(xí)后的本文網(wǎng)絡(luò)在訓(xùn)練初期便得到了較高的準(zhǔn)確率（ACC），這是因為異類遷移為模型各層設(shè)置了初始權(quán)重，極大縮短了模型訓(xùn)練的時間。同時，為證明并不是單純將某一部分進(jìn)行并聯(lián)堆疊都有效，本文將圖6 中的整個Encoder Block 并聯(lián)，同樣利用遷移學(xué)習(xí)進(jìn)行3 次消融實驗，結(jié)果取平均值，如圖8 中三角點線，發(fā)現(xiàn)其效果甚至不如未采用遷移學(xué)習(xí)的本文模型。原因是注意力強(qiáng)化模塊學(xué)到的特征在經(jīng)過Layer_Norm 層、MLP 和DropPath 層處理后已丟失了部分關(guān)鍵特征信息，此時對這些殘缺信息進(jìn)行加強(qiáng)，反而會起到消極作用。

圖8 加入遷移學(xué)習(xí)的本文模型與研究過程中其他嘗試的對比Fig. 8 Comparison between proposed model with transfer learning and other attempts in research process

最后，將加入了遷移學(xué)習(xí)的本文模型與本文構(gòu)建的CNN 模型進(jìn)行對比。進(jìn)行2 次試驗，將結(jié)果取平均值后如圖9 所示，本文模型的準(zhǔn)確率在第7 個Epoch 就率先達(dá)到90%，遠(yuǎn)超對比CNN 模型5 個百分點。在11 個Epoch 時，CNN 模型出現(xiàn)了準(zhǔn)確率飽和的情況，而本文模型的準(zhǔn)確率卻始終呈現(xiàn)穩(wěn)定提升，并在16 個Epoch 時達(dá)到96.8%。分析表明，加入遷移學(xué)習(xí)的本文模型不但有效縮短了模型各層權(quán)重的擬合時間，也進(jìn)一步提高了準(zhǔn)確率上限，使該模型在穩(wěn)定性、數(shù)據(jù)擬合速度以及識別準(zhǔn)確率3 方面皆優(yōu)于CNN 對比模型。

圖9 加入遷移學(xué)習(xí)的本文模型同CNN 模型對比Fig. 9 Comparison between proposed model with transfer learning and CNN model

4 結(jié)論

本文構(gòu)建了對稱雙重注意力機(jī)制模型，并將其應(yīng)用于紅外步態(tài)識別領(lǐng)域。在中科院自動化所提供的CASIA C 紅外數(shù)據(jù)庫中進(jìn)行3 組對比模擬仿真實驗。保留紅外數(shù)據(jù)庫中行人裝飾（背包）、行走速度（正常、快、慢）等行走特征，將數(shù)據(jù)集按照ZNCC 函數(shù)估計的步態(tài)周期，劃分成多個順序性的組，然后將人體不同位置分割開來，使得本文網(wǎng)絡(luò)不是如傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)那樣對整張圖像進(jìn)行學(xué)習(xí)，而是利用獨立特征子空間，擬合行走過程中人體不同位置的姿態(tài)特征，使得模型學(xué)習(xí)更加有針對性；同時，為了提高模型的學(xué)習(xí)效率，使得模型在小樣本數(shù)據(jù)集上也有較好的效果，本文還采用了異類遷移學(xué)習(xí)的思想。經(jīng)實驗證明，加入遷移學(xué)習(xí)后的模型在數(shù)據(jù)擬合速度、穩(wěn)定性、平均識別準(zhǔn)確率等方面可以明顯超越CNN 以及傳統(tǒng)ViT 模型，進(jìn)一步使其在本領(lǐng)域應(yīng)用成為可能，亦為ViT在小樣本數(shù)據(jù)集上的應(yīng)用提供了新的思路。