胡少暉，王修暉

中國(guó)計(jì)量大學(xué) 信息工程學(xué)院 浙江省電磁波信息技術(shù)與計(jì)量檢測(cè)重點(diǎn)實(shí)驗(yàn)室，杭州 310018

人體步態(tài)是在行走過程中由身體不同部位的運(yùn)動(dòng)信息綜合體現(xiàn)出來的生物特征。與其他生物特征相比較，步態(tài)具有非侵犯性、無需被檢測(cè)者的刻意配合、無需特定的采集設(shè)備、無需高分辨率的圖像、難于偽裝和隱藏等優(yōu)點(diǎn)[1]。因此，在犯罪偵查、安全檢查等多種場(chǎng)景下，步態(tài)特征作為安全識(shí)別具有很大的應(yīng)用潛力。但是，因?yàn)楸蛔R(shí)別對(duì)象的衣著變化、行走速度和采集角度等外部因素的影響，步態(tài)識(shí)別研究仍然面臨著嚴(yán)峻的挑戰(zhàn)。

針對(duì)步態(tài)識(shí)別的特征表達(dá)問題，Han等人[2]首先提出了一種新的時(shí)空步態(tài)表示方法，即步態(tài)能量圖（gait energy image，GEI），并利用一種輪廓圖像失真分析方法合成步態(tài)能量圖以解決缺乏訓(xùn)練步態(tài)數(shù)據(jù)的問題，然后借助于統(tǒng)計(jì)特征融合方法在真實(shí)和合成的步態(tài)能量圖中獲取步態(tài)特征進(jìn)行個(gè)體識(shí)別。Jeevan等人[3]在提出了GPPE方法對(duì)步態(tài)時(shí)域特征進(jìn)行表征的基礎(chǔ)上，采用主成分分析和支持向量機(jī)進(jìn)行特征提取和步態(tài)分類，該方法在一定程度下能夠減小外觀變化帶來的影響。王修暉等人[4]提出了一種基于連續(xù)密度馬爾可夫模型的人體步態(tài)識(shí)別方法，該方法借助Cox回歸分析的自適應(yīng)算法對(duì)訓(xùn)練過的步態(tài)模型進(jìn)行參數(shù)自適應(yīng)和步態(tài)識(shí)別。More等人[5]提出一種融合兩種特征的步態(tài)識(shí)別方法，首先使用交叉小波變換和二部圖模型提取動(dòng)態(tài)特征和靜態(tài)特征，歸一化之后進(jìn)行特征融合，最后將通過k均值聚類獲得每個(gè)特征向量和聚類中心之間的歐式距離用作相似性度量。馬勤勇等人[6]提出了一種瞬時(shí)步態(tài)能量圖，相對(duì)于步態(tài)能量圖增加了步態(tài)的運(yùn)動(dòng)信息，與步態(tài)能量圖共同構(gòu)成步態(tài)特征，最后用最近鄰算法進(jìn)行步態(tài)分類。魯繼文等人[7]提出了一種基于獨(dú)立成分分析和多視角信息融合的步態(tài)識(shí)別方法，先通過對(duì)提取的步態(tài)特征使用獨(dú)立成分分析進(jìn)行壓縮，再用支持向量機(jī)進(jìn)行步態(tài)分類和識(shí)別，最后通過融合不同視角下的步態(tài)特征完成多視角下信息融合的步態(tài)識(shí)別。Wang等人[8]通過Gabor小波提取不同的方向和比例信息形成步態(tài)能量圖，然后采用二維主成分分析減小特征空間維數(shù)，最后使用支持向量機(jī)進(jìn)行步態(tài)識(shí)別。綜上所述，目前傳統(tǒng)機(jī)器學(xué)習(xí)方法已經(jīng)大量地在步態(tài)分類中得到應(yīng)用，并取得了一定的成果，但是在存在較大視角變化和著裝差異的情況下，步態(tài)識(shí)別正確率仍然難以滿足身份識(shí)別等實(shí)際應(yīng)用的要求。

近年來，深度學(xué)習(xí)技術(shù)在運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤、圖像分類與識(shí)別等方面受到日益廣泛的關(guān)注，在步態(tài)識(shí)別研究中也得到了一定的應(yīng)用。相對(duì)于傳統(tǒng)方法，卷積神經(jīng)網(wǎng)絡(luò)能夠更有效地提取特征的有用信息，從而提高實(shí)驗(yàn)效果。Chen等人[9]提出基于特征圖池化的步態(tài)識(shí)別網(wǎng)絡(luò)（feature map pooling，F(xiàn)MP），從步態(tài)輪廓序列中提取和聚合有用信息，而非通過平均輪廓圖像簡(jiǎn)單地表示步態(tài)過程，然后采用特征圖池化策略來聚合序列特征。Wolf等人[10]利用3D卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)步態(tài)運(yùn)動(dòng)的時(shí)空特征。Shiraga等人[11]提出步態(tài)能量圖網(wǎng)絡(luò)（GEINet）。GEINet以GEI為輸入樣本，由兩組卷積池化歸一層和兩個(gè)連續(xù)的全連接層組成，最后用softmax進(jìn)行分類。Chao等人[12]研究的跨視角步態(tài)識(shí)別方法是首先使用度卷積VGG-D提取特征，然后用主成分分析進(jìn)行降維，最后用聯(lián)合貝葉斯進(jìn)行步態(tài)分類。Takemura等人[13]研究的是一種基于輸入/輸出結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)跨視角步態(tài)識(shí)別方法，它們?cè)O(shè)計(jì)了一個(gè)用于驗(yàn)證的暹羅神經(jīng)網(wǎng)絡(luò)和用于標(biāo)識(shí)具有高級(jí)差異結(jié)構(gòu)的CNN的三元組網(wǎng)絡(luò)。Zhang等人[14]研究的是一種采用距離度量學(xué)習(xí)來驅(qū)動(dòng)相似度量的暹羅神經(jīng)網(wǎng)絡(luò)，該方法中通過減小同一人和不同人的步態(tài)對(duì)的相似度量差值大小來實(shí)現(xiàn)步態(tài)識(shí)別；Tong等人[15]提出了一種應(yīng)用于步態(tài)識(shí)別的新型時(shí)空深度神經(jīng)網(wǎng)絡(luò)（spatial-temporal deep neural network，STDNN），STDNN包括時(shí)間特征網(wǎng)絡(luò)（temporal feature network，TFN）和空間特征網(wǎng)絡(luò)（spatial feature network，SFN），豐富了步態(tài)特征。Wu等人[16]提出了一種通過深度卷積神經(jīng)網(wǎng)絡(luò)（DeepCNNs）進(jìn)行相似度學(xué)習(xí)的步態(tài)識(shí)別方法。

綜上所述，現(xiàn)在的很多步態(tài)識(shí)別方法通過卷積塊獲取全局特征，忽略了對(duì)一些重要信息的加權(quán)和可以反映局部信息的步態(tài)特征。針對(duì)上述問題，本文提出了一種基于注意力卷積神經(jīng)網(wǎng)絡(luò)和分塊特征的跨視角步態(tài)識(shí)別方法，以步態(tài)輪廓圖作為輸入。首先經(jīng)過注意力卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行有效信息的提取和增強(qiáng)，然后水平分成兩塊處理用以獲取局部特征，最后將兩部分的步態(tài)特征融合后進(jìn)行步態(tài)分類。通過在兩個(gè)經(jīng)典步態(tài)數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)，證明了本文方法相對(duì)現(xiàn)有的方法，具有較好的識(shí)別效果。

1 模型算法

本文提出的基于注意力卷積神經(jīng)網(wǎng)絡(luò)和分塊特征的具體網(wǎng)絡(luò)模型如圖1所示。該網(wǎng)絡(luò)主要由注意力卷積神經(jīng)網(wǎng)絡(luò)和分塊特征網(wǎng)絡(luò)組成。使用無序的步態(tài)序列作為輸入，首先用卷積神經(jīng)網(wǎng)絡(luò)提取幀級(jí)步態(tài)特征。在卷積神經(jīng)網(wǎng)絡(luò)中添加了通道和空間注意力機(jī)制[17]（convolutional block attention module，CBAM）來增加特征在空間和通道上的表現(xiàn)力，在卷積神經(jīng)網(wǎng)絡(luò)的后部分使用了多通道卷積特征融合技術(shù)使步態(tài)特征具有多樣性。然后幀級(jí)特征進(jìn)行全局最大池化處理成能代表個(gè)人身份的特征塊。分塊特征網(wǎng)絡(luò)主要是將輸出的特征塊水平分成上下兩部分，然后每部分通過池化處理各生成一條一維矢量特征。最后聯(lián)合triplet loss和softmax loss進(jìn)行訓(xùn)練，增強(qiáng)網(wǎng)絡(luò)的特征提取能力并有利于收斂。測(cè)試時(shí)通過計(jì)算訓(xùn)練時(shí)保存的序列特征與待測(cè)序列之間的歐式距離來預(yù)測(cè)待測(cè)人的身份。

圖1 基于注意力卷積神經(jīng)網(wǎng)絡(luò)和特征分塊的網(wǎng)絡(luò)模型Fig.1 Network model based on convolutional neural network with attention and part-level features

1.1 基于注意力卷積神經(jīng)網(wǎng)絡(luò)的特征提取

1.1.1 注意力機(jī)制

相對(duì)于傳統(tǒng)方法，卷積神經(jīng)網(wǎng)絡(luò)能夠更有效地提取特征的有用信息，但是在卷積和池化的操作中也會(huì)導(dǎo)致步態(tài)圖像很多重要信息的丟失，使用注意力機(jī)制可以提高對(duì)步態(tài)重要信息的關(guān)注度。因此本文在使用卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了注意力機(jī)制CBAM以更好地對(duì)步態(tài)特征進(jìn)行提取。

CBAM表示卷積模塊的注意力機(jī)制模塊，結(jié)構(gòu)如圖2所示。是一種結(jié)合了空間（spatial）和通道（channel）的注意力機(jī)制模塊。相比于SENet[18]（squeeze-andexcitation networks）只關(guān)注通道（channel）的注意力機(jī)制可以取得更好的效果。

圖2 注意力結(jié)構(gòu)圖Fig.2 Attention module map

一幅輸入的特征圖為F=?C×H×W要經(jīng)過一維的通道注意力M C=?C×1×1和二維的空間注意力M S=?1×H×W，過程表示為：

（1）通道注意力模塊

將輸入的特征進(jìn)行空間維度壓縮時(shí)，首先分別經(jīng)過基于寬和高的全局最大池化和全局平均池化，得到兩個(gè)不同一維矢量特征在一定程度上可以信息互補(bǔ)。然后分別經(jīng)過一個(gè)共享的多層感知機(jī)。最后將多層感知機(jī)輸出的特征進(jìn)行基于elementwise的加和操作，再經(jīng)過sigmoid激活操作，生成最終的通道注意特征圖。通道注意力模塊可以表示為：

其中，F(xiàn)表示輸入特征，W0和W1代表多層感知機(jī)模型中的兩層參數(shù)，σ代表sigmoid函數(shù)。

（2）空間注意力模塊

將通道注意模塊輸出的特征圖作為本模塊的輸入特征圖。首先做一個(gè)基于通道層面上的的全局最大池化和全局平均池化，得到兩個(gè)二維的特征F Savg∈?1×C×H和F Smax∈?1×C×H。接下來將這2個(gè)二維特征按通道維度拼接起來。然后經(jīng)過一個(gè)卷積（卷積核尺寸為7×7）操作，降維為1個(gè)通道。再經(jīng)過sigmoid生成最終的空間注意特征。通道注意力模塊可以表示為：

其中F表示輸入特征，f7×7表示網(wǎng)絡(luò)的卷積核尺寸是7×7。

對(duì)于一幅輸入的步態(tài)圖像，通道注意力和空間注意力分別關(guān)注圖像中的特征內(nèi)容和特征位置，在一定程度上相互補(bǔ)充，提升了網(wǎng)絡(luò)的特征提取效果。經(jīng)過多次實(shí)驗(yàn)之后，將該注意力機(jī)制放在第一個(gè)卷積層之后可以獲得更好的效果。

1.1.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文在設(shè)計(jì)網(wǎng)絡(luò)時(shí)參考了經(jīng)典的VGGNet[19]網(wǎng)絡(luò)，經(jīng)過多次實(shí)驗(yàn)，設(shè)計(jì)出了一個(gè)包含6個(gè)卷積層的網(wǎng)絡(luò)，如圖3所示（圖中卷積層用C表示，池化層用P表示）。每?jī)蓚€(gè)卷積層后接一個(gè)池化層，后兩個(gè)卷積層的后面不需要加入池化層，具體網(wǎng)絡(luò)參數(shù)設(shè)置將在2.3節(jié)中以表格形式詳細(xì)闡述。隨機(jī)選擇了特定幀數(shù)的步態(tài)輪廓圖作為網(wǎng)絡(luò)的輸入，每幀步態(tài)圖像都經(jīng)過參數(shù)相同的卷積神經(jīng)網(wǎng)絡(luò)，從而輸出高度抽象的步態(tài)圖像特征。在模型中使用了多通道卷積特征融合技術(shù)，多通道卷積特征融合技術(shù)可以得到具有多樣性特征的步態(tài)特征。如圖1所示，將Conv-Block2和Conv-Block3的輸出在通道維度上整合在一起作為新的輸出，把多通道技術(shù)放在后層卷積的原因是后層提取的是抽象的高級(jí)圖形特征，更接近目標(biāo)特征，更有利于步態(tài)識(shí)別。

圖3 注意力卷積網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Convolutional neural network with attention module map

1.2 特征分塊和損失計(jì)算

1.2.1 特征分塊

現(xiàn)在的步態(tài)識(shí)別方法大多數(shù)只考慮全局特征，卻忽略了局部特征也具有很重要的意義。不同的區(qū)域可以有不同變化特點(diǎn)和區(qū)分規(guī)則，給步態(tài)識(shí)別提供了不同的積極作用。頭部相對(duì)來說變化幅度小，考慮的是一些本體特征，如腦袋形狀等。而腳部分變化幅度大，除了本體特征之外更重要的是動(dòng)態(tài)特征，如腿的動(dòng)作幅度和彎曲程度等。為了更好地利用局部信息提高識(shí)別效果，將經(jīng)過卷積聚合后的特征圖水平切分成了兩塊，然后用基于寬和高全局池化分別處理兩塊特征，處理過程如下：

其中，f′i表示池化處理后的特征，Zi表示第i塊特征(i∈1,2)。

池化后得到的是兩條一維矢量特征，特征長(zhǎng)度為C（即通道數(shù)）。接下來需要將兩條特征向量進(jìn)行不同的操作。訓(xùn)練時(shí)，將兩條特征向量融合成尺寸為2×C直接進(jìn)行損失訓(xùn)練；測(cè)試時(shí)，將兩條特征向量在通道維度上進(jìn)行融合得到一條長(zhǎng)度為2C的特征向量。

1.2.2 損失函數(shù)

本文使用的Triplet loss和Softmax loss進(jìn)行聯(lián)合訓(xùn)練網(wǎng)絡(luò)，聯(lián)合使用效果高于單獨(dú)使用任意一個(gè)損失函數(shù)。雖然基于Triplet loss的神經(jīng)網(wǎng)絡(luò)模型可以很好地對(duì)細(xì)節(jié)進(jìn)行區(qū)分，但是三元組的選取會(huì)導(dǎo)致數(shù)據(jù)的分布不一定會(huì)很均勻，所以使得訓(xùn)練過程不太穩(wěn)定，收斂慢，結(jié)合Softmax loss可以對(duì)數(shù)據(jù)分布有進(jìn)一步的約束，而且加速收斂，訓(xùn)練過程更加穩(wěn)定。

（1）Triplet loss

從訓(xùn)練組中隨機(jī)選一個(gè)樣本，稱為A，然后再隨機(jī)選取一個(gè)和A屬于同一類的P和不同類的N，構(gòu)成三元組(A,P,N)，三元組損失Ltriplet由此計(jì)算：

其中，ya、yb、y n分別表示屬于A、P、N的一類，D a,p表示A與P之間的歐式距離，Da,n表示A與N之間的歐式距離，α表示margin。

（2）Softmax loss

其中，qtarget為真實(shí)值對(duì)應(yīng)類別的預(yù)測(cè)概率。

結(jié)合后的損失為：

其中Ltriplet代表Triplet loss，Lsoftmax代表Softmax loss，β代表Triplet loss和Softmax loss之間的平衡因子，設(shè)為0.1。

2 實(shí)驗(yàn)與分析

2.1 評(píng)價(jià)指標(biāo)

為了驗(yàn)證該方法的有效性，選擇在CASIA-B步態(tài)數(shù)據(jù)庫(kù)和OU-ISIR-MVLP步態(tài)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)評(píng)估，并與一些方法做對(duì)比。測(cè)試時(shí)給定待測(cè)樣本庫(kù)（Probe）中的一個(gè)序列p，輸入到網(wǎng)絡(luò)中生成待測(cè)步態(tài)特征Feature_p，目標(biāo)是在目標(biāo)樣本庫(kù)（Gallery）中遍歷全部序列找到相同的ID的樣本g。同樣g也經(jīng)過網(wǎng)絡(luò)生成目標(biāo)步態(tài)特征Feature_g，待測(cè)步態(tài)特征與樣本步態(tài)特征通過計(jì)算歐式距離來判斷一次命中的識(shí)別正確率，即Rank1識(shí)別率。具體步驟如圖4所示。

圖4 Rank1識(shí)別率的計(jì)算步驟Fig.4 Rank1 recognition rate calculation steps

2.2 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)環(huán)境配置

CASIA-B數(shù)據(jù)集是目前使用最廣泛的跨視角步態(tài)數(shù)據(jù)集之一。該數(shù)據(jù)集提供了124個(gè)人的步輪廓圖，每個(gè)人有正常條件（NM）、背包條件（BG）和穿大衣條件（CL）三種條件，每種條件又包含了11種不同的視角（0°，18°，…，180°）。每個(gè)人都有10組步態(tài)序列圖像，其中正常條件下的步態(tài)序列圖像有6組，背包條件下的步態(tài)序列圖像有2組，穿大衣條件下的步態(tài)序列圖像有2組。圖5展示了CASIA-B數(shù)據(jù)集中同一個(gè)人在不同條件下的步態(tài)輪廓圖。OU-ISIR-MVLP數(shù)據(jù)集是目前世界上最大的公共步態(tài)數(shù)據(jù)集。包含10 307個(gè)人，每個(gè)人有14個(gè)視角（0°，15°，…，90°；180°，195°，…，270°）。每個(gè)視角分為00和01兩個(gè)序列。這兩個(gè)數(shù)據(jù)集都屬于目前步態(tài)識(shí)別領(lǐng)域最常用的經(jīng)典步態(tài)數(shù)據(jù)集。

圖5 CASIA-B數(shù)據(jù)集中的樣圖展示Fig.5 Sample graph display in CASIA-B dataset

實(shí)驗(yàn)中三元組損失的margin選擇的是0.2，用于控制三元組類間和類內(nèi)的距離。選擇Adam作為優(yōu)化器，網(wǎng)絡(luò)初始學(xué)習(xí)率設(shè)為1E-4。編程環(huán)境為Pycharm，Python版本為3.6.0。深度學(xué)習(xí)框架是PyTorch，使用的GPU型號(hào)為NVIDIA GeForce GTX TITAN X。

2.3 在數(shù)據(jù)集CASIA-B上的實(shí)驗(yàn)結(jié)果及分析

在數(shù)據(jù)集CASIA-B的實(shí)驗(yàn)中，所有輸入圖片的大小經(jīng)過調(diào)整后為64×44，批尺寸為（8×16），即隨機(jī)選擇8個(gè)人，然后每個(gè)人中隨機(jī)選擇16張序列圖，迭代次數(shù)為80 000次。在特征提取部分的網(wǎng)絡(luò)參數(shù)如表1所示。

表1 在數(shù)據(jù)集CASIA-B上的卷積模塊具體參數(shù)Table 1 Specific parameters of convolutional module on CASIA-B dataset

表2為各方法在CASIA-B數(shù)據(jù)集上小訓(xùn)練樣本情況下的Rank1識(shí)別率對(duì)比。對(duì)比方法為基于局部運(yùn)動(dòng)特征選擇的支持向量回歸模型（support vector regression based on local motion feature selection，SVR）[20]、相關(guān)運(yùn)動(dòng)聯(lián)合聚類模型（correlated motion co-clustering，CMCC）[21]、視角不變判別投影模型（view-invariant discriminative project，ViDP）[22]、深度卷積神經(jīng)網(wǎng)絡(luò)（Deep CNNs）[16]、非周期性步態(tài)識(shí)別模型（aperiodic gait recognition，AGR）[23]、注意力時(shí)空融合網(wǎng)絡(luò)（attentive spatialtemporal summary networks，ASTSN）[24]。實(shí)驗(yàn)結(jié)果數(shù)據(jù)來自文獻(xiàn)[16]和文獻(xiàn)[24]，且用前24人作為訓(xùn)練，后100人用于測(cè)試，該實(shí)驗(yàn)只針對(duì)正常條件（NM）下的步態(tài)測(cè)試。本文的模型在54°和126°的Rank1識(shí)別率與0°和90°的Rank1識(shí)別率有比較明顯的差距，說明角度是影響識(shí)別率的一個(gè)重要因子。同時(shí)本文模型在0°、54°、90°和126°的Rank1識(shí)別率比ASTAN的效果高3.65、12.51、9.13和12.82個(gè)百分點(diǎn)，比DeepCNNs的效果高2.4、1.5、3.4、3.5個(gè)百分點(diǎn)。由實(shí)驗(yàn)結(jié)果對(duì)比證明本文方法在CASIA-B數(shù)據(jù)集上訓(xùn)練數(shù)據(jù)較小的情況下識(shí)別結(jié)果較優(yōu)，同時(shí)在小訓(xùn)練數(shù)據(jù)樣本情況下本文模型沒有出現(xiàn)過擬合問題。

表2 各方法在CASIA-B數(shù)據(jù)集上小訓(xùn)練樣本情況下的Rank1識(shí)別率Table 2 Rank1 recognition rate of each method in case of small training samples on CASIA-B dataset %

為了展示訓(xùn)練數(shù)據(jù)較充足情況下的跨視角步態(tài)識(shí)別效果，表3為各方法在CASIA-B數(shù)據(jù)集上的Rank1識(shí)別率。除了用前62個(gè)人訓(xùn)練，其余的實(shí)驗(yàn)配置與表2相同。對(duì)比實(shí)驗(yàn)包括基于自動(dòng)編碼器的不變特征提取深度模型（auto-encoderfor invariant gait extraction，AE）[25]，生成對(duì)抗網(wǎng)絡(luò)模型（GaitGAN）[26]，多任務(wù)生成對(duì)抗網(wǎng)絡(luò)模型（MGAN）[27]。為了證明本方法在各種條件和角度下都有一定效果，本次實(shí)驗(yàn)包括了三種條件和各個(gè)角度。由表結(jié)果對(duì)比可知，本文的模型在正常條件（NM）下的效果最好，其次是背包條件（BG），最后是大衣狀態(tài)（CL）。原因可能是大衣對(duì)人的體型干擾嚴(yán)重導(dǎo)致特征的辨識(shí)度降低，最終影響步態(tài)識(shí)別的效果。本文模型在正常條件、背包條件和大衣條件下11個(gè)角度的平均識(shí)別精度比MGAN方法分別高19.6、20.5、19.5個(gè)百分點(diǎn)。本文方法在CASIA-B數(shù)據(jù)集訓(xùn)練集較充足的情況下識(shí)別效果依然明顯。

表3 各方法在CASIA-B數(shù)據(jù)集上訓(xùn)練樣本較充足情況下的Rank1識(shí)別率Table 3 Rank1 recognition rate of each method in case of sufficient training samples on CASIA-B dataset %

2.4 在數(shù)據(jù)集OU-ISIR-MVLP上的實(shí)驗(yàn)結(jié)果及分析

在OU-ISIR-MVLP的實(shí)驗(yàn)中，由于實(shí)驗(yàn)數(shù)據(jù)偏大，所以將批尺寸設(shè)置為20×10。將用5 153個(gè)人進(jìn)行訓(xùn)練，5 154個(gè)人進(jìn)行測(cè)試。00作為目標(biāo)樣本集（Gallery），01作為待測(cè)樣本集（Probe）。網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)與數(shù)據(jù)集CASIA-B上的相同。迭代次數(shù)為1 500 000次。表4為各方法在OU-MVLP數(shù)據(jù)集上的Rank1識(shí)別率。對(duì)比實(shí)驗(yàn)包括GEINet[11]、輸入輸出結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)模型（input/output）[13]，由于目前很少有針對(duì)14個(gè)視角的實(shí)驗(yàn)，因此本文實(shí)驗(yàn)抽取四個(gè)視角（0°、30°、60°、90°）方便進(jìn)行實(shí)驗(yàn)對(duì)比。由表4結(jié)果對(duì)比可知，本文方法的識(shí)別效果明顯優(yōu)于其他兩個(gè)對(duì)比實(shí)驗(yàn)的結(jié)果。這是因?yàn)橄噍^于對(duì)比實(shí)驗(yàn)，本文模型不僅對(duì)全局特征進(jìn)行提取，還通過特征分塊對(duì)局部特征進(jìn)行獲取。這使得最終的特征更具表現(xiàn)力。綜上可知，本文方法在OU-ISIR-MVLP數(shù)據(jù)集這種人數(shù)很多有挑戰(zhàn)性的數(shù)據(jù)集上依然可以取得不錯(cuò)的結(jié)果。

表4 各方法在OU-MVLP數(shù)據(jù)集上的Rank1識(shí)別率Table 4 Rank1 recognition rate of each method on OU-MVLP dataset %

2.5 消融實(shí)驗(yàn)

為了證明本文提出的方法的有效性，將進(jìn)行消融實(shí)驗(yàn)進(jìn)行驗(yàn)證。實(shí)驗(yàn)將分為以下幾部分：

（1）Baseline。此基線方法具體為先經(jīng)過卷積網(wǎng)絡(luò)，然后直接進(jìn)行全局池化（分塊），損失函數(shù)全為

Triplet loss。

（2）Baseline+Part-level。在（1）的基礎(chǔ)上進(jìn)行了分塊處理，設(shè)置該實(shí)驗(yàn)的目的是證明特征分塊的有效性。

（3）Baseline+Part-level+CBAM。在（2）的基礎(chǔ)上加入了注意力機(jī)制CBAM，目的是證明CBAM的有效性。

（4）Baseline+Part-level+CBAM+Cat。在（3）的基礎(chǔ)上加入了多卷積特征融合技術(shù)，目的是證明多通道卷積技術(shù)的有效性。

（5）Baseline+Part-level+CBAM+Cat+Softmax loss。在（4）的基礎(chǔ)上將只用Triplet loss改成Triplet loss和Softmax loss聯(lián)合使用，目的是證明聯(lián)合損失的有效性。

在CASIA-B數(shù)據(jù)集上進(jìn)行上述5次實(shí)驗(yàn)對(duì)比，本次實(shí)驗(yàn)使用74個(gè)人作為訓(xùn)練，得到的結(jié)果如圖6~8所示，圖6、圖7和圖8分別為NM、CL、BG條件下的對(duì)比結(jié)果。

圖6 NM條件下的實(shí)驗(yàn)結(jié)果Fig.6 Evalutation results under NM

圖7 BG條件下的實(shí)驗(yàn)結(jié)果Fig.7 Evalutation results under BG

圖8 CL條件下的實(shí)驗(yàn)結(jié)果Fig.8 Evalutation results under CL

由圖中對(duì)比結(jié)果可知，本文提出的各部分方法對(duì)步態(tài)分類的結(jié)果都有一定的貢獻(xiàn)度。尤其是特征分塊，在各條件下的提升效果都尤為顯著。經(jīng)過特征分塊，NM條件、BG條件和CL條件下的平均Rank1識(shí)別率分別提高了7.38、8.5和4.39個(gè)百分點(diǎn)。這說明局部特征的關(guān)注對(duì)步態(tài)識(shí)別有明顯的提升精度價(jià)值。加上注意力機(jī)制CBAM之后NM條件，BG條件和CL條件下的平均Rank1識(shí)別率在上面的基礎(chǔ)上分別又提高了1.76、3.09和2.17個(gè)百分點(diǎn)，說明了該注意力機(jī)制通過對(duì)通道和空間的特征處理有效地提升了特征的表現(xiàn)力。多通道卷積技術(shù)和聯(lián)合損失函數(shù)對(duì)本文模型的效果也有一定的貢獻(xiàn)度，同時(shí)聯(lián)合損失函數(shù)可以加快步態(tài)識(shí)別收斂速度，更快捷地實(shí)現(xiàn)步態(tài)特征的提取。綜合上述實(shí)驗(yàn)可得，本文方法在各種尺寸和環(huán)境的數(shù)據(jù)集中都有較強(qiáng)的識(shí)別效果，同時(shí)應(yīng)用性很強(qiáng)。

3 結(jié)束語

為了更好地利用步態(tài)的局部信息，本文提出一種基于注意力卷積神經(jīng)網(wǎng)絡(luò)和分塊特征的跨視角步態(tài)識(shí)別方法，該方法首先以步態(tài)輪廓圖作為輸入，經(jīng)過相同的注意力卷積神經(jīng)網(wǎng)絡(luò)處理后融合成一個(gè)整體特征，然后通過將整體特征進(jìn)行分塊處理實(shí)現(xiàn)模型訓(xùn)練和步態(tài)識(shí)別。最后，在兩個(gè)公開數(shù)據(jù)集上進(jìn)行的對(duì)比實(shí)驗(yàn)，證明了本文方法與現(xiàn)有方法相比，具有較好的識(shí)別效果。

不足之處是，本文在分塊時(shí)只是粗略地分成了兩塊，沒有對(duì)各區(qū)域的具體作用大小進(jìn)行深入探討。曾嘗試分成多塊處理，但是沒有明顯提升而且增大計(jì)算量。今后將研究更加具體的分類方法和各分塊對(duì)識(shí)別效果的作用大小，以提高分類精度。