杜曉雨，張學東

（遼寧科技大學 計算機與軟件工程學院，遼寧 鞍山 114051）

近年來，生物特征識別技術(shù)已經(jīng)在個人身份認證領(lǐng)域取得很多成果［1］。指紋、人臉識別技術(shù)較為成熟，但在遠距離、遮擋等復雜場景下識別效果不夠理想［2-4］。步態(tài)識別以其難偽裝、無需人為配合、遠距離采集的優(yōu)勢，成為國內(nèi)外研究熱點。人體步態(tài)識別方法可分為模型方法和非模型方法［5］。模型方法是將人體運動時的關(guān)節(jié)角度、人體重心等進行建模，提取其生物特征。Cunada等［6］通過傅里葉級數(shù)描述手臂的運動，應用時間數(shù)據(jù)收集技術(shù)提取模型。Scaramuzza等［7］利用多個攝像頭采集人體行走時的步態(tài)圖像，將其進行三維重建，進而分析運動狀態(tài)。模型方法提取到的特征較為準確，但需要建模才能實現(xiàn)，運算量大，處理速度較慢。非模型方法也稱基于外觀的步態(tài)識別方法，主要采集人在行走時的動態(tài)信息，并利用數(shù)學方法表示步態(tài)特征。這種方法根據(jù)外部輪廓計算步態(tài)能量圖（Gait engery image，GEI）［8］，將圖像輪廓對齊，在時間上進行疊加取平均值，得到的圖像作為步態(tài)特征，還衍生了運動能量圖和幀間差能量圖［9-12］。非模型方法不需要建模，能表示運動過程中的動靜信息，同時對視角的變化也具有一定的穩(wěn)定性［13］。本文針對步態(tài)幀圖像數(shù)據(jù)量大、網(wǎng)絡(luò)處理速度慢的問題，提出以步態(tài)序列集合為基礎(chǔ)的特征表述算法。該算法屬于非模型方法，通過對步態(tài)序列集合進行邊緣檢測，再經(jīng)過主成分分析法進行降維操作，在保證識別率的同時降低算法的復雜度，從而節(jié)省網(wǎng)絡(luò)處理時間。

1 步態(tài)特征表述

1.1 步態(tài)序列集合

網(wǎng)絡(luò)對二值圖像進行特征提取過程中，分析的僅僅是輪廓邊緣信息，大面積的前景像素使用率較低。為了提高運算效率，首先對步態(tài)幀圖像進行高斯濾波處理，有效去除圖像中的高頻噪聲。再利用Soble算子計算圖像梯度的幅值M和方向θ

式中：Sobelx(x,y)和Sob ely(x,y)分別為Sobel水平和垂直算子；f為輸入圖像；dx和dy分別為水平和垂直方向的差分量。

根據(jù)梯度方向角對梯度幅值進行非極大值抑制，使其由多像素寬圖像變?yōu)閱蜗袼貙拡D像。最后使用雙閾值篩選算法連接邊緣，去除孤立噪聲點，得到步態(tài)輪廓圖（Gait contour image，GCI），如圖1所示。

圖1 步態(tài)輪廓圖Fig.1 Gait profile image

步態(tài)特征既包含人體結(jié)構(gòu)特征，還包含人在行走過程中隨時間變化的行為特征。因此，通過構(gòu)造步態(tài)序列圖可以表達人在行走時的時序信息。首先將一個步態(tài)周期的步態(tài)輪廓圖進行堆疊，再沿其m軸作nl平面的投影，得到一個步態(tài)周期的步態(tài)序列圖。生成步態(tài)序列圖的過程如圖2所示。

圖2 步態(tài)序列圖Fig.2 Gait sequence diagram

式中：m和n為步態(tài)輪廓圖的坐標，m=0,1,…,M-1，n=0,1,…,N-1；l為幀索引，l=0,1,…,L-1；M為輪廓圖的高度；N為輪廓圖的寬度；L為步態(tài)序列的總幀數(shù)。

式中：a、b為步態(tài)序列疊加得到的像素體積；n=0,1,…,X-1；l=0,1,…,Y-1；m=0,1,…,Z-1；X為步態(tài)序列圖的寬度；Z為序列圖的高度；Y為生成的樣本總數(shù)。

由算法生成的步態(tài)序列圖與輪廓圖的大小一致，若對應的時序長度不足，則使用重采樣的方法對時序長度進行補齊。因此，一個序列步態(tài)輪廓圖如圖3所示。一個序列步態(tài)序列圖如圖4所示。

圖3 一個序列的步態(tài)輪廓圖Fig.3 Gait contours of a sequence

圖4 一個序列的步態(tài)序列圖Fig.4 Gait sequence diagrams of a sequence

1.2 主成分分析法

主成分分析法（Principal component analysis，PCA）是一種常見的數(shù)據(jù)分析算法，常用于高維數(shù)據(jù)的降維，提取數(shù)據(jù)的主要特征分量，最先應用于人臉識別等方面。本文將此算法運用于步態(tài)識別領(lǐng)域，解決步態(tài)識別過程中數(shù)據(jù)信息量大、計算困難的問題。PCA算法將步態(tài)特征維度高的圖像矩陣轉(zhuǎn)變?yōu)榈途S特征矩陣，有效壓縮圖像的數(shù)據(jù)信息。

PCA算法將n維特征映射到d維上，d維特征是經(jīng)過正交變換的主成分特征，是對原始空間進行重新構(gòu)造。空間重構(gòu)的方法是令數(shù)據(jù)在重構(gòu)方向的投影方差值最大，數(shù)據(jù)在重構(gòu)空間的分布分散，更易于區(qū)分。

式中：λ是矩陣S的特征值；u1是矩陣S的特征向量；u^1是方差優(yōu)化函數(shù)。

主成分分析選取前d個最大的特征值對應的特征向量，組成新的特征空間，這些新變量是兩兩不相關(guān)的。經(jīng)過邊緣檢測處理的步態(tài)特征圖尺寸為64×64，將圖片的每一列看作一個特征，則需要對64個維度的特征空間進行主成分分析降維。主成分維度d值選取方法：對N張步態(tài)特征圖樣本集進行降維，其協(xié)方差矩陣的維度為64×64，將矩陣特征分解后將特征值排序：λ1≥λ2≥…≥λm。t為重構(gòu)閾值，設(shè)t=0.99。按照特征值降序排列，選取d個特征值，使

成立，取最小d值，重構(gòu)的特征空間主成分貢獻率為原特征空間的0.99以上。

主成分貢獻率曲線如圖5所示。取24作為最終降維后的主成分維度，主成分貢獻率為0.99，64×64的特征矩陣通過PCA降維后得到64×24的特征矩陣，樣本信息密度增加，能夠簡化后續(xù)的步態(tài)特征提取。

圖5 主成分貢獻率Fig.5 Contribution rates of principal components

1.3 雙流網(wǎng)絡(luò)模型

傳統(tǒng)雙流網(wǎng)絡(luò)的空間域和時間域主干網(wǎng)絡(luò)為8層，包括5層卷積層和3層全連接層?？臻g域網(wǎng)絡(luò)的輸入為視頻中隨機抽取的單幀圖像，時空域網(wǎng)絡(luò)的輸入為幾個相鄰幀之間疊加的光流圖像。為了進一步提升模型的特征提取能力和網(wǎng)絡(luò)的泛化能力，本文采用殘差網(wǎng)絡(luò)ResNet替換傳統(tǒng)雙流網(wǎng)絡(luò)的8層網(wǎng)絡(luò)結(jié)構(gòu)，兩個分支子網(wǎng)絡(luò)分別進行特征提取。網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。分支子網(wǎng)絡(luò)參數(shù)如表1所示。

表1 分支子網(wǎng)絡(luò)參數(shù)Tab.1 Trunk network parameters

圖6 雙流網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.6 Schematic diagrams of dual flow network

ResNet共有5種深度的網(wǎng)絡(luò)結(jié)構(gòu)，本文利用ResNet18作為雙流卷積網(wǎng)絡(luò)的主干網(wǎng)絡(luò)，通過設(shè)置多個殘差塊，解決訓練過程中產(chǎn)生的梯度消失問題。網(wǎng)絡(luò)的輸入數(shù)據(jù)是尺寸為64×64的步態(tài)特征圖，特征圖經(jīng)過一層卷積層、三組殘差塊進行特征提取，再經(jīng)過平均池化和全連接層得到特征序列，最終利用softmax函數(shù)計算概率分數(shù)。

2 仿真實驗

2.1 訓練與測試策略

雙流網(wǎng)絡(luò)模型使用CASIA-B數(shù)據(jù)集［14］。首先將64×64的步態(tài)幀圖像經(jīng)過邊緣檢測得到步態(tài)輪廓圖后生成步態(tài)序列圖，再對步態(tài)輪廓圖和步態(tài)序列圖進行主成分分析，降維得到步態(tài)特征圖，將其作為步態(tài)特征送入網(wǎng)絡(luò)。利用雙流網(wǎng)絡(luò)進行特征融合并使用輸出層進行分類，通過損失函數(shù)得到的誤差，判斷模型對數(shù)據(jù)的擬合程度。最后利用反向傳播優(yōu)化參數(shù)，直到模型趨于穩(wěn)定。使用訓練中生成的網(wǎng)絡(luò)模型對測試樣本進行特征提取分類并識別，并統(tǒng)計實驗結(jié)果。

2.2 仿真實驗及結(jié)果分析

目前對于步態(tài)識別的研究主要以步態(tài)能量圖作為輸入數(shù)據(jù)［15］，而本文的算法以步態(tài)序列作為輸入數(shù)據(jù)。采用雙流網(wǎng)絡(luò)對比這兩種輸入數(shù)據(jù)的步態(tài)識別效果。

將數(shù)據(jù)集處理為步態(tài)能量圖和步態(tài)序列集合兩種形式，分別將步態(tài)能量圖與步態(tài)集合作為輸入數(shù)據(jù)，再利用雙流網(wǎng)絡(luò)進行訓練測試。將數(shù)據(jù)集中的數(shù)據(jù)分為相同數(shù)量的兩份，每份數(shù)據(jù)都包含62個行人的步態(tài)數(shù)據(jù)信息。一份用于模型的訓練，一份用于模型性能的評估。將步態(tài)數(shù)據(jù)處理為一個周期的輪廓圖和序列圖，經(jīng)過雙流網(wǎng)絡(luò)進行訓練測試。再將步態(tài)數(shù)據(jù)處理成步態(tài)能量圖，經(jīng)過網(wǎng)絡(luò)進行訓練測試。

數(shù)據(jù)集包括三種步態(tài)：正常行走、背包行走和穿大衣行走，如圖7所示。仿真實驗結(jié)果如表2所示。三種行走條件下，以步態(tài)序列集合作為網(wǎng)絡(luò)輸入的準確率均高于步態(tài)能量圖。在正常行走條件下，步態(tài)序列集合比步態(tài)能量圖的精確率高7.93%。協(xié)變量因素對步態(tài)序列的干擾較小，因此，在穿大衣和背包的行走條件下準確率也優(yōu)于步態(tài)能量圖。

圖7 步態(tài)數(shù)據(jù)集Fig.7 Gait dataset

表2 仿真實驗結(jié)果Tab.2 Comparison of GEI and gait collection experiments

為了測試邊緣檢測及主成分分析降維的效果，對比數(shù)據(jù)處理前后單幀圖像和完整步態(tài)周期像素點的總數(shù)。單幀圖像在數(shù)據(jù)降維的過程中，數(shù)據(jù)量的變化幅度較小，降維前共有4 096個像素點，降維后像素點達到1 536個。但一個完整周期的像素總數(shù)在降維前后發(fā)生巨大變化，降維前共有98 364個像素點，降維后像素點僅有36 864個。數(shù)據(jù)量的減少使得樣本信息密度增加，但數(shù)據(jù)降維操作會舍棄部分特征向量，會對特征判別有一定的影響。

利用三種雙流卷積神經(jīng)網(wǎng)絡(luò)對降維前后的數(shù)據(jù)進行仿真實驗，步態(tài)識別的準確率結(jié)果如表3所示。在三種行走條件下，本文提出的雙流網(wǎng)絡(luò)+邊緣檢測+PCA步態(tài)識別算法準確率都稍低于雙流網(wǎng)絡(luò)以及雙流網(wǎng)絡(luò)+邊緣檢測算法，但運行時間縮短0.59 s，運算效率提高17.3%。因為在PCA主成分降維過程中，丟棄的貢獻率低的數(shù)據(jù)也帶有一定的步態(tài)特征信息，從而影響步態(tài)識別準確率。

表3 雙流網(wǎng)絡(luò)下實驗結(jié)果對比Tab.3 Comparison of experimental results under dual flow network

3 結(jié)論

步態(tài)識別是通過攝像頭捕捉人的行走姿態(tài)，依靠算法分析進行身份鑒定的一種遠距離身份識別技術(shù)。本文提出基于邊緣檢測的步態(tài)序列集合通過主成分分析降維處理的特征表述算法。首先對步態(tài)圖像進行邊緣檢測得到步態(tài)輪廓圖，通過構(gòu)造生成步態(tài)時序圖，再對步態(tài)輪廓圖和步態(tài)序列圖進行主成分分析降維，得到步態(tài)特征圖，將其作為步態(tài)特征輸入網(wǎng)絡(luò)，進行分類識別。在CASIA-B數(shù)據(jù)集上進行仿真實驗表明，邊緣檢測和主成分分析法降維在保證識別率的同時，能夠提高網(wǎng)絡(luò)的計算效率。