姜穎軍 王建新 郭克華

（中南大學(xué) 信息科學(xué)與工程學(xué)院， 湖南 長沙410083）

人們行走的方式結(jié)合行走的姿態(tài)，形成了步態(tài).由于步態(tài)特征各異，且具有非入侵（不需接觸）、難以偽裝和欺騙、可遠距離獲取等優(yōu)點，故步態(tài)在監(jiān)控和訪問控制中擁有了強大的生物識別潛力［1-2］.特別是在刑事案件偵查中，由于一個人的步態(tài)具有時不變性，使得通過犯罪現(xiàn)場監(jiān)控視頻獲取的步態(tài)成為重要、甚至是唯一的生物識別依據(jù).目前，步態(tài)識別系統(tǒng)已成為取證工具之一，通過步態(tài)分析獲取的證據(jù)也已用于法庭起訴［3］.

當(dāng)利用計算機系統(tǒng)識別行人步態(tài)時，由于側(cè)視步態(tài)相對于前視步態(tài)能更好地反映人體行走的周期運動特性（如步幅、步頻、相位及移動速度等運動參數(shù)），使得側(cè)視步態(tài)的識別率明顯高于前視步態(tài).然而，前視步態(tài)相對于側(cè)視步態(tài)更能體現(xiàn)行人的身體輪廓、雙手左右擺動姿勢、頭部和肩部晃動幅度等時空特性及行人著裝的顏色分布特征，這些特性更有利于人類肉眼識別、跟蹤他人.因此，在真實的室外環(huán)境下，監(jiān)控攝像機一般安裝在離地面3～5m的高度，監(jiān)控頭光心軸線水平投影方向與行人來往方向基本一致，以獲取行人前視步態(tài).筆者隨機對CSUPD 數(shù)據(jù)庫［4］中1785 位行人的視頻序列進行統(tǒng)計，為前視步態(tài)序列的有1 481 位，占總數(shù)的83%.因此，在真實監(jiān)控環(huán)境下，前視步態(tài)識別研究具有重要的實際意義.

近年來，結(jié)合行人行走的時空特性，人們針對前視步態(tài)主要提出了兩類識別方法：基于前視步態(tài)輪廓圖像邊緣特征的識別方法［5-6］和基于前視步態(tài)輪廓圖像區(qū)域特征的識別方法［7-8］.

針對步態(tài)輪廓圖像邊緣，邊緣曲率分布法（CSM）［5］用邊緣曲率來描述行人輪廓邊緣的凹凸特性，以此描述行人軀干和四肢橫向運動特征，從而實現(xiàn)前視步態(tài)識別.該方法經(jīng)輪廓圖像邊緣檢測后，指定輪廓邊緣上某一像素點為起點，根據(jù)當(dāng)前像素點和下一相鄰像素點的相對位置，計算當(dāng)前像素點的梯度值，其中正梯度值表示邊緣凸起，負(fù)梯度值表示邊緣凹陷.CSM 在運動前景輪廓邊緣清晰、測試者行走方向固定不變的前提下能取得良好的步態(tài)識別效果.矩形特征法（IIFRSD）通過提取覆蓋在二值行人輪廓圖像上的系列最大矩形的特征來實現(xiàn)前視步態(tài)識別［6］.該方法提取由系列最大矩形的寬和3 種高組成的3 種幾何特征，采用超樹降維，并通過基于時間窗口的主投票策略來提高分類準(zhǔn)確性.在實際的監(jiān)控環(huán)境中，背景的復(fù)雜多變導(dǎo)致前景圖像難以清晰分離、輪廓圖像邊緣不能準(zhǔn)確提取而極大影響了識別效率.

與基于輪廓圖像邊緣特征的識別方法不同，基于輪廓圖像區(qū)域特征的識別方法則提取覆蓋行人輪廓的所有像素的統(tǒng)計特征.該方法提取一個步態(tài)周期內(nèi)多幀步態(tài)輪廓圖像的統(tǒng)計特征，對噪聲和形變具有魯棒性.Jegoon 等［7］采用球型空間坐標(biāo)系統(tǒng)（ρ，θ，φ）（0≤ρ≤R，0≤θ≤ ，0≤φ≤2 ）來描述立體監(jiān)控下獲取的人體步態(tài)點云（為適用于前視步態(tài)識別，作者根據(jù)幾何投影原理，將三維人體點云投影至行人前進方向，得到二維前視步態(tài)點云），將一個步態(tài)周期形成的步態(tài)點云序列圖（MIP）劃分成5×12×24 個盒子，然后計算每個盒子內(nèi)的像素密度（點分布強度）并作為識別特征.Kusakunniran 等［8］基于視角不變轉(zhuǎn)換（VTM）模型，利用直方圖技術(shù)將步態(tài)能量圖（GEI）分割成6 個區(qū)域，并在步態(tài)圖的下肢運動區(qū)域選取感興趣區(qū)域（ROI），然后利用已知的同一對象不同視角間ROI 像素的對應(yīng)關(guān)系，確定步態(tài)圖從一個視角轉(zhuǎn)換至另一個視角的轉(zhuǎn)換矩陣.這兩種方法針對前視步態(tài)識別都取得了較好的識別效果，但都需要已知行人步態(tài)視角，而在真實監(jiān)控環(huán)境下，行人步態(tài)視角是變化的.針對以上方法存在的問題，文中在VTM 模型［8］基礎(chǔ)上，針對真實環(huán)境下的行人步態(tài)，提出了一種視角不變的前視步態(tài)識別方法：先利用行人步態(tài)圖質(zhì)心軌跡計算行人步態(tài)視角，再通過視角轉(zhuǎn)化來達到良好的前視步態(tài)識別效果.

1 前視步態(tài)識別方法

文中通過背景減除與行人檢測確定視頻序列中的行人，然后利用GEI 分別計算行人頭部和軀干的質(zhì)心，對系列輪廓質(zhì)心進行分段直線擬合，獲取運動跡線，確定行人運動視角并規(guī)范視角轉(zhuǎn)換，最后采用主成分分析（PCA）和Fisher 判別法對規(guī)范后的步態(tài)圖進行特征提取和識別.前視步態(tài)識別的基本流程如圖1所示.

為便于問題描述，文中將行人移動路線與監(jiān)控頭光心軸線的夾角θ 定義為視角（如圖2所示），視角小于或等于60°的步態(tài)為前視步態(tài)，視角大于60°的步態(tài)為側(cè)視步態(tài).

圖1 前視步態(tài)識別的流程圖Fig.1 Flowchart of front-view gait recognition

圖2 步態(tài)視角示意圖Fig.2 Schematic diagram of gait view angle

1.1 基于步態(tài)能量圖的質(zhì)心計算

文獻［9］通過計算序列幀中行人的頭和腳的質(zhì)心位置來確定行人的運動方向.這種方法存在以下不足：對于實際環(huán)境下的視頻圖像，無論采用背景減除法或光流法，都難以良好地將運動前景與背景分割，且分割后的行人輪廓存在大量毛刺，邊緣不清晰（如圖3（a）所示），因此根據(jù)單幅圖像難以確定行人頭、腳等身體部位，進而得到頭、腳的質(zhì)心位置.文獻［10］中采用無接觸方法，利用Haar 小波算子檢測膝蓋和腳踝的位置，但在真實環(huán)境下的檢測極為困難.

圖3 不同行人的步態(tài)能量圖Fig.3 Gate energy images of different pedestrians

文中充分利用行人行走時的時空特性，采用文獻［11］的步態(tài)能量圖計算方法，針對系列二值化輪廓圖像Bt（x，y），計算一個周期內(nèi)的步態(tài)能量圖：

式中，N 為一個步態(tài)周期內(nèi)的視頻幀數(shù)，t 為該周期內(nèi)視頻幀的序列號，（x，y）為像素坐標(biāo).根據(jù)式（1）所產(chǎn)生的步態(tài)能量圖如圖3（b）所示.步態(tài)能量圖能很好地反映行人的輪廓以及一個周期內(nèi)輪廓的變化情況，區(qū)域像素值越大，肢體在該區(qū)域內(nèi)運動越頻繁.通過直方圖技術(shù)，可將步態(tài)能量圖分割出頭部、軀干部、下肢部［8］.如圖4所示，直方圖的值表示GEI 每行像素值的累加和，通過均值濾波平滑直方圖后，從上至下位于第1 個峰值（極小值）的水平線為頭部與軀干部的分割線，位于第2 個極值（最大值）的水平線為軀干與下肢部分的分割線.從GEI 水平投影直方圖可知：對于前視步態(tài)能量圖，由于正常情況下下肢運動主要為前后運動，其左右運動的區(qū)域遠小于上肢左右擺動的區(qū)域，因此，行走過程中雙腳是否被遮擋都不會影響圖中上肢的位置.

圖4 步態(tài)能量圖的分割Fig.4 Division of the gait energy images

針對每一分割后的步態(tài)能量圖，文中采用文獻［12］中的質(zhì)心計算方法，分別得到頭部質(zhì)心位置Ch=（Chx，Chy）和軀干部質(zhì)心位置Cb=（Cbx，Cby），然后求兩個質(zhì)心位置的均值，得到行人輪廓質(zhì)心S=（Sx，Sy），如圖5所示.

圖5 行人質(zhì)心位置圖Fig.5 Centroid position image of a pedestrian

質(zhì)心計算方法如下:

式中，Mhpq為步態(tài)圖頭部矩，Mbpq為軀干部矩，p、q 為階數(shù)，Ght（i，j）為位于第t 個步態(tài)能量圖頭部（i，j）位置的像素值，Gbt（i，j）為位于第t 個步態(tài)能量圖軀干部（i，j）位置的像素值.

1.2 步態(tài)圖視角計算與視角轉(zhuǎn)換

人們在室外行走過程中，一般會沿直線行走，但由于道路方向和道路上障礙物的影響，往往需要改變行走方向，因此監(jiān)控畫面中行人的行走路線往往是由多條直線段組成的一條折線.為了計算行人步態(tài)視角，文中根據(jù)文獻［13］方法，先通過該行人系列輪廓質(zhì)心擬合出行走過程中的每一條直線段，然后分別計算每條直線段與攝像頭光心軸線的夾角.擬合出前后相連的直線段的關(guān)鍵是尋找直線段與直線段的結(jié)合點，若代表結(jié)合點位置的輪廓質(zhì)心已確定，則只需將這些輪廓質(zhì)心按順序前后相連，即為行人行走跡線.設(shè)行人k 的輪廓質(zhì)心集為Sk={Ski|i=1，2，…，n}，則確定結(jié)合點（其示意圖見圖6）的具體步驟如下：

（1）初始化集合L={1}，b=1，e=n；

（2）用直線連接Skb和Ske；

（3）分別計算點Skb+1，Skb+2，…，Ske-1到直線SkbSke 的距離；

（4）確定到直線SkbSke 距離最大的點Skd（b

（5）如果Di大于設(shè)定閾值T，則L=L∪nvrf55j，并令b=1，e=d 和b=d，e=e，返回步驟（2）；

（6）L=L∪{n}.

L 即為行人k 行走跡線結(jié)合點的集合.圖6中的Skb→Skd→Ske即為擬合后的行走跡線.閾值T 不同，擬合后的行走跡線也不同，本實驗針對跡線中的所有線段，采用同一閾值進行結(jié)合點判別.

圖6 結(jié)合點確定示意圖Fig.6 Schematic diagram of linked point determination

通過上述方法即可計算出行人在行走過程中每條直線段的視角，這是自動進行步態(tài)能量圖視角轉(zhuǎn)換并重建步態(tài)能量圖像序列的基礎(chǔ).在獲取步態(tài)能量圖視角后,根據(jù)VTM 模型［8］將行人k 在視角θi下的步態(tài)能量圖gθki轉(zhuǎn)換成視角θj下的步態(tài)能量圖，即

1.3 比對識別

為通過步態(tài)能量圖提取由行人身體輪廓和運動方式差異決定的步態(tài)特征，而不是由亮度等差異決定的特征，文中采用PCA 降維后結(jié)合Fisher 方法進行特征提取與對象識別，該方法實質(zhì)上是對原始樣本數(shù)據(jù)進行兩次投影，即PCA 降維投影和Fisher最優(yōu)鑒別投影.由于PCA 降維形成的特征投影子空間沒有區(qū)分亮度（灰度）差異，故亮度不同的同一行人步態(tài)在該子空間投影后，投影值會不同.為克服此缺點，文中利用Fisher 線性判別法，通過最大化步態(tài)類間距離與步態(tài)類內(nèi)距離的比值獲取最優(yōu)鑒別的投影矩陣，從而實現(xiàn)不同行人間的步態(tài)識別.為衡量不同視角下兩個步態(tài)能量圖的相似性，先將步態(tài)能量圖轉(zhuǎn)換至同一視角，再利用最優(yōu)鑒別矩陣進行投影并計算投影后的兩步態(tài)能量圖矢量間的歐氏距離，距離值越小，則相似度越高.

2 實驗結(jié)果與分析

在兩類數(shù)據(jù)庫上對CSM、IIFRSD、SSM-HPC［7］及文中方法進行對比測試.第1 類數(shù)據(jù)庫是中國科學(xué)院自動化研究所建立的CASIA 數(shù)據(jù)庫［14］；第2 類數(shù)據(jù)庫是中南大學(xué)建立的CSUPD 數(shù)據(jù)庫，其數(shù)據(jù)來自湖南省“平安城市”監(jiān)控視頻，包括街道、路口、公交車站等處的監(jiān)控數(shù)據(jù).CSUPD 數(shù)據(jù)為不同參數(shù)的相機在不同角度和不同光照條件下獲得的行人視頻.文中根據(jù)以下條件在兩類數(shù)據(jù)庫內(nèi)進行樣本數(shù)據(jù)選擇：

（1）從CASIA-B 步態(tài)數(shù)據(jù)庫中選取124 個行人樣本，每個樣本由4 個不同視角（0°、18°、36°、54°）下的前視步態(tài)的視頻序列組成，每個視角對應(yīng)4 個視頻序列.

（2）從CSUPD 步態(tài)數(shù)據(jù)庫中選取120 個行人樣本，每個樣本對應(yīng)兩個步態(tài)視角小于60°的視頻序列.這兩個視頻序列由兩個不同監(jiān)控攝像機獲取，記錄了同一行人樣本先后經(jīng)過兩個相應(yīng)的監(jiān)控攝區(qū)域，每個視頻序列的時長為6～10 s，含4 個以上步態(tài)周期.兩個監(jiān)控攝像機位于同一街道，相距約100 m.文中將第1 個攝像機獲取的視頻序列作為目標(biāo)序列，第2 個攝像機獲取的視頻序列作為查詢序列.每個視頻序列中的步態(tài)視角采用前面方法進行計算.

2.1 在CASIA 上的測試

為對比CSM、IIFRSD、SSM-HPC 及文中方法的前視步態(tài)識別能力，以視角為36°的行人視頻序列為查詢集，分別在視角為0°、18°、36°、54°的目標(biāo)集中查找目標(biāo)，結(jié)果如圖7所示.根據(jù)圖可知：當(dāng)查詢集與目標(biāo)集的視角相同，即目標(biāo)集為36°的視頻序列時，4 種方法都取得了良好的識別效果，相似度等級排名前5 的目標(biāo)查中率（識別率）都超過90%，而隨著查詢集與目標(biāo)集的視角差的增大，前3 種方法的識別率下降很快.當(dāng)目標(biāo)集為18°和54°的視頻序列時，前3 種方法的正確識別率低于80%，文中方法的正確識別率則高于90%；當(dāng)目標(biāo)集為0°的視頻序列時，前3 種方法的正確識別率低于70%，而文中方法的正確識別率為85%.導(dǎo)致前3 種方法識別率下降的原因主要是：當(dāng)目標(biāo)集的視角與查詢集的視角不同時，算法未在比對識別前對視頻序列進行視角轉(zhuǎn)換，而文中方法則將目標(biāo)集中的視頻序列統(tǒng)一轉(zhuǎn)換成視角為36°的視角不變視頻序列后再進行相似性度量.

2.2 在CSUPD 上的測試

該測試以第2 個攝像機所獲取的視頻序列為查詢集，以第1 個攝像機所獲取的視頻序列為目標(biāo)集，通過比較“查詢序列”中步態(tài)圖像在“目標(biāo)序列”中步態(tài)圖像的查中率（識別率）來衡量各種前視步態(tài)識別方法的優(yōu)劣.因同一行人是在短時間內(nèi)通過兩個監(jiān)控攝像機的監(jiān)控范圍，著裝保持不變，故無需考慮著裝對步態(tài)輪廓的影響.根據(jù)圖8（a），以相似度等級排名前5 的目標(biāo)正確識別率作為對比依據(jù)，前3 種方法的正確識別率低于70%，而文中方法的正確識別率為81%.4 種方法在CSUPD 上的識別率低于在CASIA 上的識別率，原因是：CSUPD 中視頻序列的成像背景比CASIA 的更復(fù)雜；CASIA的攝像機采用平視方法進行拍攝，行人輪廓在像平面內(nèi)無形變，而CSUPD 攝像機采用俯視方法進行拍攝，行人輪廓在像平面內(nèi)存在形變.此外，CSM［5］、IIFRSD［6］的識別率明顯低于其他兩種方法，主要是由于這兩種方法未進行步態(tài)視角轉(zhuǎn)換，且提取的特征是基于行人輪廓邊界.由于人體是一個立體而非平面，視角不同，行人物平面內(nèi)容不同，像平面內(nèi)容也隨之不同，視角差越大，物平面輪廓邊界差別越大，像平面輪廓邊界差別也越大，比對識別率也越低，如圖8（b）所示.

圖7 在CASIA 數(shù)據(jù)庫上4 種方法的角前視步態(tài)識別效果比較Fig.7 Comparison of front-view gait recognition effect on CASIS database among four methods

圖8 在CSUPD 數(shù)據(jù)庫上4 種方法的前視步態(tài)識別比較Fig.8 Comparison of front-view gait recognition effect on CSUPD database among four methods

以上實驗結(jié)果表明，相比現(xiàn)有的前視步態(tài)識別方法，文中方法的正確識別率有了較大的提高.特別是在真實監(jiān)控環(huán)境下，文中基于步態(tài)能量圖的步態(tài)視角計算和自動視角轉(zhuǎn)換，在步態(tài)視角差超過45°的情況下，仍對前視步態(tài)保持穩(wěn)定的識別率，CSUPD上13 對視角差大于45°的視頻序列（共計3 917 幀）的測試結(jié)果表明，文中方法的正確識別率為77%，而其他3 種方法都低于52%.實驗在酷睿i7、四核1.7GHz 臺式機上完成，文中算法的識別速度達每秒21 幀，基本上實現(xiàn)了視頻序列圖像的實時識別.

3 結(jié)論

步態(tài)特征作為一種可遠程且隱蔽獲取的生物特征，已激起人們持續(xù)的研究興趣，但現(xiàn)有的步態(tài)識別方法主要針對45°～90°的側(cè)視步態(tài)，并需要攝像機參數(shù)校正.針對真實監(jiān)控環(huán)境下的步態(tài)識別，識別系統(tǒng)應(yīng)該做到不依賴相機參數(shù)校正、自適應(yīng)前視或側(cè)視步態(tài).為此，文中根據(jù)GEI 質(zhì)心計算行人運動跡線并確定行人步態(tài)視角，根據(jù)視角將待識別步態(tài)規(guī)范成前視步態(tài)或側(cè)視步態(tài).測試結(jié)果表明，相對于其他方法，文中方法在未知相機參數(shù)的前提下，對難以識別的前視步態(tài)圖取得了更好的識別效果.今后將根據(jù)單目監(jiān)控視頻的二維特性尋找更優(yōu)的、不受環(huán)境條件控制的步態(tài)時空特性模型，通過快速且準(zhǔn)確的方向計算和視角轉(zhuǎn)換使步態(tài)識別具備更吸引人的通用性能.

［1］Bashir Khalid，Xiang Tao，Gong Shaogang.Gait recognition without subject cooperation ［J］.Pattern Recognition Letters，2010，31（13）：2052-2060.

［2］Jean Frédéric，Albu Alexandra，Bergevin Rorbet.Towards view-invariant gait modeling：computing view-normalized body part trajectories ［J］.Pattern Recognition，2009，42（11）：2936-2949.

［3］Bouchrika Imed，Goffredo Michaela，Carter John，et al.On using gait in forensic biometrics ［J］.Journal Forensic Science，2011，56（4）：882-889.

［4］中南大學(xué)信息科學(xué)與工程學(xué)院.CSUPD pedestrian database ［DB/OL］.（2013-06-07）［2014-01-22］.http：//netlab.csu.edu.cn/bioinformatics/web/csupd.htm.

［5］Soriano Maricor，Araullo Alessandya.Curve spreads：a biometric from front-view gait video ［J］.Pattern Recognition Letters，2004，25（14）：1595-1602.

［6］Barnich Olivier，Droogenbroeck Marc.Frontal-view gait recognition by intra- and inter-frame rectangle size distribution ［J］.Pattern Recognition Letters，2009，30（10）：893-901.

［7］Jegoon Ryu，Kamata Sei-ichiro.Front view gait recognition using spherical space model with human point clouds［C］//Proceedings of the 18th International Conference on Image Processing.Brussels：IEEE，2011：3209-3212.

［8］Kusakunniran Worapan，Wu Qiang，Zhang Jian，et al.Support vector regression for multi-view gait recognition based on local motion feature selection ［C］//Proceedings of the 23rd IEEE Conference on Computer Vision and Pattern Recognition.San Francisco：IEEE，2010：974-981.

［9］Jean Frederic，Bergevin Rorbet，Albu Alexandra Branzan.Body tracking in human walk from monocular video sequences ［C］//Proceedings of the 2nd Canadian Conference on Computer and Robot Vision.Victoria：IEEE，2005：144-151.

［10］Goffredo Michaela，Carter Jhon，Nixon Mark.Front-view gait recognition［C］//Proceedings of the 2nd International Conference on BTAS.Washington D C：IEEE，2008：1-6.

［11］Han Ju，Bhanu Bir.Individual recognition using gait energy image ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（2）：316-322.

［12］Hu Ming-Kuei.Visual pattern recognition by moment invariants ［J］.IEEE Transactions on Information Theory，1962，8（2）：179-187.

［13］Jean Frédéric，Bergevin Rorbet，Albu Alexandra.Computing view-normalized body parts trajectories ［C］//Proceedings of the 4th Canadian Conference on Computer and Robot Vision.Montreal：IEEE，2007：89-96.

［14］中國科學(xué)院自動化研究所.CASIA gait database［DB/OL］.（2005-01-10）［2014-02-25］.http：//www.cbsr.ia.ac.cn/china/Gait%20Databases%20CH.asp.