羅璨，徐萬(wàn)江，朱燦焰

（蘇州大學(xué)城市軌道交通學(xué)院，江蘇蘇州215137）

基于熵劃分子模式典型相關(guān)分析的步態(tài)識(shí)別

羅璨，徐萬(wàn)江，朱燦焰

（蘇州大學(xué)城市軌道交通學(xué)院，江蘇蘇州215137）

步態(tài)識(shí)別的準(zhǔn)確性容易受到衣著類型及攜帶背包等局部變化的影響。針對(duì)這一問(wèn)題，首先提出一種基于局部信息熵值的子模式劃分方法；然后對(duì)正常行走和局部變化兩種狀態(tài)下的每一對(duì)子特征進(jìn)行典型相關(guān)分析，得到多個(gè)最佳投影矩陣對(duì)，并將子特征分別投影到基于上述最佳投影矩陣對(duì)的特征子空間中；最后以整體相關(guān)系數(shù)作為分類依據(jù)，以減小局部變化對(duì)于整體識(shí)別結(jié)果的影響。在CASIA_B數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)表明在所有視角下所提算法都能取得較好的性能。

步態(tài)識(shí)別；局部變化；信息熵；子模式；典型相關(guān)分析

早期的醫(yī)學(xué)研究表明：人的步態(tài)具有24種不同的成分，如果把這24種成分都充分加以考慮，則可認(rèn)為步態(tài)具有個(gè)體唯一性［1］，因此可以用于人的身份識(shí)別。相對(duì)于其他生物特征如：指紋、虹膜、人臉等，步態(tài)特征具有無(wú)侵犯性、易于采集、難以隱藏、可遠(yuǎn)距離識(shí)別的特點(diǎn)。現(xiàn)有的步態(tài)識(shí)別方法大體可以分為兩類：模型方法和非模型方法。Hu Ng指出：模型方法為人體結(jié)構(gòu)或者動(dòng)作精確建模并對(duì)行走序列的每一幀圖像進(jìn)行模板匹配，最后度量模型的一些參數(shù)例如軌跡等。模型方法的難點(diǎn)在于模板匹配和特征提取，計(jì)算代價(jià)較高。而非模型方法計(jì)算量和數(shù)據(jù)存儲(chǔ)量都較少，因而應(yīng)用更為廣泛。

目前有很多非模型步態(tài)識(shí)別方法使用步態(tài)能量圖（GEI）表示步態(tài)特征，除此之外Bashir等人提出了步態(tài)能量熵圖（GEnI）來(lái)表示步態(tài)，該方法在最小化步態(tài)特征的靜態(tài)成分的同時(shí)最大化了動(dòng)態(tài)成分的影響。在正常情況下，GEnI的效果優(yōu)于GEI，但是當(dāng)類內(nèi)變化比較大時(shí)，GEI效果較好。一些經(jīng)典的算法例如主成分分析（PCA）、線性鑒別分析（LDA）以及K近鄰分類（K_NN）等已經(jīng)廣泛應(yīng)用于步態(tài)識(shí)別中。

然而，當(dāng)存在一些局部變化例如衣著類型變化或者攜帶物品時(shí)，步態(tài)識(shí)別的準(zhǔn)確性將受到一定影響［2］。為了解決這一問(wèn)題，Bashir等人提出了監(jiān)督和非監(jiān)督的特征選擇方法，用于從步態(tài)能量圖中提取出最相關(guān)和有效的特征［3］；Yu等人對(duì)未知位置的局部變化的影響進(jìn)行了建模并提出了一種基于隨機(jī)子空間的分類方法［4］。此外，Ben等人提出了一種新的耦合距離度量學(xué)習(xí)方法（CML），該方法保留了局部信息，并且得到一個(gè)最佳描述潛在流型結(jié)構(gòu)的特征子空間［5］。之后，Wang等人將標(biāo)簽信息結(jié)合到分類標(biāo)準(zhǔn)中，改進(jìn)了傳統(tǒng)CML方法的性能［6］。然而CML方法存在過(guò)擬合的問(wèn)題，學(xué)習(xí)到的投影矩陣對(duì)不具備普遍適用性，因此當(dāng)測(cè)試樣本相對(duì)于訓(xùn)練樣本發(fā)生很大變化時(shí)，識(shí)別率將下降。

文中提出了使用典型相關(guān)分析（CCA）來(lái)學(xué)習(xí)同一樣本的正常行走序列與局部變化序列之間的關(guān)系。CCA方法學(xué)習(xí)到的投影矩陣對(duì)具有普遍適用性，即使測(cè)試樣本與訓(xùn)練樣本差別很大，仍能獲得較高的識(shí)別率。然而在將CCA方法應(yīng)用到步態(tài)識(shí)別這個(gè)高維小樣本問(wèn)題時(shí)，將面臨以下幾個(gè)問(wèn)題：1）小樣本特性使CCA兩組特征矢量構(gòu)成的總體協(xié)方差矩陣奇異，難以直接應(yīng)用；2）CCA作為一種全局線性投影方法，不能很好地描述非線性的步態(tài)識(shí)別問(wèn)題；3）作為一種整體方法，當(dāng)存在衣著變化或者攜帶物品等局部變化時(shí)，缺乏識(shí)別魯棒性。因此，本文將CCA方法與子模式方法相結(jié)合，解決了CCA方法在步態(tài)識(shí)別中存在的小樣本以及對(duì)局部變化缺乏魯棒性的問(wèn)題。同時(shí)，根據(jù)信息熵值劃分子模式，使用每一組子特征進(jìn)行局部分類，然后對(duì)多個(gè)局部相關(guān)系數(shù)進(jìn)行加權(quán)得到整體相關(guān)系數(shù)，作為最終的分類依據(jù)，從而抑制了局部變化對(duì)于整體識(shí)別效果的影響，即使某個(gè)子塊存在明顯的局部變化如衣著變化或者攜帶背包等，導(dǎo)致識(shí)別結(jié)果錯(cuò)誤的可能性也明顯降低。

1　子模式典型相關(guān)分析算法

為提高局部變化情況下步態(tài)識(shí)別的準(zhǔn)確性，本文算法的基本思想為：首先將步態(tài)能量圖按照局部信息熵值進(jìn)行分塊，每一塊作為一個(gè)子模式，將局部變化的影響局限在某一個(gè)或者某幾個(gè)子模式中；然后對(duì)訓(xùn)練集中正常行走和局部變化情況下的每一對(duì)子特征進(jìn)行典型相關(guān)分析，獲得最佳投影矩陣對(duì)；接著將測(cè)試集中兩種情況下的每一對(duì)子特征分別投影到基于上述最佳投影矩陣對(duì)的特征子空間中；最后使用K近鄰分類方法，將相關(guān)系數(shù)作為分類依據(jù)。算法的流程圖如圖1所示。

圖1　本文算法流程圖

1.1子模式提取

步態(tài)識(shí)別的很多現(xiàn)有工作都是以步態(tài)輪廓序列在一個(gè)步態(tài)周期上的平均即步態(tài)能量圖（GEI）為初始特征的。

如圖2所示，（a）、（c）、（d）和（e）中，（e）和（b）最相近，這很有可能導(dǎo)致識(shí)別結(jié)果的錯(cuò)誤，由此可見(jiàn)，步態(tài)能量圖容易受到局部變化例如攜帶物體或者衣著類型變化的影響。然而由于這些局部變化只發(fā)生在一定區(qū)域內(nèi)，所以可將步態(tài)能量圖進(jìn)行分塊，以盡量減小局部變化對(duì)于整體識(shí)別效果的影響。

圖2　對(duì)象A在正常行走（a）、攜包行走（b）、衣著變化（c）、視角變化（d）狀態(tài)及對(duì)象B在攜包行走（e）狀態(tài)下的GEI圖

首先，本文提出一種新方法，用于表示所有樣本的步態(tài)序列在局部位置的動(dòng)態(tài)變化程度。該方法計(jì)算出所有樣本的步態(tài)能量圖對(duì)應(yīng)的信息熵圖，定義為：

如圖3所示，信息熵圖中像素值越大的區(qū)域包含越多的動(dòng)態(tài)信息，不同樣本在該區(qū)域的可區(qū)分度越高。因此，考慮將樣本的步態(tài)能量圖按照局部信息熵值進(jìn)行分塊，每一塊作為一個(gè)子模式，以盡量減小局部變化對(duì)于整體識(shí)別結(jié)果的影響。

圖3　所有樣本的步態(tài)能量圖對(duì)應(yīng)的信息熵圖

如圖4所示，經(jīng)過(guò)分塊后，局部變化的影響主要存在于子模式1中，導(dǎo)致識(shí)別結(jié)果錯(cuò)誤的可能性明顯降低。

1.2子模式典型相關(guān)分析

典型相關(guān)分析方法由H.Hote11ing在1936年提出［7］。Bashir將該方法應(yīng)用到了多視角步態(tài)識(shí)別中，建立了多個(gè)視角下步態(tài)特征的聯(lián)系。本文同樣采用該方法，在對(duì)正常行走狀態(tài)和局部變化情況下的訓(xùn)練樣本進(jìn)行子模式提取后，可以得到L對(duì)特征子集TrainiN和TrainiC（i=1，2，…，L），分別對(duì)每一對(duì)特征子集進(jìn)行典型相關(guān)分析，過(guò)程如下：

圖4　根據(jù)局部信息熵值對(duì)步態(tài)能量圖進(jìn)行分塊

最佳投影矩陣對(duì)定義為：

至此，最佳投影矩陣對(duì)的求解問(wèn)題已轉(zhuǎn)化為求解矩陣的特征值_特征向量問(wèn)題。對(duì)所有的訓(xùn)練集對(duì)1，2，…L）進(jìn)行典型相關(guān)分析，即可得到一組用于特征提取的最佳投影矩陣對(duì)

1.3分類

給定一個(gè)未知測(cè)試對(duì)象在局部變化情況下的步態(tài)序列，按照1.1中的方法獲得其步態(tài)能量圖V，并以同樣的方式將其步態(tài)能量圖劃分為L(zhǎng)個(gè)子圖像，將每個(gè)子圖像重組為列向量模式，即可得L個(gè)子樣本v1，v2，…，vi（i=1，2，…，L）。

首先，分別計(jì)算測(cè)試對(duì)象第i個(gè)子樣本vi與正常行走狀態(tài)下的子樣本集中的每一個(gè)子樣本投影到對(duì)應(yīng)的特征子空間后得到的低維特征矢量之間的相關(guān)系數(shù)ρij。

然后定義未知測(cè)試對(duì)象與樣本集第j個(gè)對(duì)象的相關(guān)系數(shù)為：

其中ω1，ω2，…，ωL為權(quán)重系數(shù)，如圖3所示，因?yàn)榫植孔兓挠绊懼饕嬖谟谧幽Ｊ?中，所以應(yīng)當(dāng)減小ρ1j的權(quán)重，而增加其他子模式對(duì)應(yīng)的權(quán)重ω1，以減小局部變化對(duì)整體識(shí)別結(jié)果的影響。

最終，未知圖像的分類結(jié)果為：

2　實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)在中國(guó)科學(xué)院自動(dòng)化所提供的CASIA步態(tài)數(shù)據(jù)庫(kù)中的B數(shù)據(jù)集上進(jìn)行［8］。CASIA（B）步態(tài)數(shù)據(jù)庫(kù)包括124個(gè)對(duì)象在0°、18°…180°等11個(gè)視角下的多個(gè)步態(tài)序列。在每個(gè)視角下，每個(gè)對(duì)象對(duì)應(yīng)2個(gè)攜包序列、2個(gè)穿著大衣序列以及6個(gè)正常行走的序列，因此該數(shù)據(jù)庫(kù)覆蓋了大部分實(shí)際情況。

為了將所提算法與BEN提出的耦合距離度量學(xué)習(xí)（CML）方法［5］進(jìn)行比較，首先需要保持實(shí)驗(yàn)條件一致：在每個(gè)視角下選擇步態(tài)數(shù)據(jù)庫(kù)中124個(gè)對(duì)象的1個(gè)正常行走序列和1個(gè)局部變化序列構(gòu)成訓(xùn)練集，該正常行走序列與另外1個(gè)局部變化序列構(gòu)成測(cè)試集。如圖5所示，所提算法性能與CML方法相當(dāng)。而由于訓(xùn)練集與測(cè)試集中的局部變化序列很相近時(shí)，分塊會(huì)對(duì)識(shí)別準(zhǔn)確率產(chǎn)生一定干擾，因此在部分視角下，CML方法和CCA方法識(shí)別正確率較高。

值得一提的是，當(dāng)測(cè)試集與訓(xùn)練集差異很大，例如測(cè)試對(duì)象與訓(xùn)練對(duì)象不同時(shí)，由于CML方法存在過(guò)擬合的問(wèn)題，因此其性能將顯著下降，而本文算法仍然能夠取得較高的識(shí)別準(zhǔn)確率。

為了將所提算法與其他經(jīng)典方法進(jìn)行比較，選擇前62個(gè)對(duì)象的2個(gè)正常行走序列和2個(gè)局部變化序列構(gòu)成訓(xùn)練集，后62個(gè)對(duì)象的2個(gè)正常行走序列和2個(gè)局部變化序列構(gòu)成測(cè)試集。需要說(shuō)明的是，因?yàn)檎婧捅趁嬉暯窍碌牟綉B(tài)提供的信息很有限，所以在這兩個(gè)視角下的實(shí)驗(yàn)結(jié)果可能并不能說(shuō)明問(wèn)題。

攜包情況下各種方法在各個(gè)視角下的識(shí)別率如圖6所示，從圖中可以看出，本文算法在各個(gè)視角下的識(shí)別準(zhǔn)確率比較穩(wěn)定，平均識(shí)別率高達(dá)70.01%，在側(cè)面視角下達(dá)到了70.96%，相對(duì)于其他算法有了明顯的提高。

圖5　所提算法與CML方法比較

圖6　攜包情況下本文算法與其他經(jīng)典算法的比較

衣著變化情況下各種方法在各個(gè)視角下的識(shí)別率如圖7所示，所提算法的平均識(shí)別率為48.46%，在側(cè)面視角下識(shí)別率達(dá)到47.58%，相對(duì)于其他算法在各個(gè)視角下均有明顯的提高。

其他文章中的很多實(shí)驗(yàn)都是在側(cè)面視角下進(jìn)行的，因此值得一提的是，所提算法顯著提高了存在局部變化時(shí)側(cè)面視角下的識(shí)別率?？偟脕?lái)說(shuō)，在各個(gè)視角下，所提算法都明顯提高了存在局部變化時(shí)的識(shí)別準(zhǔn)確率。

圖7　衣著變化情況下本文算法與其他經(jīng)典算法的比較

3　結(jié)束語(yǔ)

針對(duì)步態(tài)識(shí)別準(zhǔn)確率會(huì)受到攜帶物品或者衣著類型等局部變化影響的問(wèn)題，本文提出根據(jù)局部信息熵值將樣本的步態(tài)能量圖分塊得到多個(gè)子模式，以將局部變化的影響局限在一個(gè)或者幾個(gè)子模式中。在訓(xùn)練過(guò)程中，對(duì)于訓(xùn)練集中正常行走情況和局部變化情況下的每一對(duì)子樣本進(jìn)行典型相關(guān)分析，得到多個(gè)最佳投影矩陣對(duì)。然后在測(cè)試過(guò)程中，將測(cè)試集中兩種情況下的每一對(duì)子樣本分別投影到基于上述最佳投影矩陣對(duì)的特征子空間中，以達(dá)到提取同一個(gè)測(cè)試對(duì)象在正常行走和局部變化兩種不同情況下的本質(zhì)特征，同時(shí)剔除不同測(cè)試對(duì)象在同一種行走情況下的相同特征的目的。最后使用K近鄰分類方法進(jìn)行分類，以整體相關(guān)系數(shù)作為分類依據(jù)，整體相關(guān)系數(shù)為多個(gè)局部相關(guān)系數(shù)的加權(quán)和，以減小局部變化對(duì)于整體識(shí)別結(jié)果的影響。在CASIA_B數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)表明在所有視角下所提算法都能取得較好的性能。

［1］Ka1e A，Sundaresan A，Rajagopa1an A N.Identification of humans using gait［C］//IEEE Transactions on Image Processing，2004，13（9）：1163_1173.

［2］Bou1gouris N V，Hatzinakos D，P1ataniotis K N.Gait recognition：a cha11enging signa1 processing techno1ogy for biometric identification［C］//IEEE Signa1 Processing Magazine，2005，22（6）：78_90.

［3］Bashir K，Xiang T，Gong S.Feature se1ection on gait energy image for human identification［C］//2008 IEEE Internationa1 Conference on Acoustics，Speech and Signa1 Processing，2008：985_988.

［4］Guan Y，C Li，F(xiàn)abio R.On reducing the effect of covariate factors in gait recognition：a c1assifier ensemb1e method［C］// 2013 2nd Internationa1 Conference on Advances in E1ectrica1 Engineering（ICAEE 2013），2003：411_414.

［5］Ben X，Meng W，Yan R，et a1.An improved biometrics tech_ nique based on metric 1earning approach［C］//Neurocomputing，2012，97（1）：4_51.

［6］Kejun W.Coup1e Metric Learning Based on Separab1e Criteria with Its App1ication in Cross_View Gait Recognition. Biometric Recognition［M］.Springer Internationa1 Pub1ishing，2014：347_356.

［7］Hote11ing H.Re1ations between two sets of variates.Biometrika，1936：321_377.

［8］Yu S，Tan D，Tan T.A Framework for Eva1uating the Effect of View Ang1e，C1othing and Carrying Condition on Gait Recognition［C］//2006 IEEE Internationa1 Conference on Pattern Recognition 2006：441_444.

Galt recognltlon based on entroPy-sub-Pattern canonlcal correlatlon analysls

LUO Can，XU Wan_jiang，ZHU Can_yan
（School of Urban Railway Transportation，Soochow University，Suzhou 215137，China）

Gait recognition wou1d be great1y affected by some covariate factors inc1uding c1othing type and carrying objects. Finding an approach robust to these covariate factors is the most cha11enging prob1em.In this paper，we propose a method based on canonica1 corre1ation ana1ysis（CCA）to mode1 the corre1ation between gait sequences on two different wa1king conditions.GEIs are partitioned into severa1 parts based on 1oca1 information entropy va1ue，with each part se1ected as a sub_pattern. Each pair of sub_pattern are projected onto two 1earned feature subspaces in which the two transformed gait data sets are optima11y corre1ated based on CCA.Fina11y，to reduce the effect of the covariate factors，overa11 corre1ation strength is used as simi1arity measure.Experiment resu1ts on CASIA_B gait database show that our proposed method outperforms other c1assica1 methods over a11 views.

gait recognition；covariate factors；information entropy；sub_pattern；canonica1 corre1ation ana1ysis

TN911.73

A

1674_6236（2016）10_0001_04

2015_07_14稿件編號(hào)：201507104

國(guó)家自然科學(xué)基金項(xiàng)目（NSFC 61071214）

羅璨（1991—），女，江蘇淮安人，碩士研究生。研究方向：模式識(shí)別與機(jī)器學(xué)習(xí)。