陳祥濤， 張前進， 張雙玲

（1. 河南科技大學現(xiàn)代教育技術與信息中心，河南 洛陽 471003；2. 河南科技大學電子信息工程學院，河南 洛陽 471003；3. 河南省工業(yè)設計學校機電工程系，河南 鄭州 450002）

基于模糊理論決策的雙向二維PCA步態(tài)識別算法

陳祥濤1， 張前進2， 張雙玲3

（1. 河南科技大學現(xiàn)代教育技術與信息中心，河南 洛陽 471003；2. 河南科技大學電子信息工程學院，河南 洛陽 471003；3. 河南省工業(yè)設計學校機電工程系，河南 鄭州 450002）

針對步態(tài)識別中的平均步態(tài)能量圖像系數(shù)矩陣維數(shù)過高和分類較困難的特點，提出一種基于模糊理論決策分類的雙向二維主成分分析的步態(tài)識別算法。通過預處理技術得到平均步態(tài)能量圖并將得到的圖像分割為多個子圖像，利用雙向二維主成分分析來降低平均步態(tài)能量子圖像的系數(shù)矩陣維數(shù)，加快識別速度。引入模糊理論決策的方法進行最近鄰分類器的分類。最后在CASIA步態(tài)數(shù)據(jù)庫上對所提出的算法進行實驗，實驗結果表明該算法具有較好的識別性能并有較強的魯棒性。

步態(tài)識別；平均步態(tài)能量圖；主成分分析；雙向二維主成分分析

步態(tài)識別是一種新型的生物特征識別技術。所謂步態(tài)識別主要是指通過每個人獨特的行走姿勢來識別人的身份。區(qū)別于人臉識別、指紋識別、虹膜識別等識別技術，步態(tài)識別作為一種生物特征具有以下幾個特點：易于觀察、難于偽裝、對系統(tǒng)分辨率要求低、遠距離識別等[1]。因此步態(tài)識別是一種理想的非侵犯性生物特征識別技術。

近年來國內外對于步態(tài)識別的研究已經取得了不少成果。Han Ju等[2]將一個步態(tài)序列中所有輪廓圖的平均值稱為步態(tài)能量圖進行特征提取，研究表明該方法對低質量的步態(tài)輪廓圖具有較強的適應性。Guo Baofeng等[3]提出了基于互信息子集選擇的步態(tài)識別。采用互信息技術，用Bayes錯誤分類的方法評估兩個任意變量的統(tǒng)計獨立特性來進行身份識別。王犇等[4]提出了一種基于加速度特征點提取的步態(tài)身份認證方法。使用基于小波變換的方法提取步態(tài)加速度特征點，并使用動態(tài)時間規(guī)整算法對提取出的特征點序列進行匹配。張前進等[5]提出了一種基于步態(tài)能量圖的嵌入式隱馬爾可夫模型身份識別方法。對能量圖的各區(qū)域進行分析，利用二維離散余弦變換將能量圖觀測塊轉化為觀測向量，實現(xiàn)嵌入式隱馬爾可夫模型的訓練和身份識別。王科俊等[6]提出兩種形式的能量特征相融合的方法進行身份識別。在周期分割后的特征提取階段分別使用步態(tài)能量圖結合行列相結合的二維主成分分析方法并對步態(tài)序列圖像進行Radon變換，在周期模板構造后用列方向的二維主成分分析降維方法進行數(shù)據(jù)壓縮。

主成分分析(PCA)是特征提取最為經典的方法之一。主成分分析的算法主要是通過估計數(shù)據(jù)的二階統(tǒng)計特性來發(fā)現(xiàn)數(shù)據(jù)的本質線性維數(shù)，它是在全局最小重構誤差的條件下把高維數(shù)據(jù)投影到低維空間上，通過求解數(shù)據(jù)點協(xié)方差矩陣的最大n個特征值所對應的特征向量所張成的子空間得到的。在PCA的方法處理圖像之前，先把圖像矩陣轉換為向量，而后基于這些向量來獲得最優(yōu)投影向量，這種算法一般圖像的維數(shù)很高，后面的特征提取難度較大。Yang Jian等[7]提出了直接用原始矩陣提取特征的圖像矩陣的二維主成分分析(2DPCA)方法。但用2DPCA表示圖像時，系數(shù)矩陣的元素仍過多，維數(shù)過高。Zhang Daoping等[8]提出了兩個方向上的二維主成分分析來降低2DPCA中圖像的系數(shù)矩陣，加快識別速度。兩個方向上的二維主成分分析沒有區(qū)分對待圖像的特征矩陣中各特征向量對識別性能的影響，而整幅平均步態(tài)能量圖像特征反映的整幅圖像的特性，對細節(jié)的描述不夠。步態(tài)識別中主要考慮的是下肢的運動圖像，因此我們對平均步態(tài)能量圖像進行分塊處理。

本文提出了一種基于模糊理論決策分類的雙向二維主成分分析的步態(tài)識別算法。針對步態(tài)特征識別中的平均步態(tài)能量圖像系數(shù)矩陣元素過多，維數(shù)過高的問題，利用雙向二維主成分分析來降低步態(tài)能量圖像的系數(shù)矩陣，加快了識別速度。同時采用最近鄰分類器進行分類識別，在分類決策的過程中引入了模糊理論使分類的效果更好。最后在CASIA步態(tài)數(shù)據(jù)庫上對所提出的算法進行實驗，實驗結果表明該方法具有較好的識別率并具有較強的魯棒性。

1 預處理技術

預處理階段需要對運動目標進行提取。利用文獻[5]的方法可以得到一個單連通的運動目標，如圖1所示。

圖1 步態(tài)序列輪廓提取

文獻[4]中對單連通的運動目標圖像進行準周期性分析，得到步態(tài)周期如圖2所示。

圖2 步態(tài)周期性分析

步態(tài)能量圖是一種用輪廓構造的時空步態(tài)表征方法。按照文獻[2]的方法構造出人體序列中每一個步態(tài)周期的能量圖，再計算序列中完整周期步態(tài)能量圖的平均圖像[5]，如圖3所示。

圖3 步態(tài)幀及步態(tài)能量圖

平均步態(tài)能量圖反映了對象的平均步態(tài)信息：一方面表征了人體的形狀信息，即某一時刻人體行走在空間上的歸一化能量圖像。另一方面體現(xiàn)了運動中人體各個部分出現(xiàn)的概率，能量圖中最亮的像素點，對應的是行走過程中身體移動較少的部分；像素的亮度值在最高和最低之間的點，對應為移動頻繁的身體部分；能量圖中的黑色區(qū)域無任何信息。

2 雙向二維主成分分析

2.1 二維主成分分析

PCA是特征提取最為經典的方法之一。2DPCA和PCA相比來說，2DPCA是基于二維圖像矩陣的，圖像的協(xié)方差矩陣可通過原始圖像矩陣直接構造出來。同時與 PCA構造的協(xié)方差矩陣相比，2DPCA構造的矩陣要小很多。2DPCA與 PCA相比的優(yōu)點為可以直接計算訓練樣本的協(xié)方差矩陣，計算本征向量需要的時間較少[9]。

2DPCA的思想是將一個大小為m×n的圖像矩陣A，x表示n維列向量，A通過線性變換y =Ax投影到向量x上，得到一個m維列向量y，稱之為圖像矩陣A的投影特征向量。可以利用投影樣本的總體散布矩陣來衡量投影向量x的鑒別能力，投影樣本的總體散布矩陣可用投影特征向量的協(xié)方差矩陣來描述[7]。

假設有k個訓練樣本 A1,A2,… ,Ak，則構造n × n的總體散布矩陣為訓練模式總體的均值矩陣，容易證明tG為n n× 的非負矩陣[7]。

定義準則函數(shù) J (x ) =xTGtx。最大化該準則函數(shù)的單位向量x稱為最優(yōu)投影向量。計算得到

其中，Gt的特征值 λ1≥ λ2≥ …≥ λi，然后從大到小排序，選擇前d個特征值分別對應的特征向量x1,x2,… ,xd，就是所要求的d個投影軸[10]。

對樣本圖像矩陣 A進行特征抽取。令yi= Axi,i =1,2,… ,d ，得到一組投影向量y1,y2,… ,yd，合并在一起構成圖像矩陣A的整體投影特征矩陣[10]

其中， y ∈Rm×d。

2.2 行方向上的二維主成分分析

的第i個行向量[9]。假設訓練樣本共有M個，第k個訓練樣本用一個m×n的矩陣 Aj( j =1,2,… ,M )來表示，所有訓練樣本的平均圖像用來表示，可得到圖像的協(xié)方差矩陣（散布矩陣） Gt為[9]

2.3 列方向上的二維主成分分析

按照式（3），可以對圖像行方向上的二維主成分進行擴展，使用圖像列向量間的外積來重構Gt[9]。

(j)和分別表示kA和的第j個列向量，那么圖像協(xié)方差矩陣tG的另一種定義為[8]。

2.4 雙向二維主成分分析

2DPCA的最優(yōu)投影向量 x1,x2,…,xd是用來提取特征的，對一個給定m × n的圖像矩陣A記為[9]

可以得到一族投影特征向量 y1, y2,… ,yd稱為圖像矩陣A的主分量。得到主分量后，可以構成一個大小為m × d的矩陣 B =[y1,y2,… ,yd]，稱為圖像矩陣A的特征矩陣[9]。

根據(jù)文獻[9]特征提取的方法獲得投影矩陣X和Z，此處的矩陣X和Z分別是由式（3）和表示子圖像jB到訓練樣本之式（4）得到的最優(yōu)投影矩陣。X =[X1,X2,… ,Xd]是使用圖像行向量間的外積重構 Gt得到的最優(yōu)投影矩陣；而是使用圖像列向量間的外積重構 Gt′得到的最優(yōu)投影矩陣。

得到投影矩陣X和Z后，把大小為m× n的矩陣A同時投影到X和Z上，產生一個大小為q× d的矩陣C，q為最優(yōu)投影矩陣前q個較大的特征值的個數(shù)，q的定義如下：假設最優(yōu)投影向量 x1,x2,… ,xq是 Gt的前q個最大特征值所對應的相互正交的本征向量。q確定為

在步態(tài)識別中，矩陣C也稱為特征矩陣，把每幅訓練的平均步態(tài)能量圖像 Ak(k =1,2,… ,M )投影到X和Z上后，可得到訓練圖像的特征矩陣 Ck(k =1,2,… ,M )。給定一幅測試的平均步態(tài)能量圖像A，先利用公式（7）得到它的特征矩陣C，C和 Ck之間的距離定義為

然后用最近鄰分類器進行識別，同時把模糊理論引入分類決策[9]。

3 模糊理論分類決策和步態(tài)識別

3.1 模糊理論分類決策

用模糊理論進行模式識別的方法有最大隸屬度原則方法和模糊聚類分析方法。本文引入模糊分類的思想，首先得到各個平均步態(tài)能量圖子圖像的模糊分類結果，然后對各模糊分類結果進行融合，最后根據(jù)最大隸屬度原則，給出待識別圖像的確定分類結果。識別過程如圖4所示。

對一幅待識別的平均步態(tài)能量圖像B，首先分割出各個子圖像 Bj( j =1,2,… ,N)，用每個子圖像向各自對應的投影空間投影，求得特征矩陣C′j，然后計算該特征矩陣與訓練樣本之間的距離[9]

待識別樣本的子圖像jB對訓練樣本的隸屬度可根據(jù)文獻[11]中的公式求出，即

圖4 平均步態(tài)能量圖識別過程

對各個平均步態(tài)能量圖子圖像的分類結果相加求和，可得到待識別圖像對于各個訓練樣本的隸屬度[8]

根據(jù)最大隸屬度原則，最后的分類結果決定如下

即待識別人臉圖像與第S個訓練樣本同屬一類。

3.2 基于DTPCA的步態(tài)識別

根據(jù)上面的描述，基于模糊理論雙向二維主成分分析的步態(tài)識別方法訓練過程是利用一組訓練樣本確定其優(yōu)化參數(shù)，識別過程是先得到子圖像集的特征矩陣，然后利用隸屬度的概念來完成分類。圖5為整個系統(tǒng)的流程框圖。

本文所提出DTPCA算法的具體描述如下。

其中， λ1≥ λ2≥ …≥ λn是 Gt的n個特征值，同理可以得到d。則

Step 1 設有M個平均步態(tài)能量圖像訓練樣本 A1,A2,… ,AM，把每個樣本 Ai都分成N個子圖像 Aij(i =1,2,… ,M ; j =1,2,… ,N)，所有訓練圖像樣本對應位置的子圖像組成子圖像集 Sj[8]。

圖5 DTPCA訓練和識別框圖

Step 2 對每個子圖像集 Sj利用式（3）求行方向上的最優(yōu)投影矩陣 Xj，利用式（4）求列方向上的最優(yōu)投影矩陣 Zi[9]。

Step 3 設平均步態(tài)能量圖像分成的N個子圖像集，N個子圖像集經DTPCA得到p個行方向上和q個列方向上的最優(yōu)投影矩陣X1,X2,… ,Xp與 Z1,Z2,… ,Zq。則各個子圖像集中樣本的特征矩陣為[9]

其中， Aij表示第i個訓練樣本的第j個子圖像，i= 1,2,… ,M，M為訓練樣本的個數(shù)，j= 1,2,… ,N，N為子圖像集的個數(shù)， Λj為 Xj對應不小于1的特征值組成的對角陣， X′j為小于1的特征值對應的特征向量。利用式（13）求每個訓練圖像樣本 Ai所有子圖像 Aij的特征矩陣Ci′j[9]。

Step 4 對每幅待識別平均步態(tài)能量圖像B，把它分割成N個子圖像 Bj，根據(jù)式（13）求其特征矩陣 C′j。

Step 5 對每幅待識別平均步態(tài)能量圖像B，按照式（9）計算其每個子圖像 Bj與每個訓練樣本 Aj對應位置的子圖像 Aij的歐式距離 dij，根據(jù)

計算 Bj到所有訓練樣本對應位置子圖像的平均距離dj[9]。

Step 6 按照式（10）計算子圖像 Bj對每個訓練樣本 Aj對應位置子圖像 Aij的隸屬度，再按式（11）計算待識別平均步態(tài)能量圖像B對各訓練圖像 Aj的總隸屬度，最后按式（12）對B進行分類識別[9]。

4 實驗結果與分析

4.1 實驗1

首先用 CASIA步態(tài)數(shù)據(jù)庫來評估所提出的步態(tài)識別算法。參照文獻[5]的方法把每一個人正常行走序列Set A中的前3個序列作為訓練子集（定義為Set A1），剩下的作為測試子集（定義為Set A2）。背包序列Set B和外套變化序列Set C的前一個序列作為訓練子集（（定義為 Set B1）和（定義為Set C1）），剩下一個序列作為測試子集（（定義為Set B2）和（定義為Set C2））。

本文選用庫中的 25個人進行實驗，序列的視角均為 90°的正側面視角。采用留一校驗法（leave-one-out cross validation）[12]測試，實驗結果如圖6所示。從實驗結果可以看出，實驗A的效果好于實驗B和實驗C。這是由于Set A集合中人行走時相對Set B和Set C集合的平均步態(tài)能量圖像實際信息維數(shù)較小，經DTPCA變換后的特征矩陣更能有效地表征其圖像特征。Set B和Set C集合相對Set A集合來說，圖像較為復雜，DTPCA變換后特征矩陣代表了圖像的大部分信息，相比Set A集合在變換的同時也丟失了一些平均步態(tài)能量圖像特征信息。

圖6 90°視角實驗結果

下面討論本文算法和文獻[5]所用算法的耗時比較。把實驗分為Ⅰ（Experiment A:train:set A1; test:set A2）、Ⅱ（Experiment B:train:set B1; test:set B2）、Ⅲ（Experiment C:train:set C1; test:set C2）3類。實驗的機器配置為：AMD Turion 64×2 Mobile Technology TL-50雙核處理器，2GB RAM。最后得到的耗時時間是3類子集的平均值，如表1所示。由于DTPCA的有效的降維特性，使識別的速度有明顯的提高，更加適合實時的視覺監(jiān)控需要。總之針對CASIA步態(tài)數(shù)據(jù)庫來評估所提出的步態(tài)識別算法，正常行走時都獲得了最好的識別率，背包的識別效果好于外套的變化。

表1 不同算法的耗時比較(ms)

4.2 實驗2

下面討論本文方法與其他幾種算法的比較。實驗的數(shù)據(jù)庫仍用CASIA步態(tài)數(shù)據(jù)庫，數(shù)據(jù)庫的分類和實驗1相同，選用庫中的40個人進行實驗。測試的樣本目標運動方向與攝像機光軸方向成90°視角，分類器均為最近鄰分類器，所得的識別率分別為3種子集的平均值。實驗結果如表2和表3所示（實驗所有的機器為AMD Turion 64×2 Mobile Technology TL-50雙核處理器，2GB RAM）。

表2 不同算法識別率的比較(%)

表3 不同算法的耗時比較(ms)

從表2和表3中可以看出，本文的識別效果和耗時性能明顯優(yōu)于其他方法。MBPSS法[3]和ACPE[4]算法都是較經典的步態(tài)識別方法，這兩種算法的復雜度明顯高于本文算法，但其識別率不如本文方法，且耗時高于本文。Fanbean算法[13]是使用線性插值的Fanbean影射結合一般矩陣低秩估計特征提取算法，該算法的復雜度是高于本文算法的，而且對行人的衣著情況過于依賴。e-HMM算法[5]利用二維離散余弦變換獲得平均步態(tài)能量圖的空間特征信息，引入了嵌入式隱馬爾可夫模型的方法，計算量較大于本文算法，其識別率也不如本文算法高，且耗時最長。多特征融合算法[6]在識別的過程中較好的對原始圖像序列進行降維，計算復雜度屬于中等，但其識別率不如本文算法，耗時也較長。由表2和表3可以看出，與當前的其他幾種步態(tài)識別算法比較，本文算法在識別性能上優(yōu)于其他算法，且耗時方面均優(yōu)于其他幾種算法。正常步態(tài)時獲得了較好的識別率，背包比外套變化對識別影響大。

5 結 論

針對步態(tài)識別中的平均步態(tài)圖像矩陣維數(shù)過高和分類較困難的特點，本文提出一種基于模糊理論決策分類的雙向二維主成分分析的身份識別算法。雙向二維主成分分析來降低平均步態(tài)能量圖像的系數(shù)矩陣，加快識別速度。同時把模糊理論引入分類決策中并采用最近鄰分類器進行分類。最后在CASIA步態(tài)數(shù)據(jù)庫上對所提出的算法進行實驗。實驗結果表明該算法步態(tài)特征表示簡單，在識別性能上和耗時方面優(yōu)于現(xiàn)有的一些算法，有較強的魯棒性。該算法特征分析方面較欠缺，以后的工作應是更加詳細的分析步態(tài)特征模型，進一步提高步態(tài)特征的識別率。

[1] Abdulmonam O A, Dong Jinming. Biometrics: standing throughout emerging technologies [J]. Computer Aided Drafting, Designand Manufacturing, 2008, 18(2): 82-90.

[2] Han Ju, Bhanu B. Individual recognition using gait energy image [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2006, 10(2): 316-322.

[3] Guo Baofeng, Mark S N. Gait feature subset by mutual information [J]. IEEE Trans on Systens, Man, and Cybernetics-Part A: Systems and Humans, 2009, 39(1): 36-46.

[4] 王 犇, 袁 濤, 梁 燦. 基于加速度特征點提取的步態(tài)身份認證[J]. 清華大學學報(自然科學版), 2009, 49(10): 25-28.

[5] 張前進, 陳祥濤, 卜文紹. 一種基于平均步態(tài)能量圖的身份識別算法[J]. 工程圖學學報, 2011, 32(1): 39- 44.

[6] 王科俊, 賁晛燁, 劉麗麗, 等. 基于能量的信息融合步態(tài)識別[J]. 華中科技大學學報(自然科學版), 2009, 37(5): 14-17.

[7] Yang Jian, Zhang D, Frangi A F, et al. Two dimensional PCA: a new approach to appearance based face represention and recognition [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131-137.

[8] Zhang Daoping, Zhou Zhihua. Two-direction two-dimensional PCA for efficient face representation [J]. Neurocomputing, 2005, 69(1/2/3): 224-231.

[9] 李 欣, 王科俊, 賁晛燁. 基于MW(2D)2PCA的單訓練樣本人臉識別[J]. 模式識別與人工智能, 2010, 23(1): 77-83.

[10] 嚴 慧, 金 忠, 楊靜宇. 最小化相關性的二維主成分分析[J]. 模式識別與人工智能, 2010, 23(1): 7-10.

[11] Chiang J H. Aggregating membership values by a choquet-fuzzy-integral based operator [J]. Fuzzy Sets and Systems, 2000, 114(3): 367-375.

[12] Jain A K, Duin R P W, Mao Jianchang, et al. Statistical pattern recognition: a review [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (1): 4-37.

[13] 王科俊, 賁晛燁. 基于線性插值的步態(tài)識別算法[J].華中科技大學學報(自然科學版), 2010, 38(2): 41-44.

A gait recognition algorithm using fuzzy theory decision double-directional two-dimensional principal component analysis

Chen Xiangtao1, Zhang Qianjin2, Zhang Shuangling3
( 1. Modern Education Technology and Information Center, Henan University of Science and Technology, Luoyang Henan 471003, China; 2. School of Electronics and Information Engineering, Henan University of Science and Technology, Luoyang Henan 471003,China; 3. Electrical Engineering Design Department, School of Henan Indutrial Design, Zhengzhou Henan 450002, China )

A gait recognition algorithm is proposed based on fuzzy theory classification decision double-directional two-dimensional principal component analysis (DTPCA) for the problems of high dimensionality and difficult classification of mean gait energy image (MGEI) coefficient matrix. A preprocess technique is used to obtain MGEI, which is then divided into some of sub-image blocks, then DTPCA is used to reduce the dimension of mean gait energy sub-image blocks coefficient matrix and improve the recognition speed. The fuzzy theory is introduced to classify the nearest-neighbour classifiers. The proposed algorithm is evaluated on CASIA Gait Database. Experimental results show that the proposed approach achieves a high recognition accuracy and stronger robustness.

gait recognition; mean gait energy image (MGEI); principal component analysis (PCA); double-directional two-dimensional principal component analysis (DTPCA)

TP 391

A

2095-302X (2012)06-0103-07

2011-04-11；定稿日期：2011-11-09

河南省重點科技攻關資助項目（082102240086）；河南省教育廳科學技術研究重點資助項目（12B520019）

陳祥濤（1978-），男，河南商丘人，工程師，主要研究方向為模式識別，高性能計算。

張前進（1979-），男，河南開封人，講師，主要研究方向為生物特征識別。E-mail：zhangqianjin613@yahoo.com.cn