張前進(jìn)1，陳祥濤2，卜文紹1

?

一種基于平均步態(tài)能量圖的身份識(shí)別算法

張前進(jìn)，陳祥濤，卜文紹

（1．河南科技大學(xué)電子信息工程學(xué)院，河南洛陽(yáng) 471003；2．河南科技大學(xué)現(xiàn)代教育技術(shù)與信息中心，河南洛陽(yáng) 471003）

提出一種基于步態(tài)能量圖(GEI)的嵌入式隱馬爾可夫模型(e-HMM)身份識(shí)別方法。首先通過(guò)預(yù)處理提取出運(yùn)動(dòng)人體的側(cè)面輪廓，根據(jù)步態(tài)下肢的擺動(dòng)距離統(tǒng)計(jì)出步態(tài)周期，得到平均步態(tài)能量圖。對(duì)能量圖的各區(qū)域進(jìn)行分析，利用二維離散余弦變換(2D-DCT)將能量圖觀測(cè)塊轉(zhuǎn)化為觀測(cè)向量，實(shí)現(xiàn)嵌入式隱馬爾可夫模型的訓(xùn)練和身份識(shí)別。最后在USF和CASIA步態(tài)數(shù)據(jù)庫(kù)上對(duì)所提出的算法進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)表明該方法具有較好的識(shí)別性能，是一種有效的步態(tài)識(shí)別方法。

計(jì)算機(jī)應(yīng)用；生物特征識(shí)別；嵌入式隱馬爾可夫模型；步態(tài)能量圖

步態(tài)識(shí)別是一種新型的生物特征識(shí)別技術(shù)。所謂步態(tài)識(shí)別主要是指通過(guò)每個(gè)人獨(dú)特的行走姿勢(shì)來(lái)識(shí)別人的身份。區(qū)別于人臉識(shí)別、指紋識(shí)別、虹膜識(shí)別等識(shí)別技術(shù)，步態(tài)識(shí)別作為一種生物特征具有以下幾個(gè)特點(diǎn)：易于觀察、難于偽裝、對(duì)系統(tǒng)分辨率要求低、遠(yuǎn)距離識(shí)別等。因此，步態(tài)識(shí)別是一種理想的非侵犯性生物識(shí)別技術(shù)。

近年來(lái)國(guó)內(nèi)外對(duì)于步態(tài)識(shí)別的研究已經(jīng)取得了不少成果。Sarkar等人提出了步態(tài)識(shí)別的基線算法。首先半自動(dòng)地跟蹤行人，提取剪影；然后進(jìn)行步態(tài)周期的探測(cè)，將整個(gè)探測(cè)序列分為個(gè)子序列，每個(gè)子序列的長(zhǎng)度為所探測(cè)到的步態(tài)周期長(zhǎng)度；利用模板匹配的方法得到訓(xùn)練子集和測(cè)試子集之間的相似度。Han等將一個(gè)步態(tài)序列中所有輪廓圖的平均值稱為步態(tài)能量圖，進(jìn)行特征提取，研究表明該方法對(duì)低質(zhì)量的步態(tài)輪廓圖具有較強(qiáng)的適應(yīng)性。Wang等提出了一種人體輪廓解環(huán)繞提取距離信號(hào)的步態(tài)識(shí)別算法，建立了一個(gè)20人的步態(tài)數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)，取得了較好的效果。趙國(guó)英等提出了基于反射對(duì)稱的步態(tài)識(shí)別方法，利用關(guān)鍵幀的反射對(duì)稱作為步態(tài)特征識(shí)別測(cè)試序列。反射對(duì)稱隱含表示了人體行走時(shí)胳膊和身體的擺動(dòng)習(xí)慣。顧磊等運(yùn)用多區(qū)域側(cè)影面積的方法識(shí)別身份，將視頻序列中檢測(cè)出的步態(tài)側(cè)影劃分為5個(gè)子區(qū)域，提取每個(gè)子區(qū)域中的側(cè)影面積并計(jì)算步態(tài)序列中面積的變化特征，來(lái)構(gòu)成描述步態(tài)序列的特征向量。馬勤勇等提出了基于瞬時(shí)步態(tài)能量圖的遠(yuǎn)距離身份識(shí)別，根據(jù)步態(tài)序列中一個(gè)關(guān)鍵時(shí)刻的所有側(cè)面輪廓圖的平均值構(gòu)成一個(gè)平均瞬時(shí)圖，計(jì)算出所有關(guān)鍵時(shí)刻側(cè)面輪廓圖相對(duì)應(yīng)于瞬時(shí)步態(tài)能量圖的偏移累計(jì)圖像，與步態(tài)能量圖共同作為描述一個(gè)對(duì)象的特征向量。

HMM在語(yǔ)音識(shí)別的應(yīng)用中已取得較大成功，近年來(lái)被引入到人臉檢測(cè)、表情識(shí)別和步態(tài)識(shí)別。文獻(xiàn)[7]利用基本型HMM對(duì)步態(tài)序列進(jìn)行身份識(shí)別，Kale認(rèn)為步態(tài)周期可以被看作一個(gè)雙重隨即過(guò)程，其中隱過(guò)程被表達(dá)為站姿之間的轉(zhuǎn)移，而可觀察量是在某個(gè)特定站姿下所對(duì)應(yīng)的圖像。本文引入一種更具強(qiáng)健性的e-HMM對(duì)平均步態(tài)能量圖進(jìn)行身份識(shí)別。首先對(duì)序列預(yù)處理提取出運(yùn)動(dòng)人體的側(cè)面輪廓，根據(jù)步態(tài)下肢的擺動(dòng)距離統(tǒng)計(jì)出步態(tài)的周期，得到平均步態(tài)能量圖。然后對(duì)能量圖的各區(qū)域進(jìn)行分析，利用二維離散余弦變換將能量圖觀測(cè)塊轉(zhuǎn)化為觀測(cè)向量，實(shí)現(xiàn)e-HMM的訓(xùn)練和身份識(shí)別。最后在USF和CASIA步態(tài)數(shù)據(jù)庫(kù)上對(duì)所提出的算法進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)表明該方法具有較好的識(shí)別性能。

1 預(yù)處理技術(shù)

1.1 步態(tài)檢測(cè)與跟蹤

預(yù)處理階段需要對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行提取。常用的方法有背景減除法、時(shí)間差分法、光流法等，本文采用背景減除方法。中值法是一種非線性平滑技術(shù)，它將每一像素點(diǎn)的灰度值設(shè)置為該點(diǎn)某鄰域窗口內(nèi)的所有像素點(diǎn)灰度值的中值。中值法從圖像序列中恢復(fù)出背景圖像，將輸入的連續(xù)幀圖像像素值的中間值作為背景圖像的像素值。令代表一個(gè)包含幀圖像的序列，則背景圖像可表達(dá)為

亮度變化通過(guò)當(dāng)前圖像和背景圖像的差分來(lái)獲得，有時(shí)由于亮度變化太低而難以從噪聲中將運(yùn)動(dòng)目標(biāo)完全地提取出來(lái)，本文使用間接執(zhí)行差分操作。

圖1 預(yù)處理后的圖像

對(duì)上面步驟處理后的圖像進(jìn)行邊緣跟蹤，求得人體圖像的輪廓。用復(fù)數(shù)形式表示為

確定行人內(nèi)在運(yùn)動(dòng)的一個(gè)重要線索是人體輪廓形狀隨時(shí)間的變化。為了減小計(jì)算的復(fù)雜度，將二維輪廓形狀變化轉(zhuǎn)換為一維距離信號(hào)來(lái)表達(dá)步態(tài)運(yùn)動(dòng)的時(shí)空變化模式。側(cè)重腰部以下人體下肢的運(yùn)動(dòng)變化，選擇最低邊緣點(diǎn)作為參考點(diǎn)，從下向上將輪廓邊界展開為相同縱坐標(biāo)的最左和最右兩點(diǎn)和的距離。

從人體側(cè)面輪廓圖像序列可以看出，步態(tài)數(shù)據(jù)是準(zhǔn)周期性的時(shí)變數(shù)據(jù)。人體側(cè)面的下肢輪廓寬度會(huì)經(jīng)過(guò)一個(gè)周期性的變化，即有一個(gè)從最大到最小又到最大的變化過(guò)程，此處利用兩條腿的輪廓寬度變化來(lái)進(jìn)行周期性分析。另采用輪廓分析步態(tài)時(shí)，從輪廓中無(wú)法區(qū)分左右腿。兩腿的寬度隨著幀序號(hào)的變化如圖2所示，對(duì)應(yīng)的。

圖2 步態(tài)周期性分析

步態(tài)的周期在文中定義為連續(xù)出現(xiàn)兩個(gè)波峰或波谷的時(shí)間段。取不同的值輪廓對(duì)應(yīng)的寬度是有變化，但這個(gè)變化并不影響步態(tài)的準(zhǔn)周期性，即取不同的值輪廓寬度的幅值變化，其準(zhǔn)周期性不變。

1.2 平均步態(tài)能量圖

經(jīng)過(guò)上面的步驟，人體輪廓已經(jīng)從步態(tài)序列中被提取出來(lái)。GEI是一種用輪廓構(gòu)造的時(shí)空步態(tài)表征方法。按照文獻(xiàn)[2]的方法構(gòu)造出人體序列中每一個(gè)步態(tài)周期的能量圖，再計(jì)算序列中完整周期步態(tài)能量圖的平均圖像。

假設(shè)對(duì)象的步態(tài)序列中有個(gè)完整的步態(tài)周期，第個(gè)步態(tài)周期的步態(tài)能量圖表示為，則該步態(tài)序列的平均步態(tài)能量圖（見圖3）為

2 基于GEI的e-HMM身份識(shí)別

2.1 e-HMM概述

典型的HMM是一維結(jié)構(gòu)，可以用于分析一維隨機(jī)信號(hào)。如果將HMM結(jié)構(gòu)中的每一個(gè)隱狀態(tài)內(nèi)嵌入一個(gè)HMM，該模型即為e-HMM，其中外部HMM的隱狀態(tài)稱為超狀態(tài)，內(nèi)部HMM的隱狀態(tài)稱為嵌入態(tài)。如圖4所示，身份識(shí)別的e-HMM——33666模型。垂直方向上的主HMM為超狀態(tài)，每個(gè)垂直分區(qū)包含一個(gè)子狀態(tài)。所以e-HMM由垂直方向的主HMM和水平方向嵌入的多組子HMM組成，主HMM中每個(gè)狀態(tài)由一個(gè)子HMM構(gòu)成。

圖4 身份識(shí)別的e-HMM——33666模型

（1）超狀態(tài)參數(shù)

（2）子狀態(tài)參數(shù)

2.2 e-HMM的模型訓(xùn)練

e-HMM訓(xùn)練的目的就是利用一組訓(xùn)練樣本確定其優(yōu)化參數(shù)。身份識(shí)別是利用雙向嵌入式Viterbi算法計(jì)算所有訓(xùn)練模型產(chǎn)生觀察向量的概率，尋求最大匹配概率。圖5為整個(gè)系統(tǒng)的訓(xùn)練和識(shí)別流程框圖。

圖5 e-HMM的訓(xùn)練和識(shí)別框圖

訓(xùn)練流程框圖的具體描述如下：

Step 1 根據(jù)e-HMM的結(jié)構(gòu)特性對(duì)圖像數(shù)據(jù)進(jìn)行整體分割。首先根據(jù)從上至下的超狀態(tài)個(gè)數(shù)將觀測(cè)向量分為個(gè)部分，然后再根據(jù)每個(gè)超態(tài)中所含的狀態(tài)數(shù)將每個(gè)部分再細(xì)分為個(gè)部分。

Step 2 對(duì)模型參數(shù)進(jìn)行初始化，利用雙重嵌入式Viterbi算法分割狀態(tài)序列。在HMM模型中，Viterbi算法是為解決已知模型和觀測(cè)序列的條件下，從所有可能的隱狀態(tài)序列中找出一個(gè)隱狀態(tài)序列，使該觀測(cè)序列的概率最大。雙層Viterbi算法分別從水平與垂直兩方向進(jìn)行Viterbi操作。對(duì)數(shù)運(yùn)算不僅可以處理數(shù)字精度問(wèn)題，并可將乘積運(yùn)算簡(jiǎn)化為加法運(yùn)算，且運(yùn)算可逆，所以用代替。若變量和分別表示第行所處超狀態(tài)和觀測(cè)序列，則為第行超狀態(tài)時(shí)觀測(cè)向量概率對(duì)數(shù)的最大值，即。

Step 3 模型參數(shù)重新估算采用分段K均值(Segmental K-means)方法。該方法效果等同雙重嵌入式Baum-Welch算法，且處理速度快，同時(shí)可以避免Baum-Welch算法的溢出問(wèn)題。Segmental K-means模型參數(shù)估計(jì)如以下公式所示

Step 4 如果重新估算參數(shù)使得Viterbi分割似然值收斂，則迭代結(jié)束，訓(xùn)練完成；否則重復(fù)Step 2。

2.3 基于GEI的e-HMM身份識(shí)別

根據(jù)圖5所示的e-HMM訓(xùn)練和識(shí)別框圖。選用原始的平均步態(tài)能量圖像的像素點(diǎn)直接轉(zhuǎn)化為向量，則觀測(cè)向量維數(shù)太大、運(yùn)算量大。故本文采用2D-DCT來(lái)提取能量圖的特征數(shù)據(jù)。把分割后的每一個(gè)平均步態(tài)能量圖像塊提取的2D-DCT系數(shù)作為e-HMM的觀察向量。根據(jù)2D-DCT的壓縮性，其低頻部分系數(shù)代表了圖像的大部分信息，能有效地表示圖像特征，并在一定程度上降低維數(shù)，所以本文以低頻部分的2D-DCT系數(shù)作為e-HMM的觀察向量。接著計(jì)算該能量圖的觀察值向量與步態(tài)數(shù)據(jù)庫(kù)中訓(xùn)練e-HMM的相似率。相似率反映了待識(shí)別人的能量圖觀察值向量與步態(tài)數(shù)據(jù)庫(kù)中訓(xùn)練模型的相似程度。根據(jù)模式識(shí)別中最近鄰算法原理，如果能量圖庫(kù)中共有個(gè)人，未知人是，則中的值應(yīng)該為最大，即為識(shí)別的結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 CASIA步態(tài)數(shù)據(jù)庫(kù)實(shí)驗(yàn)分析

首先用CASIA步態(tài)數(shù)據(jù)庫(kù)來(lái)評(píng)估所提出的步態(tài)識(shí)別算法。該數(shù)據(jù)庫(kù)有124個(gè)人組成，每個(gè)人的序列是從0°到180°之間，以18°遞增的11個(gè)不同視角。數(shù)據(jù)庫(kù)中的每個(gè)人有10個(gè)行走序列，其中有6個(gè)正常的行走序列（定義為Set A），2個(gè)挎包的序列（定義為Set B），2個(gè)穿大衣的序列（定義為Set C）。把每一個(gè)人Set A中的前3個(gè)序列作為訓(xùn)練子集（定義為Set A1），剩下的作為測(cè)試子集（定義為Set A2）。Set B和Set C的前一個(gè)序列作為訓(xùn)練子集（（定義為Set B1）和（定義為Set C1）），剩下一個(gè)序列作為測(cè)試子集（（定義為Set B2）和（定義為Set C2））。

本文選用庫(kù)中的20個(gè)人進(jìn)行實(shí)驗(yàn)，序列的視角均為90°的正側(cè)面視角。實(shí)驗(yàn)中選用最近鄰法（每個(gè)序列被分類到離它最近的鄰居所屬的類中）進(jìn)行身份識(shí)別；并采用留一校驗(yàn)法(leave-one-out cross validation)測(cè)試，實(shí)驗(yàn)結(jié)果如圖6所示。從實(shí)驗(yàn)結(jié)果可以看出，實(shí)驗(yàn)A的實(shí)驗(yàn)效果好于實(shí)驗(yàn)B和C。這是由于Set A集合中人行走時(shí)相對(duì)Set B和Set C集合的圖像實(shí)際信息維數(shù)較小，2D-DCT變換后的低頻系數(shù)更能有效地表征其圖像特征。Set B和Set C集合相對(duì)Set A集合來(lái)說(shuō)，圖像較復(fù)雜，2D-DCT變換后低頻部分系數(shù)雖然代表了圖像的大部分信息，相比Set A集合在降維的同時(shí)丟失了較多的圖像特征信息。

圖6 90°視角實(shí)驗(yàn)結(jié)果

3.2 USF步態(tài)數(shù)據(jù)庫(kù)實(shí)驗(yàn)分析

接著用USF步態(tài)數(shù)據(jù)庫(kù)來(lái)評(píng)估所提出來(lái)的步態(tài)識(shí)別算法。參考文獻(xiàn)[1]的方法，將USF數(shù)據(jù)庫(kù)中的數(shù)據(jù)分為多個(gè)不同的組。用于訓(xùn)練的已知對(duì)象被劃分為一組，包括122個(gè)對(duì)象的行走圖像序列。用于測(cè)試的對(duì)象共有12組，依次稱作A-L，包括這些對(duì)象在其它狀態(tài)下的行走圖像序列。實(shí)驗(yàn)選擇基線算法、MSCT&SST算法、GEI算法與本文算法進(jìn)行比較?；€算法是與USF步態(tài)數(shù)據(jù)庫(kù)同時(shí)提出的一個(gè)有代表性算法；MSCT&SST算法是結(jié)合靜態(tài)與運(yùn)動(dòng)模板的方法；GEI算法是近幾年步態(tài)識(shí)別研究中的經(jīng)典算法。表1中列出了本文算法與3個(gè)典型算法在USF步態(tài)數(shù)據(jù)庫(kù)上的識(shí)別率。Rank是在人臉識(shí)別和步態(tài)識(shí)別中常用的識(shí)別參數(shù)，表示算法計(jì)算出來(lái)的與待識(shí)別對(duì)象最相似的前個(gè)對(duì)象中包含真實(shí)對(duì)象的比率。

表1 本文算法與另外3種算法在USF上識(shí)別率(%)

從表1中可以看出，本文算法的平均識(shí)別率對(duì)于第Ⅱ類對(duì)象均高于其它3種算法。在第Ⅰ類中，本文算法明顯好于基線算法，略低于GEI和MSCT&SST的算法。在第Ⅲ類中，除了在MSCT&SST算法的Rank 5情況識(shí)別率略微有些降低，其它對(duì)象的識(shí)別率都有較大的提高?？傮w來(lái)看，本文算法在總體的性能上好于其它3種方法。

4 結(jié) 論

本文提出一種基于步態(tài)能量圖的e-HMM身份識(shí)別方法。對(duì)序列預(yù)處理提取出運(yùn)動(dòng)人體的側(cè)面輪廓，根據(jù)步態(tài)下肢的擺動(dòng)距離統(tǒng)計(jì)出步態(tài)周期，得到平均步態(tài)能量圖。然后對(duì)能量圖的各區(qū)域進(jìn)行分析，利用2D-DCT將能量圖觀測(cè)塊轉(zhuǎn)化為觀測(cè)向量，實(shí)現(xiàn)e-HMM的訓(xùn)練和身份識(shí)別。在USF和CASIA步態(tài)數(shù)據(jù)庫(kù)上對(duì)所提出算法的進(jìn)行實(shí)驗(yàn)，結(jié)果表明該方法是一種有效的步態(tài)識(shí)別方法。

[1] Sarkar S, Phillip S P Jonathon, Liu Z,et al.The human D gait challenge p roblem: data sets, performance, and analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2): 162-177.

[2] Han J, Bhanu B. Individual recognition using gait energy image [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2006, 10(2): 316-322.

[3] Wang Liang, Tan Tieniu, Hu Weiming, et al. Automatic gait recognition based on statistical shape models [J]. IEEE Trans on Image Processing, 2003, 12(9): 1120-1130.

[4] 趙國(guó)英, 向世明, 李 華. 基于反射對(duì)稱的步態(tài)序列識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2005, 17(10): 2239-2244.

[5] 顧 磊, 吳慧中, 肖 亮. 一種基于多區(qū)域側(cè)影面積的步態(tài)識(shí)別算法[J]. 模式識(shí)別與人工智能, 2008, 21(5): 658-663.

[6] 馬勤勇, 王申康, 聶棟棟, 等. 基于瞬時(shí)步態(tài)能量圖的遠(yuǎn)距離身份識(shí)別[J]. 電子學(xué)報(bào), 2007, (35)11: 2078-2082.

[7] Kale A, Sundaresan A, Rajagopalan A N, et al. Identification of humans using gait [J]. IEEE Transactions on Image Processing, 2004, 13(9): 1163-1173.

[8] Kuno Y, et al. Automated detection of human for visual surveillance system [C]//Proceedings of International Conference on Pattern Recognition, Vienna, 1996: 865-869.

[9] 鄭芳穎, 趙杰煜. 基于改進(jìn)型嵌入式隱馬爾科可夫模型的表情識(shí)別方法[J]. 模式識(shí)別與人工智能, 2008, 21(6): 836-842.

[10] Kuo S S, Agazzi O E. Keyword spotting in poorly printed documents using pseudo 2D hidden markov models [J]. IEEE Trans on PAMI, 1994, 16(8): 842-848.

[11] Rabiner L R. A tutorial on hidden Markov models and selected applications in speech recognition [C]//Proceedings of the IEEE, 1989: 257-286.

[12] Anil K Jain, Robert P W Duin, Mao J ianchang, et al. Statistical pattern recognition: a review [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(1): 4-37.

[13] Lam THW, Lee RST, Zhang D. Human gait recognition by the fusion of motion and static spatio-temporal templates [J]. Pattern Recognition, 2007, 40(9): 2563-2573.

A Human Recognition Scheme Based on Mean Gait Energy Image

ZHANG Qian-jin, CHEN Xiang-tao, BU Wen-shao

( 1. School of Electronics and Information Engineering, Henan University of Science and Technology, Luoyang Henan 471003, China; 2. Modern Education Technology and Information Center, Henan University of Science and Technology, Luoyang Henan 471003, China )

An embedded hidden Markov model(e-HMM) human recognition scheme based on gait energy image(GEI) is proposed. First a preprocess technique is used to segment the moving silhouette from the walking figure. The algorithm obtains the gait quasi-periodicity through analyzing the width information of the lower limbs’ gait contour edge, and the mean GEI is calculated from gait periodic. It makes use of an optimized set of observation vectors obtained from the two dimensional discrete cosine transform(2D-DCT) coefficients of the mean GEI regions. The e-HMM is trained and used for the gait recognition. The proposed algorithm is evaluated on USF and CASIA Gait Database. The experimental result shows that the proposed approach is valid and has encouraging recognition performance.

computer application;biometrics recognition; embedded hidden Markov models; gait energy image

TP 391

A

1003-0158(2011)01-0039-06

2009-07-20

河南省重點(diǎn)科技攻關(guān)資助項(xiàng)目（082102240086）

張前進(jìn)（1979-），男，河南開封人，講師，碩士，主要研究方向?yàn)樯锾卣髯R(shí)別。