王 竣，王修暉

(中國計(jì)量大學(xué) 信息工程學(xué)院，浙江 杭州 310018)

特征融合的多視角步態(tài)識(shí)別研究

王 竣，王修暉

(中國計(jì)量大學(xué) 信息工程學(xué)院，浙江 杭州 310018)

針對(duì)單一特征步態(tài)識(shí)別率低的問題，提出一種將步態(tài)能量圖(Gait Energy Image,GEI)中動(dòng)態(tài)部分和Gabor小波特征融合的步態(tài)識(shí)別算法.首先,通過運(yùn)動(dòng)目標(biāo)檢測(cè)及二值化和形態(tài)學(xué)處理等預(yù)處理操作得到步態(tài)輪廓圖，再進(jìn)一步從步態(tài)輪廓圖計(jì)算得到步態(tài)能量圖，并從中分割出動(dòng)態(tài)部分.然后，利用Gabor小波從步態(tài)能量圖的動(dòng)態(tài)部分中提取不同角度的信息，將兩步態(tài)特征融合在一起，對(duì)融合后得到的特征向量用改進(jìn)的KPCA方法進(jìn)行降維.最后，將降維后的融合特征向量輸入到基于多分類的支持向量機(jī)(Support Vector Machine,SVM)中，從而完成步態(tài)的分類和識(shí)別.經(jīng)過在中國科學(xué)院自動(dòng)化研究所CASIA步態(tài)數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，取得了很好的識(shí)別效果，實(shí)驗(yàn)結(jié)果表明，與單一特征的步態(tài)識(shí)別方法相比，融合后算法的識(shí)別率提高了約10%.

Gabor小波；步態(tài)能量圖；特征融合；改進(jìn)的KPCA；支持向量機(jī)

近年來，隨著計(jì)算機(jī)視覺和生物特征識(shí)別技術(shù)的快速發(fā)展，步態(tài)識(shí)別作為一種新的生物特征識(shí)別方法，正逐漸受到科研工作者的關(guān)注.步態(tài)識(shí)別主要根據(jù)人行走時(shí)的步態(tài)特征來對(duì)人的身份進(jìn)行識(shí)別，由于它具有非接觸和隱蔽性等特點(diǎn)，被廣泛應(yīng)用在視頻監(jiān)控等領(lǐng)域.

步態(tài)識(shí)別通常包括步態(tài)序列的運(yùn)動(dòng)檢測(cè)、特征提取和識(shí)別三個(gè)階段.步態(tài)特征的提取方法主要分為基于模型的(Model-Based Approach)方法和非模型的方法(Model-Free Approach).基于模型的方法通過將人體按照生理特征建模，得到了表征人體一系列靜態(tài)和動(dòng)態(tài)的參數(shù)，并通過分析這些參數(shù)實(shí)現(xiàn)對(duì)步態(tài)的身份識(shí)別.Niyogi和Adelson[1]是最早利用步態(tài)對(duì)人的身份進(jìn)行識(shí)別，Nixon等[2]從理論角度驗(yàn)證了利用步態(tài)進(jìn)行身份識(shí)別的可行性.Yam等[3]利用鐘擺模型描述了大腿和小腿的運(yùn)動(dòng)情況，采用改進(jìn)的傅里葉系數(shù)對(duì)擺動(dòng)周期分析和特征提取.楊科等[4]基于Kinect骨骼模型提出了相對(duì)運(yùn)動(dòng)特征的步態(tài)識(shí)別.上述基于模型的步態(tài)識(shí)別方法都需要獲取輪廓清晰的步態(tài)序列，會(huì)導(dǎo)致模型構(gòu)建過程的時(shí)間復(fù)雜度相對(duì)較高.而基于非模型的方法主要側(cè)重于提取人的側(cè)影圖形狀，將提取人體目標(biāo)移動(dòng)時(shí)的側(cè)影圖形狀作為特征.與基于模型的方法相比，基于非模型的方法并不需要對(duì)整個(gè)人體或者人體的某個(gè)部分建模，非模型的方法對(duì)人體側(cè)影圖不敏感而且計(jì)算復(fù)雜度較低.研究人員主要用基于非模型的方法進(jìn)行步態(tài)識(shí)別，Bashir[5]基于GEnI(步態(tài)熵圖)進(jìn)行特征提取，采用自適應(yīng)成分判別分析法進(jìn)行識(shí)別.2005年，Han[6]等人首次提出了步態(tài)能量圖的概念，并將其應(yīng)用到步態(tài)識(shí)別中，取得了較高的識(shí)別率.

傳統(tǒng)的步態(tài)特征提取算法僅考慮單一的特征信息，并沒有將遮擋和光照等外界因素的影響考慮到步態(tài)識(shí)別中.2009年，趙永偉[7]提出了一種融合多特征和多視角的步態(tài)識(shí)別算法，實(shí)驗(yàn)得到的識(shí)別率較高.在此之后，信息融合理論被廣泛地應(yīng)用在步態(tài)識(shí)別領(lǐng)域.

我們借鑒信息融合理論的思想，提出一種將步態(tài)能量圖(Gait Energy Image,GEI)中動(dòng)態(tài)部位和Gabor小波特征相結(jié)合的步態(tài)識(shí)別算法，并將其在中國科學(xué)院提供的步態(tài)數(shù)據(jù)庫上進(jìn)行了相關(guān)實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明，相比于僅提取單特征的識(shí)別率，本文算法識(shí)別率提高了約10%，而且對(duì)于背包和穿大衣的情況有一定的魯棒性.

1 步態(tài)特征選擇與提取

1.1 步態(tài)能量圖的動(dòng)態(tài)部分特征

步態(tài)能量圖(GEI-Gait Energy Image)[6]作為一種有效提取步態(tài)特征的方法，其核心思想是利用加權(quán)平均算法將一個(gè)步態(tài)周期的圖像合成一張圖像.步態(tài)能量圖將人在周期內(nèi)的行走過程展現(xiàn)在一幅圖像上，保留了步態(tài)的輪廓、相位、頻率特征，并可以消除運(yùn)動(dòng)時(shí)間的影響.對(duì)于一幅側(cè)影輪廓圖像Bt(x,y)，步態(tài)能量圖表示為

(1)

在式(1)中，n表示一個(gè)步態(tài)周期內(nèi)的所有幀數(shù)；t表示第t幀數(shù)；x,y表示坐標(biāo)值；Bt(x,y)表示第t幀圖像在點(diǎn)(x,y)的像素值.圖1是90°視角下步態(tài)能量圖的合成過程，由圖2可以看出，人在背包和攜帶物兩種狀態(tài)下行走的時(shí)候，人體的最外輪廓發(fā)生了改變，如果基于原始的步態(tài)能量圖作為步態(tài)特征的話，會(huì)導(dǎo)致對(duì)背包和攜帶物兩種狀態(tài)下的魯棒性很差.

為解決服飾和攜帶物對(duì)傳統(tǒng)步態(tài)能量圖的影響，我們嘗試對(duì)傳統(tǒng)的步態(tài)能量圖進(jìn)行改進(jìn)，由于人在正常，背包，穿大衣三種狀態(tài)行走時(shí)，上半身的變化很少，然而腿部變化較明顯，本文提取步態(tài)能量圖中人體的動(dòng)態(tài)部位作為步態(tài)特征.首先依據(jù)人體解剖學(xué)中人體下肢的比例關(guān)系[22]即人體腿部約占人體身高的比例(0.480)，將步態(tài)能量圖劃分出腿部區(qū)域，然后根據(jù)兩腳之間的間距，將腿部區(qū)域進(jìn)一步分割，獲得動(dòng)態(tài)區(qū)域，本文選取的動(dòng)態(tài)區(qū)域大小為48像素×39像素.由圖3看出，通過提取腿部動(dòng)態(tài)區(qū)域可以很好地消除穿大衣和攜帶物品對(duì)識(shí)別產(chǎn)生的影響.

1.2 改進(jìn)的Gabor小波提取方向特征

Gabor小波變換在時(shí)域和頻域進(jìn)行信號(hào)分析處理時(shí)具有很強(qiáng)的能力，利用Gabor小波進(jìn)行特征提取可以很好地將原始圖像的方向和尺度特征表示出來，并且可以描述圖像的局部灰度分布.文獻(xiàn)[8]利用Gabor小波變換，提取每幅圖像5尺度和8方向的特征，雖然獲得了更多的細(xì)節(jié)特征，但特征維數(shù)是原始圖像的40倍，導(dǎo)致了特征數(shù)據(jù)的冗余.我們針對(duì)傳統(tǒng)方法提取Gabor小波維數(shù)過高的問題，并根據(jù)步態(tài)的特點(diǎn)，提出了一種改進(jìn)的Gabor小波提取步態(tài)圖像特征的方法.本文選用的二維Gabor濾波器[9]定義如下:

(2)

u=xcosθ+ysinθ,v=-ysinθ+xcosθ.

(3)

圖1 步態(tài)能量圖的合成過程Figure 1 Synthetic process of GEI

圖2 三種狀態(tài)下的步態(tài)能量圖Figure 2 Three states of GEI

圖3 步態(tài)能量圖的動(dòng)態(tài)部分提取Figure 3 Extract the dynamic part of GEI

(4)

式(4)中*代表卷積操作，I(z)表示步態(tài)圖像中z=(x,y)處的灰度值，g(z)為取角度參數(shù)時(shí)Gabor濾波器的系數(shù)，Gabor(z)是步態(tài)圖像I經(jīng)過Gabor濾波后得到的Gabor特征.在圖像z=(x,y)處的幅值特征G為

G(z)=Gabor(z).

(5)

由于本文算法選用的數(shù)據(jù)庫是中科院自動(dòng)化研究所提供的多視角步態(tài)數(shù)據(jù)庫[11]，數(shù)據(jù)庫中的同一個(gè)人在每間隔18°視角下的步態(tài)特征是有差異的，因此提取多視角下更多的細(xì)節(jié)特征對(duì)于識(shí)別是至關(guān)重要的.Gabor濾波器可以很好地提取方向特征，通過適當(dāng)?shù)剡x取方向參數(shù)，使提取的Gabor特征具有較強(qiáng)的類別表征能力[12].考慮到同一個(gè)人的步態(tài)在不同角度下的特征是有細(xì)微差異的，本文利用Gabor小波提取步態(tài)能量圖動(dòng)態(tài)區(qū)域的角度特征，因此并不需要建立40個(gè)不同尺度和方向的Gabor濾波器.本文選取單一尺度、多方向的Gabor濾波器，角度參數(shù)是根據(jù)行人與攝像機(jī)之間的角度進(jìn)行選取的.通常在特征選取中將得到濾波后的圖像Gabor(z)按列展開作為GEI的方向特征向量，也就得到了基于步態(tài)能量圖動(dòng)態(tài)區(qū)域的Gabor小波特征.

1.3 特征融合

特征融合技術(shù)的核心思想是將提取的特征向量按照一定規(guī)則和方法進(jìn)行組合運(yùn)算，從而得到更加符合需要的特征向量.文獻(xiàn)[13]中針對(duì)單個(gè)分類器得出了以下結(jié)論:運(yùn)用加法融合的效果要比乘法融合的好.針對(duì)單一特征的局限性，為了得到更好的識(shí)別效果，本文將步態(tài)能量圖動(dòng)態(tài)區(qū)域和Gabor小波特征融合，在特征層融合的基礎(chǔ)上采用加法原則.算法首先根據(jù)步態(tài)序列得到步態(tài)輪廓圖，通過計(jì)算得到步態(tài)能量圖序列，分割出動(dòng)態(tài)區(qū)域，將動(dòng)態(tài)區(qū)域按列展開成一維向量作為特征1，然后將基于動(dòng)態(tài)區(qū)域的Gabor小波特征按列展開成一維向量作為特征2.根據(jù)加法原則，把兩個(gè)特征通過加權(quán)疊加成的一維列向量作為一個(gè)人步態(tài)的總特征.融合后的特征相比單一的特征同時(shí)具有動(dòng)、靜特征的優(yōu)點(diǎn)，彌補(bǔ)了單一特征帶來的不足.

1.4 算法可行性分析

本文選取融合的特征是利用單尺度多個(gè)方向上的Gabor特征進(jìn)行編碼所得到的，有效地利用了Gabor小波能捕捉到空間頻率(尺度)、空間位置和方向等局部信息的特點(diǎn)，同時(shí)與傳統(tǒng)提取多尺度多方向的方法相比，有效地降低了特征維數(shù)，減少了數(shù)據(jù)間的冗余和計(jì)算復(fù)雜度.融合特征選取的是步態(tài)能量圖動(dòng)態(tài)區(qū)域和具有多方向性的Gabor特征.選擇步態(tài)能量圖表征人體的步態(tài)的主要原因是它能清晰的反映人體各部分在運(yùn)動(dòng)過程中的頻率變化和快慢等特征，而Gabor小波可以提取不同視角下的步態(tài)特征，因此將步態(tài)能量圖和多方向的Gabor小波結(jié)合來對(duì)人體的步態(tài)進(jìn)行表征可以獲取更加有效的步態(tài)特征.

2 基于改進(jìn)的KPCA特征提取

主成分分析法[14](Principal Component Analysis,PCA)作為一種特征提取和數(shù)據(jù)降維的傳統(tǒng)方法，在模式識(shí)別領(lǐng)域得到了廣泛的應(yīng)用.核主成分分析(Kernel Principal Component Analysis,KPCA)法的主要思想是將核函數(shù)引入到PCA中，是一種基于非線性的特征提取方法,它可以針對(duì)像素之間的高階關(guān)系進(jìn)行提取，從而加強(qiáng)了特征之間的可分性.

KPCA方法通常選取單一的核函數(shù)，具有很大的局限性.由于不同的單核函數(shù)會(huì)通過非線性變換映射到不同的高維特征空間，為了提高KPCA特征提取的能力，本文構(gòu)造核函數(shù)為K(x,y)=mK1(x,y)+nK2(x,y)，將高斯核函數(shù)和多項(xiàng)式核函數(shù)進(jìn)行融合.由于核函數(shù)里面涉及到的參數(shù)很多，參數(shù)的細(xì)微變化會(huì)改變輸入空間和特征空間之間的映射關(guān)系，最終使得非線性映射和高維特征空間改變.在融合核函數(shù)中的系數(shù)m和n表示了單核函數(shù)對(duì)融合核函數(shù)的貢獻(xiàn)，在選取參數(shù)時(shí)，由于步態(tài)識(shí)別是相對(duì)復(fù)雜的過程，既要考慮人整體的輪廓特征，又要考慮每個(gè)人步態(tài)區(qū)別于他人的局部特征.本文選取局部學(xué)習(xí)能力強(qiáng)的高斯核函數(shù)和全局泛化能力強(qiáng)的多項(xiàng)式核函數(shù)，其中K1(x,y)和K2(x,y)分別表示高斯核函數(shù)和多項(xiàng)式核函數(shù)，參數(shù)為σ2=0.000 3，a=8 000,b=0.001.

改進(jìn)的KPCA算法主要計(jì)算步驟:

1)假設(shè)步態(tài)序列的訓(xùn)練集為Ttrain=(Ttrain1,Ttrain2,...,TtrainN),測(cè)試集為Ttest=(Ttest1,Ttest2,...,TtestN).

3 步態(tài)識(shí)別

使用SVM分類器對(duì)人體的步態(tài)進(jìn)行訓(xùn)練和識(shí)別，支持向量機(jī)(SupportVectorMachine,SVM)作為一種有監(jiān)督的學(xué)習(xí)算法，在解決小樣本問題時(shí)具有很強(qiáng)的優(yōu)勢(shì)[23]，并且可以很好地解決高維數(shù)據(jù)的分類問題.然而，傳統(tǒng)的支持向量機(jī)解決的是一個(gè)兩類問題的判別方法，而步態(tài)識(shí)別是一個(gè)多分類的模式識(shí)別問題.本文基于“一對(duì)一”法構(gòu)建步態(tài)分類器的步驟如下:

1)假設(shè)有m類步態(tài)待分類識(shí)別，記為S1,S2,...,Sm.在訓(xùn)練過程中，首先在任意兩類步態(tài)樣本之間構(gòu)建一個(gè)SVM分類器，因此m類步態(tài)樣本需要構(gòu)建m(m-1)/2個(gè)SVM分類器fi(i=1,2,...,m(m-1)/2).

2)在測(cè)試過程中，當(dāng)對(duì)一個(gè)未知的步態(tài)樣本Sj(j=1,2,...,m)進(jìn)行分類時(shí)，最后得票最多的類別即為未知步態(tài)的類別.

圖4以三分類SVM進(jìn)行說明，1and2表示第1類和第2類樣本構(gòu)建的SVM，左右兩邊的1和2表示兩類的分類結(jié)果.當(dāng)1and2和1and3分類器的輸出結(jié)果為“1”時(shí)，則將其歸為第1類，當(dāng)3個(gè)SVM分類器的分類結(jié)果都不同時(shí)，每一類的票數(shù)加1，最終統(tǒng)計(jì)每一類的得票數(shù)，由圖4可知第一類得票數(shù)最多，因此待分類步態(tài)樣本屬于第1類.

圖4 SVM三分類示意圖Figure 4 Three classification diagram of SVM

4 實(shí)驗(yàn)結(jié)果與分析

本文研究所用的是中國科學(xué)院自動(dòng)化研究所的CASIA步態(tài)數(shù)據(jù)庫.數(shù)據(jù)庫包含124個(gè)人，針對(duì)每一個(gè)人利用11臺(tái)攝像機(jī)在11個(gè)不同的視角(0°,18°,36°,...,180°)下同時(shí)進(jìn)行拍攝.每一個(gè)人在一個(gè)視角下有10個(gè)步態(tài)序列，其中包含6個(gè)正常走路的序列(行人穿衣對(duì)腿部不產(chǎn)生遮擋，無攜帶物)，2個(gè)攜帶包裹走路的序列和2個(gè)穿大衣走路的序列.在步態(tài)的訓(xùn)練和識(shí)別過程中，本文通過利用林智仁教授開發(fā)設(shè)計(jì)的LibSVM工具箱,首先設(shè)置libsvm中svm的類型為C_SVC，核函數(shù)選取徑向基核函數(shù)(radialbasisfunction),并運(yùn)用交叉驗(yàn)證法來對(duì)本文算法的識(shí)別率進(jìn)行評(píng)估.

4.1 實(shí)驗(yàn)1

為了對(duì)特征融合的步態(tài)識(shí)別算法和單特征算法的性能進(jìn)行比較，本文引入正確分類率CCR(CorrectClassificationRate)作為算法識(shí)別率高低的評(píng)價(jià)指標(biāo)，選取124個(gè)人的11個(gè)視角的序列來進(jìn)行實(shí)驗(yàn).在實(shí)驗(yàn)過程中，對(duì)于124個(gè)人的步態(tài)，每次從6組正常走路狀態(tài)的序列隨機(jī)選出3組圖像作為訓(xùn)練集，余下的作為測(cè)試集，實(shí)驗(yàn)結(jié)果如表1.表2采用同樣的124個(gè)人的90°視角的步態(tài)數(shù)據(jù)庫，并用交叉驗(yàn)證法對(duì)比了單特征和融合特征的步態(tài)識(shí)別算法的識(shí)別率.

表1 九種方法在不同視角下的識(shí)別率

表2 幾種方法的識(shí)別率

4.2 實(shí)驗(yàn)2

為了驗(yàn)證本文算法對(duì)背包和穿大衣狀態(tài)具有魯棒性，本實(shí)驗(yàn)選取90°視角下正常狀態(tài)的前三組圖像和一組背包狀態(tài)、一組穿大衣狀態(tài)圖像作為訓(xùn)練集，測(cè)試集同樣選取正常狀態(tài)下的余下三組正常狀態(tài)下的圖像和一組背包狀態(tài)、一組穿大衣狀態(tài)的圖像.

表3 不同算法的識(shí)別率比較

4.3 實(shí)驗(yàn)結(jié)果分析

由表1可以看出，GEI+KPCA方法與GEI+PCA方法相比，識(shí)別率并未取得優(yōu)勢(shì).由于三種步態(tài)原有的近鄰關(guān)系被KPCA方法所破壞，在PCA+SPP[16]方法中，稀疏保留投影(SPP)使得步態(tài)樣本之間的局部相鄰信息被保留，正常狀態(tài)下的識(shí)別率得到了提升.當(dāng)選取動(dòng)作能量圖[19]AEI作為步態(tài)特征時(shí)，AEI+2DLPP[19]方法的識(shí)別率低于本文算法的識(shí)別率，說明本文提取步態(tài)能量圖的動(dòng)態(tài)區(qū)域作為步態(tài)特征的有效性.將AEI和GEI融合后實(shí)驗(yàn)[22]的識(shí)別率相比于單一AEI作為步態(tài)特征有了明顯的提高，因此可以得出結(jié)論:基于單一特征的步態(tài)識(shí)別算法的識(shí)別率低于特征融合后的識(shí)別率，將單一步態(tài)特征融合的算法是有效的，并且本文選取特征融合算法的平均識(shí)別率是最高的.對(duì)比在降維過程中選取改進(jìn)后的KPCA和傳統(tǒng)的KPCA可以看出，利用改進(jìn)后的KPCA進(jìn)行降維的識(shí)別率略高于KPCA，僅有幾個(gè)角度的識(shí)別率低于傳統(tǒng)的KPCA，說明改進(jìn)后的KPCA不僅能降低特征維數(shù)，還能增加步態(tài)的區(qū)分度以便于分類，同樣驗(yàn)證了本文將高斯核函數(shù)與多項(xiàng)式核函數(shù)融合的方法是有效的.從表1中算法在11個(gè)視角的識(shí)別率實(shí)可以看出本文算法在至少10個(gè)視角均獲得了高于90%的識(shí)別效果,說明本文提取Gabor小波的角度特征和GEI融合后的特征可以很好地區(qū)分不同行人之間的步態(tài).

從表2看出，本文通過將步態(tài)能量圖動(dòng)態(tài)區(qū)域特征和Gabor小波特征融合后，步態(tài)識(shí)別率相比于其他單特征的方法提高了約10%.文獻(xiàn)[20]中選用的是傳統(tǒng)的5尺度8方向的濾波器，并沒有針對(duì)步態(tài)的特點(diǎn)進(jìn)行具體分析濾波器的參數(shù)選??；而本文考慮到步態(tài)的方向特征(角度)，所以僅選取單一尺度的濾波器，實(shí)驗(yàn)結(jié)果表明利用Gabor小波提取步態(tài)的方向特征同樣取得了較高的識(shí)別率，說明了本文提取的Gabor方向特征對(duì)于表征步態(tài)是可行的.從分類器層面還可以看出，基于SVM分類器的平均識(shí)別率達(dá)到了94.35%，也說明了本文構(gòu)建步態(tài)分類器的合理性.從表3看出，本文特征融合算法在小樣本步態(tài)數(shù)據(jù)庫上取得了較高的識(shí)別率，高于文獻(xiàn)[21]和文獻(xiàn)[16]的識(shí)別率，說明本文基于步態(tài)能量圖提取的動(dòng)態(tài)區(qū)域特征能夠有效的減少背包和攜帶物的影響，對(duì)兩種狀態(tài)具有一定的魯棒性.本文改進(jìn)的KPCA算法是將高斯核函數(shù)與多項(xiàng)式核函數(shù)進(jìn)行融合，導(dǎo)致了在某些角度的識(shí)別率低于傳統(tǒng)的KPCA，下一步將研究選用對(duì)視角更具魯棒性的核函數(shù).

5 結(jié) 語

本文基于融合理論提出了一種基于動(dòng)態(tài)的步態(tài)能量圖和Gabor小波特征相結(jié)合的步態(tài)識(shí)別算法，重點(diǎn)研究了步態(tài)的特征提取和融合以及改進(jìn)的KPCA特征提取方法，并且設(shè)計(jì)了基于多分類的步態(tài)識(shí)別分類器，從實(shí)驗(yàn)結(jié)果分析來看，在步態(tài)識(shí)別中應(yīng)用信息融合理論可以明顯提高算法的性能.本文算法對(duì)單一特征識(shí)別率低的問題得到了改善，算法的性能明顯優(yōu)于使用單一步態(tài)特征的識(shí)別算法，同時(shí)提高了算法對(duì)背包和攜帶物兩種狀態(tài)下的魯棒性，是一種有效的步態(tài)識(shí)別方法.

[1] NIYOGI S A, ADELSON E H. Analyzing and recognizing walking figures in XYT[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. USA: IEEE Press,1994:469-474.

[2] NIXON M S, CARTER J N, CUNADO D, et al. Automatic gait recognition[J]. Biometrics,1999,7(2):231-249.

[3] YAM C Y,NIXON M S,CARTER J N. Automated person recognition by walking and running via model-based approaches[J]. Pattern Recognition,2004,37(5):1057-1072.

[4] 楊科,竇勇,呂紹和.基于相對(duì)運(yùn)動(dòng)特征的步態(tài)識(shí)別方法[J].系統(tǒng)仿真學(xué)報(bào),2015,27(10):2299-2309. YANG K，DOU Y，LYU S H，et al. Gait recognition based-on relative motion features and kinect[J]. Journal of System Simulation,2015,27(10):2299-2309.

[5] BASHIR K, XIANG T, GONG S. Gait recognition without subject cooperation[J]. Pattern Recognition Letters,2010,31(13):2052-2060.

[6] HAN J, BHANU B. Individual recognition using gait energy image[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2006,28(2):316-322.

[7] 趙永偉,張二虎,魯繼文,等.多特征和多視角信息融合的步態(tài)識(shí)別[J].中國圖象圖形學(xué)報(bào),2009,14(3):388-393. ZHAO Y W,ZHANG E H,LU J W, et al. Gait recognition via multiple features and views information fusion[J]. Journal of Image and Graphics,2009,14(3):388-393.

[8] 劉志勇,馮國燦,陳偉福.基于局部二值模式和辨識(shí)共同向量的步態(tài)識(shí)別[J].計(jì)算機(jī)科學(xué),2013,40(9):262-265. LIU Z Y, FENG G C,CHEN W F. Gait recognition based on local binary pattern and discriminant common vector[J]. Computer Science,2013,40(9):262-265.

[9] TAI S L. Image representation using 2D Gabor wavelets[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,1996,18(10):959-971.

[10] 劉帥師,田彥濤,萬川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識(shí)別方法[J].自動(dòng)化學(xué)報(bào),2011,37(12):1455-1463. LIU S S, TIAN Y T, WAN C. Facial expression recognition method on gabor multiorientation features fusion and block histogram[J]. Acta Automatica sinica,2011,37(12):1455-1463.

[11] 陳海洋.基于步態(tài)的遠(yuǎn)距離人體識(shí)別系統(tǒng)研究[D].天津:天津大學(xué),2013. CHEN H Y. Research on Gait-based Remote Human Recognition System[D].Tianjin:Tianjin University,2013.

[12] 趙英男,楊靜宇,孟憲權(quán).一種實(shí)用的Gabor濾波器組參數(shù)設(shè)置方法[J].計(jì)算機(jī)工程,2006,32(19):173-175. ZHAO Y N,YANG J Y,MENG X Q.Apractical design for parameters of gabor filters[J]. Computer Engineering,2006,32(19):173-175.

[13] TAX D M J, BREUKELEN M V, DUIN R P W. Combining multiple classifiers by averaging or by multiplying?[J]. Pattern Recognition,2000,33(9):1475-1485.

[14] 朱明旱,羅大庸,易勵(lì)群.一種廣義的主成分分析特征提取方法[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(26):38-40. ZHU M H,LUO D Y,YI L Q.Generalized PCA algorithm for feature extraction[J]. Computer Engineering and Applications,2008,44(26):38-40.

[15] SCHOLKOPF B, SMOLA A J. MULLER K R. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation,1998,10(5):1299-1319.

[16] QIAO L S,CHEN S C,TAN X Y. Sparsity preserving projections with applications to face recognition[J]. Pattern Recognition,2010,43(1):331-341.

[17] 王科俊,劉麗麗,賁晛燁,等.基于步態(tài)能量圖像和2維主成分分析的步態(tài)識(shí)別方法[J].中國圖象圖形學(xué)報(bào),2009,14(12):2503-2509. WANG K J,LIU L L,BEN X Y, et al. Gait recognition based on gait energy image and two dimensional principal component analysis[J]. Journal Of Image and Graphics,2009,14(12):2503-2509.

[18] 王科俊,賁晛燁,劉麗麗.采用Radon變換和二維主成分分析的步態(tài)識(shí)別算法[J].智能系統(tǒng)學(xué)報(bào),2010,5(3):266-271. WANG K J,BEN X Y,LIU L L, et al. Gait recognition with randon transform and 2-D principal component analysis[J]. CAAI Transations on Intelligent Systems,2010,5(3):266-271.

[19] 劉鳳.基于特征融合的多視角步態(tài)識(shí)別方法研究[D].吉林:東北電力大學(xué),2014. LIU F. Research Based on Feature Fusion of Gait Recognition Under Multi-perspective[D]. Jilin: Northeast Dianli University,2014.

[20] 劉萍.基于泊松方程和Gabor小波的步態(tài)識(shí)別新方法[J].計(jì)算機(jī)工程與應(yīng)用，2015，51(增刊1):1-5. LIU P. Gait recognition method based on Poisson distribution on Gabor wavelet. Computer Engineering and Applications,2015,51(Suppl 1):1-5.

[21] 王科俊,閻濤,呂卓紋,等.核稀疏保留投影及在步態(tài)識(shí)別中的應(yīng)用[J].中國圖象圖形學(xué)報(bào),2013,18(3):257-263.

WANG K J,YAN T,LYU Z W, et al. Kernel sparsity preserving projections and application to gait recognition[J]. Journal of Image and Graphics,2013,18(3):257-263.

[22] HUANG X, BOULGOURIS N V. Gait recognition with shifted energy image and structural feature extraction.[J]. IEEE Transactions on Image Processing,2011,21(4):2256-68.

[23] YOO J H, NIXON M S, HARRIS C J. Extracting human gait signatures by body segment properties[C]// Image Analysis and Interpretation. USA:IEEE Press,2002:35-39.

[24] 紀(jì)陽陽,趙輝,張曉利.基于多類特征融合的步態(tài)識(shí)別算法[J].電氣電子教學(xué)學(xué)報(bào),2009,31(5):67-70. JI Y Y,ZHAO H,ZHANG X L.A feature fusion based gait recognition algorithm[J], Journal of Electrical & Electronic Education,2009,31(5):67-70.

[25] 陳華,曹真,胡春海.動(dòng)靜態(tài)特征融合的正面視角步態(tài)識(shí)別[J].光電工程,2013(11):83-88. CHEN H, CAO Z,HU C M. Front-view gait recognition based on the fusion of static and dynamic features[J]. Opto-Electronic Engineering,2013(11):83-88.

Research on multi-perspective gait recognition using feature fusion

WANG Jun, WANG Xiuhui

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

Since the low gait recognition rate of single features, a novel gait recognition algorithm based on the feature fusion of the dynamic part of gait energy images (GEI) and Gabor was presented in this paper. Firstly, the gait contour images were extracted through the object detection, binarization and morphological process, to caluclate GEI and divide the dynamic part of GEI. Secondly, the information of different angles was extracted from the dynamic part of GEI with Gabor wavelets. Feature fusion was extracted with GEI and Gabor wavelets and was reduced by improved KPCA. Finally, the vectors of feature fusion were input into the SVM (Support Vector Machine) based on multi classification to realize the classification and recognition of gait. Experiments were conducted on the Central Asia Student International Academic(CASIA) gait database with satisfactory recognition effect. Compared with methods based on the single gait feature, the gait recognition rate after the fusion was executed increased about 10%.

Gabor wavelets; GEI; feature fusion; improved KPCA; SVM

2096-2835(2017)02-0234-07

10.3969/j.issn.2096-2835.2017.02.016

2017-01-18 《中國計(jì)量大學(xué)學(xué)報(bào)》網(wǎng)址：zgjl.cbpt.cnki.net

國家自然科學(xué)基金資助項(xiàng)目(No.61303146) .

王竣(1991-)，男，吉林省吉林市人，碩士研究生，主要研究方向?yàn)橛?jì)算機(jī)圖像處理.E-mail:846411409@qq.com 通信聯(lián)系人：王修暉，男，副教授. E-mail: wangxiuhui@cjlu.edu.cn

TP391.41

A