陳心浩,黃正華,高智勇,朱小祥

(1中南民族大學(xué)電子信息工程學(xué)院,武漢430074;2武漢軟件工程職業(yè)學(xué)院電子系,武漢430205)

基于特征融合的步態(tài)識(shí)別研究

陳心浩1,黃正華1,高智勇1,朱小祥2

(1中南民族大學(xué)電子信息工程學(xué)院,武漢430074;2武漢軟件工程職業(yè)學(xué)院電子系,武漢430205)

提取了膝關(guān)節(jié)的速度距和路徑距,膝關(guān)節(jié)到腳踝關(guān)節(jié)的距離作為步態(tài)特征,這些特征分別描述了步態(tài)的動(dòng)態(tài)信息和靜態(tài)信息.將這些特征融合得到了較全面的步態(tài)信息,利用融合特征進(jìn)行步態(tài)識(shí)別,提高了步態(tài)的識(shí)別率.

步態(tài)識(shí)別;特征融合;速度距;路徑距

生物特征識(shí)別技術(shù)是利用人自身所具有的生理或行為特征進(jìn)行身份鑒別.步態(tài)作為一種生物特征,它具有非侵犯性、遠(yuǎn)距離識(shí)別、對(duì)系統(tǒng)分辨率要求低、難以隱藏性等特性.它不僅克服了傳統(tǒng)的生物特征的缺陷,而且對(duì)設(shè)備的要求相對(duì)較低,從而使得它在各個(gè)領(lǐng)域(比如人機(jī)接口、視頻監(jiān)控以及醫(yī)療診斷等)的應(yīng)用更為廣泛.

步態(tài)識(shí)別是通過(guò)人走路的方式來(lái)識(shí)別人的身份.它的過(guò)程主要包括3個(gè)部分:步態(tài)輪廓的提取、步態(tài)特征的提取和分類(lèi)器設(shè)計(jì).其中影響步態(tài)識(shí)別率的最主要的環(huán)節(jié)是步態(tài)的特征提取.因此,提取出有效而可靠的步態(tài)特征是步態(tài)識(shí)別中至關(guān)重要的.

目前,所提取有效的步態(tài)特征有很多種,大致可以分為幾何特征和代數(shù)特征.幾何特征是根據(jù)輪廓直接提取或者對(duì)局部提取具有代表性的特征,而對(duì)步態(tài)特征所提取的方式又可以把步態(tài)的幾何特征劃分為步態(tài)的非模型化特征和步態(tài)的模型化特征.(1)非模型化特征是通過(guò)人體輪廓本身的變化而直接提取描述輪廓整體變化的特征或者局部特征.主要有:王亮等[1]利用人的二值化圖像的中心到輪廓邊界的距離作為特征進(jìn)行了實(shí)驗(yàn).耿磊等[2]利用踝關(guān)節(jié)軌跡提取特征進(jìn)行身份識(shí)別,等等.非模型化特征的優(yōu)點(diǎn)在于表征了步態(tài)隨時(shí)間變化的動(dòng)態(tài)信息,即隨著時(shí)間的變化,步態(tài)的某些關(guān)節(jié)部位是隨著時(shí)間呈現(xiàn)準(zhǔn)周期性變化的.(2)模型化特征是根據(jù)人的生理結(jié)構(gòu)特征模擬成相應(yīng)的模塊進(jìn)行特征提取.主要有:L ee等[3]采用7個(gè)橢圓表達(dá)人的側(cè)面二值化圖像的身體的不同部分,每一個(gè)橢圓用質(zhì)心等四個(gè)特征表示加上整個(gè)身體圖像的質(zhì)心的高度一共29個(gè)特征表示整個(gè)人體側(cè)面圖像,通過(guò)模板匹配方法進(jìn)行步態(tài)識(shí)別,等等.模型化特征的提取是從人的生理結(jié)構(gòu)特性進(jìn)行提取的,主要側(cè)重于步態(tài)的靜態(tài)信息,而步態(tài)的動(dòng)態(tài)信息沒(méi)有明顯的表達(dá)出來(lái).

代數(shù)特征是提取步態(tài)的相關(guān)信息后,然后根據(jù)某種變換或者統(tǒng)計(jì)提取特征描述步態(tài).主要有:Huang PS等[4]對(duì)于利用不同的時(shí)空域模板進(jìn)行步態(tài)識(shí)別作了比較.L ittle J和Boyd J[5]利用步態(tài)序列圖像的光流的頻率和相位信息進(jìn)行步態(tài)識(shí)別,等等.

綜上所述,不管是提取步態(tài)的幾何特征,還是提取代數(shù)特征,都是為了更準(zhǔn)確地識(shí)別人的身份.兩者對(duì)比而言,幾何特征不僅僅更直觀地描述了步態(tài)的整個(gè)過(guò)程,而且避免了代數(shù)特征因變換或者統(tǒng)計(jì)所帶來(lái)的誤差.而一個(gè)完整的步態(tài)不僅包含步態(tài)本身所特有的特性(靜態(tài)信息),而且包含步態(tài)運(yùn)動(dòng)的空間信息.因此,采用步態(tài)的靜態(tài)信息和動(dòng)態(tài)信息相結(jié)合可望得出更好的結(jié)果.

1 步態(tài)識(shí)別過(guò)程

一個(gè)完整的步態(tài)識(shí)別過(guò)程大致可以分為:步態(tài)提取、特征提取和識(shí)別.本文側(cè)重點(diǎn)是對(duì)步態(tài)進(jìn)行特征提取和步態(tài)特征融合,因此,對(duì)步態(tài)的準(zhǔn)周期性特征進(jìn)行了較詳細(xì)的分析,同時(shí)也對(duì)本文所提取的動(dòng)態(tài)特征和靜態(tài)特征進(jìn)行了分析,文中對(duì)步態(tài)提取等過(guò)程作了簡(jiǎn)單的描述.

1.1 背景重建與步態(tài)提取

采用相鄰幀相差法,從圖像序列中恢復(fù)背景圖像.對(duì)圖像序列{f(k,x,y)}(其中k=1,…,N),可以利用兩幀相差提取出k、k+1幀中的共同背景子區(qū)域b(k,k+1,x,y),利用同樣的方法可以提取出k+1,k+2幀中共同背景子區(qū)域b(k+1,k+2,x,y),…,而N-1,N幀的共同背景b(N-1,N,x,y)則可以利用如下的公式來(lái)逼近、重建背景.其中“∪”為圖像拼接算子,表示將k、k+1幀中共同背景b(k,k+1,x,y)拼接到已估計(jì)的背景B(x,y)中.

采用背景減除算法[1],求得人的輪廓圖.假定B(x,y)和f(k,x,y)分別是背景圖像和當(dāng)前圖像,那么I(k,x,y)=f(k,x,y)-B(x,y).為減除背景后的圖像,對(duì)其進(jìn)行二值化處理,并利用形態(tài)學(xué)算子進(jìn)一步濾除噪聲和填充小的空洞以得到較理想的步態(tài)輪廓.圖1是背景減除法所得目標(biāo)二值化圖像過(guò)程.

1.2 步態(tài)的周期性分析

圖1 步態(tài)二值化圖像的過(guò)程Fig.1 Gait binary image process

根據(jù)步態(tài)運(yùn)動(dòng)規(guī)律可知,人在行走的過(guò)程中,肢體的擺動(dòng)和人體的質(zhì)心是呈現(xiàn)一定周期性的.眾所周知,引起整個(gè)輪廓質(zhì)心變化的根源不在髖關(guān)節(jié)上部分,在于兩腿的不停的擺動(dòng)引起質(zhì)心不停的變化.因此,采用髖關(guān)節(jié)下部分的質(zhì)心來(lái)描述步態(tài)的周期性,不僅比較容易實(shí)現(xiàn),而且計(jì)算量少,使得誤差也降低了.

如果以髖關(guān)節(jié)下部分的質(zhì)心來(lái)描述步態(tài),以?xún)赏葟堥_(kāi)最大角度為起始點(diǎn),此時(shí)其質(zhì)心是最低點(diǎn);隨著肢體的擺動(dòng)和重心的變化,兩腿并合時(shí)步態(tài)的質(zhì)心為最高點(diǎn),并以此并合點(diǎn)步態(tài)對(duì)稱(chēng);質(zhì)心慢慢降低,當(dāng)下一個(gè)兩腿張開(kāi)最大角度最大時(shí),質(zhì)心又達(dá)到最低點(diǎn),這意味著一個(gè)步態(tài)結(jié)束.這個(gè)過(guò)程可以稱(chēng)為步態(tài)的周期特性.通過(guò)對(duì)N L PR數(shù)據(jù)庫(kù)視頻系列進(jìn)行分析,我們發(fā)現(xiàn)該系列同一步態(tài)的周期可以用6幀圖像來(lái)描述,圖2是其中一個(gè)視頻的歸一化質(zhì)心縱坐標(biāo)隨幀變化的情況,盡管曲線(xiàn)值有些波動(dòng),但是步態(tài)所具有的準(zhǔn)周期性還是較為明顯的.

圖2 步態(tài)的準(zhǔn)周期性原始數(shù)據(jù)Fig.2 Gait periodically raw data

1.3 特征提取

步態(tài)特征在步態(tài)識(shí)別過(guò)程中起著至關(guān)重要的作用,步態(tài)特征的有效性與可靠性直接影響整個(gè)工程的可信度.因此,選取什么樣的步態(tài)特征來(lái)描述步態(tài)的整個(gè)過(guò)程是很關(guān)鍵的.

目前,步態(tài)周期性的描述主要有:步態(tài)的高寬比、步態(tài)整個(gè)輪廓的質(zhì)心和步態(tài)的腳間距.本文采用髖關(guān)節(jié)以下部分的質(zhì)心來(lái)描述步態(tài)的準(zhǔn)周期性,它是一種新穎的步態(tài)準(zhǔn)周期性描述方法,不僅計(jì)算量少,而且具有比較好的魯棒性,周期性也較明顯,具體如圖2所示.而步態(tài)作為研究對(duì)象,根據(jù)其生理結(jié)構(gòu)特性,其因人而異,采用步態(tài)的踝關(guān)節(jié)到膝關(guān)節(jié)的距離描述步態(tài)的靜態(tài)信息反映了步態(tài)的這一特性.一個(gè)完整的步態(tài)過(guò)程是一個(gè)動(dòng)態(tài)的過(guò)程,提取出步態(tài)的動(dòng)態(tài)特征是一個(gè)步態(tài)過(guò)程得到完整描述的關(guān)鍵.膝關(guān)節(jié)作為步態(tài)的運(yùn)動(dòng)支點(diǎn),用其運(yùn)動(dòng)軌跡信息(速度距和路徑距)描述步態(tài)的動(dòng)態(tài)信息是可行的.這樣,一個(gè)步態(tài)的動(dòng)靜信息結(jié)合能準(zhǔn)確的描述步態(tài),使得步態(tài)特征更具有可靠性.

本文是對(duì)髖關(guān)節(jié)以下部分進(jìn)行研究,對(duì)于怎樣精確劃分確定髖關(guān)節(jié)以下部分,目前還沒(méi)有一個(gè)很好的方法,一般是根據(jù)統(tǒng)計(jì)的方法劃分,文獻(xiàn)[6]很形象的劃分了一個(gè)步態(tài)的生理結(jié)構(gòu)特性.我們采用同樣的方法來(lái)確定髖關(guān)節(jié)以下部分:根據(jù)解剖學(xué)特點(diǎn)計(jì)算單幀步態(tài)的高度h,然后提取步態(tài)高度的43%(即0.43h)作為研究對(duì)象.結(jié)合步態(tài)周期性分析,提取反映步態(tài)靜態(tài)信息的特征和動(dòng)態(tài)信息的特征.其具體步驟如下.

(1)確定每個(gè)步態(tài)序列的踝關(guān)節(jié)到膝關(guān)節(jié)的距離L0.一般情況下,每個(gè)人的踝關(guān)節(jié)到膝關(guān)節(jié)的距離是不相同的,而每個(gè)人的生理結(jié)構(gòu)基本是不會(huì)發(fā)生變化的,因此選擇它作為靜態(tài)特征具有很強(qiáng)的說(shuō)服力.

(2)求對(duì)象的質(zhì)心.對(duì)于一個(gè)步態(tài)序列,人體的髖關(guān)節(jié)上部分所包含的運(yùn)動(dòng)信息相對(duì)較少,這樣,對(duì)于本實(shí)驗(yàn)而言研究意義相對(duì)較小.因此,文章將求取整個(gè)步態(tài)輪廓的質(zhì)心轉(zhuǎn)移到求取髖關(guān)節(jié)下部分的質(zhì)心,不僅減小了計(jì)算量,避免誤差的同時(shí),而且描述更精確.

其中,(Xc,Yc)是對(duì)象的質(zhì)心坐標(biāo),N是前景圖像像素總數(shù),(Xi,Yi)是前景圖像的像素點(diǎn).

(3)求取膝關(guān)節(jié)的位置坐標(biāo)P(x,y).根據(jù)前面求取的踝關(guān)節(jié)到膝關(guān)節(jié)的距離L0判定膝關(guān)節(jié)的大概位置.若有多個(gè)點(diǎn),則取其平均值.該方法對(duì)褲子的影響具有魯棒性,原因是褲子對(duì)膝關(guān)節(jié)彎曲部位影響不大.

(4)求取第幅圖像腳踝的位置坐標(biāo)相對(duì)于均值的偏移:

其中,N是一個(gè)序列的幀數(shù),P(i)x是序列第i幅圖像膝關(guān)節(jié)的x坐標(biāo)(注:坐標(biāo)系選取圖像的左上角為原點(diǎn),x軸向下,y軸向右),D(i)x是序列中第i幅圖像膝關(guān)節(jié)的x坐標(biāo)相對(duì)于均值的偏移,即膝關(guān)節(jié)運(yùn)動(dòng)的幅度.

(5)歸一化.

歸一化處理是為了消除圖像尺度、信號(hào)長(zhǎng)度對(duì)訓(xùn)練和識(shí)別過(guò)程的影響.

(6)一個(gè)周期內(nèi)的膝關(guān)節(jié)的2個(gè)歸一化的幅度向量D(i)x、D(i)y.則描述步態(tài)動(dòng)態(tài)信息的2個(gè)特征表示如下:

1)速度距Sm.

2)路徑距L.

其中M為一個(gè)周期的步態(tài)幀數(shù).路徑的距離可以用于度量路徑的一致性.

這樣就得到了作為識(shí)別的兩個(gè)度量Sm和L,它們從時(shí)空方面反映膝關(guān)節(jié)的運(yùn)動(dòng)軌跡.

綜上所述,對(duì)于每個(gè)步態(tài)我們可以將單幀步態(tài)的靜態(tài)特征和動(dòng)態(tài)特征融合成一個(gè)矩陣c′=[L0,Sm,L],然后將一個(gè)步態(tài)序列融合成一個(gè)以列代表單幀步態(tài)的矩陣,其中矩陣的最大列為步態(tài)的周期.

1.4 步態(tài)識(shí)別算法

步態(tài)識(shí)別分類(lèi)算法有很多,如NN 算法[1]、SVM算法[3]等,不同的算法對(duì)識(shí)別效果有一定的影響.本文的側(cè)重點(diǎn)是研究融合特征的有效性,因此采用簡(jiǎn)單易用的NN分類(lèi)器算法進(jìn)行了實(shí)驗(yàn).

2 實(shí)驗(yàn)結(jié)果分析

本文在文獻(xiàn)[2]的基礎(chǔ)上進(jìn)行改進(jìn),利用NN算法在NL PR數(shù)據(jù)庫(kù)上面進(jìn)行了實(shí)驗(yàn)驗(yàn)證.它包含20個(gè)人,每人3個(gè)視角(側(cè)面視角0°,傾斜視角45°,正面視角90°),每視角4個(gè)序列,共240個(gè)步態(tài)序列.本實(shí)驗(yàn)選取了其中的15個(gè)人,采用側(cè)面視角序列做實(shí)驗(yàn),在數(shù)據(jù)庫(kù)上進(jìn)行了大量的實(shí)驗(yàn).得到了如表1所示結(jié)果.

表1 不同類(lèi)的識(shí)別率(0視角)Tab.1 Recognition rate of different classification(zero angle)

表中類(lèi)別表示的是人數(shù).從表1可以看出,所提取的步態(tài)特征對(duì)于不同的步態(tài)識(shí)別任務(wù)都取得了比較好的識(shí)別率,這說(shuō)明了步態(tài)的靜態(tài)特征和動(dòng)態(tài)特征的融合在識(shí)別過(guò)程中是有效的.而隨著類(lèi)別的增加,識(shí)別率有所下降,這可能是由于分類(lèi)的影響,對(duì)于多類(lèi)別識(shí)別問(wèn)題,需要要選擇更合適、更復(fù)雜的分類(lèi)器進(jìn)行識(shí)別.

與其他文獻(xiàn)步態(tài)識(shí)別算法的比較結(jié)果如表2所示.從表2可以看出,采用特征融合可以提高步態(tài)識(shí)別率.文獻(xiàn)[1]采用整個(gè)輪廓為研究對(duì)象提取特征,雖然也包含了步態(tài)的動(dòng)態(tài)信息和靜態(tài)信息,但是混入了在步態(tài)運(yùn)動(dòng)中的不變區(qū)域,這些區(qū)域在不同類(lèi)別之間差異性不大,這樣不僅在提取步態(tài)特征增加了計(jì)算量,而且使得分類(lèi)器在進(jìn)行類(lèi)別分類(lèi)時(shí)誤差加大,從而影響識(shí)了別率;文獻(xiàn)[2]在文獻(xiàn)[1]的基礎(chǔ)上有所改進(jìn),它從步態(tài)運(yùn)動(dòng)過(guò)程中所特有的特性出來(lái),去除了識(shí)別過(guò)程中不相干的區(qū)域,提取描述步態(tài)的運(yùn)動(dòng)軌跡的特征,但這些特征只包含了步態(tài)的動(dòng)態(tài)信息,雖然識(shí)別率相比文獻(xiàn)[1]有所提高,但是仍待提高.而本文從人的生理特性出發(fā),引入步態(tài)的靜態(tài)信息,在文獻(xiàn)[2]的基礎(chǔ)上進(jìn)行改進(jìn),并且得到了比較好的識(shí)別率,如表2.

表2 不同算法的結(jié)果比較Tab.2 Results of different algorithm s

在特征抽取時(shí)間上,本實(shí)驗(yàn)所抽取的特征相比于文獻(xiàn)[1]和文獻(xiàn)[3]等少得多.因此,特征抽取時(shí)間也相應(yīng)減少,識(shí)別時(shí)間也小.

3 結(jié)束語(yǔ)

在不考慮光照、陰影等的影響下,研究了靜止背景下人體步態(tài)的檢測(cè)以及基于步態(tài)的人的身份識(shí)別.通過(guò)對(duì)步態(tài)的分析,可以得到以周期性描述的步態(tài)特征.以髖關(guān)節(jié)以下部分的特征進(jìn)行步態(tài)識(shí)別不僅可以降低計(jì)算量,而且可以減少特征提取處理帶來(lái)的累積誤差.采用反映步態(tài)靜態(tài)信息的膝關(guān)節(jié)到踝關(guān)節(jié)距離和反映動(dòng)態(tài)信息的速度距和路徑距相結(jié)合所得到的融合特征對(duì)步態(tài)識(shí)別效果有明顯的提高,可以取得較好的識(shí)別效果.

由于實(shí)驗(yàn)主要針對(duì)在0角度方向的識(shí)別,對(duì)其他角度的步態(tài)識(shí)別需要進(jìn)行更深入的研究,同時(shí)對(duì)于影響步態(tài)識(shí)別的遮擋、光線(xiàn)、速度以及角度等問(wèn)題,也需要尋找更具代表性的步態(tài)融合特征,以提高復(fù)雜條件下步態(tài)識(shí)別的準(zhǔn)確率.

[1]王 亮,胡衛(wèi)明,譚鐵牛.基于步態(tài)的身份識(shí)別[J].計(jì)算機(jī)學(xué)報(bào),2003(3):2-4.

[2]耿 磊,吳曉娟,張 恒.基于踝關(guān)節(jié)軌跡的身份識(shí)別算法[J].電子技術(shù)應(yīng)用,2006,32(5):3-5.

[3]Lee Lily.Gait analysis for classification[R].Massachusetts: A Technical Report 2003-014,Massachusetts Institute of Technology-artificial Intelligence Laboratory,2003:83-84.

[4]Huang P S,N ixon M S,Harris C J.Recognition humans by gait via parametric canonical space[J].A rtificial Intelligence in Engineering,1999,13(4):359-366.

[5]Little J,Boyd J.Recognizing people by their gait:the shape of motion[J].Journal of Computer Vision Research,the MIT Press,1998,1(2):5-7.

[6]劉玉棟,蘇開(kāi)娜,馬 麗.一種基于模型的步態(tài)識(shí)別方法[J].計(jì)算機(jī)應(yīng)用,2005(9):1-2.

The Research of Gait Recogn ition Based on Feature Fusion

Chen Xinhao1,Huang Zhenghua1,Gao Zhiyong1,Zhu X iao xiang2
(1 College of Electronics and Information Engineering,South-CentralU niversity for Nationalities,Wuhan 430074,China;2 Dept of Electronics,Wuhan Vocational College of Software Engineering,Wuhan Hubei 430205,China)

In this paper,the spped-torque and distance-torque of knee and the distance from knee to ankle,which represent the motion information and the static properties of gait,respectively,were extracted and merged.Consequently,overall information of gait was obtained and could be used for gait recognition,and this method increases the recognition rate and is better than other methods.

gait recognition;feature fusion;speed-torque;distance-torque

TP391

A

1672-4321(2010)01-0088-04

2010-02-01

陳心浩(1968-),男,副教授,碩士,研究方向:微弱信號(hào)檢測(cè),E-mail:xinhaochen@189.cn

國(guó)家民委自然科學(xué)基金資助項(xiàng)目(M ZZ04004)