張 德

(北京建筑大學(xué) 電信學(xué)院，北京 100044)

0 引 言

步態(tài)識(shí)別近年來已經(jīng)成為計(jì)算機(jī)視覺和生物特征識(shí)別領(lǐng)域的研究熱點(diǎn)。與指紋、虹膜和人臉等傳統(tǒng)生物特征識(shí)別技術(shù)相比，步態(tài)識(shí)別具有非接觸性、非侵犯性、可遠(yuǎn)距離識(shí)別和難以偽裝等優(yōu)勢。因此，步態(tài)識(shí)別在視頻安全監(jiān)控、人機(jī)交互、門禁系統(tǒng)和醫(yī)療診斷等領(lǐng)域具有廣泛的應(yīng)用前景。步態(tài)識(shí)別主要是通過人們走路的姿態(tài)進(jìn)行身份識(shí)別，而個(gè)體的一些身份屬性，如性別、年齡和種族等，也是身份識(shí)別技術(shù)中重要的組成部分。

在步態(tài)識(shí)別發(fā)展的初期階段，就有學(xué)者進(jìn)行了步態(tài)性別識(shí)別的研究。文獻(xiàn)[1]中提出了橢圓模型，從步態(tài)輪廓圖提取特征信息，然后進(jìn)行了身份識(shí)別和性別分類的實(shí)驗(yàn)。近年來，研究人員更多的關(guān)注于非模型的方法，這樣可以減小步態(tài)特征提取時(shí)的計(jì)算復(fù)雜度和數(shù)據(jù)存儲(chǔ)量，加快整個(gè)識(shí)別系統(tǒng)的處理速度。文獻(xiàn)[2]中使用步態(tài)能量圖，通過類間的協(xié)同表示進(jìn)行分類識(shí)別。文獻(xiàn)[3]提出了改進(jìn)對(duì)數(shù)Gabor相位一致性特征，并比較了視角變化情況下的步態(tài)識(shí)別正確率。文獻(xiàn)[4]提出一種質(zhì)心角約束條件下加速特征點(diǎn)匹配的步態(tài)識(shí)別方法，有很好的時(shí)間效率。文獻(xiàn)[5]使用動(dòng)態(tài)特征和靜態(tài)特征融合的方法，并分析了視角和衣著變化對(duì)識(shí)別率帶來的影響。文獻(xiàn)[6]使用HOG特征改進(jìn)步態(tài)能量圖，實(shí)驗(yàn)效果良好。文獻(xiàn)[7]提出了修正步態(tài)能量圖(modified gait energy image,MGEI)進(jìn)行步態(tài)識(shí)別，采用熵來描述MGEI特征，并以此進(jìn)行了步態(tài)視角的檢測。熵可以有效描述圖像的紋理，在文獻(xiàn)[8]和文獻(xiàn)[9]中也應(yīng)用了熵的概念，計(jì)算步態(tài)熵圖(entropy image)，然后基于此

特征進(jìn)行識(shí)別實(shí)驗(yàn)。

近年來的文獻(xiàn)中關(guān)于身份屬性識(shí)別的研究較少，因此，本文主要進(jìn)行基于步態(tài)的性別識(shí)別研究。另外，近期的國內(nèi)外文獻(xiàn)大多數(shù)都分析了視角變化對(duì)步態(tài)識(shí)別率的影響[3,5,7,10,11]，所以本文也研究了不同視角下步態(tài)性別識(shí)別率的變化?？紤]到步態(tài)的運(yùn)動(dòng)特性，本文采用文獻(xiàn)[12]提到的運(yùn)動(dòng)歷史圖像(motion history image,MHI)作為基礎(chǔ)特征，然后使用像素點(diǎn)鄰域的局部熵進(jìn)行進(jìn)一步的特征描述。通過熵信息的提取，可以更加準(zhǔn)確地表達(dá)行走過程中人體不同姿態(tài)之間的運(yùn)動(dòng)變化特征。最后，使用CASIA B步態(tài)數(shù)據(jù)庫，進(jìn)行了基于局部熵描述子特征的性別分類實(shí)驗(yàn)，并討論了視角變化對(duì)性別識(shí)別率的影響。

1 基于步態(tài)的性別識(shí)別

步態(tài)識(shí)別一般包括數(shù)據(jù)預(yù)處理，步態(tài)周期檢測，特征提取和分類識(shí)別幾個(gè)步驟。首先從步態(tài)視頻中提取每一幀步態(tài)圖像，然后通過背景減除得到步態(tài)輪廓圖像，并進(jìn)行歸一化處理。接下來檢測步態(tài)周期，提取出一個(gè)周期的步態(tài)圖像，基于此生成步態(tài)運(yùn)動(dòng)歷史圖像，再通過局部熵描述子的計(jì)算得到相應(yīng)的熵信息圖像表示，最后進(jìn)行性別分類。

歸一化處理的目的是保證在特征提取階段從不同個(gè)體提取到的特征的一致性。本文歸一化后步態(tài)輪廓圖像的大小為，首先把輪廓區(qū)域的重心與整個(gè)圖像的中心對(duì)齊，然后把輪廓區(qū)域按照自身的比例進(jìn)行縮放，讓所有的輪廓區(qū)域達(dá)到相同的高度。歸一化后來自不同視角的步態(tài)輪廓圖像如圖1所示。

圖1 歸一化步態(tài)輪廓圖像

1.1 步態(tài)周期檢測

步態(tài)是一種周期性的運(yùn)動(dòng)，所以，步態(tài)特征的提取一般使用一個(gè)周期內(nèi)的數(shù)據(jù)。這里用Ngait表示步態(tài)周期的大小，即一個(gè)周期內(nèi)包含的圖像幀數(shù)。對(duì)Ngait的估算，本文采用一種傳統(tǒng)有效的方法。在人們的行走過程中，雙腿交替前進(jìn)，一個(gè)完整的步態(tài)周期實(shí)際包含兩步行走。并且，對(duì)于同一個(gè)步態(tài)序列的不同視角而言，步態(tài)周期的大小是一樣的。在側(cè)面90°視角下，可以清楚地觀察到雙腿從重疊到分開的循環(huán)過程。因此，采用側(cè)面視角的步態(tài)數(shù)據(jù)進(jìn)行周期檢測非常方便。給定步態(tài)輪廓圖像序列，計(jì)算每幀圖像中人體輪廓腰部以下的前景像素點(diǎn)個(gè)數(shù)，并以此作為統(tǒng)計(jì)信號(hào)，用Nf(t)記錄其隨時(shí)間變化的過程，如圖2(a)所示。該信號(hào)在雙腿分開到最大程度時(shí)達(dá)到最大值，當(dāng)雙腿并列重疊時(shí)達(dá)到最小值。兩個(gè)值的差值就是半個(gè)步態(tài)周期的大小。但是，由于數(shù)據(jù)預(yù)處理產(chǎn)生的噪聲的影響，Nf(t)的變化曲線并不平滑，難以準(zhǔn)確判斷最大值和最小值出現(xiàn)的時(shí)刻。因此，這里使用自相關(guān)進(jìn)行去噪處理，然后準(zhǔn)確估計(jì)出步態(tài)周期的大小。

首先，使用下式得到一個(gè)新的信號(hào)ω(t)

然后，計(jì)算ω(t)的自相關(guān)函數(shù)，如式(2)所示

Rω[m]=E{ω(t)ω(t+m)}

(2)

式中E{·}為數(shù)學(xué)期望運(yùn)算。這時(shí)，使自相關(guān)函數(shù)Rω[m]取得局部最大值的最小m值(m不能是0)就是半個(gè)步態(tài)周期的大小。從圖2(b)中可以觀察到自相關(guān)函數(shù)的平滑性。由此，Ngait=2m，步態(tài)周期的大小估計(jì)完成。

圖2 前景像素點(diǎn)數(shù)量及自相關(guān)函數(shù)曲線

1.2 MHI構(gòu)建

MHI以一種累計(jì)的方式來描述運(yùn)動(dòng)過程的整體模式，記錄的是時(shí)空信息。MHI把連續(xù)的動(dòng)作圖像序列集成在一個(gè)靜態(tài)圖像上，緊致有效，實(shí)時(shí)性強(qiáng)。步態(tài)是人體的基本運(yùn)動(dòng)過程之一，因此本文使用MHI進(jìn)行步態(tài)基礎(chǔ)運(yùn)動(dòng)特征的提取，以此進(jìn)行不同性別群體的分類。

MHI構(gòu)建的基本公式如下所示

從中可以看出，MHI圖像中每個(gè)像素點(diǎn)的值表示的是時(shí)間戳信息τ，可用來表示運(yùn)動(dòng)歷史特性。函數(shù)φ是用于檢測τ的判斷函數(shù)，可以是背景減除、光流或者幀差等。這里，考慮到輸入圖像序列是步態(tài)輪廓圖像，因此選用連續(xù)兩幀間的幀差法進(jìn)行函數(shù)φ的計(jì)算。對(duì)于一個(gè)周期的步態(tài)圖像序列，幀數(shù)從1開始編號(hào)，幀差不為0的點(diǎn)在MHI中的像素點(diǎn)值τ就是當(dāng)前幀的序號(hào)。還有，δ作為延時(shí)參數(shù)，實(shí)際表示的是MHI記錄的歷史圖像總幀數(shù)。由于本文使用一個(gè)周期的步態(tài)圖像進(jìn)行MHI的計(jì)算，所以這里把設(shè)為步態(tài)周期的大小，即δ=Ngait。由此生成的步態(tài)MHI圖像如圖3所示，分別來自不同視角下的男性樣本和女性樣本。

1.3 局部熵描述子特征提取

如上節(jié)所述，MHI包含著隨時(shí)間變化累計(jì)的運(yùn)動(dòng)變化特征，在MHI圖像中(如圖3(a)所示)，較亮的區(qū)域表示人體運(yùn)動(dòng)發(fā)生的地方。運(yùn)動(dòng)發(fā)生區(qū)域內(nèi)部的紋理結(jié)構(gòu)同樣反映在MHI中。本文通過探究運(yùn)動(dòng)區(qū)域的紋理信息來尋找不同性別群體之間的步態(tài)差異。

信息熵可以應(yīng)用于圖像紋理特征的分析，由于圖像像素點(diǎn)的灰度值可看作離散隨機(jī)變量，該變量的熵可按照下式計(jì)算

式中 (x,y)為像素點(diǎn)的坐標(biāo)，pk(x,y)為該像素點(diǎn)取第k個(gè)灰度值的概率。文獻(xiàn)[8]基于香農(nóng)公式和灰度直方圖計(jì)算圖像的熵。文獻(xiàn)[9]使用了基于香農(nóng)公式擴(kuò)展的Renyi熵進(jìn)行圖像特征提取。

為了更進(jìn)一步地分析紋理信息特征，本文提出了局部熵描述子的思路。首先，計(jì)算每個(gè)像素點(diǎn)鄰域的香農(nóng)熵，然后把該熵值作為該像素點(diǎn)的灰度值，從而生成一個(gè)新的基于鄰域熵值的圖像，稱為局部熵描述子圖像。這里，比較關(guān)鍵的是鄰域大小的選擇，一般根據(jù)輸入圖像的大小來確定。本文歸一化后步態(tài)輪廓圖像的大小為100×155，所以選取100和155的公約數(shù)5來確定鄰域的大小，即鄰域?yàn)?×5。由此生成的局部熵描述子圖像如圖3(b)所示，它們分別來自不同視角下的男性樣本和女性樣本，和圖3(a)所示樣本是一一對(duì)應(yīng)的。

圖3 MHI圖像與局部熵描述子圖像

2 分類器選擇

在分類識(shí)別系統(tǒng)中常用的分類器有最近鄰算法[3，4，6，7]和支持向量機(jī)[13]。支持向量機(jī)在解決小樣本、非線性及高維模式識(shí)別中有很大優(yōu)勢，并且它是一個(gè)二類分類器。因此，本文采用支持向量機(jī)進(jìn)行性別分類識(shí)別。

假設(shè)給定一組來自兩個(gè)不同類別的訓(xùn)練樣本(xi,yi)，其中xi∈RN，yi∈{-1,1}，yi是樣本的類別標(biāo)簽。支持向量機(jī)要找到一個(gè)最佳超平面，把這些樣本數(shù)據(jù)分為兩個(gè)部分，并且，這個(gè)超平面到每部分最近數(shù)據(jù)點(diǎn)的距離是最大的，即最大間隔超平面。支持向量機(jī)的關(guān)鍵在于核函數(shù)，所以，本文采用不同的核函數(shù)進(jìn)行了實(shí)驗(yàn)。

3 實(shí)驗(yàn)結(jié)果與分析

使用中科院自動(dòng)化所提供的CASIA B步態(tài)數(shù)據(jù)庫進(jìn)行了實(shí)驗(yàn)。該數(shù)據(jù)庫是一個(gè)大規(guī)模，多時(shí)間的步態(tài)庫。共有124個(gè)人，其中男性63人，女性31人。每個(gè)人有11個(gè)視角(0°,18°,36°,…,180°)和3種行走模式(普通，背包和穿大衣)的數(shù)據(jù)。其中，普通行走模式下有6個(gè)步態(tài)圖像序列。本文選取了31個(gè)女性樣本，并隨機(jī)選取了31個(gè)男性樣本進(jìn)行性別識(shí)別的實(shí)驗(yàn)。每個(gè)樣本都使用了其11個(gè)視角和6個(gè)普通行走模式序列的數(shù)據(jù)。

本文分別對(duì)每個(gè)視角進(jìn)行了實(shí)驗(yàn)驗(yàn)證，然后比較不同視角下的性別分類結(jié)果。實(shí)驗(yàn)過程采用了留一校驗(yàn)法，每次選取1個(gè)男性樣本和1個(gè)女性樣本的普通行走模式序列(共12個(gè))作為測試集，余下的30個(gè)男性樣本和30個(gè)女性樣本的行走序列數(shù)據(jù)(共360個(gè))作為訓(xùn)練集。這樣，共循環(huán)31次，采用平均識(shí)別率作為最后的識(shí)別結(jié)果。支持向量機(jī)的核函數(shù)選取Linear和3階Polynomial分別進(jìn)行了實(shí)驗(yàn)，結(jié)果如表1所示。

表1 不同核函數(shù)類型下的步態(tài)性別識(shí)別結(jié)果

從表1中可看出，線性核函數(shù)(linear)下識(shí)別結(jié)果優(yōu)于非線性核函數(shù)(polynomial)，所以，可以認(rèn)為基于步態(tài)的性別分類更具有線性的特點(diǎn)，和文獻(xiàn)[1]給出的不同核函數(shù)的表現(xiàn)一致。另外，不同視角下性別識(shí)別正確率之間的差異比較大，其中正面0°和18°視角下效果最差，側(cè)面視角90°和側(cè)背面視角162°效果最好。綜合來看，側(cè)背面的幾個(gè)視角下性別識(shí)別的表現(xiàn)比側(cè)正面明顯要好。

接下來，選取了識(shí)別效果較好的6個(gè)視角(分別為36°，72°，90°，126°，144°，162°)的數(shù)據(jù)進(jìn)行了不同方法比較的性別識(shí)別實(shí)驗(yàn)，比較的方法包括MHI、步態(tài)能量圖(gait energy image,GEI)和本文提出的局部熵描述子圖像。都使用了主成分分析法(PCA)對(duì)圖像進(jìn)行降維處理，然后使用linear核函數(shù)的支持向量機(jī)進(jìn)行分類識(shí)別。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 不同特征提取方法的性別識(shí)別率比較

由圖4可以直觀的看出，本文方法優(yōu)于基礎(chǔ)的MHI和經(jīng)典的GEI兩種方法。說明通過局部熵對(duì)運(yùn)動(dòng)區(qū)域內(nèi)部紋理特征進(jìn)一步的描述，不同性別群體之間的步態(tài)差異得到了更全面的表達(dá)。在多個(gè)不同視角下，步態(tài)性別識(shí)別的準(zhǔn)確率都可以得到有效的保證。

4 結(jié)束語

本文進(jìn)行了基于步態(tài)的性別識(shí)別研究，在提取步態(tài)運(yùn)動(dòng)歷史圖的基礎(chǔ)上，借鑒了步態(tài)身份識(shí)別中使用的信息熵方法，通過對(duì)MHI像素點(diǎn)鄰域信息熵的計(jì)算，生成了局部熵描述子圖像。為了得到更有效的特征并減少計(jì)算量，采用主成分分析(principal component analysis,PCA)進(jìn)行降維處理。然后使用支持向量機(jī)作為分類器進(jìn)行了性別識(shí)別的實(shí)驗(yàn)。在CASIA B步態(tài)數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明，本文方法具有較高的正確識(shí)別率，優(yōu)于對(duì)比方法。然而，由于增加了熵計(jì)算的步驟，影響了運(yùn)算效率，有待進(jìn)一步改善。