賁晛燁，王科俊，馬慧，4

(1.山東大學(xué)信息科學(xué)與工程學(xué)院，山東 濟(jì)南250100;2.哈爾濱工業(yè)大學(xué) 交通科學(xué)與工程學(xué)院，黑龍江 哈爾濱150090;3.哈爾濱工程大學(xué) 自動化學(xué)院，黑龍江 哈爾濱 150001;4.黑龍江大學(xué) 電子工程學(xué)院，黑龍江 哈爾濱150086)

美國國防部高級研究項目署在2000年資助的遠(yuǎn)距離身份識別計劃中，主要開發(fā)多模式、大范圍的視覺監(jiān)控以實現(xiàn)遠(yuǎn)距離人的檢測、分類與識別.國內(nèi)的中科院自動化所模式識別國家重點實驗室最早就“基于步態(tài)的身份識別”問題展開研究.步態(tài)識別在門禁系統(tǒng)、安全監(jiān)控、人機(jī)交互、醫(yī)療診斷等領(lǐng)域具有廣泛的應(yīng)用前景和經(jīng)濟(jì)價值，因此激發(fā)了國內(nèi)外科研工作者的研究熱情[1].

至今未見成型的步態(tài)識別系統(tǒng)，現(xiàn)有研究僅停留在理論上.為了實現(xiàn)實時自動步態(tài)識別，設(shè)計了一套遠(yuǎn)距離視頻下正面人體身份自動識別系統(tǒng).步態(tài)是大范圍的生物特征，當(dāng)個體與攝像機(jī)的距離較遠(yuǎn)時，能夠獲得步態(tài)信息;人臉是小范圍的生物特征，當(dāng)人臉圖像的分辨率足夠高時，人臉信息是有效的.步態(tài)和人臉都可以通過攝像機(jī)采集，都是視覺上的線索，不需要額外的傳感器設(shè)備.步態(tài)和人臉也是相互獨立的互補特征:步態(tài)特征容易受到外套變化、鞋子、負(fù)載和身體狀況的影響，而這些因素不會影響到人臉特征;人臉特征容易受到胡須、眼鏡、化妝、發(fā)型、光照、表情和姿態(tài)變化的影響，但是這些因素對步態(tài)沒有影響.因此將步態(tài)和人臉的特征進(jìn)行融合可以提高身份識別的性能.考慮到Constantine等[2]使用Adaboost方法對物體檢測提出了一個整體框架，Oren等[3]使用 Haar小波進(jìn)行行人檢測，P.Viola[4]提出了一種基于 Haar特征的 Adaboost算法，己達(dá)到實時的要求，并且Rainer等采用積分圖[5]進(jìn)一步降低計算成本，因此本文也將Adaboost方法嵌入到自動身份識別系統(tǒng)中.目前已存在的步態(tài)周期檢測方法[6-11]主要是通過分析人體寬度信號或區(qū)域像素點數(shù)來實現(xiàn)的.但這些方法都是針對側(cè)面步態(tài)提出的，對正面步態(tài)的周期性判斷不準(zhǔn)，因此提出根據(jù)下臂搖擺區(qū)域確定步態(tài)周期的方法，該方法對正面步態(tài)周期檢測準(zhǔn)確、計算量小，適用于實時的步態(tài)識別系統(tǒng).首先用Adaboost算法檢測行人，若檢測到，便自動開啟Adaboost人臉檢測模塊，并加以膚色驗證模塊判斷，同時對步態(tài)序列圖像進(jìn)行預(yù)處理，以便進(jìn)行步態(tài)周期檢測，將人臉圖像統(tǒng)一歸一化到32×32像素大小，步態(tài)能量圖(gait energy image，GEI)為64×64像素大小，然后分別采用核主成分分析(kernel principal component analysis，KPCA)進(jìn)行特征提取，最后識別時采用計分的決策級融合方法.

1 行人檢測與人臉檢測

1.1 Adaboost檢測人臉模塊以及膚色驗證

將Adaboost與積分圖的Haar-like特征結(jié)合檢測人臉[4]，并采用矩形特征(如圖1所示).Adaboost分類器是由多層弱分類器級聯(lián)而成，從第1層分類器出來的正確結(jié)果觸發(fā)第2層分類器，從第2層出來的正確結(jié)果觸發(fā)第3層分類器，以此類推;相反，從任何一個結(jié)點輸出的被否定的結(jié)果都會導(dǎo)致對這個子窗口的檢測立即停止.通過設(shè)置每層的閾值，使得絕大多數(shù)人臉都能通過，非人臉不能通過，這樣靠近級聯(lián)分類器后端的層拒絕了大部分的非人臉.

檢測結(jié)果如圖2所示，正方形框為檢測到的人臉區(qū)域.這里存在檢測錯誤的情況，因為視頻場景中的某些區(qū)域類似于人臉的局部特征，眼睛部位的“黑白黑”與定標(biāo)帶十分相近.若保留這些樣本，對遠(yuǎn)距離的身份識別不利.筆者發(fā)現(xiàn)，錯誤檢測的人臉與真實人臉相差甚遠(yuǎn)，人肉眼很容易區(qū)分，因此可以采用膚色模型對人臉區(qū)域加以驗證.不同種族、不同年齡、不同性別的人的膚色看起來存在差異，這個差異主要體現(xiàn)在亮度上，當(dāng)去除亮度，膚色就具有很高的聚類性，選取YCbCr色彩空間，歸一化色度直方圖后假定膚色滿足二維高斯模型:

式中:m為均值，C 為協(xié)方差矩陣，x=[CbCr]T.

圖1 使用的矩形特征Fig.1 Rectangle features used

圖2 檢測錯誤的人臉情況Fig.2 Error face detection case

通過式(1)得到膚色似然圖像，使用Ostu法求出最佳二值化閾值，從而區(qū)分出人臉與非人臉.Adaboost算法加上膚色模型驗證的結(jié)果如圖3所示.

圖3 加入膚色驗證的檢測結(jié)果Fig.3 Detection results of adding skin color verification

1.2 Adaboost行人檢測模塊

設(shè)置Adaboost行人檢測模塊的目的在于該系統(tǒng)能夠觸發(fā)自動開啟正面步態(tài)周期檢測模塊和人臉檢測模塊.Adaboost行人檢測模塊的設(shè)計思想與Adaboost人臉檢測基本一致，選用的也是矩形特征，由于想要實現(xiàn)的是正面行人檢測，因此沒有選擇“三角特征”.單純的Adaboost行人檢測也會出現(xiàn)誤檢情況，如圖4所示，長方形框為檢測人體的結(jié)果，圖中支架也被檢測為人體，這是因為支架的“腿”與人的腿部形狀類似.因此需要驗證環(huán)節(jié)，鑒于步態(tài)識別的研究對象是行人的姿態(tài)，必然是運動個體，而支架始終是靜止不動的，假定室內(nèi)光線不會出現(xiàn)急劇的變化，將相鄰2幀圖像中的人體中各像素點的RGB值按式(2)進(jìn)行運算:

式中:r1、g1、b1和 r2、g2、b2分別為相鄰 2 幀的圖像中待處理像素點的RGB值.把當(dāng)前圖像的E(R)和預(yù)設(shè)閾值T進(jìn)行比較，當(dāng)E(R)＞T時，認(rèn)為其區(qū)域?qū)儆诓綉B(tài)區(qū)域，人體檢測的長方形框給予保留;反之，當(dāng)E(R)≤T時，則認(rèn)為其區(qū)域?qū)儆诜遣綉B(tài)區(qū)域，其中E(*)表示期望.針對CASIA(B)的視頻，考慮一定的光照影響，選擇T=20.Adaboost加上差分驗證的實驗結(jié)果如圖5所示.

圖4 人體檢測錯誤的情況Fig.4 Error human detection case

圖5 加入差分驗證的檢測結(jié)果Fig.5 Detection results of adding difference verification

2 正面步態(tài)的周期檢測

步態(tài)周期定義為同一只腳連續(xù)2次腳跟觸地的時間間隔[12].在進(jìn)行步態(tài)識別時，通常提取1個步態(tài)周期或多個步態(tài)周期的平均來進(jìn)行分析.因為在1個周期內(nèi)比較，一方面能夠消除圖像序列長度不同造成的影響;另一方面，也能夠降低特征提取、分類識別的運算復(fù)雜度.

現(xiàn)有的步態(tài)周期檢測方法對正面步態(tài)檢測無效.針對于此，提出一種基于人體身高比例的步態(tài)周期檢測方法.解剖學(xué)中，利用人體的正面影像抽取人體的骨架，假設(shè)H表示人體身高，則各部分肢體占人體的比例關(guān)系[13]如圖6所示.

基于人體身高比例的步態(tài)周期檢測方法是統(tǒng)計下臂搖擺區(qū)域的像素數(shù)目的逐幀變化.具體方法如下:設(shè)累計區(qū)域像素值為NH，找到NH的一個局部極小值(極大值)，然后按順序向后查找NH的第3個極小值(極大值)，記下這2幀圖像在序列中的幀號，則2幀中間的時間就是一個步態(tài)周期.采用文獻(xiàn)[14]的步態(tài)預(yù)處理方法，將人體居中，大小歸一化到64×64像素大小，進(jìn)行正面步態(tài)的周期檢測.圖7為采用下臂搖擺區(qū)域(即圖像平面的第25～29行)測試正面步態(tài)周期的檢測結(jié)果.

圖6 部分肢體占身高比例Fig.6 Height ratios of the various parts of the human body

圖7 根據(jù)下臂搖擺觀測步態(tài)的周期性曲線Fig.7 Measured gait period characteristic curves based on lower swinging arm region

3 實驗結(jié)果與分析

實驗采用CASIA(B)步態(tài)數(shù)據(jù)庫上的正面視角樣本庫，該庫包含124個人，選擇正常步態(tài)作為研究對象.實驗分為2個階段:訓(xùn)練階段和識別階段.訓(xùn)練時，讀入視頻文件，首先采用Adaboost方法和差分驗證進(jìn)行行人檢測，一旦檢測到存在運動人體，便自動開啟步態(tài)周期檢測模塊和人臉檢測模塊(包含Adaboost人臉檢測模塊和膚色驗證).由于遠(yuǎn)距離情況下，人臉區(qū)域很小，主要以步態(tài)特征作為身份識別的依據(jù)，人臉為輔助特征.然后將人臉圖像歸一化到32×32像素大小，通過對檢測到的一個周期的步態(tài)圖像加權(quán)平均生成GEI，即

式中:Bt(x，y)為步態(tài)單幀圖像，N是步態(tài)周期的長度，t為時間，x、y為二維圖像平面坐標(biāo).

采用KPCA方法分別進(jìn)行步態(tài)和人臉的特征提取，通過核映射升維，使原輸入數(shù)據(jù)在Rn空間中線性不可分的模式在特征空間F中可能變得線性可分.文中并沒有采用基于矩陣的核主成分分析方法(如核二維主成分分析 K2DPCA)，這是因為K2DPCA 定義的圖像矩陣 Ai(Ai∈Rm×n，i=1，2，…，M)的核映射為

3.1 單獨步態(tài)特征

由于CASIA(B)庫中每人有6個樣本，分別選擇前5、4、3、2個樣本和單樣本訓(xùn)練，余下的樣本采用最近鄰分類器(NN)來測試識別.實驗結(jié)果如圖8所示，其中:fn表示前n個樣本訓(xùn)練，sn表示單獨第n個樣本訓(xùn)練.

圖8 單獨步態(tài)特征的識別結(jié)果Fig.8 Recognition results using gait features individually

從圖8中可以發(fā)現(xiàn)，當(dāng)特征維數(shù)等于樣本數(shù)時，有最佳識別率;當(dāng)保留特征的維數(shù)減少時，識別率下降;當(dāng)特征維數(shù)相等時，每一類提供的訓(xùn)練樣本越多，識別率就越高;單樣本訓(xùn)練的識別率較多樣本訓(xùn)練下降得很多，因為一個樣本存在很大的局限性與特殊性，而且如果沒有先驗知識，也很難做到通過一個樣本去擴(kuò)充生成多個樣本.前5個樣本訓(xùn)練時得到的識別精度為95.97%，此時的特征維數(shù)為110維;而單樣本訓(xùn)練的平均識別精度為88.52%，特征維數(shù)保持在124維.

3.2 人臉特征輔助步態(tài)特征

當(dāng)存在多個訓(xùn)練樣本時，識別性能較好，但是一旦出現(xiàn)訓(xùn)練樣本只有1個時，識別率會大大降低，所以針對此問題，采用人臉特征輔助步態(tài)特征進(jìn)行遠(yuǎn)距離視頻下的正面人體身份自動識別任務(wù)，分別采用KPCA對GEI和人臉灰度特征進(jìn)行特征提取，識別時采用文獻(xiàn)[17]中的計分法對2組特征在決策級進(jìn)行融合，計分方法如式(3):

式中:X是待識別樣本;Xi是待識別樣本X的第i種特征;wi是一個權(quán)值，其值來自利用第i種特征識別時的識別率，是一個先驗概率;μj(Xi)表示待識樣本X利用第i種特征對第j類的隸屬度:

式中:b＞1是一個可以控制聚類結(jié)果的模糊程度的常數(shù)，通過實驗選取b=1.5;k為總的類別數(shù);cij為利用第i種特征的第j類的聚類中心，且cij通過K-均值聚類方法得到.若c=argjm ax Score(X，j)，則 X 屬于類c.

在單樣本訓(xùn)練步態(tài)識別中，為了驗證人臉特征輔助步態(tài)特征的有效性，采用上述決策級融合方法在CASIA(B)庫上進(jìn)行實驗.實驗結(jié)果如表1所示，人臉特征輔助步態(tài)特征識別與單獨的步態(tài)特征相比，正確識別率可以提高2.4個百分點.輔助人臉特征的優(yōu)點在于，即使步態(tài)訓(xùn)練樣本是單樣本，而人臉圖像是多個的，這樣便從另外一個角度擴(kuò)充了訓(xùn)練樣本的數(shù)目，有助于身份識別.

表1 人臉特征輔助步態(tài)特征識別的性能(CASIA(B))Table 1 Recognition performance using gait features assisted by face features(CASIA(B))

仍然在單樣本訓(xùn)練的步態(tài)識別中驗證人臉特征輔助步態(tài)特征進(jìn)行身份識別的有效性，采用上述決策級融合方法在CASIA(A)庫[18]的正面步態(tài)條件下進(jìn)行實驗.該庫含有20個人，每個人4個序列，與CASIA(B)的采集環(huán)境不同:(A)庫是室外環(huán)境，(B)庫是室內(nèi)環(huán)境.實驗結(jié)果如表2所示，以單步態(tài)樣本為訓(xùn)練樣本的平均識別率為87.92%，融合人臉后的平均識別率為90.84%，與單獨采用步態(tài)信息相比提高了2.92個百分點.

表2 人臉特征輔助步態(tài)特征識別的性能(CASIA(A))Table 2 Recognition performance using gait features assisted by face features(CASIA(A))

3.3 與現(xiàn)有方法的比較

筆者在前期的工作提出了組合投影[19]、線性插值[20]、GEI[21]、子模式 GEI[14]和能量信息融合[17]等算法，現(xiàn)在將這些算法應(yīng)用到 CASIA(B)和CASIA(A)中，測試單樣本訓(xùn)練的步態(tài)識別的平均識別率.實驗結(jié)果如表3所示，可以看出，本文提出的算法的識別率遠(yuǎn)遠(yuǎn)高于前期工作的識別率，這是因為本文是采用的核方法來提取步態(tài)特征，核方法可以使原始空間中線性不可分的模式在特征空間中變得線性可分;除了步態(tài)特征以外，還融合了人臉特征，大大地提高了身份識別的識別性能.文獻(xiàn)[22-23]同樣采用了正面步態(tài)特征進(jìn)行身份識別，將本文方法與以上2種具有代表性的方法——三維中心矩[22]和曲線展開[23]方法進(jìn)行比較，可以看出步態(tài)識別融合人臉識別確實對身份識別卓有成效.

表3 本文方法與其他方法的比較Table 3 Comparison with other algorithms and our method

4 結(jié)束語

本文研究了視頻下人體身份自動識別系統(tǒng)研發(fā)中，有關(guān)檢測和識別算法等方面的關(guān)鍵性技術(shù).提出的根據(jù)下臂搖擺區(qū)域確定步態(tài)周期的方法對正面步態(tài)周期檢測準(zhǔn)確，克服了傳統(tǒng)的步態(tài)周期檢測算法只適用于分析側(cè)面視角下的步態(tài)的不足，而且所提出的算法計算量小，適用于實時的步態(tài)識別系統(tǒng).本文給出了視頻下身份識別新的解決思路，即通過人臉特征輔助步態(tài)特征在決策級的計分融合方法來實現(xiàn).在單樣本的步態(tài)識別中，融合人臉特征可以提高識別精度.輔助人臉特征的優(yōu)點在于，即使步態(tài)訓(xùn)練樣本是單樣本，但是人臉圖像是多個的，這樣便從另外一個角度擴(kuò)充了訓(xùn)練樣本的數(shù)目，有助于身份識別.下一步的工作重點是研究其他形式的人臉和步態(tài)特征的融合方法以進(jìn)一步提高識別精度.

[1]王科俊，賁晛燁，劉麗麗.采用Radon變換和二維主成分分析的步態(tài)識別[J].智能系統(tǒng)學(xué)報，2010，5(3):266-271.WANG Kejun，BEN Xianye，LIU Lili.Gait recognition with Radon transform and 2-D principal component analysis[J].CAAI Transactions on Intelligent Systems，2010，5(3):266-271.

[2]CONSTANTINE P P，MICHAEL O，TOMASO P.A general framework for object detection[C]//Sixth International Conference on Computer Vision.Bombay，India，1998:555-562.

[3]OREN M，PAPAGEORGIOU C，SINHA P，et al.Pedestrian detection using wavelet templates[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos，USA，1997:193-199.

[4]VIOL P，JONES M.Rapid object detection using a boosted cascade of simple features[C]//IEEE Conference on Computer Vision and Pattern Recognition.Kauai，USA，2001:1511-1518.

[5]LIENHART R，MAYDT J.An extended set of haar-like features for rapid object detection[C]//IEEE International Conference on Image Processing.Rochester，USA，2002:900-903.

[6]CUTLER R，DAVIS L S.Robust real-time periodic motion detection，analysis，and applications[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8):781-796.

[7]BENABDELKADER C，CUTLER R，DAVIS L S.Stride and cadence as a biometric in automatic person identification and verification[C]//Proceedings of the Fifth IEEE International Conference on Automatic Face Gesture Recognition.Washington，DC，USA，2002:372-377.

[8]COLLINS R T，GROSS R，SHI J B.Silhouette-based human identification from body shape and gait[C]//Proceedings of the Fifth IEEE International Conference on Automatic Face Gesture Recognition.Washington，DC，USA，2002:366-371.

[9]SARKAR S，PHILLIPS P J，LIU Zongyi，et al.The humanID gait challenge problem:data sets，performance，and analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(2):162-177.

[10]WAGG D K，NIXON M S.On automated model-based extraction and analysis of gait[C]//Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition.Seoul，Korea，2004:11-16.

[11]KALE A，SUNDARESAN A，RAJAGOPALAN A N，et al.Identification of humans using gait[J].IEEE Transactions on Image Processing，2004，13(9):1163-1173.

[12]NIXON M S，CARTER J N，CUNADO D，et al.Automatic gait recognition[M]//BOLLE R，PANKANTI S.Biometrics:Personal Identification in Network Society.Norwell，USA:Kluwer Academic Publishers，1999:231-250.

[13]YOO J H，NIXON M S，HARRIS C J.Extracting human gait signatures by body segment properties[C]//The Fifth IEEE Southwest Symposium on Image Analysis and Interpretation.Sante Fe，USA，2002:35-39.

[14]王科俊，賁晛燁，劉麗麗，等.基于子模式的完全二維主成分分析的步態(tài)識別算法[J].模式識別與人工智能，2009，22(6):854-861.WANG Kejun，BEN Xianye，LIU Lili，et al.Subpatternbased complete two dimensional principal component analysis for gait recognition[J].Pattern Recognition and Artificial Intelligence，2009，22(6):854-861.

[15]ZHANG D，CHEN S，ZHOU Z.Recognizing face or object from a single image:linear vs.kernel methods on 2D patterns[C]//Proceedings of the Joint IAPR International Workshops on Structural and Syntactic Pattern Recognition and Statistical Techniques in Pattern Recognition.Hong Kong，China，2006:889-897.

[16]王海賢.有限混合模型、非線性二維主成分分析及其在模式分類中應(yīng)用[D].合肥:安徽大學(xué)，2005.WANG Haixian.Finite mixtures of models，nonlinear twodimensional principal component analysis and their applications to pattern classification[D].Hefei:Anhui University，2005.

[17]王科俊，賁晛燁，劉麗麗，等.基于能量的信息融合步態(tài)識別[J].華中科技大學(xué)學(xué)報:自然科學(xué)版，2009，37(5):14-17.WANG Kejun，BEN Xianye，LIU Lili，et al.Gait recognition using information fusion of energy[J].Journal of Huazhong University of Science and Technology:Nature Science Edition，2009，37(5):14-17.

[18]WANG Liang，TAN Tieniu.Silhouette analysis-based gait recognition for human identification[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(12):1505-1518.

[19]王科俊，賁晛燁.基于線性插值的特征模板構(gòu)造的步態(tài)識別算法框架[J].南京理工大學(xué)學(xué)報:自然科學(xué)版，2009，33(Supl.):215-219.WANG Kejun，BEN Xianye.Framework for gait recognition based on feature template construction using linear interpolation[J].Journal of Nanjing University of Science and Technology，2009，33(Supl.):215-219.

[20]王科俊，賁晛燁.基于線性插值的步態(tài)識別算法[J].華中科技大學(xué)學(xué)報:自然科學(xué)版，2010，38(2):41-44.WANG Kejun，BEN Xianye.Gait recognition using linear interpolation[J].Journal of Huazhong University of Science and Technology:Nature Science Edition，2010，38(2):41-44.

[21]王科俊，賁晛燁，孟瑋，等.基于廣義主成分分析的步態(tài)識別算法研究[J].哈爾濱工程大學(xué)學(xué)報，2009，30(9):1022-1028.WANG Kejun，BEN Xianye，MENG Wei，et al.Research on a gait recognition algorithm based on generalized principal component analysis[J].Journal of Harbin Engineering University，2009，30(9):1022-1028.

[22]MICHELA G，CARTER J N，NIXON M S.Front view gait recognition[C]//Proceedings of the 2nd IEEE International Conference on Biometrics:Theory，Applications and Systems.Arlington，USA，2008:1-6.

[23]MARICOR S，ALESSANDRA A，CAESAR S.Curve spreads:a biometric from front-view gait video[J].Pattern Recognition Letters，2004，25(14):1595-1602.