楊靜，阮秋琦，李小利

(1.北京交通大學(xué)信息科學(xué)研究所，北京 100044;2.北京交通大學(xué)現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)北京市重點實驗室，北京 100044)

基于頻譜分析的Procrustes統(tǒng)計步態(tài)識別算法

楊靜1，2，阮秋琦1，李小利1，2

(1.北京交通大學(xué)信息科學(xué)研究所，北京 100044;2.北京交通大學(xué)現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)北京市重點實驗室，北京 100044)

在信息安全越加重要的現(xiàn)代社會，步態(tài)識別以其特有的優(yōu)勢作為一種身份識別手段，得到了很多關(guān)注.提出一種基于Procrustes均值形狀的傅里葉頻譜分析(FSAOPMS)的適用于多視角的步態(tài)識別方法.利用Procrustes統(tǒng)計形狀分析方法將步態(tài)序列中人體輪廓的連續(xù)步態(tài)變化表示成一個緊致的Procrustes均值形狀(PMS)，將PMS作為原始步態(tài)特征，對PMS進(jìn)行傅里葉頻譜分析(FSA).計算不同步態(tài)序列的PMS幅度譜的歐式距離，利用最近鄰(NN)分類器進(jìn)行識別.在中國科學(xué)院自動化所的CASIA Gait Database數(shù)據(jù)庫上進(jìn)行了實驗，與其他3種方法進(jìn)行了比較，新方法具有很高的識別率，證明了該算法的有效性.

步態(tài)識別;Procrustes統(tǒng)計形狀分析;Procrustes均值形狀(PMS);傅里葉頻譜分析(FSA);多視角識別

生物特征識別技術(shù)作為一種身份識別手段，已成為國際上的研究熱點，對信息安全有重要研究意義.步態(tài)識別就是根據(jù)人走路的姿態(tài)進(jìn)行識別，步態(tài)識別以其固有的優(yōu)勢受到越來越多的關(guān)注，其中優(yōu)勢有:非入侵性、難以隱藏性、用戶接受程度高，因此也涌現(xiàn)了大量的步態(tài)識別算法.算法大概可以分為2種:基于模型和非模型的方法.其中基于模型的方法，首先要建立模型，將模型和圖像序列進(jìn)行匹配來獲得模型參數(shù)，使用這些參數(shù)作為步態(tài)特征進(jìn)行分類，如 Cunado 等［1］的鐘擺模型，Lee 等［2］的橢圓模型，Yoo［3］的擺角模型等;非模型的方法，主要是根據(jù)人體目標(biāo)移動時所產(chǎn)生時空模式的各類統(tǒng)計值來提取特征，如Yang等［4］提出的步態(tài)能量圖算法，王亮等［5］提出的 Procrustes均值形狀(Procrustes mean shape，PMS)分析法，韓［6］提出的傅里葉算子分析法.

基于模型的方法計算復(fù)雜，而基于非模型的方法通常局限于一種特定的特征表示方法，且不能實現(xiàn)多視角的步態(tài)識別.受王亮［5］和韓［6］的啟發(fā)，本文先利用Procrustes統(tǒng)計形狀分析獲得步態(tài)序列的均值形狀(PMS)作為初級步態(tài)特征.然后，對PMS進(jìn)行傅里葉頻譜分析，將PMS的幅度譜做為最終的特征，通過歐式距離來表征2個序列之間的相似性.在CASIA DataBase B數(shù)據(jù)庫上進(jìn)行了實驗，并與王亮的 PMS［5］、張元元的 PMS+TAF［7］、高海燕的關(guān)鍵幀傅里葉變換(FFT of key frames)［8］3種方法進(jìn)行比較，證明了提出的算法能夠?qū)崿F(xiàn)多視角下的高識別率.

1 預(yù)處理

在進(jìn)行特征提取之前需要做一些預(yù)處理工作.預(yù)處理階段需要進(jìn)行人體運(yùn)動目標(biāo)的提取，常用的方法有背景減除法、時間差分法、光流法等.基于算法復(fù)雜性和檢測有效性的考慮，采用背景減除的方法進(jìn)行運(yùn)動區(qū)域分割.首先，利用背景減除算法，取合適的閾值得到二值化的運(yùn)動目標(biāo)區(qū)域，通常，二值化后的運(yùn)動區(qū)域可能會出現(xiàn)空洞、噪聲點，如圖1(c).然后，采用圖像形態(tài)學(xué)的方法和單連通分量分析可以得到單連通的運(yùn)動目標(biāo)，如圖1(d).

圖1 預(yù)處理結(jié)果Fig.1 The results of the preprocessing

2 新步態(tài)識別算法

運(yùn)動輪廓隨時間的變化，是決定人運(yùn)動特征的一個重要線索.因此采用了輪廓這一特征來表征人體步態(tài)運(yùn)動特征，為了保留序列中多幀圖像的輪廓信息，需要有一種統(tǒng)計表達(dá)方法來表示.Procrustes形狀分析法［9］是方向統(tǒng)計學(xué)中一種特別流行的方法，它非常適用于編碼2維形狀，并且提供了一種很好的工具來尋找一組形狀的緊致表達(dá)——均值形狀.

Wang［5］定義了PMS的相似度測量，實驗證明，此度量方法不能很好地區(qū)分PMS之間的相似度.為了更好地測量，需要得到有關(guān)PMS的更多信息，包括PMS的整體輪廓信息和一些細(xì)節(jié)信息，這就需要有一種方法，能夠同時表示這2種信息.傅里葉頻譜分析正是這樣一個非常有利的工具，頻譜的低頻部分包含了輪廓的整體信息，而高頻部分則包含了細(xì)節(jié)信息.

根據(jù)以上的理論基礎(chǔ)，因此采用Procrustes均值形狀的傅里葉頻譜分析(Fourier spectrum analysis of Procrustes mean shape，F(xiàn)SAOPMS)，來研究步態(tài)識別.

CASIA數(shù)據(jù)庫B提供了以下11個(0°～180°)運(yùn)動視角的步態(tài)數(shù)據(jù)庫，如圖2.利用此數(shù)據(jù)庫來研究多視角的步態(tài)識別.

圖2 11個視角下的圖像Fig.2 The images of 11 different views

2.1 提取輪廓線并采樣

2.1.1 輪廓的提取——Canny算子

Canny算子［10］是一種比較新的邊緣檢測算子，具有很好的邊緣檢測性能，不容易受噪聲干擾，能夠檢測到真正的弱邊緣，而且使用2種不同的閾值能分別檢測強(qiáng)邊緣和弱邊緣，并且當(dāng)弱邊緣和強(qiáng)邊緣相連時，才將弱邊緣包含在輸出圖像中.Canny邊緣檢測算子的基本算法分為3個步驟:1)對圖像選擇一定的高斯濾波器進(jìn)行平滑濾波.2)采用非極值抑制(non－maxima suppression)技術(shù)對平滑后的圖像進(jìn)行處理.非極值抑制技術(shù)就是:計算平滑后圖像的每個像素處的梯度幅值和方向，梯度方向用來細(xì)化邊緣，如果像素響應(yīng)高于梯度方向上它的兩相鄰點的像素，其值則保留，否則抑制該像素.3)選擇跟蹤具有高幅值的輪廓，最后選擇滿足高閾值和低閾值的像素點做為初始點，按順序跟蹤連續(xù)的輪廓段.從本質(zhì)上講，Canny邊緣檢測算子屬于具有平滑功能的一階微分算子，采樣結(jié)果如圖3(b)所示.

2.1.2 輪廓采樣

為了對提取的輪廓線進(jìn)行Procrustes統(tǒng)計形狀分析，需要將二維的輪廓圖像表示成一個一維的向量，鑒于輪廓的像素點數(shù)都不一致，所以本文采用輪廓采樣法，提取邊緣上的256個點.本文開始采用等角度采樣的方法，結(jié)果如圖3(c)，但是效果不理想，因此采用分區(qū)域定點采樣的方法［8］.分區(qū)域定點采樣方法的基本思想，就是先計算出輪廓的質(zhì)心，以此質(zhì)心作為直角坐標(biāo)系的原點，邊緣上的像素點也就有了相應(yīng)的直角坐標(biāo);然后，將邊緣上的像素點進(jìn)行坐標(biāo)變換，變成在極坐標(biāo)下的形式;最后，對輪廓進(jìn)行分區(qū)域等間隔采樣.其中，將人體分成頭肩區(qū)(72°～108°)、腿腳區(qū)(252°～288°)和軀干區(qū)(其余的部分)3個區(qū)域，如圖3(a)所示.

理論上質(zhì)心計算方法如式(1):

式中:N是邊緣像素點的個數(shù);(xm，ym)是邊緣點的坐標(biāo).由于這種計算質(zhì)心的方法有時候不能準(zhǔn)確地表現(xiàn)質(zhì)心，所以，本文提出一種新的計算質(zhì)心的方法，取輪廓的外接矩形的中心作為輪廓的質(zhì)心，如式(2):

式中:l、r、t、b是輪廓的外接矩形的左、右、上、下邊在直角坐標(biāo)系中的位置.

采樣間隔如式(3)～(5)所示，頭肩區(qū)采樣間隔為

腿腳區(qū)采樣間隔為

軀干區(qū)采樣間隔為

本文根據(jù)經(jīng)驗知識取N1=N2=80，N3=48，采樣結(jié)果如圖3(d).

圖3 采樣圖像Fig.3 The images of sampling results

2.2 Procrustes均值形狀

一幀目標(biāo)圖像在提取輪廓和進(jìn)行采樣后，就得到了這個輪廓的一維向量表示.由于在采樣的過程中，是從x軸逆時針開始的，于是每幀圖像的一維向量的每個元素都是基本對應(yīng)的，這樣就做到了采樣點匹配.將向量的元素進(jìn)行逆變換——極坐標(biāo)到直角坐標(biāo)的轉(zhuǎn)換，再將每個形狀表示成一個復(fù)數(shù)向量，稱為配置向量:

式中:ui=xi+jyi，(xi，yi)是采樣后的輪廓坐標(biāo)，如圖3(d).當(dāng)給定的一個步態(tài)序列含有n幀圖像時，就可以得到n個這樣的復(fù)數(shù)向量.

得到這n個配置向量之后，就可以利用Procrustes形狀分析來得到序列的均值形狀為了計算ˉU，首先計算配置矩陣:

綜上所述，計算 PMS［5］的步驟如下.

1)得到運(yùn)動目標(biāo)的輪廓之后，進(jìn)行分區(qū)域定點采樣［8］，本文采256個點，用這些采樣點將每個輪廓表示成一個復(fù)數(shù)向量Ui(i=1，2，…，n)，n是一個步態(tài)序列中的有效幀數(shù).

2)計算配置矩陣S.

3)計算配置矩陣S的最大特征值對應(yīng)的特征向量，即為均值形狀

圖4 所示 5 個視角 (0°、54°、90°、144°、180°)下的PMS，從圖4可以看出，在相同視角下，同一個運(yùn)動目標(biāo)的3個樣本(3種不同線型所示)對應(yīng)的PMS是非常相近的，不同運(yùn)動目標(biāo)的PMS則有很大的區(qū)別，因此，實驗結(jié)果證明，可以用PMS來描述人體步態(tài)特征.

圖4 序列的PMS圖，以及PMS的幅度頻譜圖Fig.4 The PMS of different sequences，and their spectrum

2.3 特征提取——PMS的傅里葉頻譜分析(FSAOPMS)

在 Wang的算法［5］中，配置向量 U1、U2之間的Procrustes距離定義為

式中:0≤d(U1，U2)≤1，以此來作為2個序列PMS之間的差別，此值越小表明這2個序列中的目標(biāo)越相似，反之則越不相似.

由于這種計算相似性的方法不是那么準(zhǔn)確，所以，本文提出了利用傅里葉頻譜分析來計算配置向量之間的相似性.

離散傅里葉變換為［11］

逆變換為［12］

離散傅里葉變換是可逆線性變換，其相位代表旋轉(zhuǎn)等信息，幅度分量代表形狀信息，且高頻分量對應(yīng)一些細(xì)節(jié)，低頻分量對應(yīng)整體形狀信息.所以可以通過分析PMS的頻譜分量，來確定2個PMS的相似程度，相似程度以幅度譜的歐式距離來表征.

從圖4可以看到，同一個目標(biāo)的不同樣本的PMS頻譜中，低頻和高頻幾乎完全一致;但是不同目標(biāo)樣本的PMS頻譜中，低頻和高頻則有很大的區(qū)別.因此，本文提出的以PMS作為一種初級特征，再將對PMS進(jìn)行傅里葉頻譜分析的結(jié)果作為序列的最終特征，是一種非?？尚械霓k法.

3 步態(tài)識別實驗

3.1 步態(tài)識別試驗設(shè)計

中國科學(xué)院自動化所的CASIA步態(tài)數(shù)據(jù)庫中，有3個數(shù)據(jù)集:Dataset A(小規(guī)模庫 NLPR)、Dataset B(多視角庫)和Dataset C(紅外庫).其中Dataset B是一個大規(guī)模的，有多個視角的步態(tài)數(shù)據(jù)庫，共有124 個人，每個人有 11 個視角(0°，18°，36°，…，180°)，分別在3種運(yùn)動條件下(普通條件、穿大衣、攜帶包裹條件)采集，相同視角下，每個人在普通條件下有6個圖像序列，其他條件下各2個序列，每個視頻序列包含2～3個步態(tài)周期，這些彩色視頻序列的幀率是25幀/s，圖像尺寸為320×240像素，長度也都在100幀左右.

本文選用Dataset B(多視角庫)作為原始實驗數(shù)據(jù)，從中選取20個人，每個人有11個視角，在每個視角下選取普通運(yùn)動條件下的6個圖像序列.11個視角分別單獨進(jìn)行實驗，在每個視角下，將20個人在普通運(yùn)動條件下的6個圖像序列分成6組，每組中包含20個圖像序列.每次實驗都讓其中5組作為訓(xùn)練數(shù)據(jù)，另1組作為待識別的數(shù)據(jù)，每個視角下共進(jìn)行6次實驗，取6次實驗的平均值，作為當(dāng)前視角下的識別率，共要進(jìn)行11×6=66次實驗.

識別的整個過程主要分為3個步驟:預(yù)處理、特征提取、識別，如圖5所示.

圖5 步態(tài)識別算法流程Fig.5 Gait recognition algorithm flow chart

為了證明提出算法的有效性，又與另外3種方法進(jìn)行了對比，分別是 PMS［5］、PMS+TAF［7］、關(guān)鍵幀 FFT［8］，所以實驗次數(shù)為 4 ×66=264.值得說明的是，要得到關(guān)鍵幀，必須先要得到步態(tài)周期，為了讓周期檢測方法適合所有的視角，在進(jìn)行實驗時，采用的是圖像的寬高比［12］，然后進(jìn)行了自相關(guān)運(yùn)算，這與文獻(xiàn)［8］的方法不一樣.本文采用了最近鄰法(NN)這個分類器進(jìn)行最后的識別，以識別的正確率來表征算法的優(yōu)略性.

3.2 步態(tài)識別實驗結(jié)果及分析

3.2.1 實驗結(jié)果

實驗結(jié)果如表1和圖6所示.從中可以看到，本文提出的方法有很高的識別率，在11個視角下的平均識別率是91.97%，大于90%，而且其在所有視角下有比較穩(wěn)定的識別率，對正面、側(cè)面、背面的識別率都很高.PMS的平均正確識別率是76.59%，在11個視角下的識別率不穩(wěn)定，最高的識別率是85.83%，最低的只有69.17%，其在側(cè)面的識別率比正面和背面的識別率要高，不適合多視角步態(tài)識別.PMS+TAF的平均正確識別率是85.38%，在11個視角下的識別率也不穩(wěn)定，最高的識別率是95%，最低的只有74.17%.關(guān)鍵幀的傅里葉分析的平均正確識別率最低，只有69.92%，在11個視角下的識別率也是不穩(wěn)定的，最高的識別率是83.30%，最低的只有50.83%，其在側(cè)面的識別率要比正面和背面的識別率要高，但對正面和背面的識別率很低，同樣不適合多視角步態(tài)識別.

圖6 在11個視角下4種算法的正確識別率Fig.6 The correct recognition rate of four different methods at 11 angles

表1 在11個視角下4種算法的正確識別率Table 1 The correct recognition of four different algorithms on 11angles

3.2.2 實驗分析

從表1和圖6中可以看到，本文提出的方法有很高的識別率，相比于其他3種算法有更好的優(yōu)勢.其原因在于:1)PMS是統(tǒng)計特性，是一段視頻中運(yùn)動人體的緊致平均表示，PMS的傅里葉頻譜中，低頻部分表示了整個輪廓的信息，高頻部分主要表現(xiàn)了一些運(yùn)動的細(xì)節(jié)信息，這樣一來特征包括得比較完整，識別率就相應(yīng)地提高了;2)PMS進(jìn)行步態(tài)識別只考慮到了整體的信息，忽略了局部的信息;而PMS+TAF只考慮了形狀的局部輪廓信息，沒有考慮整體信息;關(guān)鍵幀進(jìn)行傅里葉變換只考慮了關(guān)鍵幀的信息，對一個周期中的其他幀沒有考慮.因此，這3種方法的識別率都沒有新提出方法的識別率高.

4 結(jié)束語

本文提出了一種利用FSAOPMS來表征人的步態(tài)特征信息的算法.其創(chuàng)新點就是將Procrustes統(tǒng)計分析方法和傅里葉頻譜分析方法有效地結(jié)合在一起.Procrustes統(tǒng)計分析方法是基于統(tǒng)計學(xué)的方法，此法可以得到一段視頻中的多幀圖像的有效信息，信息遺漏相對來說更少，利用Procrustes統(tǒng)計分析方法得到PMS.PMS的相似性在時域度量比較困難，但是傅里葉頻譜分析非常善于分析在時域中不明顯的一些特征;所以，可以利用傅里葉頻譜分析PMS，所得幅度譜中的低頻部分包含了PMS的整體輪廓信息，高頻部分包含了PMS的細(xì)節(jié)信息，以其幅度譜之間的歐式距離作為PMS的相似度測量進(jìn)行識別.在CASIA Database B上進(jìn)行了實驗，與其他3種方法進(jìn)行了對比，證明了提出的方法在多視角步態(tài)識別中的優(yōu)越性.

針對未來步態(tài)識別的研究，重點是發(fā)掘更本質(zhì)的特征，同時采用多特征融合技術(shù)，從而使提取的步態(tài)特征能夠更完整地表達(dá)運(yùn)動本質(zhì).

［1］CUNADO D，NIXON M S，CARTER J N.Using gait as a biometric，via phase－weighted magnitude spectra［C］//Proceedings of the International Conference on Audio and Video－based Biometric Person Authentication.Crans－Montana，Switzerland，1997:95－102.

［2］LEE L.Gait analysis for recognition and classification［C］//Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition.Washington，DC，USA，2002:148－155.

［3］YOO J H，NIXON M，HARRIS C J.Extracting human gait signatures by body segment properties［C］//IEEE Southwest Symposium on Image Analysis and Interpretation.Sante Fe，USA，2002:35－39.

［4］YANG X，ZHOU Y，ZHANG T，et al.Gabor phase based gait recognition［J］.Electronics Letters，2008:44(10):620－621.

［5］WANG Liang，TAN Tieniu，HU Weiming，et al.Automatic gait recognition based on statistical shape analysis［J］.IEEE Transactions on Image Processing，2003，12(9):1120－1131.

［6］韓鴻哲，李彬，王志良，等.基于傅立葉描述子的步態(tài)識別［J］.計算機(jī)工程，2005，31(2):48－49，162.

HAN Hongzhe，LI Bin，WANG Zhiliang，et al.Gait recognition based on Fourier descriptors［J］.Computer Engineering，2005，31(2):48－49，162.

［7］張元元，吳曉娟，阮秋琦.基于切向角特征的統(tǒng)計步態(tài)識別［J］.模式識別與人工智能，2010，23(4):539－545.

ZHANG Yuanyuan，WU Xiaojuan，RUAN Qiuqi.Statistical gait recognition based on tangent angle features［J］.Pattern Recognition and Artificial Intelligence，2010，23(4):539－545.

［8］高海燕.正面步態(tài)特征提取方法研究［D］.北京:北京交通大學(xué)，2009:57－63.

GAO Haiyan.Researches on front－view gait feature extraction［D］.Beijing:Beijing Jiaotong University，2009:57－63.

［9］趙永偉，張二虎.多特征和多視角信息融合的步態(tài)識別［J］.中國圖象圖形學(xué)報，2009，14(3):388－393.

ZHAO Yongwei，ZHANG Erhu.Gait recognition via multiple features and views information fusion［J］.Journal of Image and Graphics，2009，14(3):388－393.

［10］阮秋琦.數(shù)字圖像處理［M］.北京:電子工業(yè)出版社，2007:204－209.

RUAN Qiuqi.Digital image processing［M］.Beijing:E－lectronic Industry Press，2007:204－209.

［11］程佩青.數(shù)字信號處理［M］.北京:清華大學(xué)出版社，2009:98－193.

CHENG Peiqing.Digital signal processing［M］.Beijing:Tsinghua University Press，2009:98－193.

［12］KUSAKUNNIRAN W，WU Qiang，ZHANG Jian，et al.Multi－view gait recognition based on motion regression using multilayer perceptron［C］//Proceedings of the IEEE International Conference on Pattern Recognition.Washington，DC，USA:IEEE Computer Society，2010:2186－2189.

楊靜，女，1987年生，碩士研究生，主要研究方向為圖像處理與模式識別.

阮秋琦，男，1944年生，教授，博士生導(dǎo)師，北京交通大學(xué)信息科學(xué)研究所所長，國務(wù)院學(xué)位委員會學(xué)科評議組成員，IEEE高級會員.主要研究方向為圖像處理、計算機(jī)視覺、模式識別、虛擬現(xiàn)實.曾承擔(dān)國家自然科學(xué)基金重大項目，國家自然科學(xué)基金項目，國家“863”項目，鐵道部、省、市級科研項目50余項.曾獲國家教委科技進(jìn)步二等獎、鐵道部科技進(jìn)步二等獎和三等獎等.發(fā)表學(xué)術(shù)論文350余篇，出版著作3部，獲國家專利1項.

李小利，女，1986年生，博士研究生，主要研究方向為圖像處理與模式識別.

A Procrustes statistical gait recognition algorithm based on spectrum analysis

YANG Jing1，2，RUAN Qiuqi1，LI Xiaoli1，2

(1.Institute of Information Science，Beijing Jiaotong University，Beijing 100044，China;2.Beijing Key Laboratory of Advanced Information Science and Network Technology，Beijing Jiaotong University，Beijing 100044，China)

As a special means of identification，gait recognition has acquired a lot of attention in a modern society in which information security has become increasingly important.A multi－view gait recognition algorithm based on the Fourier spectrum analysis of Procrustes mean shape(FSAOPMS)was proposed in this paper.Procrustes shape analysis was used to produce a compact Procrustes mean shape(PMS)from the continuous gesture variation of human body contours in gait sequences.The spectrum of the PMS was analyzed using the Fourier transformation，and the Euclidean distance of the amplitude spectrum of the PMS from various sequences was computed.The classifier was the nearest neighbor(NN).The results of comparison with the other three methods in the CASIA database show that the proposed algorithm is more effective in terms of the recognition accuracy.

gait recognition;Procrustes statistical shape analysis;Procrustes mean shape(PMS);Fourier spectrum analysis(FSA);multi－view recognition

TP391.4

A

1673－4785(2011)05－0432－08

10.3969/j.issn.1673－4785.2011.05.007

2011－02－28.

國家自然科學(xué)基金資助項目(60973060).

楊靜.E－mail:jingyangsxh@gmail.com.