王科俊，賁晛燁，2，劉麗麗，3

(1.哈爾濱工程大學自動化學院，黑龍江哈爾濱150001;2.哈爾濱工業(yè)大學交通科學與工程學院，黑龍江哈爾濱150090;3.中國科學院沈陽計算技術(shù)研究所有限公司，遼寧沈陽110171)

步態(tài)識別是根據(jù)人們走路姿勢的不同來識別其身份的.由于個體的身形和運動行為的特征不同，為通過人的行走方式來識別身份提供了線索.步態(tài)識別相對于其他生物特征識別具有非侵犯性、非接觸性、對系統(tǒng)分辨率要求不高、可適應遠距離、難以偽裝、受環(huán)境影響小等優(yōu)點.步態(tài)識別在安全監(jiān)控、人機交互、醫(yī)療診斷等領(lǐng)域具有廣泛的應用前景和經(jīng)濟價值［1］.因此，步態(tài)是遠距離身份識別的最佳首選之一.

自從“911”事件以后，世界各國加強對身份認證的重視，很多高校和研究機構(gòu)也展開了遠距離下的人的檢測、分類與識別，例如馬里蘭大學、麻省理工學院、卡內(nèi)基梅隆大學等.國內(nèi)最早是中科院自動化所的王亮等［2］提出了一種人體輪廓解卷提取距離信號的步態(tài)識別算法.其后，西安電子科技大學、西安交大、復旦大學、上海交大、南京理工大學、華中科技大學和哈爾濱工程大學等諸多高校都開展了步態(tài)識別的研究工作.目前步態(tài)識別方法可以分成3類:二維步態(tài)識別、三維步態(tài)識別以及兩者相結(jié)合的方法.二維步態(tài)識別就是在單攝像機拍攝的視頻中通過輪廓提取最低層的信息進行分析識別;而三維步態(tài)識別方法［3］則通過多個攝像機對人體三維模型跟蹤，三維重建人體結(jié)構(gòu)，分析關(guān)節(jié)運動位移來識別身份.另外很多研究者著手用Radon變換提取步態(tài)特征.黃鳳崗等人［4］對下肢進行Radon變換，提取運動角度信息，對所得到的特征使用經(jīng)典主成分分析(principal component analysis，PCA)后進行動態(tài)時間規(guī)整，該方法計算復雜，處理速度慢，不適合實時的步態(tài)識別，而且該算法僅僅是在較小的數(shù)據(jù)庫上做的嘗試.Boulgouris等人［5］也嘗試了Radon變換結(jié)合線性判別分析(linear discriminant analysis，LDA)提取步態(tài)特征.筆者前期也做過Radon變換結(jié)合經(jīng)典 PCA提取步態(tài)特征的方法［6］，但是由于LDA、PCA總是首先要把二維圖像矩陣轉(zhuǎn)換成一維向量，造成相關(guān)矩陣的維數(shù)較高，特征值、特征向量的獲取很耗時，而且在文獻［6］也沒有對模板構(gòu)造的實質(zhì)進行分析.本文在文獻［6］基礎(chǔ)上改用2DPCA［7］的方法直接對矩陣降維.首先對一個步態(tài)周期內(nèi)的每一幅圖像進行Radon變換，再通過模板構(gòu)造提取步態(tài)特征矩陣，并對模板構(gòu)造的實質(zhì)進行闡述，最后通過實驗確定較好的Radon變換參數(shù)和模板構(gòu)造的頻率參數(shù)，得到了Radon變換方法結(jié)合列2DPCA提取步態(tài)特征是比較有效的結(jié)論.

1 步態(tài)序列圖像預處理

為了提取人體目標，首先從原始視頻中提取單幀圖像進行灰度變換(如圖1(a));然后逐幀計算各像素點的中值，作為整個序列的背景圖像(如圖1(b));最后，采用背景減除法提取人體目標(如圖1(c))，用數(shù)學形態(tài)學填補二值化圖像的空洞、單連通分析提取人的側(cè)影(如圖1(d)).為了消除圖像大小對識別的影響應使人體居中，將圖像的大小統(tǒng)一為64 ×64(如圖 1(e))［8］.

圖1 圖像預處理Fig.1 Image preprocessing

2 步態(tài)特征提取

運動人體輪廓的寬高比成周期性變化，因此在提取步態(tài)特征只需在一個周期中進行.為了同時刻畫人身體形狀的靜態(tài)特征和運動的動態(tài)特征，采用Radon變換的方法來提取步態(tài)特征，2DPCA算法直接對所得到的特征矩陣進行降維處理.

2.1 步態(tài)圖像的Radon變換

設函數(shù)f(x，y)∈L2(D)在平面D區(qū)域平方可積，則 f(x，y)的 Radon 變換 Rf(ρ，θ)可表示如下:

式中:ρ是點(x，y)的極徑，θ是點(x，y)的極角，有序?qū)崝?shù)對(ρ，θ)是點(x，y)的極坐標.

Radon變換的作用就是計算指定方向上圖像的投影，對于二元函數(shù)f(x，y)則計算該函數(shù)在某一方向的線積分.如圖2為步態(tài)圖像的Radon變換結(jié)果.Radon變換后圖像的第1列像素，對應于原始圖像在垂直方向的投影;變換后圖像的正中間的一列像素，對應于原始圖像在水平方向的投影.很明顯，水平方向的投影比垂直方向的投影范圍大，這是因為人體固有的身形所致.采用Radon變換的方法提取步態(tài)特征的優(yōu)點在于對前期處理中輪廓邊緣的噪聲點有較強的魯棒性［6］.

圖2 步態(tài)圖像的Radon變換Fig.2 Radon transform of gait image

2.2 步態(tài)周期特征模板

周期序列圖像的特征模板可定義為［9］

式中:Rf(ρ，θ，t)是Radon變換在時間上的線性插值，Q(ω，t)為加權(quán)函數(shù)，t為時間.在模板構(gòu)造過程中，為了同時刻畫人體運動中的身體結(jié)構(gòu)特征和動態(tài)運動特征，必須選擇加權(quán)函數(shù)Q(ω，t)中合適的頻率值ω，將周期序列特征映射到一個特征矩陣中.時不變因子1+j是人體靜態(tài)結(jié)構(gòu)特征的權(quán)值，時變因子cos wt+jsin wt是步態(tài)運動參數(shù)的權(quán)值.

2.3 二維主成分分析(2DPCA)

由于Radon變換得到的步態(tài)特征維數(shù)較高，如果采用經(jīng)典的PCA算法，即使采用奇異值分解的方法來求相關(guān)矩陣的特征值、特征向量，計算的數(shù)據(jù)量也依然很大，而2DPCA［10］直接對矩陣進行計算，計算量相對少很多.

考慮一個大小為m×n的圖像X，Y就是相對應的X到方向為w的空間上的投影.

實際上，w的絕對值是無關(guān)緊要的，它僅僅是使Y乘上一個比例因子，重要的是選擇w的方向.w方向的不同，將使樣本投影后的可分離程度不同，從而直接影響識別效果.因此，問題轉(zhuǎn)化為尋找最好的變換向量w*的問題，應使所有的樣本投影到w*后，投影樣本的總體散布矩陣最大.投影樣本的總體散布矩陣可以用投影特征向量的協(xié)方差矩陣的跡來描述.從這種觀點來看，可以采用下面的準則:

式中:SY表示訓練樣本的投影后特征矩陣的協(xié)方差，tr SY表示SY的跡.協(xié)方差矩陣SY表示如下:

由矩陣的跡是一個數(shù)的性質(zhì)，有

其中，

Xk(k=1，2，…，M)為第 k幅圖像矩陣，M 為圖像總數(shù)，均值圖像為

因此，式(3)中準則可表示成:

式中:w是一個列向量.最大化該準則的向量w稱為最優(yōu)投影軸.直觀上講，這就意味著投影樣本的總體散布矩陣在圖像矩陣集合均投影到w上后被最大化了.

最優(yōu)投影軸w*是最大化J(w)的列向量，也就是對應于G1的最大特征值的特征向量.一般情況下，只有一個最優(yōu)投影軸是遠遠不夠的，通常需要選擇一組投影軸 w1，w2，…，wd，當然，這組投影軸要滿足相互正交的約束條件，同時也要最大化準則J(w)，也即

實際上，最優(yōu)投影向量 w1，w2，…，wd是 G1的前 d個最大特征值所對應的相互正交的特征向量.

進一步分析得

記

則w是根據(jù)圖像列方向計算得到的投影矩陣.所以稱Y=wTX形式為列2DPCA.

同理，可以得到另外一種行2DPCA形式:

此時，協(xié)方差矩陣定義為

記

則v是根據(jù)圖像行方向上計算得到的投影矩陣.

因此，2DPCA分成行、列2個方向.現(xiàn)在來討論PCA與2DPCA的計算復雜度:考慮N個C類d維(d=m×n)的PCA與2DPCA算法的復雜度.兩者計算均值的計算復雜度一致為O(Nd);PCA的相關(guān)矩陣的計算復雜度為O(Nd2)，2DPCA的行協(xié)方差的計算復雜度為O(Nn2m)，2DPCA的列協(xié)方差的計算復雜度為O(Nm2n);而計算它們的特征值、特征向量與矩陣的維數(shù)息息相關(guān)，PCA計算復雜度遠遠大于2DPCA;在投影時假設不進行特征向量的舍棄:PCA的計算復雜度為O(Nd2)，行2DPCA的計算復雜度為O(Nnd)，列2DPCA的計算復雜度為O(Nmd).綜上所述，PCA整體的計算復雜度遠遠大于2DPCA.

3 步態(tài)的訓練與識別

本文采用中科院自動化所提供的目標運動方向與攝像機光軸的方向成90°的CASIA步態(tài)數(shù)據(jù)庫，圖像庫里總共124人.實驗分為訓練和識別2部分，每人前3個步態(tài)序列作為訓練集，后3個序列作為測試集.在訓練過程中，對一個步態(tài)周期內(nèi)的單幀圖像進行Radon變換，然后通過特征模板構(gòu)造，提取整個步態(tài)周期的特征，再通過2DPCA進行最小均方誤差意義下的最優(yōu)數(shù)據(jù)壓縮，訓練得到2DPCA投影矩陣.在識別過程中，對待測試序列的一個步態(tài)周期內(nèi)的單幀圖像進行Radon變換，然后通過特征模板構(gòu)造提取步態(tài)特征，根據(jù)訓練好的2DPCA投影矩陣將所提取出來的特征從高維空間映射轉(zhuǎn)換到低維空間，最后采用最近鄰分類器將測試樣本分到其所屬類中.其中2DPCA計算特征矩陣Bi、Bj的歐式距離為

為了確定所提出方法的合理參數(shù)，做了3組實驗:通過實驗1研究行或列2DPCA算法對于Radon變換后提取的特征進行降維的有效性，通過實驗2研究構(gòu)造模板ω值的選取對識別性能的影響，通過實驗3研究Radon變換中θ的選取對識別性能的影響.

3.1 行2DPCA與列2DPCA算法

根據(jù)文獻［5］取 ω =π/2T.式(1)中，Radon變換中角度參數(shù)θ從0°～180°(180°除外)每隔3°取一次，此時經(jīng)Radon變換提取的步態(tài)特征維數(shù)為60×95維.行2DPCA、列2DPCA方法的識別率與所降得的維數(shù)之間的關(guān)系如圖3所示.由實驗結(jié)果可以看出本文方法在這樣的參數(shù)下，列2DPCA比行2DPCA有效，列2DPCA在列的維數(shù)降至為21時最好的識別率為0.795 7.

圖3 行、列所降的維數(shù)與識別率的關(guān)系Fig.3 Relation between dimension reduced of rows ＆ columns and recognition accuracy

3.2 ω值的選取

Radon 變換中θ從0°～180°(180°除外)每隔3°取一次，定義壓縮率為投影后得到的特征維數(shù)與原始特征的維數(shù)之比.在ω值分別為π/16T，2π/16T，…，16π/16T時，分別采用行2DPCA和列2DPCA方法進行實驗.實驗結(jié)果如表1所示.

表1 ω值的選取對識別性能的影響Table 1 Different ω-value and recognition accuracy

當ω=5π/16T時有最好的識別率為0.836 0.其次是 ω 值為5π/16T、6π/16T、7π/16T和8π/16T.該值的選取與人行走的速度有關(guān)，人在正常步速時選取上述的5個ω時應該能獲得較好的識別效果.實際上，式(2)相當于傅里葉變換中的基函數(shù)，而且式(1)是“擬傅里葉變換”，只不過Q(ω，t)的模值不恒為1.

Q(ω，t)的幅頻特性如圖4所示，其中圖4(b)為圖4(a)的局部放大圖.令θ=ωt，圖4(b)為ω=5π/16T時的Q(ω，t)的幅頻特性，那么當 ω 值越大，類似頻譜的頻帶越窄;反之，當ω值越小，類似頻譜的頻帶越寬.頻帶適中時，識別效果較好.如表1所示，比較行、列2種2DPCA算法的識別率，總體來說，進行該 Radon變換特征的數(shù)據(jù)壓縮時，列2DPCA好于行2DPCA方法.因此下面的實驗直接采用列2DPCA.

圖4 模值與輻角主值特性圖Fig.4 Characteristic graph of module value and argument principal value

3.3 θ的選取

在 CPU 3.06 GHz、內(nèi)存 1 GB，VC++6.0 與Matlab 7.0混合環(huán)境下實驗.現(xiàn)在選擇Radon變換中參數(shù) θ，θ∈［0°，180°)，為了能夠獲得最好的識別效果，考慮到180的質(zhì)因數(shù)為2、3和5，因此θ所隔的角度為 4°、6°、9°、10°、12°、15°…，所提取到的特征只可能是 θ每隔 2°、3°、5°所提取到的特征的一部分.為了盡可能多地提取Radon變換的特征，在θ的間隔分別為2°、3°和5°上實驗，實驗結(jié)果如表2所示.由于步態(tài)數(shù)據(jù)庫有124×6個樣本，當θ從0°～180°(180°除外)每隔 3°取一次，共取 60 個 θ，總的Radon變換的特征提取時間為9 min，平均到每個樣本的時間大約為0.73 s;若θ每隔2°取一次，共取90個θ，總的時間為16 min，平均到每個樣本的時間大約為1.37 s;若 θ每隔5°取一次，共取36個 θ，總的時間為7 min，平均到每個樣本的時間大約為0.56 s.當樣本足夠多時，這種特征提取所耗費的時間差異就相當可觀.

表2 Radon變換中θ的選取對識別性能的影響Table 2 Different θ-value in Radon transform and recognition accuracy

由表2可以看出:最佳的識別率為0.836 0，出現(xiàn)在ω=5π/16T且θ的間隔為3°和5°.Radon變換時，θ的間隔為2°的特征維數(shù)多于θ間隔為3°和5°的，其識別率不及后兩者，原因是θ間隔為3°和5°包含對識別有用的信息多.綜合特征提取的時間以及識別性能:確定選取θ間隔為5°，特征模板的頻率為ω=5π/16T.

最后，在Radon變換參數(shù)θ間隔為5°、特征構(gòu)造模板中ω=5π/16T的參數(shù)下，對所提出的算法與文獻［11］提出的基于關(guān)鍵幀的傅里葉描述子(KFD)方法進行比較，在同樣的數(shù)據(jù)環(huán)境下實驗，文獻［11］的識別率僅僅為0.75，并且該方法的計算復雜度與所提出的算法的計算復雜度相當，都是比較容易實現(xiàn)的方法，計算量都比較小.

4 結(jié)束語

本文通過對步態(tài)序列圖像進行Radon變換，構(gòu)造一個步態(tài)周期的特征模板，它同時刻畫了人體的靜態(tài)結(jié)構(gòu)信息和步態(tài)運動特征，將個體的步態(tài)特征用一幅圖像來表達，直接對這個圖像矩陣進行特征壓縮，克服了傳統(tǒng)PCA的不足，該方法簡單易行，而且獲得了令人鼓舞的識別效果.盡管如此，該方法是基于圖形投影得到的特征，故受視角變化、行人衣著以及背包的影響較大.因此尋找減小外套變化以及視角變化對識別性能的影響的方法是下一步的工作重點.

致 謝

中科院自動化所為試驗提供了免費的CASIA步態(tài)數(shù)據(jù)庫，在此對中科院自動化所表示衷心的感謝.

［1］王科俊，侯本博.步態(tài)識別綜述［J］.中國圖象圖形學報，2007，12(7):1152-1160.WANG Kejun，HOU Benbo.A survey of gait recognition［J］.Journal of Image and Graphics，2007，12(7):1152-1160.

［2］WANG Liang，TAN Tieniu.Automatic gait recognition based on statistial shape analysis［J］.IEEE Transcations on Image Processing，2003，12(9):1120-1131.

［3］URTASUN R，F(xiàn)UA P.3D tracking for gait characterization and recognition［C］//Proceedings of the 6th International Conference on Automatic Face and Gesture Recognition.Seoul，Korea，2004:17-22.

［4］黃鳳崗，韓雪花.基于Radon變換的特征提取在步態(tài)識別中的應用［J］.哈爾濱工程大學學報，2007，28(3):301-304.HUANG Fenggang，HAN Xuehua.Feature extraction based on Radon transform for gait recognition［J］.Journal of Harbin Engineering University，2007，28(3):301-304.

［5］BOULGOURIS N V，CHI Z X.Gait recognition using Radon transform and linear discriminant analysis［J］.IEEE Transation on Image Processing，2007，16(3):731-740.

［6］王科俊，陳薇.基于Radon變換的步態(tài)識別系統(tǒng)［C］//全國模式識別學術(shù)會議.北京，2007:223-228.WANG Kejun，CHEN Wei.Feature extraction based on Radon transform for gait recognition［C］//Chinese Conference on Pattern Recognition.Beijing，2007:223-228.

［7］YANG Jian，ZHANG DAVIED，F(xiàn)RANGI A F，et al.Twodimensional PCA:a new approach to appearance-based face representation and recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(1):131-137.

［8］王科俊，賁晛燁，趙玥.步態(tài)識別中的步態(tài)檢測與序列預處理［J］.自動化技術(shù)與應用，2009，28(8):69-72，79.WANG Kejun，BEN Xianye，Zhao Yue.Gait detection and sequence preprocessing for gait recognition［J］.Techniques of Automation and Applications，2009，28(8):69-72，79.

［9］王科俊，賁晛燁，劉麗麗.基于Fan-Beam映射的步態(tài)識別算法［J］.哈爾濱工業(yè)大學學報，2008，40(增刊):151-155.WANG Kejun，BEN Xianye，LIU Lili.Gait recognition based on fan-beam projection［J］.Journal of Harbin Institute of Technology，2008，40(Suppl.):151-155.

［10］王科俊，賁晛燁，孟瑋，等.基于廣義主成分分析的步態(tài)識別算法研究［J］.哈爾濱工程大學學報，2009，30(9):1022-1028.WANG Kejun，BEN Xianye，MENG Wei，et al.Research on a gait recognition algorithm based on generalized principal component analysis［J］.Journal of Harbin Engineering University，2009，30(9):1022-1028.

［11］YU Shiqi，WANG Liang，HUANG Kaiqi，et al.Gait analysis for human identification in frequency domain［C］//Proceedings of 3rd International Conference on Image and Graphics.Hong Kong，China，2004:282-285.