王科俊 丁欣楠 邢向磊 劉美辰

步態(tài)識別是指通過人走路的姿態(tài)或足跡對身份進行認證或識別,被認為是遠距離身份識別中最具潛力的方法之一[1].優(yōu)勢主要包括無需接觸、非侵犯、識別過程不需要配合、難于隱藏和偽裝等.因此步態(tài)識別在安全監(jiān)控、人機交互、醫(yī)療診斷和門禁系統(tǒng)等領(lǐng)域具有廣泛的應用前景和經(jīng)濟價值.

步態(tài)識別在實際應用中面臨許多難點,主要表現(xiàn)在行人在行走過程中會受到外在環(huán)境和自身因素的影響[2?3](例如不同行走路面、不同時間、不同視角、不同服飾、不同攜帶物等因素),導致提取到的步態(tài)特征呈現(xiàn)很強的類內(nèi)變化.其中視角因素是影響系統(tǒng)識別性能最主要的因素之一.當行人行走方向發(fā)生變化,或由一個攝像監(jiān)控區(qū)域轉(zhuǎn)入另一個具有不同設置的攝像監(jiān)控區(qū)域時都會發(fā)生視角變化.圖1為同一個人在不同視角下的步態(tài)圖像,可以觀察到不同視角下的步態(tài)圖像均具有較大差異.研究[4?6]普遍認為側(cè)面視角的步態(tài)輪廓包含了更有價值的信息,特征提取絕大多數(shù)也都是基于側(cè)面輪廓的,而傳統(tǒng)的單視角步態(tài)識別技術(shù)在視角變化時,識別性能也隨之明顯下降[7?8].

圖1 不同視角下的步態(tài)圖像(CASIA-B)Fig.1 Gait images from different views(CASIA-B)

自1994年Niyogi等[9]最早利用步態(tài)信息作為特征進行身份認證后,步態(tài)識別得到發(fā)展快速,并涌現(xiàn)出大量的步態(tài)識別算法,其中不乏相關(guān)的綜述文章[10?12],但多是基于對步態(tài)識別的整體概述(相同視角下的步態(tài)周期檢測與識別),無針對解決視角這一主要難點對現(xiàn)有研究成果進行歸納總結(jié).為了彌補這個不足,有必要對現(xiàn)階段多視角步態(tài)識別研究情況進行總結(jié)分析,以期對本領(lǐng)域研究人員有所裨益.

數(shù)據(jù)庫對于學習角度因素對步態(tài)識別的影響、評估和性能比較是至關(guān)重要的.本文首先總結(jié)可用于多視角識別的步態(tài)數(shù)據(jù)庫.然后對現(xiàn)有文獻的研究方法進行綜述.根據(jù)特征提取的方式不同,將當前已提出的多視角步態(tài)識別方法分為四類,分別是3D模型法、視角不變性特征法、映射投影法和深度神經(jīng)網(wǎng)絡法.最后指出當前研究的局限性和發(fā)展方向.

1 現(xiàn)有多視角步態(tài)數(shù)據(jù)庫

表1 多視角步態(tài)庫Table 1 Databases for multiview gait

進行身份識別算法研究、系統(tǒng)開發(fā)和評估必須要有共同的數(shù)據(jù).因此,大型步態(tài)數(shù)據(jù)庫是必不可少的.為此,步態(tài)數(shù)據(jù)庫應該包含一個大的類別數(shù)以及各種協(xié)變量條件.要消除角度因素對步態(tài)識別的影響,需數(shù)據(jù)庫提供針對各種復雜角度設定的步態(tài)序列.為了便于研究,目前國際上已經(jīng)建立了多個用步態(tài)識別研究的數(shù)據(jù)庫,其中具有角度變量,可用于的多視角識別研究的數(shù)據(jù)庫主要有 USF[3]、CASIA-A[13]、CASIA-B[14]、HIDUMD1 和2[15]、CMU MoBo[16]、OU-ISIR Treadmill[17]、OU-ISIR LP[18]和SZU RBG-D[19]等,表1詳細地總結(jié)了上述多角度步態(tài)數(shù)據(jù)集.

此外, 還有 UMST[20]、 KY4Ddata[21]、AVAMVG[22]和TUM-IITKGP[23]等3D步態(tài)數(shù)據(jù)庫,用于3D步態(tài)建模.

而現(xiàn)存的多視角步態(tài)數(shù)據(jù)庫雖已系統(tǒng)地對各個行人不同視角的下的數(shù)據(jù)進行注冊,但仍存在以下不足:

1)高維的步態(tài)特征和小樣本問題:除OU-ISIR LP數(shù)據(jù)庫外,步態(tài)數(shù)據(jù)庫的注冊樣本都不足200人.但通常情況下,步態(tài)識別技術(shù)的特征維數(shù)很高,而數(shù)據(jù)集中的訓練樣本數(shù)目很少,一般的識別算法可能會造成數(shù)據(jù)過擬合.

2)視角問題:需應用步態(tài)識別的視頻監(jiān)控場景的攝像頭通常安裝是有一定俯角的,然而現(xiàn)存數(shù)據(jù)庫大多是人的行走方向與攝像機鏡頭主軸方向垂直,視角變量僅限制在行走平面的360度內(nèi),無立體視角變量的大型步態(tài)庫.

3)遮擋、服飾或攜帶物和夜間識別問題:實際的步態(tài)識別中,很可能存在障礙物和行人之間的相互遮擋,現(xiàn)存的步態(tài)數(shù)據(jù)庫中,無論室內(nèi)室外都是在空曠環(huán)境中且畫面只有一個行人情況下采集的;同時現(xiàn)有的步態(tài)數(shù)據(jù)庫服飾和攜帶物變量較少,通常不超過5種,且所有行人都采用同樣的服飾和攜帶物進行注冊;夜間紅外攝像頭采集的視頻信息通常光線較暗,步態(tài)輪廓與背景較為接近,視角因素與夜間因素相互影響大大增加了識別難度,而目前仍沒有夜間的多視角步態(tài)數(shù)據(jù)庫.

2 研究動態(tài)

步態(tài)分析最早是醫(yī)學[24]、心理學方面的課題[25],如果考慮步態(tài)運動的所有信息,每個人的步態(tài)都是唯一的.隨著計算機運算能力的增強和生物特征識別技術(shù)的興起,步態(tài)分析在計算機視覺領(lǐng)域的發(fā)展逐漸引起了關(guān)注.美國國防部高級研究項目署在2000年資助了遠距離身份識別的重大研究項目[1],研究遠距離步態(tài)和動態(tài)人臉以及其他因素對身份識別的影響,最終開發(fā)遠距離下具有高可靠性、魯棒性的大規(guī)模身份識別系統(tǒng),對步態(tài)識別的研究產(chǎn)生了深遠的影響,在一定程度上促進了步態(tài)識別的發(fā)展.國內(nèi)外許多知名的研究機構(gòu)都開展了步態(tài)識別方面的研究,國外比較著名的有麻省理工學院、馬里蘭大學、南安普頓大學、南佛羅里達大學等.國內(nèi)的研究機構(gòu)主要有中國科學院自動化研究所、山東大學、哈爾濱工程大學、復旦大學、深圳大學等.但目前步態(tài)識別研究均是理論性的,尚沒有成熟的步態(tài)識別系統(tǒng)出現(xiàn).多數(shù)的步態(tài)識別算法是在理想環(huán)境下(背景簡單,無遮擋、攜帶物和服飾變換且畫面中只有一行人)對目標側(cè)影圖像的分析,與實際應用環(huán)境差別較大.因此,雖然現(xiàn)有的方法大多都已取得超過80% 識別率[26],但把步態(tài)用于個人身份識別還沒有達到在實際復雜環(huán)境中應用的要求.

本文將現(xiàn)有的多視角步態(tài)識別研究方法分為基于三維建模和基于二維圖像或視頻序列特征兩大類.其中,三維建模主要采用多臺校準的不同視角的攝相機構(gòu)建3D人體步態(tài)模型;而基于二維圖像或視頻序列特征的方法,構(gòu)造能夠有效整合步態(tài)視頻輪廓與時域信息的步態(tài)特征模板直接影響步態(tài)識別的精度,故本文先介紹各常用類能量圖的構(gòu)造方法,再根據(jù)特征提取方式的不同,又分為提取視角不變性特征法,學習不同視角下映射投影關(guān)系法和深度神經(jīng)網(wǎng)絡法三類.

2.1 基于建立3D步態(tài)模型的方法

由于步態(tài)信息本質(zhì)是三維的,而二維步態(tài)圖像序列只提供單一視角信息,限制了任意視角的步態(tài)識別.通過多攝像機對人體結(jié)構(gòu)或人體運動進行三維建模,能夠更準確地表達人體各個部位的物理空間,充分利用關(guān)節(jié)的角度約束和人體各個部位的運動特性.且在3D空間中,步態(tài)識別的人體檢測、人體跟蹤等預處理工作變得比較簡單,能夠降低遮擋等因素的負面影響.

Shakhnarovich等[27]提出基于圖像的可視外殼(Image-based visual hull,IBVH)以繪制用于步態(tài)識別的視角.IBVH從多個校準攝像機的一系列單視角中計算得出.該方法首先估計規(guī)范視覺相機的位置,然后使用從這些視角獲得的繪制圖像來做視角規(guī)范化.Bodor等[28]應用基于圖像的繪制技術(shù)于3D可視外殼模型,得以在任意所需視角下重構(gòu)步態(tài)特征.該方法可以將不同視角下的多個攝像機所獲取的步態(tài)信息綜合起來,但需要在校準單個攝像機的基礎上進行交叉校準使得它們具有相同的參考幀.Zhang等[29]提出基于3D角線性模型和貝葉斯規(guī)則的視角對立步態(tài)識別方法.該方法在傅立葉表示的樣本中使用主成分分析來構(gòu)建3D線性模型.通過最大后驗概率估計將不同視角下的2D步態(tài)序列投影到一個3D模型中,由此得出一系列系數(shù)用來描述步態(tài)特征.Tang等[30]利用先進的3D成像設備進行3D重建和目標跟蹤,但很難只用距離數(shù)據(jù)精確地分割出人體輪廓.為了解決這個問題,Tang等[31]提出建立3D人體模型,通過二維輪廓和姿態(tài)建立拉普拉斯形變能量函數(shù)將模型產(chǎn)生相應角度和姿勢變形,再將局部投影至二維空間構(gòu)建部分步態(tài)能量圖再識別的方法.Zhao等[32]從多個攝像機捕獲的視頻序列中重構(gòu)3D步態(tài)模型.該方法使用從3D模型中提取的下肢的運動軌跡作為動態(tài)特征,同時利用線性時間規(guī)整化進行匹配和識別.López-Fernández[22]等同樣利用多攝像機構(gòu)成的多視點視頻序列重構(gòu)三維步態(tài)序列,提出了一種基于3D角度分析的旋轉(zhuǎn)不變的特征,運用子空間分量與判別分析和支持向量機(Support vector machine,SVM)進行分類識別.Deng等[33?34]提出了一種基于多視點融合和確定性學習的方法,利用不同視角合成輪廓圖像.Iwashita等[35]利用4D步態(tài)數(shù)據(jù)庫合成虛擬圖像估計行走方向,提取仿射不變矩為特征進行識別.

一般3D分析至少需要兩臺攝像機,通常因為存在遮擋,為了進行充分的3D步態(tài)分析,至少需要來自4臺攝像機的步態(tài)信息.然而,由于復雜的攝像機平衡視角和建模計算,這一系列的方法一般只適用于完全可控的多攝像機協(xié)作環(huán)境,且難以在實際的實時應用中使用.

2.2 基于二維圖像或視頻序列特征的方法

2.2.1 步態(tài)特征表征模板(類能量圖)

與基于三維建模的方法不同,基于二維圖像的步態(tài)識別通常需構(gòu)造步態(tài)表征模板集中整合步態(tài)的靜態(tài)、動態(tài)和時序信息,一般是對視頻圖像序列按照一定規(guī)則的疊加,即構(gòu)造步態(tài)類能量圖.學習不同視角下映射投影關(guān)系方法的研究絕大多數(shù)都是在類能量圖基礎上進行二次特征提取完成的;也可從能量圖中直接提取視角不變特征或?qū)⑵渌腿肷疃壬窠?jīng)網(wǎng)絡.因此類能量圖的構(gòu)造與選擇直接影響了步態(tài)識別精度.

類能量圖法將一個人周期性的、連續(xù)的時空運動序列生成一幅或幾幅圖像,對步態(tài)圖像質(zhì)量要求不高,且無需考慮人體模型結(jié)構(gòu)和計算人體各部分的精確參數(shù),能夠節(jié)省存儲空間和計算代價,對圖像噪聲有較好的魯棒性.同時基于序列的步態(tài)表征方法更有效地利用了步態(tài)序列的時空連續(xù)性,包含更多運動特征.Lv等[12]根據(jù)類能量圖的生成方式將其分成步態(tài)信息累計類、步態(tài)信息引入類、步態(tài)信息融合類能量圖三類,并全面地對已提出的各種類能量圖的特性進行了理論分析和對比實驗研究.其中較為常用的類能量圖主要有運動歷史圖像(Motion history image,MHI)[36]、步態(tài)能量圖(Gait energy image,GEI)[37]、運動輪廓圖(Gait energy image,MSI)[38]、步態(tài)歷史圖(Gait history image,GHI)[39]、主動能量圖(Active energy image,AEI)[40]、步態(tài)熵圖(Gait entropy image,GEnI)[41]、幀差能量圖(Frame difference energy image,FDEI)[42]和基于時間保持的步態(tài)能量圖(Chrono-gait image,CGI)[43]等.其構(gòu)造方法與性能分析如表2所示.

2.2.2 提取視角不變性特征

直接提取不同視角下視頻序列或圖像中不隨著角度或行走方向而改變的步態(tài)特征進行身份識別,從而避免因角度變化而引起的人體輪廓的巨大差異對識別的影響.直接提取視角不變性步態(tài)特征的方法各式,通常思路直觀,計算較為簡單,而提取的特征也較為多樣.由于基于局部特征和聚類圖像的方法較多,本文大體將其分為局部特征法、聚類圖像法和其他三類.

1)局部特征

Jean等[44]提出一種計算視頻序列中人體部位軌跡的視角規(guī)范化方法.該方法選取輪廓序列中規(guī)范化腳和頭的2D軌跡將行走軌跡分割成分段線形的部分.然而,該技術(shù)僅對有限范圍內(nèi)的視角有效.為了解決Jean等的方法由于遮擋等原因,提取到的人體輪廓中可能丟失頭部或腳的問題,Ng等[45]提出從自動檢測到的人體關(guān)節(jié)(臀、膝和腳踝)中計算關(guān)節(jié)的角軌跡,并應用透視校正來提取視角不變的步態(tài)特征.彭彰等[46]提出了一種基于肢體長度參數(shù)的方法,利用腳間距計算方法和動態(tài)身體分割方法,擬合出場景的轉(zhuǎn)換參數(shù),并以此估計出人運動情況下的5個肢體長度參數(shù)用于識別.這種方法受限于圖像分割的準確度且只適用于視角與行人水平的情況,立體視角的變化對肢體長度參數(shù)影響較大.Goffredo等[47]提出基于模型的步態(tài)特征自標定視角不變步態(tài)識別.下肢姿態(tài)由無標記運動來估計,然后這些姿態(tài)在腿關(guān)節(jié)運動近似平坦的假設下,使用視點矯正在矢狀面進行重構(gòu).但該方法對于下肢姿態(tài)的估計缺乏魯棒性且無法應用于正面視角,兩視角差異較小時性能較差.

2)聚類圖像法

Lu等[48]將不同的視角分成幾個聚類,提出聚類的平均步態(tài)圖像(Average gait image,AGI)作為特征表達,利用稀疏重構(gòu)的度量學習(Sparse reconstruction metric learning,SRML)進行身份分類.Darwish[49]采用聚類的空間域能量偏差圖像(Energy deviation image,EDI)[50]作為步態(tài)特征,再利用區(qū)間二型模糊K近鄰(Interval type-2 fuzzy K-nearest neighbor,IT2FKNN)進行步態(tài)識別.聚類圖像法大多先利用聚類進行視角估計解決角度問題,需要大量的注冊樣本,且如果在步態(tài)序列中沒有相似的視角,識別率將下降.

3)其他

Han等[37]從GEI中提取視角不變特征.該方法僅選取部分在視角間相互重疊的步態(tài)序列來構(gòu)建交叉視角的步態(tài)匹配表示.Kale等[51]提出一種從任意視角生成側(cè)視圖的方法.該方法采用透視投影模型和基于運動方程的光流結(jié)構(gòu).這種方法要求行人距離相機的距離足夠遠,當像平面和矢狀面之間的夾角變大時,該方法受到自遮擋的影響性能顯著下降.

直接提取視角不變特征的方法適用于視角變化范圍有限或較小的情形,并且該類方法提取步態(tài)特征的過程易受到遮擋因素或服飾變化的破壞.

2.2.3 學習不同視角下的映射或投影關(guān)系

在步態(tài)相似性度量之前,訓練好的映射關(guān)系模型可以將不同視角下的步態(tài)特征規(guī)范化到相同視角的特征空間中,利用多個角度的訓練數(shù)據(jù)學習視角判別子空間,步態(tài)特征被投影到子空間(通常在較低的維度)中獲得視角不變特征,以解決多角度問題.基于投影映射的方法是一種很好的實時應用解決方案,已有的研究成果多具有較高的識別精度.其中已采用的映射投影方法很多,包括典范相關(guān)分析(Canonical correlation analysis,CCA)、視角轉(zhuǎn)換模型(View transformation model,VTM)、線性判別分析(Linear discriminant analysis,LDA)、多線性主成分分析(Multilinear principal component analysis,MPCA)、核主成分分析(Kernel principal component analysis,KPCA)和耦合學習等.由于LDA、MPCA、耦合學習與核思想多交叉融合構(gòu)造子空間,將其歸為一類,故本文將從CCA、VTM和其他三類分別說明.

表2 類能量圖構(gòu)造方法與性能分析Table 2 The construction methods and performances analysis of class energy image

1)典范相關(guān)分析(CCA)

典范相關(guān)分析(CCA)[52]是一種著名的多元分析方法,其目的是尋找和量化兩個多維變量之間的相關(guān)性.CCA利用兩種相同模式的視圖,并將它們投射到一個使其相關(guān)性最大的低維空間中.應用CCA解決跨視角步態(tài)識別問題,將不同視角的步態(tài)特征投影到一個統(tǒng)一的特征空間,并在該公共空間中進行相似性度量.

Bashir等[53]采用高斯過程分類框架進行視角估計,再利CCA進行不同角度建模.Hu[54]將判別典范相關(guān)分析(Discriminant canonical correlation analysis,DCCA)進行了高階張量擴展,應用多重線性分析,利用張量到向量投影直接從張量數(shù)據(jù)中提取不相關(guān)判別特征,增進了DCCA方法在多視角步態(tài)識別中的性能.Xing等[55]針對傳統(tǒng)CCA方法在處理兩個高維數(shù)據(jù)集合時,存在的廣義特征分析的奇異矩陣問題以及解的不穩(wěn)健和不完備性,提出完備典范相關(guān)分析方法(Complete canonical correlation analysis,C3A),并將其應用于多視角步態(tài)識別,提升了傳統(tǒng)CCA在步態(tài)識別中的性能.Wang等[56]對通過改進優(yōu)化目標函數(shù)和類關(guān)系矩陣對原有的核判別典型相關(guān)分析進行優(yōu)化,在CCA中引入了類信息并減少對應元素的相關(guān)性,在跨視角識別取得了較好的識別效果.Luo等[57]將GEI分割成5個子部分進行CCA,并在不同攜帶物和行走條件下優(yōu)化訓練每組子GEI,減少攜帶物和行走條件等變量因素的影響.

然而,基于CCA類的方法僅能利用兩個視角間的互補信息,處理N個視角時要重復N次來學習N對特征映射,計算負擔沉重.

2)視角轉(zhuǎn)換模型(VTM)

視角轉(zhuǎn)化模型可以將不同視角下的步態(tài)特征轉(zhuǎn)化到相同的視角下,解決多角度的步態(tài)識別問題.Makihara等[58]提出視角轉(zhuǎn)化模型的概念,由采用奇異值分解的矩陣分解過程創(chuàng)建.訓練數(shù)據(jù)集中的步態(tài)矩陣每行包含來自相同視角不同對象的步態(tài)信息,每列包含來自相同對象,不同視角的步態(tài)信息,應用奇異值分解(Singular value decomposition,SVD)將步態(tài)矩陣分解成視角獨立的矩陣和對象獨立的矩陣,對象獨立矩陣用于構(gòu)建VTM.該方法基于傅立葉變換獲得的頻域步態(tài)特征來創(chuàng)建VTM.為了增進性能,Kusakunniran等[59?60]基于線性判別分析所獲取的最優(yōu)GEI特征來創(chuàng)建VTM,應用截斷奇異值分解(Truncated singular value decomposition,TSVD)來緩解訓練VTM 時的過擬合現(xiàn)象.進一步將VTM的構(gòu)建重新表述成回歸問題.使用回歸概念來揭示不同視角間步態(tài)的運動相關(guān)性.Zheng等[61]通過首先對步態(tài)矩陣進行低秩分解再應用SVD分解構(gòu)造VTM的方法來實現(xiàn)魯棒的VTM 模型.Hu等[62]應用高階奇異值分解將VTM模型擴展為在四階張量空間的多重線性投影模型,然后提取視角獨立、站姿獨立的單位矢量,以對多視角、不完整步態(tài)周期的步態(tài)序列進行識別.Muramatsu等[63?65]在VTM中引入一種質(zhì)量評價措施.由于一般是通過VTM 視角轉(zhuǎn)換至規(guī)定視角的步態(tài)圖像與目標視角圖像進行相似性度量評判是否為同一身份,步態(tài)特征組引入了相似度的不均勻偏差.通過引入轉(zhuǎn)化質(zhì)量(源視角內(nèi)在特征質(zhì)量)和不均勻邊緣質(zhì)量(目標視角內(nèi)在特征質(zhì)量),利用這兩個質(zhì)量度量來計算真實配對的后驗概率和原始特征的相似度量結(jié)合作為最終的匹配結(jié)果以提高識別精度.

VTM類方法雖然可以將一個視角下的步態(tài)特征轉(zhuǎn)化為另一視角下的步態(tài)特征,從而解決不同視角之間的相似性度量問題,但無法有效地同時利用多個視角之間的互補信息.且基于VTM的方法都有在進行模型構(gòu)建和視角轉(zhuǎn)化時容易造成噪聲傳播,致使識別性能退化的問題.

3)其他(LDA、耦合學習、MPCA與核擴展等)

LDA是一種監(jiān)督學習的降維技術(shù),投影后類內(nèi)方差最小,類間方差最大,提取需要的判別信息并減少維度.通常步態(tài)特征空間的維數(shù)非常高,且有許多在相似度測量中冗余的零值的像素,在經(jīng)過LDA投影后減小同一行人不同視角下的類內(nèi)方差,提高識別精度.Choudhury等[66]提出一種首先分割得到腿部步態(tài)能量圖用于估計視角,再利用隨機子空間學習進行身份分類的方法.Liu等[67]在每個視角下的訓練數(shù)據(jù)集中提取步態(tài)特征在LDA子空間中的判別信息.在測試階段,每個步態(tài)特征分別投影到每個子空間中,然后最終的步態(tài)距離由每個子空間匹配結(jié)果的加權(quán)和組成.Liu等[68]提出一種聯(lián)合子空間學習的方法(Joint subspace learning,JSL),構(gòu)造含有不同視角原型的JSL,不同視角的注冊和待測樣本分別被表示為這些原型在相應視角中的線性組合,并提取特征表示的系數(shù)利用最近鄰識別分類.

核方法[69]是對SVM中主要思想核映射的應用的擴展,很多線性子空間算法都可以運用核函數(shù)擴展為非線性子空間,如核主成分分析[70]和核判別分析[71]等.Connie等[72]以雙核主成分分析進行系數(shù)膨脹建立非線性子空間,形成Grassman流形描述多角度的步態(tài)特征,非線性子空間的結(jié)構(gòu)能夠更恰當?shù)卦谝暯亲兓斜Ａ舨綉B(tài)特征.

耦合度量學習(Coupled metric learning,CML)受啟發(fā)于局部保留投影,旨在通過尋找保留局部信息的低維嵌入獲得一個可以保持數(shù)據(jù)內(nèi)部流形結(jié)構(gòu)的子空間.與局部保留投影不同,耦合距離度量學習尋找一對線性變換矩陣將不同的樣本映射到共同的子空間,在這個子空間中不同視角的步態(tài)數(shù)據(jù)差異被削減.Xu等[73]提出一種耦合局部保留投影的方法,學習耦合投影矩陣,在保證基本流形結(jié)構(gòu)的同時,將交叉視角特征投影到統(tǒng)一的子空間中.Ben等[74]基于耦合距離度量學習思想,通過廣義特征值分解將不同視角下的步態(tài)特征聯(lián)系起來,提高了跨域生物特征的識別率,在跨視角步態(tài)識別中也取得了良好的效果.在此基礎上,Ben等[75]引入了核的思想,通過核耦合距離度量學習(Kernel coupled distance metric learning,KCDML)使不同類樣本線性可分,并保持樣本局部結(jié)構(gòu)數(shù)據(jù)的幾何特征.Wang等[76]在傳統(tǒng)CML中引入可分離標準,將標簽信息加入其中,應用這種新的方法將步態(tài)特征從不同視角轉(zhuǎn)換為一個耦合特征空間.但基于耦合度量學習的方法同CCA方法有相同缺點,僅能利用兩個視角間的互補信息.

MPCA是一種無監(jiān)督多線性子空間學習方法,實現(xiàn)了由張量至張量的投影技術(shù),將高階張量對象投影到下維張量中,即直接在張量維度進行降維.Al-Tayyan等[77]提出了一種基于累計預測圖像的方法,同時定義累積流量圖像和邊緣掩蔽活性能量圖像兩種新的步態(tài)表達方式,采用MPCA與LDA結(jié)合通過K近鄰進行身份分類,以最大化類間散射矩陣與類內(nèi)散射矩陣之間的比例,提高分類的準確性.

子空間學習的方法通常計算較為復雜,步態(tài)圖像轉(zhuǎn)換成向量后維數(shù)常常高達上萬維,計算量很大.此外,在視角的變化較大時,這一類方法性能下降較大.

2.2.4 基于深度神經(jīng)網(wǎng)絡

深度學習[78]是含多隱層的多層感知器的深度神經(jīng)網(wǎng)絡結(jié)構(gòu),通過組合低層特征形成更加抽象的高層表示屬性類別或特征,以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示.因其在語音識別、圖像目標分類等實際應用中的出色性能近年來備受關(guān)注.但將深度學習應用于解決多視角步態(tài)識別問題的研究相對較少.

卷積神經(jīng)網(wǎng)絡(Convolutional neural network,CNN)[79]近年發(fā)展迅速,并引起廣泛重視.其避免了對圖像的復雜前期預處理,可以直接輸入原始圖像,對于大型圖像處理有出色表現(xiàn).且具有非常強的自主學習能力和高度非線性映射的能力,能夠?qū)W習非線性度量函數(shù)以解決跨視角步態(tài)識別問題.Yan等[80]提出將步態(tài)能量圖送入CNN來提取高級步態(tài)特征,并引入多任務學習模型,在步態(tài)識別的同時預測狀態(tài),聯(lián)合每個任務的損失函數(shù)進行反向傳播,獲得比單獨步態(tài)識別更好的性能.Wu[81]提出一種對一組圖片集進行特征提取的方法,有效抑制過擬合問題.將步態(tài)輪廓集送入相同的CNN網(wǎng)絡中,積累這些特征以獲得集合的全局表示,能夠較好地應對步態(tài)中的角度變換.Zhang等[82]提出將GEI送入具有兩個卷積子網(wǎng)絡的對稱結(jié)構(gòu)的孿生深度卷積神經(jīng)網(wǎng)絡.Tan等[83]提出將GEI送入使用共享權(quán)重的雙通道卷積神經(jīng)網(wǎng)絡訓練匹配模型,從而匹配步態(tài)識別人的身份,對跨較大視角的步態(tài)變化有很強的魯棒性.Wu等[84]提出深度CNN網(wǎng)絡用于步態(tài)識別,網(wǎng)絡分為局部特征匹配的底層網(wǎng)絡、中級特征匹配和全局特征匹配的上層網(wǎng)絡,在跨視角和多狀態(tài)識別中都有較好表現(xiàn).Wolf等[85]提出了一種用于步態(tài)識別的3D CNN方法,網(wǎng)絡的輸入由灰度步態(tài)圖像和光流組成,能夠在多個角度下提取步態(tài)的時空特征.Li等[86]提出一種基于深度學習VGG網(wǎng)絡[87]的識別方法.步態(tài)序列經(jīng)過周期檢測后直接送入VGG網(wǎng)絡進行特征提取,最后利用聯(lián)合貝葉斯進行步態(tài)識別.

自動編碼器(AutoEncoder)[78]是近年來流行的網(wǎng)絡模型,它可以用來提取緊湊的特征.Yu等[88]提出基于GEI進行的層疊式逐步自動編碼(Stacked progressive auto-encoders,SPAE)的完成視角轉(zhuǎn)化,每層轉(zhuǎn)化18?的視角.即利用自動編碼器搭建VTM模型,來解決跨視角步態(tài)識別問題.

深度學習本質(zhì)是數(shù)據(jù)驅(qū)動的,需要大量的不同行人的不同角度的步態(tài)信息,而現(xiàn)有的數(shù)據(jù)量相對較少.且現(xiàn)有的方法大多基于步態(tài)能量圖和卷積神經(jīng)網(wǎng)絡的.然而步態(tài)能量圖在輪廓序列的周期疊加后會丟失時序信息.卷積神經(jīng)網(wǎng)絡本身無法直接處理時間序列信號,也缺乏對時間序列信號的記憶功能.而基于自動編碼的視角轉(zhuǎn)換也有在轉(zhuǎn)化時容易造成噪聲傳播使識別性能退化的問題.

3 對比與總結(jié)

3.1 實驗結(jié)果對比

為了對現(xiàn)有方法的性能進行直觀比較,表3選取了在CASIA-B數(shù)據(jù)集上驗證過的若干方法的實驗結(jié)果作為對比.由于跨視角情況下的步態(tài)識別暫沒有統(tǒng)一的性能評價標準,研究中通常進行多組實驗,選擇每個行人不同的一個或若干個角度為注冊樣本,驗證其他視角下的識別率以全面評估性能(即選取不同的Gallery和Probe set進行驗證).表3中僅僅展示以90?為待檢測樣本(Probe)的情況下,不同方法分別在54～126?為已知參考樣本(Gallery)的識別準確率.

實驗中都只采用正常行走狀態(tài)下的行人步態(tài)樣本(即無攜帶物和著裝變化的視頻樣本).而在訓練與測試集的劃分上,不少工作采用在庫中124行人中選擇部分行人的樣本作為訓練,剩余行人作為測試集的驗證方式,也有部分工作選擇了其他的劃分方式.3D模型局部能量圖投影和KCDML的驗證方式分別為選取數(shù)據(jù)庫中所有行人的6個正常步態(tài)視頻中的3個和2個作為訓練,剩余視頻作為測試集;其余方法均使用上述主要驗證方式,其中GEI+CCA訓練和測試集行人樣本數(shù)量劃分為74/50,GEI+SPAE為62/62,剩余方法為24/100.

3.2 現(xiàn)有方法總結(jié)

早期的多視角步態(tài)識別方法主要是提取視角不變的步態(tài)特征[37,44?51].隨著三維建模與多攝像機協(xié)作技術(shù)的發(fā)展,建立3D步態(tài)模型[22,27?35]也很好地解決了識別中的視角問題;同時基于度量學習的方法也被用于多視角的步態(tài)識別中[53?77],通過投影到子空間獲取視角不變特征,取得了相對較高的識別精度.而深度學習利用深層神經(jīng)網(wǎng)絡學習出高層抽象的步態(tài)特征,在步態(tài)識別的視角變化中也取得了良好的識別效果[80?88].表4比較了現(xiàn)有的多視角步態(tài)識別算法.

表3 CASIA-B數(shù)據(jù)集上現(xiàn)有步態(tài)識別方法的準確率對比Table 3 Recognition accuracy of existing approaches on CASIA-B datasets

表4 現(xiàn)有多視角步態(tài)識別方法Table 4 Existing approaches for multiview gait recognition

4 研究難點與發(fā)展趨勢

4.1 研究難點

當前的研究難點主要集中以下在三個方面:

1)與指紋、人臉識別等相比,步態(tài)數(shù)據(jù)庫的樣本量過小,且通常的實際生活中攝像機的安裝位置為俯視視角,但當前研究主要集中在行人行走平面的多視角識別,即缺乏模擬真實環(huán)境下立體視角的具有大量樣本的大型步態(tài)數(shù)據(jù)庫.同時現(xiàn)有的數(shù)據(jù)庫都是在行人已知的情況下采集步態(tài)信息的,注冊行人在面對復雜的采集環(huán)境時可能產(chǎn)生不自覺的姿態(tài)變化.

2)實際行走過程中會受到行走路面、不同時間、不同視角、不同服飾和不同攜帶物等的多種因素綜合影響,目前的研究多著重于解決視角問題,但在視角與其他影響因素結(jié)合的復雜真實環(huán)境中的識別率仍然較低.

3)當前的基于圖像或視頻序列的多視角步態(tài)識別多是利用步態(tài)序列疊加合成圖像構(gòu)造類能量圖模板.而圖像的合成過程中可能會丟失信息,且因涉及周期檢測等問題,此過程中可能已經(jīng)引入了誤差,影響識別率.

4.2 發(fā)展趨勢

1)現(xiàn)有的數(shù)據(jù)庫與真實環(huán)境中步態(tài)識別差距較大且樣本數(shù)量較少.一致的評估和性能比較需要構(gòu)造一個大型的、涵蓋各種變量、環(huán)境因素并適合實際應用的數(shù)據(jù)庫.同時構(gòu)造隱藏攝像機的步態(tài)采集環(huán)境,獲取在行人未知狀態(tài)下的步態(tài)信息也是未來研究中數(shù)據(jù)庫建設的一個發(fā)展方向.

2)深度學習用更多的數(shù)據(jù)或是更好的算法來提高學習算法的結(jié)果.對某些應用而言,深度學習在大數(shù)據(jù)集上的表現(xiàn)比其他機器學習方法都要好.其中長短期記憶網(wǎng)絡(Long short term memory networks,LSTM)[89]對時序信息的處理能力為實現(xiàn)步態(tài)視頻幀序列直接輸入提供了可能性;深度學習的實現(xiàn)需要大數(shù)據(jù)集作為依托,而實際中很難采集同一行人遍歷所有不同變量的大量樣本,生成對抗網(wǎng)絡(Generative adversarial network,GAN)[90]可以通過生成的方式生成多角度、多狀態(tài)的大量不同步態(tài)樣本用于深度學習的訓練中.

3)深度學習可以依靠深層的網(wǎng)絡結(jié)果自動提取特征,但過深的結(jié)構(gòu)不利于參數(shù)訓練,同時導致信息不斷稀釋.在深度學習中引入傳統(tǒng)的步態(tài)特征提取方法,并將兩者結(jié)合起來或許能取得更好的步態(tài)識別效果.

4)人體骨骼關(guān)鍵點檢測技術(shù)[91]能夠?qū)崟r的抽象出人體的比例結(jié)構(gòu)與姿態(tài)信息,而步態(tài)識別本質(zhì)也是通過行人的輪廓和運動姿態(tài)信息進行識別.可考慮將提取的人體骨骼步態(tài)模板用于步態(tài)識別中,此種方法還可以避免服飾、攜帶物和遮擋帶來的影響.

5)研究中步態(tài)識別視頻數(shù)據(jù)的形式往往是采用已分割好的個體步態(tài)視頻流.實現(xiàn)個體步態(tài)視頻流的自動截取,是未來實現(xiàn)端對端的步態(tài)識別系統(tǒng)的實際應用的關(guān)鍵步驟.

6)步態(tài)識別僅僅利用步態(tài)信息進行身份認證,但每種生物特征識別都有相應的適用場合,以及各自的優(yōu)缺點.故開發(fā)多模態(tài)系統(tǒng),代替現(xiàn)有的使用單一特征的生物特征識別,使其能在各種環(huán)境下都能提供有效的身份認證與識別,有至關(guān)重要的意義.

5 結(jié)語

步態(tài)作為生物特征識別領(lǐng)域的一個新的研究方向,多視角識別對其應用具有極大的實際意義,近年來也引起了廣大科研工作者的廣泛關(guān)注.針對步態(tài)識別中的視角問題,本文首先介紹了現(xiàn)有的可用于多視角步態(tài)識別的數(shù)據(jù)庫,然后分別從3D模型法、視角不變特征法、映射或投影法和深度神經(jīng)網(wǎng)絡法4個方面對現(xiàn)有研究成果進行綜述,闡述了各種方法的原理和優(yōu)缺點;同時結(jié)合步態(tài)識別實際應用的需求,針對現(xiàn)有工作中存在的不足,提出一些有待深入研究的問題并指明未來的研究方向.這些問題的解決將促使步態(tài)識別具有更寬泛的識別條件、更好的實時性與識別率,從而將步態(tài)識別真正用于實際的遠距離身份判斷中.