賁晛燁,張鵬,孫成立,孟維曉

(1.南昌航空大學江西省圖像處理與模式識別重點實驗室, 330063, 南昌;2.山東大學信息科學與工程學院, 250100, 濟南;3.哈爾濱工業(yè)大學電子與信息工程學院, 150080, 哈爾濱)

?

均值張量成分分析及其在步態(tài)識別中的應用

賁晛燁1,2,張鵬1,2,孫成立1,孟維曉3

(1.南昌航空大學江西省圖像處理與模式識別重點實驗室, 330063, 南昌;2.山東大學信息科學與工程學院, 250100, 濟南;3.哈爾濱工業(yè)大學電子與信息工程學院, 150080, 哈爾濱)

針對步態(tài)識別中非負樣本數據存在冗余,且未經中心化的多線性主成分分析保持聚類結構的特征向量不能對應最大特征值,導致識別效果下降的問題,提出一種保持原始張量數據均方長度的均值張量成分分析算法。該算法首先對原始樣本任一模式下內積矩陣進行譜分解,計算該模式下相應的特征值和特征向量;其次,利用獲得的特征值和特征向量計算均值向量,并對均值向量值進行降序排列,使較大均值向量值對應的特征向量構成該模式下的低維子空間;最后,將原始樣本投影到該低維子空間,形成特征張量。與多線性主成分分析算法相比,該算法不需要對數據去中心化處理,而是保持非負數據均值向量最大均方歐幾里德距離和方向。通過在USF步態(tài)數據庫和TUM GAID步態(tài)數據庫進行仿真實驗,結果表明,經過均值張量成分分析預處理,在2個步態(tài)庫上的平均識別率分別高達57%和75%,較其他傳統(tǒng)方法的識別率有明顯提高。

步態(tài)識別;均值張量成分分析;均方長度;均值向量

隨著數據采集和存儲能力的提升,大規(guī)模的高維數據每天都在各領域的實際應用中產生,因此各類用于數據挖掘的算法變得越來越重要。高階張量數據,如步態(tài)識別中的灰度圖像序列可用于身份識別[1-2]。由于張量數據的高相關性,因此可假設其具有高約束性,并可以映射到一個子空間中,此時的特征提取就是將高維數據轉換為低維的形式,因為沒有破壞數據的結構,所以可保留大部分幾何結構信息,而張量子空間學習主要集中于高階張量數據的維數約簡上。

對張量的維數約簡方法主要分成2大類。一類是基于張量-張量投影(tensor-to-tensor projection,TTP),即從高維張量直接投影到低維同階張量,一個N階投影使用N個投影矩陣,它可以通過N步來實現,每步來執(zhí)行一個張量矩陣乘法。這N步是可交換的,這種投影是子空間學習中高階奇異值分解的一個延伸。另一類是基于張量-向量投影(tensor-to-vector projection,TVP),即一個高維張量到一個低維向量的直接投影,也叫做一階投影。從一個張量到一個標量的投影是一個基本多重線性投影(elementary multilinear projection,EMP)的映射。在基本多重線性投影中,一個張量通過N個單位投影向量投影成一個點。因此,一個張量到一個在P維向量空間的向量的TVP包括P個基本多重線性投影,這種投影是標準分解的一個延伸。

典型的TTP算法有多重線性主成分分析(multilinear principal component analysis,MPCA)[3]和多重線性判別分析(multilinear discriminant analysis,MLDA)。MPCA屬于非監(jiān)督的全局方法,MLDA屬于監(jiān)督的全局方法?，F有的MLDA方法比較典型的是張量表達的判別分析(discriminant analysis with tensor representation,DATER)[4]和廣義張量判別分析(general tensor discriminant analysis,GTDA)[5]。DATER與GTDA的優(yōu)化準則函數不同,DATER的優(yōu)化準為最大化散布之商,它的缺點就是迭代求解不收斂,GTDA能保證迭代求解的收斂性,其優(yōu)化的是散布之差最大化,它的缺點是散布的權參數很難取,對參數設置敏感。典型的TVP算法有:不相關多線性主成分分析(uncorrelated MPCA,UMPCA)[6]和不相關多線性判別分析(uncorrelated MLDA,UMLDA)[7]。近幾年,Wang等人把一幅彩色圖像看作為一個三階張量,還提出了一種張量判別顏色空間模型[8]。Liu等人給出了張量數據維數約簡的一般框架,提出一種多重線性局部保留的最大信息嵌入算法[9]。本文擬借鑒均值向量成分分析算法[10]和MPCA[3]的思想,保留原始張量數據的均方長度,提出均值張量成分分析(mean tensor component analysis,MTCA)算法,并通過保持非負數據均值向量最大均方歐幾里得距離和方向來求得投影變換矩陣。在USF和TUM GAID等步態(tài)數據庫上進行了實驗,獲得了令人滿意的識別效果。

1 均值張量成分分析

(1)

式中:×n表示張量乘積;?表示克羅內克積;Yj∈RP1?RP2?…?RPN,j=1,…,M。

令Xj(n)表示第j個樣本的n模式矩陣,則

(2)

(3)

因此,原始張量數據的均方長度,即‖m‖2可以定義為

(4)

(5)

2 均值張量成分分析算法

2.1 算法步驟

MTCA的復雜度與MPCA相當,都在于對特征值、特征向量的計算,但是MTCA不需要對數據進行去中心化處理,而MPCA需要計算每個模式下的去中心化后的協(xié)方差矩陣的特征值和特征向量,投影變換矩陣由較大的特征值對應的特征向量組成;MTCA可能與較小的特征值有關,它是通過計算Φ(n)的前Pn個較大的均值向量值對應的均值向量來組成投影矩陣。MTCA算法步驟如下。

步驟4 對于n模式,計算Φ(n),并計算它的特征值和特征向量λin、uin,in=1,…,In。

步驟6 重復步驟4、步驟5,直到遍歷所有模式。

步驟7 重新計算{Yj,j=1,…,M}和ΨYk。當ΨYk-ΨYk-1<η時,跳出循環(huán),轉到步驟8,否則返回步驟4。

2.2 收斂性分析

MTCA算法的投影矩陣初始化、優(yōu)化和投影過程采用2.1節(jié)所述算法步驟,張量數據集選為USF步態(tài)數據庫[11]中的Gallery數據集,第k次迭代后的投影后的散布記為ΨYk。圖1所示是MTCA與MPCA算法的收斂性測試情況,由圖1可知,兩種算法都只迭代了一次就已經收斂了。在USF步態(tài)數據庫的測試集A上還比較了MTCA和MPCA算法隨迭代次數增加的識別率情況,如表1所示。因此在后續(xù)的實驗中,MTCA和MPCA算法的迭代次數均設定為1次。

圖1 2種算法的收斂性測試

算法識別率1次2次3次4次5次MTCA0.90140.90140.90140.90140.9014MPCA0.90140.90140.90140.90140.9014

3 實驗結果與分析

為了評估各種特征提取方法的效果,分類器均采用最簡單且有效的最近鄰分類器(1-NN),距離度量方式為改進的角度距離(modified angle distance,MAD)[7]。為了表示方便,本文中將MPCA與LDA算法級聯(lián)命名為多線性主成分判別分析(multilinear principal component discriminant analysis,MPCDA),將MTCA與LDA命名為均值張量成分判別分析(mean tensor component discriminant analysis,MTCDA),將GTDA與MTCA算法級聯(lián)命名為廣義張量判別均值成分分析(general tensor discriminant mean component analysis,GTDMCA),將GTDA與MTCA以及LDA級聯(lián)算法命名為廣義均值張量判別分析(general tensor mean discriminant analysis,GTMDA)。

3.1 USF步態(tài)數據庫實驗

USF步態(tài)數據庫的數據集由74個對象的452個行走圖像序列組成,其中用于訓練的一組(Gallery)包含71個圖像序列,用于測試的共有7組,這些圖像序列如圖2所示。

對于每個對象,共有如下幾組的變化因素:視角(左L或右R)、鞋型(A或B)、步行路面(草地G或混凝土地面C),具體可參考表2。

(a)測試組1 (b)測試組2

(c)測試組3 (d)測試組4

(e)測試組5 (f)測試組6

(g)測試組7圖2 USF步態(tài)數據庫測試集

測試組測試組內變化因素測試對象數訓練組與測試組間不同點1(G,A,L)71視角2(G,B,R)41鞋型3(G,B,L)41視角、鞋型4(C,A,R)70路面5(C,B,R)44路面、鞋型6(C,A,L)70路面、視角7(C,B,L)44路面、鞋型、視角

將原始的步態(tài)圖像尺寸從128×64像素下采樣到32×22像素,在測試組1～7上測試MTCA、MTCDA、GTMDA等方法的識別率,其中GTDA算法的調諧因子ζ=0.1,并與Baseline[11]、PCA、LDA、LPP、均值向量成分分析(MVCA)[10]、MPCA[3]、MPCDA[3]和GTDA[5]相比較,實驗結果如圖3所示。由圖3可以看出:MTCA算法的平均識別率略高于MPCA的平均識別率;通過級聯(lián)GTDA、MTCA和LDA所構成的算法可以獲得最佳的平均識別率57%;MTCDA算法可以獲得平均識別率是54%。本文進一步采用累積匹配得分(cumulative match score,CMS)來評估前述的這些方法,CMS描述的是期望正確的匹配條件下必須搜索匹配前R(R為排序結果值,如R=1表示相似度最近的1年識別結果,R=5表示相似度最近的5個識別結果)個訓練樣本,圖4所示是R=5下的各種方法的CMS結果,可以看出GTMDA方法的平均CMS仍然是最高的,高達79%。

對比圖3和圖4的測試組1～3的實驗結果,可以看出:各個方法在測試組1～3上都獲得了很好的識別效果,這說明視角和鞋型2種變化因素對識別影響不大。與測試組1～3相比,測試組4～7的識別效果明顯變差,因此可以看出,路面類型對識別影響要大過視角和鞋型,當這3種因素同時都發(fā)生變化時,識別效果是最差的,而且GTMDA較其他方法在測試組4～7上更可看出明顯的優(yōu)勢,這是因為GTDA和MTCA算法相當于2步預處理,預處理時既提取張量數據的鑒別特征,又同時保留輸入張量數據的均值向量的均方長度,之后將張量向量化后再進行線性的判別分析較將張量向量化直接LDA的分類效果要好。

圖3 USF數據庫下的識別率結果

圖4 USF數據庫下的累積匹配得分(R=5)

3.2 TUM GAID深度步態(tài)庫實驗

TUM GAID數據庫[12]是一個集音頻、圖像和深度信息的步態(tài)庫。全庫共有305個人的3 370個步態(tài)序列,每人有6段正常的步態(tài)序列,2段穿著軟底鞋,2段背包(大約5 kg)的步態(tài)序列,覆蓋各個年齡、性別以及身高類型。圖5所示為該庫正常步態(tài)(normal)、穿軟底鞋步態(tài)(shoes)和背包步態(tài)(bag)序列。

(a)正常步態(tài)

(b)軟底鞋步態(tài) (c)背包步態(tài) 圖5 TUM GAID步態(tài)序列

實驗時將每個人的前4段正常步態(tài)序列進行訓練,第1組實驗采用每個人的后2段正常步態(tài)序列進行測試,第2組實驗采用軟底鞋條件下的步態(tài)序列進行測試,第3組實驗采用背包條件下的步態(tài)序列進行測試。GTDA的調諧因子仍取ζ=0.1。圖6和圖7所示分別為MTCA、MTCDA、GTMDA與GEI、PCA、LDA、LPP、MVCA、MPCA、

MPCDA和

圖6 TUM GAID數據庫下的識別率結果

圖7 TUM GAID數據庫下的累積匹配得分(R=5)

GTDA算法在平均識別率、累積匹配得分(R=5)的對比結果,可以看出:GTMDA算法在3組實驗下的平均識別率為0.753 3,略高于MTCDA(平均識別率為0.751 1);GTMDA算法在R=5下的平均CMS為0.837 7。還可以看出:背包對步態(tài)識別的影響比軟底鞋的影響要大很多,在跨因素下的步態(tài)識別問題上,GTMDA算法體現出更明顯的優(yōu)勢。

3.3 算法運行時間比較結果

實驗環(huán)境為CPU:Intel?CoreTM2 Duo T5870@2.00 GHz,內存為2.00 GB的PC機。表3所示為各種算法在USF步態(tài)數據庫上的訓練時間與數據集1～7的平均測試時間。表4所示為各種算法在TUM GAID步態(tài)數據庫上3種測試條件下的平均訓練時間與平均測試時間。由實驗結果可以看出:多線性子空間學習的各種算法,如MPCA、MTCA、MPCDA、MTCDA、GTDA、GTDMCA和GTMDA的訓練時間和測試時間都要比線性子空間學習算法(PCA、LDA、LPP、MVCA)的長。由于USF步態(tài)數據庫的訓練樣本集較小,因此,各種算法的訓練時間都較短。同樣地,測試樣本集較大時,如TUM GAID步態(tài)數據庫,各種算法的測試時間都較測試樣本集小的庫要長。

表3 各算法對USF步態(tài)數據庫的運行時間

表4 各算法對TUM GAID步態(tài)數據庫的運行時間

4 結束語

本文提出了一種均值張量成分分析算法,它是通過保持非負數據均值向量最大均方歐幾里得距離和方向來求得投影變換矩陣的,該算法具有很快的收斂速度,跟MPCA算法的復雜度相當。與MPCA算法相比較,本文算法不需要對數據去中心化處理,投影變換矩陣是由對應較大均值向量值的均值向量組成。在USF步態(tài)數據庫和TUM GAID深度步態(tài)庫上進行實驗驗證得出:本文所提算法具有較好的步態(tài)識別效果,但路面、鞋型、視角、背包或其聯(lián)合因素對步態(tài)識別的性能影響很大,因此,下一步的工作重點將耦合度量學習理論[13-14]和張量子空間學習理論,以實現跨因素下的魯棒步態(tài)識別。

[1] 陳實, 高有行. 一種輪廓變化圖像小波矩的步態(tài)識別 [J]. 西安交通大學學報, 2009, 43(1): 90-94. CHEN Shi, GAO Youxing. Gait recognition with wavelet moments of silhouette change images [J]. Journal of Xi’an Jiaotong University, 2009, 43(1): 90-94.

[2] 賁晛燁, 徐森, 王科俊. 行人步態(tài)的特征表達及識別綜述 [J]. 模式識別與人工智能, 2012, 25(1): 71-81. BEN Xianye, XU Sen, WANG Kejun. Review on pedestrian gait feature expression and recognition [J]. Pattern Recognition & Artificial Intelligence, 2012, 25(1): 71-81.

[3] LU H, PLATANIOTIS K N, VENETSANOPOULOS A N. MPCA: multi-linear principal component analysis of tensor objects [J]. IEEE Transactions on Neural Networks, 2008, 19(1): 18-39.

[4] YAN S, XU D, YANG Q, et al. Discriminant analysis with tensor representation [C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005. Piscataway, NJ, USA: IEEE, 2005: 526-532.

[5] TAO D, LI X, WU X, et al. General tensor discriminant analysis and Gabor features for gait recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(10): 1700-1715.

[6] LU H, PLATANIOTIS K N, VENETSANOPOULOS A N. Uncorrelated multilinear principal component analysis for unsupervised multilinear subspace learning [J]. IEEE Transactions on Neural Networks, 2009, 20(11): 1820-1836.

[7] LU H, PLATANIOTIS K N, VENETSANOPOULOS A N. Uncorrelated multilinear discriminant analysis with regularization and aggregation for tensor object recognition [J]. IEEE Transactions on Neural Networks, 2009, 20(1): 103-123.

[8] WANG S, YANG J, ZHANG N, et al. Tensor discriminant color space for face recognition [J]. IEEE Transactions on Image Processing, 2011, 20(9): 2490 -2501.

[9] LIU Y, LIU Y, CHAN K C C. Tensor distance based multilinear locality-preserved maximum information embedding [J]. IEEE Transactions on Neural Networks, 2010, 21(11): 1848-1854.

[10]JENSSEN R. Mean vector component analysis for visualization and clustering of nonnegative data [J]. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(10): 1553-1564.

[11]SARKAR S, PHILLIPS P, LIU Z, et al. The human ID gait challenge problem: data sets, performance and analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2): 162-177.

[12]HOFMANN M, GEIGER J, BACHMANN S, et al. The TUM gait from audio, image and depth (GAID) database: multimodal recognition of subjects and traits [J]. Journal of Visual Communication and Image Representation, 2014, 25(1): 195-206.

[13]BEN X, MENG W, YAN R, et al. Kernel coupled distance metric learning for gait recognition and face recognition [J]. Neurocomputing, 2013, 120: 577-589.

[14]BEN X, MENG W, YAN R, et al. An improved biometrics technique based on metric learning approach [J]. Neurocomputing, 2012, 97: 44-51.

[本刊相關文獻鏈接]

彭亞麗,劉侍剛,裘國永.一種線性迭代非剛體射影重建方法.2015,49(1):102-106.[doi:10.7652/xjtuxb201501017]

周遠,周玉生,劉權,等.一種適用于圖像拼接的DSIFT算法研究.2015,49(9):84-90.[doi:10.7652/xjtuxb201509015]

毛彥斌,張選平,楊曉剛.偽DNA密碼圖像加密算法研究.2015,49(9):91-98.[doi:10.7652/xjtuxb201509016]

劉凱,張立民,孫永威,等.利用深度玻爾茲曼機與典型相關分析的自動圖像標注算法.2015,49(6):33-38.[doi:10.7652/xjtuxb201506006]

吳一全,孟天亮,吳詩婳.人工蜂群優(yōu)化的非下采樣Shearlet域引導濾波圖像增強.2015,49(6):39-45.[doi:10.7652/xjtuxb201506007]

唐曉慶,范賜恩,劉鑫.基于邊緣保持濾波的單幅圖像快速去霧.2015,49(3):143-150.[doi:10.7652/xjtuxb201503022]

楊曄,潘希德,莊健.一種針對超聲檢測圖像的自適應閾值設置方法.2015,49(1):127-132.[doi:10.7652/xjtuxb201501 021]

侯興松,張?zhí)m.方向提升小波變換域稀疏濾波的自然圖像貝葉斯壓縮感知.2014,48(10):15-21.[doi:10.7652/xjtuxb 201410003]

李博,馮松,毛軍紅.在線圖像可視鐵譜LED陣列反射光源設計與實現.2014,48(10):29-34.[doi:10.7652/xjtuxb2014 10005]

袁飛,朱利,張磊.利用超圖圖割的圖像共分割算法.2014,48(02):20-24.[doi:10.7652/xjtuxb201402004]

符均,牟軒沁,季文博.亮色分離的飽和圖像校正方法.2014,48(10):101-107.[doi:10.7652/xjtuxb201410016]

儲穎,牟軒沁,洪偉.采用形狀一致性特征的盲圖像質量評價方法.2014,48(8):12-17.[doi:10.7652/xjtuxb201408003]

夏虎,莊健,于德弘.面向高維特征故障數據的進化軟子空間聚類算法.2013,47(5):115-120.[doi:10.7652/xjtuxb201305 021]

劉劍毅,何苗,馬瑤,等.面向人臉光照合成的光照參數精確估計算法.2013,47(6):18-24.[doi:10.7652/xjtuxb201306 004]

李玉花,齊春.利用位置字典對的人臉圖像超分辨率方法.2012,46(6):7-11.[doi:10.7652/xjtuxb201206002]

蔣舒卉,錢學明.一種重要區(qū)域重采樣的人臉檢索方法.2012,46(2):119-123.[doi:10.7652/xjtuxb201202020]

岳桂華,滕奇志,何小海,等.巖心三維圖像修復算法.2014,48(9):37-42.[doi:10.7652/xjtuxb201409007]

海濤,叢爽,鮑遠律.彩色城市柵格地圖道路網絡自動獲取方法.2011,45(12):16-21.[doi:10.7652/xjtuxb201112004]

羅濤,牟軒沁.一種胸部X射線攝影圖像中結節(jié)檢測的多尺度匹配濾波器.2011,45(4):30-35.[doi:10.7652/xjtuxb 201104006]

楊宏暉,戴健,孫進才,等.用于水聲目標識別的自適應免疫特征選擇算法.2011,45(12):28-32.[doi:10.7652/xjtuxb 201112006]

趙海峰,姚麗莎,羅斌.改進的人工魚群算法和Powell法結合的醫(yī)學圖像配準.2011,45(4):46-52.[doi:10.7652/xjtuxb201104009]

余旺盛,侯志強,王朝英.頻譜包絡濾波器及其應用.2010,44(8):48-52.[doi:10.7652/xjtuxb201008010]

(編輯 劉楊)

A Mean Tensor Component Analysis and Its Application in Gait Recognition

BEN Xianye1,2,ZHANG Peng1,2,SUN Chengli1,MENG Weixiao3

(1. Key Laboratory of Jiangxi Province for Image Processing and Pattern Recognition, Nanchang Hangkong University,Nanchang 330063, China; 2. School of Information Science and Engineering, Shandong University, Jinan 250100, China;3. School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin 150080, China)

A novel algorithm named mean tensor component analysis (MTCA) is proposed to solve the low recognition accuracy problem that is caused by redundancy in nonnegative sample data and non-corresponding relationship that the eigenvector which preserves clustering structure in uncentered multilinear principal component analysis (MPCA) does not correspond to the maximum eigenvalues. The algorithm reserves the squared length of original tensor data. Spectral decomposition is performed to the inner-product matrix of original samples in any mode to obtain eigenvalues and corresponding eigenvectors. Then, mean value and mean vector are calculated from the eigenvalues and eigenvectors, and the values of the mean vector are sorted in a descending order so that a subspace is formed from the eigenvectors corresponding to first several largest values of the mean vector. Then a feature tensor is acquired by mapping the original sample to the subspace. A comparison to MPCA shows that the proposed algorithm preserves the squared length and the direction of mean vector of non-negative data without needs of decentralized processing to the data. Experiments on USF and TUM GAID gait databases show that the MTCA algorithm achieves average recognition rate 57% and 75%, respectively, and that the rates are obviously higher than the recognition rates of some conventional methods.

gait recognition; mean tensor component analysis; squared length; mean vector

2015-03-20。

賁晛燁(1983—),女,副教授。

國家自然科學基金資助項目(61201370,61362031,61571275);教育部高等學校博士學科點專項科研基金資助項目(20120131120030);山東大學青年學者未來計劃資助項目(2015WLJH39)。

時間:2015-10-03

10.7652/xjtuxb201512007

TP391.41

A

0253-987X(2015)12-0040-07

網絡出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20151003.1921.012.html