王 欣,唐 俊,王 年
(安徽大學 電子信息工程學院,安徽 合肥 230039)
基于足底壓力信息的步態(tài)識別方法具有不易偽裝、隱蔽性好等優(yōu)點,在行為感知、醫(yī)學診斷、身份識別等領(lǐng)域有廣泛的應用前景,目前也已經(jīng)取得了一定的成果[1].Hannula等選用鞋墊式傳感器進行步態(tài)分析[2];Mackey等采用壓力傳感器同時測量剪應力和垂直壓力,將其應用于測量糖尿病人的步態(tài)[3];林爾東等提出了一種改進的基于地面反作用力的步態(tài)識別方法,在訓練樣本較少的情況下也能獲得較高的識別正確率[4]等.但以上算法也存在著不足,如特征選取時計算量大、特征參數(shù)難以調(diào)節(jié)、特征表示在以足底壓力為基礎的身份識別中仍然是一個亟待解決的問題[1].
卷積神經(jīng)網(wǎng)絡(convolutional neural networks,簡稱CNN)作為深度學習的常用模型,它具有權(quán)值共享、模型復雜度低、權(quán)值數(shù)量少等優(yōu)點[5].與傳統(tǒng)識別算法相比,它避免了復雜的手動特征提取和數(shù)據(jù)重建過程,可實現(xiàn)自動特征學習[6-7],在處理大規(guī)模的圖像識別時很有優(yōu)勢.故論文結(jié)合CNN模型研究基于足底壓力圖像的步態(tài)識別算法,將人靜止站立及行走過程中的足底壓力信息作為特征用于身份識別,并用CNN模型獲取特征表示.
實驗的步態(tài)數(shù)據(jù)是由足底壓力數(shù)據(jù)系統(tǒng)獲取的,該系統(tǒng)獲取信息流程如圖1所示.其中,壓力測試板是用于接收足底壓力信息,由中科院合肥智能機械研究所提供,其有效測試面積為40cm×40cm,由均勻分布的1 600個壓阻傳感器構(gòu)成,采用陣列化設計,共有40行×40列[4,9].將接收到的步態(tài)信息通過數(shù)據(jù)轉(zhuǎn)換程序轉(zhuǎn)換為足底壓力值矩陣形式,如圖2所示,左邊網(wǎng)格線上顯示的是足底壓力圖像,右邊顯示的是對應足底壓力值,最下方顯示的為某次行走過程中足底總壓力值變化波形圖.
采集數(shù)據(jù)時,讓實驗者分別以常速、快速、慢速3種速度走過壓力測試板,每種速度各行走10次,且保證每次行走過程中整只腳(左腳或右腳)踩到壓力測試板上,用上述足底壓力數(shù)據(jù)采集系統(tǒng)記錄相應實驗數(shù)據(jù).
主要提取兩部分特征,即單層神經(jīng)網(wǎng)絡的卷積特征(single layer of convolutional neural networks,簡稱S-CNN)和雙層神經(jīng)網(wǎng)絡的卷積特征(double layer of convolutional neural networks,簡稱DCNN).
在CNN中,得到特征映射的過程有卷積和采樣兩個過程[3,7].如圖3所示.
卷積過程是由濾波器lx卷積輸入數(shù)據(jù)再加一個偏置bx得到卷積層Cx.對于多層卷積神經(jīng)網(wǎng)絡,上一層網(wǎng)絡的特征圖卷積一個特定的卷積核再通過一個激活函數(shù)就可等到輸出特征,如圖4所示.
從訓練樣本矩陣A(r×c)隨機采樣n×n的小尺寸矩陣B,其中,n×n稱為感受域[8].并且用K均值聚類算法從這些小尺寸矩陣中學習得到局部特征(在采樣矩陣上聚類,每個類中心就是一個局部特征).對于每個小尺寸矩陣B計算出對應的局部特征
其中:Wx和bx分別是網(wǎng)絡的權(quán)重和偏差值.通過Sigmoid型函數(shù),對這些得到的特征值做卷積,得到卷積后的特征矩陣D.卷積后得到的特征向量維數(shù)非常大,若直接用這些特征進行分類,則會導致計算量大、復雜度高等后果.故在利用所提取的特征訓練分類器前,需要進行降維處理.由于卷積特征是在相應感知域上學習得到的,故可以通過計算一個區(qū)域上特定平均值或最大值來降低特征向量維數(shù),即池化。
雙層卷積神經(jīng)網(wǎng)絡在用來識別圖像時具有位移、縮放不變性.多維輸入向量的圖像可以直接作為網(wǎng)絡的輸入,與其他模型相比其特征提取和分類過程中數(shù)據(jù)重建的復雜度較低[2].雙層卷積網(wǎng)絡又比一般神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)與輸入圖像的吻合度要高,它的特征提取與分類可以同時進行,其網(wǎng)絡參數(shù)不復雜[6-7].雙層卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)簡單、適應性強,適合用于圖像處理與特征學習,因而可以用其進行基于足底壓力圖像的步態(tài)識別.
2011年,Coates等比較了幾種單層網(wǎng)絡模型在特征學習方面的性能[10],得出運用K均值聚類方法獲取特征快速且效果好的結(jié)論,故論文用于卷積的局部特征是通過K均值聚類算法獲取的.2012年,Hinton等提出深度卷積神經(jīng)網(wǎng)絡在分類識別中很有優(yōu)勢[11].深度學習領(lǐng)域中,很多模型由于網(wǎng)絡層數(shù)的增加使得參數(shù)復雜、計算量大而應用不廣.所以,選擇合適的網(wǎng)絡深度成為影響網(wǎng)絡性能的關(guān)鍵因素.據(jù)此,論文提出基于雙層卷積神經(jīng)網(wǎng)絡的步態(tài)識別算法.
首先,學習單層網(wǎng)絡特征即S-CNN特征.具體步驟如下:由輸入矩陣(A1)上隨機采樣得到采樣矩陣(B1),在采樣矩陣上運用K均值聚類,每個類中心就是一個局部特征(C1),用上步得到的局部特征對原樣本進行卷積測試得到卷積特征(D1),對卷積特征進行平均池化操作得到特征向量(F1).
再訓練雙層卷積神經(jīng)網(wǎng)絡得到D-CNN特征,其實現(xiàn)過程如下:將S-CNN特征組成矩陣,并進行相應類標號輸入作為輸入矩陣(A2),輸入矩陣隨機采樣得到采樣矩陣(B2),運用K均值聚類得到局部特征(C2),進行卷積檢測得到卷積特征(D2),再進行降維得到特征向量(F2).
訓練SVM(suppor vector machine)分類器,其中核函數(shù)選擇徑向基核函數(shù),參數(shù)σ取5[9].將得到的特征F1即單層卷積神經(jīng)網(wǎng)絡獲取的特征(S-CNN特征)和特征F2即單層卷積神經(jīng)網(wǎng)絡獲取的特征(D-CNN特征)分別代入分類器得到分類結(jié)果.
論文實驗數(shù)據(jù)源自50人(男生28人,女生22人)在常數(shù)、快速、慢速3種情況下的行走時的足底壓力圖像.以常速行走為例,被測試者按照平常走路速度走過壓力測試板,使得左右腳分別踩在壓力測試上10次,每次行走取總壓力最大及其前后各一幀圖像,且7次行走過程為訓練樣本、3次行走過程為測試樣本.則50人常速行走共有訓練集2 100幅圖像(左腳:50×7×3=1 050,右腳:50×7×3=1 050),測試集900(50×3×3×2)幅圖像,快速、慢速行走足底壓力圖像采集與選取方法類似.將50人的左、右腳測試集輸入到訓練好的SVM分類器中進行分類識別,對每個測試者的數(shù)據(jù),采用多數(shù)投票法進行分類判別(若3幀測試樣本分別屬于不同的類,則認為結(jié)果錯誤),其識別正確率即為所有正確分類的樣本數(shù)與樣本總數(shù)的比值
對于D-CNN網(wǎng)絡,選取50人左腳常速行走時足底壓力數(shù)據(jù)進行多次試驗,部分實驗結(jié)果如圖5所示.其中,縱坐標表示識別正確率,橫坐標是第一層網(wǎng)絡的感知域大小,深藍、藍色、綠色、橘色和紅色分別表示第二層感知域的大小由1到5.由圖5可知,網(wǎng)絡的感知域大小對識別結(jié)果影響較大.當網(wǎng)絡兩層感知域的值都取1時識別準確率不高,當?shù)谝粚泳W(wǎng)絡感知域取3第二層感知域取2時結(jié)果最好,準確率達到96%.
選取50人的常速行走數(shù)據(jù)進行分類識別,每組實驗進行3次.取文獻[9]中提出的以不同區(qū)域最大壓力點之間及壓力中心點之間的歐式距離和壓力差為特征的方法作為對比方法,結(jié)果如表1所示.可以看出S-CNN特征可以獲得較好識別正確率,與對比方法相比,無論左腳、右腳還是最終識別率均優(yōu)于對比方法.
表1 S-CNN特征與對比方法識別結(jié)果Tab.1 The recognition obtained from the S-CNN feature and the compared method
以50人右腳常速行走時數(shù)據(jù)為例,進行實驗比較感知域大小對S-CNN特征和D-CNN特征分類結(jié)果的影響,如圖6所示.其中,假定D-CNN網(wǎng)絡的第一層感知域大小為3不變.從圖中可以看出,S-CNN網(wǎng)絡在感知域取3、4是識別率較高,在85%以上;D-CNN網(wǎng)絡的識別率除了感知域取1以外都高于90%.
實驗說明,S-CNN特征作為基于足底壓力信息的步態(tài)識別特征比以各個區(qū)域中壓力點之間的歐式距離和壓力差為特征的識別正確率高,而D-CNN特征又比S-CNN特征識別效果好.
隨著多種特征提取方法的提出,基于足底壓力信息的步態(tài)識別技術(shù)也有了快速發(fā)展.作者提出用雙層卷積神經(jīng)網(wǎng)絡模型來進行特征學習,并將該方法應用到步態(tài)識別領(lǐng)域.該方法與傳統(tǒng)算法相比,無論是在算法復雜度和識別結(jié)果上都有很大的提高.在以后的研究中,作者將嘗試對CNN模型進行優(yōu)化,使之更好地服務于步態(tài)識別.
[1]徐蘇.基于步態(tài)觸覺特征的生物特征識別[D].合肥:中國科學技術(shù)大學計算機系,2010:11-23.
[2]Hannula M,Sakkinen A,Kylmanen A.Development of EMFI-sensor based pressure sensitive insole for gait analysis[C]//Medical Measurement and Applications,IEEE International Workshop on,IEEE,2007:1-3.
[3]Mackey J R,Davis B L.Simultaneous shear and pressure sensor array for assessing pressure and shear at foot ground interface[J].Journal of Biomechanics,2006,39(15):2893-2897.
[4]Lin E D,Yao Z M,Zheng Z,et al.An improved gait recognition method based on the ground reaction force[J].Pattern recognition and artificial intelligence,2011,24(3):353-359.
[5]Adam C,Honglak L,Andrew Y.An analysis of single-layer networks in unsupervised feature learning[C]//International Conference on Artificial Intelligence and Statistics,2011:215-223.
[6]Bengio Y.Learning deep architectures for AI[J].Foundations and Trends in Machine Learning,2009,2(1):1-127.
[7]Sun Z J,Xue L,Xu Y M,et al.The reviewed of deep learning[J].Computer Application Research,2012,29(8):2806-2810.
[8]Le Q ,Monga R,Devin M,et al.Building high-level features using large scale unsupervised learning[J].In ICML,2012(6):1112-6209.
[9]Liang D,Gao W W,Zhang Y,et al.Static tactile gait recognition based on foot pressure image[J].Journal of Huazhong University of Science and Technology,2013(5):1-4.
[10]Coates A,Ng A Y,Lee H.An analysis of single-layer networks in unsupervised feature learning[C]//International Conference on Artificial Intelligence and Statistics,2011:215-223.
[11]Krizhevsky A,Sutskever I,Hinton G.Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems,2012:1106-1114.
[12]Yamakawa T,Taniguchi K,Asari K,et al.Biometric personal identification based on gait pattern using both feet pressure change[C]//Automation Congress,WAC,World,IEEE,2008:1-6.