談巧玲,吳建寧

(福建師范大學 數(shù)學與信息學院,福州 350117)

近年來,基于戶外環(huán)境獲取步態(tài)數(shù)據(jù)構建泛化性能優(yōu)越的機器學習步態(tài)分類模型在步態(tài)模式識別研究領域受到廣泛關注,對于預防老年人跌倒、老年神經(jīng)性功能疾病診療和康復評價、人體身份鑒別等具有重要意義,已成為目前步態(tài)模式識別相關研究領域一個新的研究探索熱點[1,2].近年來,隨著先進數(shù)據(jù)采集技術快速發(fā)展,一些先進的數(shù)據(jù)采集技術(諸如,計算機視頻、無線雷達、可穿戴傳感器等)相繼被用來采集戶外環(huán)境中步態(tài)模式數(shù)據(jù).諸如,一些學者基于計算機視頻采集的步態(tài)圖像數(shù)據(jù),探討了不同視角環(huán)境下的戶外人體步態(tài)模式識別相關研究[3];另外一些研究學者基于無線雷達裝置獲取的步態(tài)數(shù)據(jù),探討了蘊含微多普勒特征信息的戶外環(huán)境步態(tài)模式識別研究[4];還有一些學者基于可穿戴傳感器(加速度計、陀螺儀、磁力計等)的步態(tài)數(shù)據(jù),探討了戶外環(huán)境下的步態(tài)模式識別研究[5].研究發(fā)現(xiàn),便宜、便攜的可穿戴傳感器步態(tài)采集技術具有適應不同戶外應用場景、蘊含較豐富步態(tài)特征信息量等優(yōu)點,可較好避免計算機視頻技術因戶外環(huán)境、人體穿戴衣物遮擋丟失有價值步態(tài)特征信息、無線雷達裝置因外界環(huán)境干擾丟失無線步態(tài)探測信號等局限,有助于提升步態(tài)模式識別效能,在近年來相關研究應用較為廣泛.

基于可穿戴傳感器數(shù)據(jù)應用機器學習算法探尋泛化性能優(yōu)越的步態(tài)模式識別模型受到相關研究持續(xù)高度關注,其基本思想:能夠充分利用機器學習算法優(yōu)越的數(shù)據(jù)學習性能從可穿戴傳感器步態(tài)數(shù)據(jù)中獲得更具代表性的步態(tài)特征信息,提高步態(tài)模式識別性能.早期,一些研究探討了基于傳統(tǒng)機器學習算法(諸如,決策樹、多層感知神經(jīng)網(wǎng)絡、支持向量機、K-近鄰等)量化分析可穿戴傳感器數(shù)據(jù),嘗試構建泛化性能優(yōu)越的步態(tài)模式識別性能[6,7].諸如,Bao 等[8]探討了基于三軸加速度計步態(tài)數(shù)據(jù),構建ID3 決策樹步態(tài)模式識別模型鑒別正常行走、慢跑、爬樓梯等3 種步態(tài)模式,平均識別率僅為79%.Tahafchi 等探討了應用KNN 分類算法從帕金森受試者可穿戴傳感數(shù)據(jù)(包含三軸加速度數(shù)據(jù)、陀螺儀數(shù)據(jù)、磁力計數(shù)據(jù)以及雙通道的非侵入型的肌電掃描儀數(shù)據(jù))中獲取與帕金森凍結步態(tài)密切相關的步態(tài)特征信息,步態(tài)模式識別率根據(jù)參與者對象分別達到91.9%、87.1%、80.9%以及79.9%[9];此外,Nickel 等學者基于可穿戴傳感器加速度步態(tài)數(shù)據(jù),分別探討了基于支持向量機、隱形馬爾可夫模型、KNN 分類算法構建步態(tài)模式識別模型相關研究,其中支持向量機以及隱形馬爾可夫模型的平均錯誤率(Equal Error Rate,EER)分別是10.00%和12.63%,KNN 分類算法的一半總錯誤率(Half Total Error Rate,HTER)可達到8.24%[10,11];研究發(fā)現(xiàn),傳統(tǒng)機器學習算法在處理可穿戴傳感器步態(tài)數(shù)據(jù)識別步態(tài)模式中具有較低計算復雜度等優(yōu)點,但因其內(nèi)在線性計算模型架構難以獲取隱含于可穿戴傳感器步態(tài)數(shù)據(jù)內(nèi)在結構中更具代表性的步態(tài)特征信息,難以支撐構建泛化性能優(yōu)越的步態(tài)模式識別模型.近年來,隨著深度學習等新興機器學習理論的快速發(fā)展以及在圖像處理等領域成功應用,一些學者嘗試探討基于可穿戴傳感器步態(tài)數(shù)據(jù)構建深度學習步態(tài)模式識別模型,其基本思路旨在充分利用深度學習算法卓越的數(shù)據(jù)學習性能從高維可穿戴傳感步態(tài)數(shù)據(jù)中獲取更具代表性步態(tài)特征信息,提高步態(tài)模式識別性能.諸如,Zou 等[12]基于可穿戴智能手機采集的加速度數(shù)據(jù)和陀螺儀數(shù)據(jù),探討了構建卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡相融合步態(tài)模式識別模型,嘗試獲取可穿戴傳感步態(tài)數(shù)據(jù)內(nèi)在時空相關性特征信息,提高步態(tài)模式識別性能,研究結果發(fā)現(xiàn)該方法在行人識別和身份認證中準確率分別高于93.5%和93.7%.此外,Ding 等[13]研究學者提出了一種基于可穿戴步態(tài)數(shù)據(jù)(在小腿上佩戴慣性測量單元收集角速度數(shù)據(jù))的長短時記憶算法LSTM的步態(tài)模式識別模型,旨在通過長短時記憶算法獲取隱含于可穿戴步態(tài)數(shù)據(jù)的時間相關性步態(tài)特征信息探測步態(tài)相位,并利用相位標記數(shù)據(jù)對其進行訓練,實驗結果表明識別準確率可達91.4%.近年來的基于深度學習的步態(tài)模式識別相關研究雖取得了較好的成果和積極進展,但仍缺乏準確獲取隱含于可穿戴步態(tài)數(shù)據(jù)中更具代表性的時-空相關性步態(tài)特征信息的技術手段,嚴重制約著步態(tài)模式識別性能.相關醫(yī)學研究表明,步態(tài)是人體行走的姿態(tài),與人體神經(jīng)系統(tǒng)、運動系統(tǒng)、心理認知系統(tǒng)等生理因素密切相關,是一個各生理因素相互作用、相互影響的長期記憶過程,而目前研究所采用自循環(huán)神經(jīng)網(wǎng)絡模型僅具短時記憶性能,難以獲得步態(tài)過程中長期時間相關性特征信息.急需探索新的獲取隱含于可穿戴步態(tài)數(shù)據(jù)中更具代表性的時-空相關性步態(tài)特征信息的深度學習模型.

為此,基于可穿戴傳感器步態(tài)數(shù)據(jù),本文提出一種將卷積神經(jīng)網(wǎng)絡模型和長短期記憶神經(jīng)網(wǎng)絡模型相融合的步態(tài)模式深度學習判別新模型,旨在充分利用卷積神經(jīng)網(wǎng)絡模型優(yōu)越的獲取數(shù)據(jù)局部空間最具代表性特征信息特性和長短期記憶神經(jīng)網(wǎng)絡模型優(yōu)越的獲取數(shù)據(jù)內(nèi)在長期時間相關性特征信息特性,準確獲取隱含于可穿戴步態(tài)數(shù)據(jù)中更具代表性的時-空相關性步態(tài)特征信息,提高步態(tài)模式識別性能.此外,本文選取公開的加州大學歐文分校UCI 數(shù)據(jù)庫中的HAR 數(shù)據(jù)[14],并與傳統(tǒng)機器學習算法、深度學習算法模型比較,驗證本文所提模型算法有效性.

1 CNN-LSTM 深度融合學習步態(tài)模式判別模型

本文所提CNN-LSTM 深度融合學習模型旨在充分利用CNN、LSTM 模型分別獲取數(shù)據(jù)結構內(nèi)在空間、時間相關性特征信息的優(yōu)異特性,將二者深度融合從可穿戴傳感步態(tài)數(shù)據(jù)(諸如,加速度、陀螺儀等步態(tài)數(shù)據(jù))獲取更多蘊含與步態(tài)變化密切相關的時-空相關性特征信息,提高步態(tài)模式識別性能.也就是,假設需識別步態(tài)模式為數(shù)據(jù)集V={v1,v2,···,vl},其中,l表示待識別的步態(tài)模式數(shù).假設可穿戴傳感步態(tài)時間序列數(shù)據(jù)為:

為了準確識別步態(tài)模式,我們需構建一個模型Γ 從每一數(shù)據(jù)段hi中獲取蘊含步態(tài)特征信息的向量Yi,也就是,Yi=Γ(D,hi)然后,基于一個推理方法Ψ 計算與每個步態(tài)模式vi相 對應的置信度值集P:P(vi/Yi,β)=Ψ(Yi,β),其中,β表示為一個基于模型Γ的訓練參數(shù)集.那么,通過計算下列最大得分值:v*i=argmaxP(v/Yi,β),即可準確獲得步態(tài)模式v*i,實現(xiàn)每個步態(tài)模式vi識別.研究中,我們構建CNN-LSTM 深度融合學習模型作為模型 Γ,首先采用CNN 深度學習模型從每一數(shù)據(jù)段hi中獲取蘊含與步態(tài)模式變化密切相關的局部空間特征信息,在此基礎上,基于LSTM 深度學習模型獲取步態(tài)數(shù)據(jù)局部空間特征的時間相關性,獲得更多與步態(tài)模式變化相關的時-空特征信息,最大概率獲得到步態(tài)模式v*i,準確識別步態(tài)模式vi.

本文所提基于CNN-LSTM 融合深度學習步態(tài)模式判別模型框架如圖1所示,由步態(tài)數(shù)據(jù)輸入層、CNNLSTM 融合深度學習、全連接層3 部分組成.

圖1 CNN-LSTM 網(wǎng)絡框架

如圖1,鑒于可穿戴步態(tài)傳感數(shù)據(jù)的時-空相關特性,CNN 由3 個卷積層(CL1、CL2、CL3),一個池化層(MP1),兩個dropout 層組成,準確獲取步態(tài)數(shù)據(jù)內(nèi)在最具代表性的局部空間特征;為準確獲得步態(tài)數(shù)據(jù)內(nèi)在最具代表性局部空間特征的時間相關性,LSTM模型由32 個cell 組成,為準確獲得步態(tài)數(shù)據(jù)內(nèi)在最具代表性局部空間特征的時間相關性,全連接層由6 個cell 組成,最大概率識別步態(tài)模式.

(1)基于CNN 提取步態(tài)數(shù)據(jù)內(nèi)在最具代表性局部空間特征

為有效獲取步態(tài)特征信息,可穿戴傳感步態(tài)時間序列在t時刻的數(shù)據(jù)定義為:

其中,BA-XYZ 表示三維人體運動加速度數(shù)據(jù),GAXYZ 表示三維重力加速度數(shù)據(jù),Gy-XYZ 表示三軸陀螺儀數(shù)據(jù).便于分析,選取t∈{1,···,128},其傳感步態(tài)數(shù)據(jù)輸入序列定義為:

假設用于獲取最具代表性步態(tài)局部空間特征的CNN 模型共有L卷積層,每層卷積核定義為:Ml×Nl,第l∈{1,···,L}卷 積層提取步態(tài)局部空間特征F(l),其定義為:

其中,f(·)表示激活函數(shù),〈·〉 表示內(nèi)積,b(l)為偏置項;w(l)為一維卷積核向量;φ為w(l)的長度.

鑒于式(3)所定義的可穿戴傳感步態(tài)數(shù)據(jù)所具高維性、非線性、隨機性等特點和低算法復雜度,本文構建三層一維卷積層,每個卷積層均有32 個卷積核,其大小定義為3×3,步長定義為1,采用良好非線性特性ReLU 函數(shù)[15,16]作為激活函數(shù).根據(jù)式(3),可穿戴傳感步態(tài)輸入數(shù)據(jù)大小定義為128×9,可分別獲得第一層、第二層以及第三層卷積層輸出的步態(tài)局部特征數(shù)據(jù):126×32、124×32和122×32.為有效保持較好學習性能避免過擬合,構建一個Dropout 層.為有效保持卷積層所獲得步態(tài)特征內(nèi)在特性,降低其冗余性信息,利用池化層降低特征維數(shù)且增加其空間不變性[17],定義最大池化技術的池化層獲取蘊含更多最具步態(tài)變化信息的局部空間特征Pj,定義為:

其中,R表示池化窗口大小.

為此,基于式(5)可從可穿戴傳感步態(tài)時間序列數(shù)據(jù)中得到最具步態(tài)變化信息的局部空間特征,為后續(xù)獲取其時間相關性特征奠定基礎.我們將此局部步態(tài)特征作為LSTM的輸入提取步態(tài)數(shù)據(jù)長時期的依賴特性.

(2)基于LSTM 層提取步態(tài)數(shù)據(jù)局部特征的時間相關性

一個步態(tài)活動可考慮為一個長序列的時間序列,通過建立自回歸模型RNN 可有效提取局部特征的長期時間相關依賴特性.本文鑒于長短期記憶網(wǎng)絡(LSTM)所具良好動態(tài)學習時間序列數(shù)據(jù)內(nèi)在時間相關性的自回歸網(wǎng)絡架構特性[18],構建LSTM 單元cell,包括1 個記憶單元C和3 個門函數(shù)(輸入it,遺忘ft,輸出ot),實時提取步態(tài)數(shù)據(jù)的內(nèi)在長期時間相關特性信息,具體實現(xiàn)如下.

假設用pt表示步態(tài)數(shù)據(jù)樣本在t時刻通過CNN 模型處理過的一維特征圖作為LSTM 神經(jīng)元的輸入項,經(jīng)過LSTM的cell 時首先由遺忘門丟棄無用的提取數(shù)據(jù)信息,其輸出為:

其中,σ表示激活函數(shù)Sigmoid,Wf為權值,bf表示偏置值.接著由輸入門it和候選記憶單元C~t來確定更新的數(shù)據(jù)信息:

其中,Wi和Wc指的是權值,bi和bc指的是偏置值.之后由記憶單元Ct表示該LSTM的cell 更新狀態(tài):

最后確定LSTM 單元的輸出數(shù)據(jù)信息ht為:

其中,ot是輸出門;ht是當前神經(jīng)元在時間的輸出.具體的推導公式可參考文獻[19].通過上述記憶單元Ct保留經(jīng)歷過遺忘和輸入的信息實現(xiàn)了LSTM 單元有效傳遞時間間隔較遠的歷史信息從而獲取數(shù)據(jù)內(nèi)在時間相關性特征.本文所提LSTM 層由32 個cell 組成處理時序信號表示為一維特征向量如式(12)所示.

特征向量s進入由6 個cell 組成的全連接層處理,其輸出為:

其中,W為全連接層的權值矩陣;ε是偏置項向量.我們將全連接層的激活函數(shù)設置為Softmax 函數(shù),則最終輸出為:

通過式(14)最大概率識別步態(tài)模式vi.

從上述分析可知,本文所提CNN-LSTM 模型充分融合CNN和LSTM 兩者獲取步態(tài)時間序列數(shù)據(jù)內(nèi)在最具代表性的時間、空間步態(tài)特征的優(yōu)異特性,降低其學習網(wǎng)絡結構復雜性和模型較大訓練開銷,增強融合深度學習算法非線性擬合性能,有助于提升本文所提模型步態(tài)分類的精確度和準確度.

本文所提神經(jīng)網(wǎng)絡模型采用分類交叉熵損失函數(shù)最小化訓練樣本的分類錯誤率,其定義為:

其中,D表示訓練集,W表示權值矩陣,B表示偏置值;N表示訓練樣本的數(shù)量,y(i)表示的是第i個樣本的標簽,表示預測的標簽以及〈·〉表示內(nèi)積.

2 實驗與結果分析

2.1 實驗數(shù)據(jù)獲取

本文采用的是加州大學歐文分校(University of California Irvine)提出的用于機器學習的UCI 數(shù)據(jù)庫中的HAR 數(shù)據(jù)集.該數(shù)據(jù)集收集了30 名年齡在19至48 歲的志愿者的6 種步態(tài)模式:站立、坐著、躺下、行走、在樓上和樓下行走.每個受試者執(zhí)行兩次實驗方案:第一次實驗將智能手機(內(nèi)置加速度計和陀螺儀)佩戴于腰部左側(cè);第二次實驗,受驗者隨意放置智能手機.要求受驗者在實驗室環(huán)境下以自己舒適的步速完成不同步態(tài)行走,便于獲得較真實行走步態(tài)數(shù)據(jù)集.采樣頻率設置為50 Hz 采集三軸加速度和角速度步態(tài)行走數(shù)據(jù).

2.2 數(shù)據(jù)預處理

為有效消除噪聲干擾獲取蘊含更多有用步態(tài)數(shù)據(jù),本文采用中值濾波器和三階低通Butter-worth 濾波器(截止頻率設置為0.3 Hz)對人體加速度信號和重力加速度信號消噪處理.設置窗口寬度為2.56 s 進行滑窗采用數(shù)據(jù),窗口重疊設置為50%,即每個窗口有:2.56 s×50 Hz=128 周期,采用快速傅里葉變換獲取17 個步態(tài)數(shù)據(jù)時域、頻域步態(tài)特征.為此,文中采用了17 個度量標準評估時域和頻域的特征向量,即總共提取了561 個特征來描述每個活動窗口(樣本點),每個樣本點看作為一種步態(tài)模式,其度量標準如表1所示.

表1 計算特征向量的度量表

2.3 步態(tài)分類性能評價標準選取

為客觀、準確評價本文所提步態(tài)分類模型的泛化性能,本研究選取步態(tài)分類相關研究常用的分類準確率、步態(tài)精確率、召回率作為步態(tài)分類性能客觀評價指標.

(1)準確率(Accuracy):用于客觀評價本文所提步態(tài)深度學習分類模型的精確度,其定義為:

其中,TP表示正確識別步態(tài)模式的樣本數(shù);FP表示錯誤識別步態(tài)模式的樣本數(shù);TN表示正確步態(tài)模式錯誤識別為其他步態(tài)模式的樣本數(shù);FN表示步態(tài)模式錯誤識別為正確步態(tài)模式的樣本數(shù).

(2)步態(tài)精確率(Precision):用于客觀評價本文所提步態(tài)深度學習分類模型“真正”鑒別步態(tài)模式的性能,其定義為

(3)召回率(Recall):用于客觀評價本文所提步態(tài)深度學習分類模型步態(tài)模式正確識別的性能,其定義為

2.4 實驗結果

本文實驗是基于谷歌開源的深度學習框架Tensorflow 實現(xiàn),具體的實驗平臺為CPU(i5),Python3.7,Keras2.3,Tensorflow2.1.選取樣本數(shù)10 299,隨機選取70%為訓練集、30%為測試集,實驗數(shù)據(jù)分批送入模型訓練,批處理塊大小為32 個數(shù)據(jù)樣本.模型的訓練回合數(shù)設置為30 且采用了自適應學習率優(yōu)化算法Adam且學習率設置為0.001.

(1)步態(tài)深度學習分類模型最優(yōu)結構參數(shù)選取

為準確優(yōu)化設計本文所提步態(tài)深度學習分類模型結構,提高其性能,本文首先量化評估所提模型優(yōu)化選取卷積神經(jīng)網(wǎng)絡部分的卷積層數(shù)和長短期記憶網(wǎng)絡中神經(jīng)元數(shù)量.卷積神經(jīng)網(wǎng)絡卷積層數(shù)選取結果如圖2所示,從圖2可以看到,當卷積層數(shù)從1 增長到3 時,模型的準確率逐步增大,當卷積層數(shù)為3 時,分類準確率最大,可達92.1%,但卷積層數(shù)增至4和5 時,分類準確率顯著下降,結果表明,當卷積層數(shù)為3 時,本文所提步態(tài)融合深度學習分類模型可從可穿戴傳感加速度和陀螺儀步態(tài)數(shù)據(jù)中獲得蘊含更多與步態(tài)模式變化密切相關的步態(tài)特征信息,有效提升模型的分類性能,而卷積層數(shù)增至4和5 時,難以從可穿戴傳感步態(tài)數(shù)據(jù)中獲得一些代表性特征信息,可能丟失一些有用步態(tài)特征信息,降低模型的分類性能.

選取最優(yōu)LSTM 模型的神經(jīng)元數(shù)的結果如圖3所示,從圖3可以看到,當神經(jīng)元數(shù)從16 增至256 過程中,選取不同神經(jīng)元數(shù)影響模型步態(tài)模式分類性能.當神經(jīng)元數(shù)為32 時,分類準確率最大,可達92.3%,當神經(jīng)元數(shù)從32 增至256 時,分類準確率顯著下降.結果表明,神經(jīng)元數(shù)選取32 時,本文所提模型可從可穿戴傳感步態(tài)數(shù)據(jù)空間局部特征獲得更多與步態(tài)變化密切相關的時間相關特征信息,顯著提升本文所提模型步態(tài)分類性能.

圖2 卷積層數(shù)對分類準確率的影響

圖3 LSTM 神經(jīng)元數(shù)量對分類準確率的影響

(2)CNN-LSTM 模型步態(tài)分類性能評估結果

本文所提CNN-LSTM 步態(tài)深度融合學習模型基于所取最優(yōu)參數(shù)的分類性能評價結果如表2所示,從表2可以看到,本文所提模型能以較好分類性能鑒別6 種不同步態(tài)模式,平均準確率可達91.45%、平均召回率可達91.53%;比較而言,“躺”步態(tài)模式具有最高準確率,可達99%,表明本文所提深度融合學習模型能夠有效從可穿戴傳感加速度、陀螺儀步態(tài)數(shù)據(jù)獲取與“躺”步態(tài)模式密切相關的時-空步態(tài)特征信息,有效提高其模式鑒別性能.然而,“站立”步態(tài)模式準確率最低,僅為80.94%,“坐”步態(tài)模式召回率最低,僅為81.06%,這些結果表明,本文所提模型難以從可穿戴傳感加速度、陀螺儀步態(tài)數(shù)據(jù)獲取與“坐”、“站立”步態(tài)模式密切相關的時-空步態(tài)相關特征信息,這可能由于本文所取步態(tài)數(shù)據(jù)采集過程可穿戴單傳感步態(tài)采集器佩戴人體解剖部位難以捕獲“坐、站立”步態(tài)模式相關信息.

另外,基于相同的步態(tài)數(shù)據(jù),本文選取基于傳統(tǒng)機器學習算法(諸如決策樹、KNN、支持向量機等)構建的步態(tài)分類模型,進一步評價本文所提模型的優(yōu)越性能,其比較分類性能如表3所示,從表3可以看到,本文所提步態(tài)深度融合學習模型的準確率、精確率、召回率最高,均可達91.5%;其次,KNN 步態(tài)分類模型準確率、精確率、召回率均約為90%;支持向量機準確率、精確率、召回率均低于90%,而決策樹步態(tài)分類模型準確率、精確率、召回率最低,僅為86%,上述結果表明,本文所提CNN-LSTM 步態(tài)深度融合學習模型分類性能明顯優(yōu)于傳統(tǒng)機器學習步態(tài)分類模型性能,其根本原因在于本文所提模型能夠充分利用CNN、LSTM 深度融合學習算法所具獲取數(shù)據(jù)最具代表性特征的優(yōu)異特性,有效從可穿戴傳感加速度、陀螺儀步態(tài)數(shù)據(jù)獲取最具代表性的時-空相關性步態(tài)特征,顯著提升步態(tài)分類性能,而傳統(tǒng)機器學習步態(tài)分類模型基于線性模型僅可獲取局部空間、時間步態(tài)特征,難以從可穿戴傳感加速度、陀螺儀時序步態(tài)數(shù)據(jù)獲取最具代表性的時-空相關性步態(tài)特征,影響其分類性能.

表2 6 種步態(tài)模式分類結果

表3 與傳統(tǒng)機器學習算法步態(tài)分類比較結果(%)

此外,為進一步評價本文所提模型的有效性,基于上述相同步態(tài)數(shù)據(jù),將本文所提模型與其他傳統(tǒng)深度學習模型(諸如CNN、RNN[20]、LSTM、GRU[21]等模型)進行比較,其比較結果如表4所示.從表4可以看出,本文所提CNN-LSTM 模型步態(tài)分類性能明顯優(yōu)于其他傳統(tǒng)深度學習步態(tài)分類性能.就比較而言,RNN網(wǎng)絡模型步態(tài)分類性能較差,其準確率、精確率、召回率僅均約為70%,其原因在于RNN 網(wǎng)絡學習模型難以獲取步態(tài)時間序列內(nèi)在最具空間、時間相關性步態(tài)特征信息;CNN、GRU和LSTM 三個學習模型的準確率、精確率、召回率均約為88%,其步態(tài)分類性能雖優(yōu)于RNN 網(wǎng)絡學習模型步態(tài)分類性能,但明顯低于本文所提CNN-LSTM 融合學習模型的步態(tài)分類性能,其根本原因在于:基于傳統(tǒng)CNN 深度學習的步態(tài)分類模型僅能獲取步態(tài)時間序列數(shù)據(jù)內(nèi)在最具代表性的局部空間步態(tài)特征信息;基于傳統(tǒng)LSTM、GRU 深度學習的步態(tài)分類模型僅能獲取可穿戴步態(tài)時間序列數(shù)據(jù)內(nèi)在最具代表性的時間相關性步態(tài)特征信息,上述兩種傳統(tǒng)深度學習步態(tài)分類模型局限在于難以獲取可穿戴步態(tài)時間序列數(shù)據(jù)內(nèi)在最具代表性的時間-空間相關性步態(tài)特征信息,而本文所提CNN-LSTM 融合深度學習步態(tài)分類模型可充分融合CNN、LSTM 各具獲取步態(tài)時間序列內(nèi)在空間、時間相關性特征信息優(yōu)異特性,有效獲取可穿戴步態(tài)時間序列數(shù)據(jù)內(nèi)在最具代表性的時間-空間相關性步態(tài)特征信息,彌補傳統(tǒng)CNN、LSTM深度學習模型獲取步態(tài)時間序列數(shù)據(jù)內(nèi)在最具代表性步態(tài)特征信息的局限,有效提升基于可穿戴步態(tài)傳感數(shù)據(jù)的步態(tài)分類性能.

表4 與同類深度學習算法步態(tài)分類比較結果(%)

3 結論

本文提出了一種基于可穿戴傳感數(shù)據(jù)的步態(tài)模式深度學習融合判別新模型,該模型能夠充分融合卷積神經(jīng)網(wǎng)絡和長短時記憶神經(jīng)網(wǎng)絡深度學習模型所具獲取數(shù)據(jù)最具時空代表性特征的優(yōu)異特性,有效從可穿戴傳感加速度、陀螺儀步態(tài)數(shù)據(jù)獲取最具代表性的時-空相關性步態(tài)特征,顯著提升可穿戴步態(tài)模式分類性能,為進一步深入開展可穿戴多傳感步態(tài)模式深度學習分類相關研究提供可靠借鑒.