周 鵬,袁國(guó)良，張 穎，孫 莉

(上海海事大學(xué) 信息工程學(xué)院,上海 201306)

0 引 言

在人體行為識(shí)別領(lǐng)域，便攜式可穿戴傳感器可以精確地獲取人體運(yùn)動(dòng)過(guò)程中的加速度、角速度、姿態(tài)角等信息，而且克服了給用戶(hù)帶來(lái)的隱私問(wèn)題[1,2]，能夠?qū)崿F(xiàn)對(duì)不同人體行為的識(shí)別。因此，基于可穿戴傳感器的人體行為識(shí)別研究在人機(jī)交互、虛擬現(xiàn)實(shí)、運(yùn)動(dòng)和醫(yī)療保健等工作和生活領(lǐng)域中極具前景。作為人體行為識(shí)別的模型，需要有很好的識(shí)別效果和魯棒性，已提出的識(shí)別模型有隱馬爾可夫模型(hidden Markov model,HMM)[3]、支持向量機(jī)(support vector machine,SVM)[4]、貝葉斯[5]等傳統(tǒng)識(shí)別模型。但用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)模型對(duì)日常行為進(jìn)行識(shí)別的卻不多。文獻(xiàn)[6]使用長(zhǎng)短期記憶網(wǎng)絡(luò)(long short term memory,LSTM)提取特征,在WISDM實(shí)驗(yàn)數(shù)據(jù)集上進(jìn)行人體行為識(shí)別，最終識(shí)別率達(dá)到92.1 %;文獻(xiàn)[7]用CNN自動(dòng)地提取特征用于LSTM的輸入，識(shí)別率達(dá)到99.4 %；文獻(xiàn)[8]提出的深度卷積網(wǎng)絡(luò)(deep convolutional neural network,DCNN)層數(shù)不夠深，且沒(méi)有將加速度和角速度進(jìn)行信號(hào)融合，最終的識(shí)別率達(dá)到91.2 %。在日常活動(dòng)中，跌倒行為的識(shí)別相對(duì)較困難，容易與躺下、跳躍等非跌倒行為混淆。文獻(xiàn)[9]表明在發(fā)生跌倒行為時(shí)，身體俯仰角會(huì)發(fā)生明顯的變化。受此啟發(fā)，可以考慮將其作為補(bǔ)償信息，與加速度和角速度信息進(jìn)行融合，提高行為識(shí)別率。

傳統(tǒng)上，DCNN常用于對(duì)復(fù)雜圖像進(jìn)行檢測(cè)和識(shí)別，該模型能夠?qū)崿F(xiàn)不同通道信息的深度融合，且省去了繁瑣的特征提取過(guò)程。因此，本文提出一種改進(jìn)的DCNN,即融合DCNN(fusion DCNN,F-DCNN)，將其應(yīng)用于人體行為識(shí)別領(lǐng)域。

1 行為圖片構(gòu)建

1.1 數(shù)據(jù)集

UCI機(jī)器學(xué)習(xí)知識(shí)庫(kù)提供的人體行為識(shí)別數(shù)據(jù)集Simulated Falls and Daily Living Activities Dataset[10]，通過(guò)分布在身體上的6個(gè)部位(頭部、胸部、腰部、右手腕、右大腿、右腳踝)的傳感器，以50 Hz的采樣頻率采集不同動(dòng)作的加速度、角速度和姿態(tài)角數(shù)據(jù)，采集過(guò)程由30名年齡在19～48歲的志愿者完成?？紤]到放置在腰部的傳感器所采集的數(shù)據(jù)變化微小，故選用腰部傳感器數(shù)據(jù)作為此次實(shí)驗(yàn)的數(shù)據(jù)集。由于采集的加速度數(shù)據(jù)包含重力，為排除重力因素對(duì)實(shí)驗(yàn)的干擾，需使用低通濾波器分離身體加速度和重力。

對(duì)數(shù)據(jù)進(jìn)行初步處理過(guò)后，需要計(jì)算合加速度、合角速度，方便后續(xù)生成行為圖片。

1)三軸加速度計(jì)的合加速度Aas

(1)

式中Aas為三軸合成加速度；Ax,Ay,Az分別為x,y,z軸的加速度。

2)三軸陀螺儀的合角速度Gr

(2)

式中Gr反映人體活動(dòng)時(shí)采集端旋轉(zhuǎn)的強(qiáng)烈程度，Gx,Gy,Gz分別為三個(gè)軸的角速度。

對(duì)于姿態(tài)角數(shù)據(jù)，其俯仰角反映的是人體運(yùn)動(dòng)過(guò)程中水平方向上的角度變化情況，以X軸為人體右手方向，Z軸垂直向上，Y軸為人體前進(jìn)方向，則俯仰角(pitch)為

(3)

當(dāng)俯仰角發(fā)生劇烈變化時(shí)，說(shuō)明人體在水平方向上發(fā)生跌倒，將其作為補(bǔ)償信息與加速度、角速度進(jìn)行融合。

1.2 數(shù)據(jù)分幀

為產(chǎn)生適合模型輸入的行為圖片，在這里首先需要對(duì)數(shù)據(jù)進(jìn)行分幀處理。對(duì)圖1所示的行為曲線進(jìn)行分析可知，大部分日常行為具有周期性和連續(xù)性的特點(diǎn)，不同行為類(lèi)別在單個(gè)周期內(nèi)就能很好地區(qū)分。

圖1 數(shù)據(jù)分幀

設(shè)某段周期序列的采樣點(diǎn)數(shù)為L(zhǎng)，對(duì)周期序列進(jìn)行分幀，得到分幀Xiw(t)，w為幀序號(hào)，w={1,2，…，W}，t為每幀信號(hào)內(nèi)的時(shí)間序號(hào)。令每幀信號(hào)的幀長(zhǎng)度l，則t={0,1,…，l-1}。假設(shè)每幀信號(hào)之間的重疊采樣點(diǎn)數(shù)為S，則

W=(L-l)/(l-S)+1

(4)

所以,每幀信號(hào)Xiw(t)可由式(5)計(jì)算

Xiw(t)={Xi(a(w-1)+0),Xi(a(w-1)+1),…，

Xi(a(w-1)+l-1)}

(5)

式中a=l-S。

因?yàn)椴煌膸L(zhǎng)l會(huì)對(duì)識(shí)別準(zhǔn)確率造成影響，為確定合適的l值，需要進(jìn)行對(duì)比實(shí)驗(yàn)，得到l與準(zhǔn)確率的關(guān)系如圖2所示。

圖2 不同l對(duì)準(zhǔn)確率的影響

從圖2可以看出，當(dāng)采樣點(diǎn)數(shù)在275(約5 s)左右，準(zhǔn)確率可以達(dá)到97 %左右，從數(shù)據(jù)處理難度和耗時(shí)角度綜合考慮，確定l=256。

1.3 行為圖片

經(jīng)過(guò)處理得到的每一幀序列在時(shí)間上和空間上有著很強(qiáng)的關(guān)聯(lián)性，已提出的有頻率圖方法和直方圖方法可以將時(shí)間序列轉(zhuǎn)換成圖片。但這兩種方法在處理生成圖片的過(guò)程中非常耗時(shí)，考慮到本文使用的數(shù)據(jù)集較大，因此提出一種更為快速的行為圖片生成方法。

圖3中，該過(guò)程主要分為三步：

圖3 行為圖片生成過(guò)程

1)切片：設(shè)經(jīng)過(guò)分幀處理得到的三段幀長(zhǎng)為l的時(shí)間序列為Xi,Yi,Zi(合加速度、合角速度、俯仰角)，同時(shí)對(duì)這三段時(shí)間序列進(jìn)行切片，切片的長(zhǎng)度為N，以Xi序列為例，經(jīng)切片后可以得到M個(gè)長(zhǎng)度為N的切片，即l=M×N。

2)組合：如圖3所示，M個(gè)切片按{Xi1,Yi1,Zi1},{Xi2,Yi2,Zi2},…,{Xij,Yij,Zij},(j={1,2,…，M})的順序縱向排列，則三種信號(hào)可以構(gòu)成大小為3M×N的時(shí)間序列矩陣，矩陣的每一個(gè)元素可以用s(k,i),(k=1,2,3;i=1,2,…,M×N)來(lái)表示。

3)映射編碼：通過(guò)式(6)將步驟(2)得到的時(shí)間序列矩陣轉(zhuǎn)換成行為圖片

(6)

其中,S(k,i)=s(k,i)×s(k,i)，

經(jīng)式(6)處理后，得到像素取值范圍在[0,255]之間的行為圖片F(xiàn)(m,n)，其大小為768×256，以滿(mǎn)足模型對(duì)輸入數(shù)據(jù)的要求。

2 F-DCNN模型

2.1 模型結(jié)構(gòu)

本文提出的模型包括輸入層(1層)、信號(hào)融合單元(3個(gè)卷積層)、卷積層(9層)、池化層(2層)和全連接層(1層)，其結(jié)構(gòu)和參數(shù)如圖4所示。

圖4 F-DCNN模型

2.2 信號(hào)融合單元

輸入數(shù)據(jù)是經(jīng)過(guò)預(yù)處理的單通道圖像，大小為768×256，經(jīng)轉(zhuǎn)置后，尺寸變?yōu)?56×768作為模型的輸入。首先，尺寸1×1，深度為30的卷積核與輸入圖像進(jìn)行卷積運(yùn)算。由于卷積核尺寸為1×1，因此原輸入的長(zhǎng)和寬均不會(huì)改變，但經(jīng)過(guò)卷積后，圖像的深度變成30，實(shí)現(xiàn)對(duì)原輸入的升維。利用后接的非線性激活函數(shù)RELU6，在保持特征圖尺寸不變的情況下，大幅增加其非線性特性。然后，為方便后續(xù)的處理，卷積核尺寸設(shè)置為1×3，這一步將生成256×256的特征圖，其后1×1，深度為8的卷積核對(duì)輸入進(jìn)行降維，原特征圖的深度由30變成8，這樣使得不同通道間信息實(shí)現(xiàn)線性組合變化，同時(shí)大大降低參數(shù)的數(shù)目，減少計(jì)算量。經(jīng)過(guò)信號(hào)融合單元后，三種信號(hào)可實(shí)現(xiàn)深度融合。

2.3 卷積層

將行為圖片用X′i(H×K),(H=256,k=768)表示，卷積核Xs(w×h)從輸入的左上角開(kāi)始，以步長(zhǎng)s,從左到右，從上到下進(jìn)行卷積

fs=σ(W(1)Xs+b(1))

(7)

式中σ為RELU型函數(shù)，W(1)和b(1)分別為顯層單元和隱含層單元之間的權(quán)重和偏置，經(jīng)過(guò)卷積運(yùn)算得到的特征圖尺寸為

S(fs)=k×[((H+2×padding-w)/s)+1]×

[((K+2×padding-h)/s)+1]

(8)

式中k為卷積核的個(gè)數(shù)，padding為邊緣擴(kuò)展參數(shù)，這里取默認(rèn)值0，步長(zhǎng)s設(shè)置為2，得到的各層輸出大小如圖4所示。

2.4 池化層

常用的池化方法有最大值池化、平均池化和隨機(jī)池化，在本文中，選用最大值池化

ps=maxm×n(fs)

(9)

文中池化核尺寸均為2×2，以第二卷積層的輸出為例，輸入數(shù)據(jù)尺寸大小為256×256，經(jīng)池化處理后，變成128×128的特征圖輸出至下一層；經(jīng)過(guò)最后一次池化處理后，特征圖大小為4×4，池化操作降低了數(shù)據(jù)維度。

3 實(shí)驗(yàn)結(jié)果與分析

通過(guò)構(gòu)建行為圖片，最終生成10 900個(gè)實(shí)驗(yàn)樣本，每次實(shí)驗(yàn)隨機(jī)選取70%樣本作為訓(xùn)練集，30%作為測(cè)試集。

3.1 測(cè)試集與訓(xùn)練集的擬合情況

按上述比例劃分訓(xùn)練集和測(cè)試集后，分別用單一傳感器數(shù)據(jù)集(Ax,Ay,Az構(gòu)成的行為圖片)和二種傳感器數(shù)據(jù)集(Aas，Gr，Pitch構(gòu)成的行為圖片)作為F-DCNN的輸入，進(jìn)行對(duì)比實(shí)驗(yàn)。

圖5表明，相較于單一傳感器，多信號(hào)融合方法的Train accuracy和Test accuracy曲線的擬合度更高，在迭代20次后達(dá)到最高值并趨于平穩(wěn)，表現(xiàn)出更好的泛化能力和魯棒性。

圖5 訓(xùn)練集和測(cè)試集擬合情況

3.2 10折交叉驗(yàn)證測(cè)試集精度

表1中，經(jīng)過(guò)10次交叉驗(yàn)證，多信號(hào)融合方法對(duì)6種行為的識(shí)別準(zhǔn)確率均高于單一傳感器，單一傳感器的跌倒識(shí)別準(zhǔn)確率只有80.15 %，而融合了角速度、俯仰角(pitch)信號(hào)之后，其識(shí)別準(zhǔn)確率達(dá)到了96.33 %，表明在加入信號(hào)融合單元后，模型對(duì)于識(shí)別跌倒行為可以表現(xiàn)更好。

表1 各種行為識(shí)別結(jié)果的對(duì)比 %

3.3 各種識(shí)別模型實(shí)驗(yàn)結(jié)果對(duì)比

傳統(tǒng)模型，如SVM,HMM分類(lèi)模型需要提取加速度的時(shí)域和頻域特征，將特征作為模型輸入進(jìn)行訓(xùn)練，得到模型參數(shù)，然后用于識(shí)別不同的人體行為?，F(xiàn)將不同幀長(zhǎng)的短時(shí)行為數(shù)據(jù)代替?zhèn)鹘y(tǒng)的時(shí)域和頻域特征，在同樣條件下，比較F-DCNN和傳統(tǒng)模型的識(shí)別率。

圖6表明，F(xiàn)-DCNN模型的識(shí)別率最高在90 %以上，HMM的最高識(shí)別率89 %左右，而SVM卻只有84 %左右的識(shí)別率，兩種模型的識(shí)別率均低于F-DCNN；此外，F(xiàn)-DCNN顯示出更好的非線性特征提取能力，其自身可以自動(dòng)提取行為數(shù)據(jù)中的空間和時(shí)間特征，使得提取的特征更為精確;相較于SVM和HMM模型，在以不同的幀長(zhǎng)作為輸入時(shí)，其精度和穩(wěn)定性仍表現(xiàn)較好?？傮w來(lái)說(shuō)，本文所提出的模型，其性能優(yōu)于SVM和HMM識(shí)別模型。

圖6 F-DCNN和傳統(tǒng)模型的比較

為進(jìn)一步分析F-DCNN在提高識(shí)別率上的作用，將其與已提出的卷積神經(jīng)網(wǎng)絡(luò)(CNN)[8]、協(xié)同 LSTM[11]神經(jīng)網(wǎng)絡(luò)模型進(jìn)行比較。表2中，當(dāng)三種模型僅使用加速度數(shù)據(jù)集作為輸入時(shí)，隨著幀長(zhǎng)的增加，各模型的識(shí)別率均顯著增加，CNN,協(xié)同LSTM 模型的識(shí)別率在幀長(zhǎng)為512時(shí)，分別為85.88 %和93.65 %，但F-DCNN模型的識(shí)別率達(dá)到96.51 %，優(yōu)于這兩種模型的識(shí)別效果。另外，當(dāng)F-DCNN模型融合了角速度、俯仰角信號(hào)后，其最高識(shí)別率達(dá)到97.78 %，比僅使用加速度數(shù)據(jù)集的識(shí)別率高，說(shuō)明該模型能夠有效融合不同信號(hào)，提高行為識(shí)別率。

表2 不同卷積模型結(jié)果比較

4 結(jié)束語(yǔ)

本文提出一種F-DCNN模型，針對(duì)6種日常行為進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明:其信號(hào)融合單元可有效提高識(shí)別率；與傳統(tǒng)模型相比，該方法具有更高的識(shí)別率，且省去了人為提取特征的過(guò)程，可操作性更好；另外，與新近提出的CNN、協(xié)同 LSTM神經(jīng)網(wǎng)絡(luò)模型相比，F(xiàn)-DCNN也顯示出更高的識(shí)別率。在以后的工作中，可以增加行為的種類(lèi)，在網(wǎng)絡(luò)結(jié)構(gòu)的選取構(gòu)造上，力求實(shí)現(xiàn)更高的識(shí)別率和更好的魯棒性，以及使用更多的信號(hào)進(jìn)行融合將是努力方向。