莫宇劍，侯振杰，*，常興治，梁久禎，陳宸，宦娟

（1.常州大學(xué) 信息科學(xué)與工程學(xué)院，常州213164； 2.常州信息職業(yè)技術(shù)學(xué)院 智能制造工業(yè)云開放實(shí)驗(yàn)室，常州213164；3.北卡羅來納大學(xué)夏洛特分校 電氣與計(jì)算機(jī)工程系，夏洛特市28223）

行為識(shí)別實(shí)現(xiàn)了計(jì)算機(jī)對人體行為的理解與描述，是視頻監(jiān)控［1］、智能看護(hù)、人機(jī)交互［2］等領(lǐng)域的關(guān)鍵技術(shù)。人體行為識(shí)別的研究具有廣泛的應(yīng)用前景以及可觀的經(jīng)濟(jì)價(jià)值［3］。執(zhí)行不同動(dòng)作時(shí)，不同身體部位的協(xié)同運(yùn)動(dòng)結(jié)構(gòu)特征是行為識(shí)別的難題?，F(xiàn)今行為識(shí)別的方法大致分為3類：①利用單一模態(tài)的行為數(shù)據(jù)進(jìn)行人體行為識(shí)別；②利用多個(gè)不同模態(tài)的行為數(shù)據(jù)進(jìn)行人體行為識(shí)別；③利用單一模態(tài)內(nèi)的不同人體部位間的協(xié)同運(yùn)動(dòng)結(jié)構(gòu)特征進(jìn)行行為識(shí)別。

利用單一模態(tài)的行為數(shù)據(jù)進(jìn)行人體行為識(shí)別，學(xué)者們已經(jīng)提出了許多成熟的算法。按行為識(shí)別算法使用的數(shù)據(jù)類型大致分為：①基于深度圖像的人體行為識(shí)別，如DMM-LBP-FF（Depth Motion Maps-based Local Binary Patterns-Feature Fusion）［4］、HOJ3D（Histograms of 3D Joint locations）［5］等；②基于骨骼數(shù)據(jù)的人體行為識(shí)別，如協(xié)方差描述符［6］等；③基于慣性傳感器數(shù)據(jù)的人體行為識(shí)別，如函數(shù)擬合［7］等。

利用多個(gè)不同模態(tài)的行為數(shù)據(jù)進(jìn)行人體行為識(shí)別，也有很多的學(xué)者進(jìn)行了研究。多模態(tài)行為數(shù)據(jù)的融合大致可以分為2類：特征級融合和決策級融合［8］。常見的特征級融合方法有CRC（Collaborative Representation Classifier）［9］、SRC（Sparse Representation Classifier）［10］、CCA（Canonical Correlation Analysis）［11］、DCA（Discriminant Correlation Analysis）［12］等。決 策 級 融 合 方 法 如DS（Dempster-Shafer）證據(jù)理論［10］、多學(xué)習(xí)器協(xié)同訓(xùn)練［13］。

利用單一模態(tài)內(nèi)的不同人體部位間的協(xié)同運(yùn)動(dòng)結(jié)構(gòu)特征進(jìn)行行為識(shí)別，目前已有少量的研究。Si等［14］提出空間推理網(wǎng)絡(luò)，其利用Kinect采集的人體關(guān)節(jié)點(diǎn)位置數(shù)據(jù)來捕捉每個(gè)幀內(nèi)的高級空間結(jié)構(gòu)特征。首先將身體每個(gè)部位的連接轉(zhuǎn)換成具有線性層的單獨(dú)空間特征，然后將身體部位的個(gè)體空間特征輸入到殘差圖神經(jīng)網(wǎng)絡(luò)（Residual Graph Neutral Network，RGNN）以捕獲不同身體部位之間的高級結(jié)構(gòu)特征。Liu等［15］提出動(dòng)態(tài)姿態(tài)圖像描述人體行為，其利用姿態(tài)估計(jì)方法得到人體14個(gè)聯(lián)合估計(jì)圖，每一個(gè)聯(lián)合估計(jì)圖表示一個(gè)關(guān)節(jié)的運(yùn)動(dòng)，然后使用神經(jīng)網(wǎng)絡(luò)融合不同關(guān)節(jié)的運(yùn)動(dòng)。鄧詩卓等［16］利用人體不同部位的三軸向傳感器（三軸加速度、三軸陀螺儀等）的相同軸向數(shù)據(jù)間隱藏的空間依賴性并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）進(jìn) 行 動(dòng) 作識(shí)別。

基于單模態(tài)、多模態(tài)的行為識(shí)別方法雖然可以識(shí)別不同的行為，但是忽略了人體在執(zhí)行動(dòng)作時(shí)不同身體部位的空間協(xié)同運(yùn)動(dòng)結(jié)構(gòu)特征。動(dòng)作的完成需要多塊肌肉共同協(xié)調(diào)配合，例如走路不僅需要雙腿，同時(shí)也需要擺動(dòng)手臂以協(xié)調(diào)身體平衡［14］?，F(xiàn)有計(jì)算不同身體部位結(jié)構(gòu)特征的方法大都使用了神經(jīng)網(wǎng)絡(luò)，其訓(xùn)練時(shí)間復(fù)雜度高、計(jì)算資源消耗高、可解釋性差等。

本文針對使用神經(jīng)網(wǎng)絡(luò)計(jì)算結(jié)構(gòu)特征的復(fù)雜性高等問題，提出利用人體不同部位的三軸加速度數(shù)據(jù)構(gòu)建人體空間協(xié)同運(yùn)動(dòng)的結(jié)構(gòu)特征模型，并無監(jiān)督、自適應(yīng)地對不同身體部位的運(yùn)動(dòng)特征進(jìn)行約束。首先對執(zhí)行不同動(dòng)作時(shí)的人體不同部位的三軸加速度曲線進(jìn)行曲線特征分析，確定不同身體部位對不同動(dòng)作的完成具有不同的貢獻(xiàn)度；其次對執(zhí)行某一動(dòng)作時(shí)人體全身三軸加速度曲線進(jìn)行曲線特征分析，并提出利用曲線的多個(gè)統(tǒng)計(jì)值度量人體不同部位的貢獻(xiàn)度；然后由于多個(gè)統(tǒng)計(jì)量對構(gòu)建結(jié)構(gòu)特征模型具有不同的權(quán)重，需要進(jìn)行權(quán)重的確定；再使用協(xié)同運(yùn)動(dòng)結(jié)構(gòu)特征模型對人體不同部位的運(yùn)動(dòng)特征進(jìn)行無監(jiān)督、自適應(yīng)地約束；最后使用多模態(tài)特征選擇與特征融合算法將不同模態(tài)的特征進(jìn)行融合并分類識(shí)別。

1 總體框架

本文提出利用人體空間協(xié)同運(yùn)動(dòng)的結(jié)構(gòu)特征模型，對不同人體部位的運(yùn)動(dòng)特征進(jìn)行約束，然后對多模態(tài)特征進(jìn)行特征選擇與特征融合，總體框架如圖1所示。對骨骼圖序列按Chen等［17］方法進(jìn)行特征提取，圖1中的“骨骼圖序列”引自文獻(xiàn)［18］。首先，對人體不同部位的三軸加速度數(shù)據(jù)分別提取特征；然后使用結(jié)構(gòu)特征模型約束特征；最后使用多模態(tài)特征選擇與特征融合方法訓(xùn)練多模態(tài)特征投影矩陣用于融合三軸加速度數(shù)據(jù)特征與關(guān)節(jié)點(diǎn)位置數(shù)據(jù)特征，使用分類器對融合后的特征進(jìn)行分類識(shí)別，得到類別標(biāo)簽。

圖1 總體框架Fig.1 Overall framework

2 協(xié)同運(yùn)動(dòng)結(jié)構(gòu)特征表示

設(shè)γk=｛ax，ay，az｝為人體第k個(gè)慣性傳感器采集的三軸加速度數(shù)據(jù)，人體執(zhí)行動(dòng)作時(shí)全身的三軸加速度數(shù)據(jù)為γ=｛γ1，…，γk，…，γK｝，其中K為人體慣性傳感器的總數(shù)。對人體不同部位的三軸加速度數(shù)據(jù)進(jìn)行特征提取，得到人體全身的運(yùn)動(dòng)特征FK=［fxk，fyk，fzk］，k=1，2，…，K，其中fxk為人體第k個(gè)部位x軸的特征，fyk為人體第k個(gè)部位y軸的特征，fzk為人體第k個(gè)部位z軸的特征。然后使用協(xié)同運(yùn)動(dòng)結(jié)構(gòu)特征模型對特征進(jìn)行約束從而使得樣本具有更好的分類能力。

分別計(jì)算類間距離Sb與類內(nèi)距離Sw：

然后計(jì)算類間距離Sb與類內(nèi)距離Sw的比值Jw。為了使得樣本具有更好的可分離性，需要增大比值Jw：

本文利用人體空間協(xié)同運(yùn)動(dòng)的結(jié)構(gòu)特征模型對特征進(jìn)行約束，約束后的第i類樣本均值、所有c類樣本均值的計(jì)算式分別為

式中：Wij=［wxk，wyk，wzk］，k=1，2，…，K為第i類第j個(gè)樣本對應(yīng)的結(jié)構(gòu)特征，并用于約束人體全身的運(yùn)動(dòng)特征，得到約束后的特征（FK）*=［，，］，k=1，2，…，K。以計(jì)算為例=wykfyk。計(jì)算約束后的類間距離與類內(nèi)距離：

以左高揮手、右高揮手動(dòng)作為例，左高揮手動(dòng)作的主運(yùn)動(dòng)結(jié)點(diǎn)為左手肘、左手腕；右高揮手動(dòng)作的主運(yùn)動(dòng)結(jié)點(diǎn)為右手肘、右手腕，其他的身體部位為附加運(yùn)動(dòng)結(jié)點(diǎn)。本文分別對比左高揮手與右高揮手動(dòng)作的主運(yùn)動(dòng)結(jié)點(diǎn)以及附加運(yùn)動(dòng)結(jié)點(diǎn)的三軸加速度曲線。主運(yùn)動(dòng)結(jié)點(diǎn)曲線的對比如圖2所示，附加運(yùn)動(dòng)結(jié)點(diǎn)曲線的對比如圖3所示。圖2（a）為執(zhí)行左高揮手動(dòng)作時(shí)左手肘、左手腕、右手肘、右手腕部位對應(yīng)的三軸加速度曲線圖。類似地，圖2（b）為執(zhí)行右高揮手動(dòng)作時(shí)左手肘、左手腕、右手肘、右手腕部位對應(yīng)的三軸加速度曲線圖。圖3（a）為左高揮手動(dòng)作附加運(yùn)動(dòng)結(jié)點(diǎn)的三軸加速度曲線圖，圖3（b）為右高揮手動(dòng)作附加運(yùn)動(dòng)結(jié)點(diǎn)的三軸加速度曲線圖。

首先對比左高揮手、右高揮手動(dòng)作附加運(yùn)動(dòng)結(jié)點(diǎn)的三軸加速度曲線，可以發(fā)現(xiàn)這2個(gè)動(dòng)作附加結(jié)點(diǎn)的三軸加速度曲線形狀相同均保持平穩(wěn)即方差差異性小，此外曲線的均值也接近，即這2個(gè)動(dòng)作附加結(jié)點(diǎn)的類間距離小，分類能力差。然后比對左高揮手、右高揮手動(dòng)作主運(yùn)動(dòng)結(jié)點(diǎn)的三軸加速度曲線，對于區(qū)分左高揮手與右高揮手動(dòng)作主要是根據(jù)左手肘、左手腕、右手肘、右手腕處三軸加速度曲線的統(tǒng)計(jì)特征。為了使樣本更好地分離，需要強(qiáng)化每個(gè)動(dòng)作主運(yùn)動(dòng)結(jié)點(diǎn)的特征、削弱附加運(yùn)動(dòng)結(jié)點(diǎn)的特征，基于此本文使用基于人體空間協(xié)同運(yùn)動(dòng)的結(jié)構(gòu)特征模型對不同身體部位的特征進(jìn)行約束。以右高揮手動(dòng)作為例，從圖2（b）、圖3（b）中可以觀察到，對于動(dòng)作的完成不同身體部位的貢獻(xiàn)度是不同的，其主運(yùn)動(dòng)結(jié)點(diǎn)為右手肘、右手腕，即右手肘、右手腕對動(dòng)作的完成具有高的貢獻(xiàn)度，附加運(yùn)動(dòng)結(jié)點(diǎn)的貢獻(xiàn)度相對較小。本文使用執(zhí)行動(dòng)作時(shí)不同身體部位的貢獻(xiàn)度構(gòu)建協(xié)同運(yùn)動(dòng)的結(jié)構(gòu)特征模型。為了度量不同部位對完成動(dòng)作的貢獻(xiàn)，本文通過式（10）度量人體第k個(gè)部位x、y、z軸的貢獻(xiàn)，其他結(jié)點(diǎn)貢獻(xiàn)度的度量與此類似：

圖2 左高揮手、右高揮手動(dòng)作主運(yùn)動(dòng)結(jié)點(diǎn)的三軸加速度曲線Fig.2 Triaxial acceleration curves of main motion nodes of left high wave and right high wave

圖3 左高揮手、右高揮手動(dòng)作附加運(yùn)動(dòng)結(jié)點(diǎn)的三軸加速度曲線Fig.3 Triaxial acceleration curves of additional motion nodes of left high wave and right high wave

為了說明本文提出的結(jié)構(gòu)特征模型的有效性，分別計(jì)算類間距離為2 175、類內(nèi)距離為10383以及Jw為0.209 5。然后再計(jì)算使用結(jié)構(gòu)特征模型約束后的特征的類間距離為575、類內(nèi)距離為2 046以及為0.281 0。從計(jì)算結(jié)果可知＞Jw，即使用結(jié)構(gòu)特征模型約束后的特征具有更佳的分離能力。

3 多模態(tài)特征選擇與特征融合

在采集人體的行為數(shù)據(jù)時(shí)一般會(huì)采集多個(gè)模態(tài)的數(shù)據(jù)。為了利用不同模態(tài)的數(shù)據(jù)進(jìn)行行為識(shí)別，需要融合多模態(tài)特征。此外每個(gè)模態(tài)內(nèi)包含了大量的冗余特征，需要對特征進(jìn)行選擇。設(shè)Γ=｛，，…，｝表示N個(gè)動(dòng)作樣本，其中每個(gè)樣本包含M個(gè)不同模態(tài)的特征。雖然第i個(gè)樣本Γi=｛，，…，｝包含了M個(gè)不同模態(tài)的特征，但類別標(biāo)簽相同，，…，→yi。本文為每個(gè)模態(tài)的特征分別學(xué)習(xí)投影矩陣。用于將不同模態(tài)的特征投影到子空間。并在投影的過程中完成對特征的選擇。最后按式（12）進(jìn)行多模態(tài)特征的融合：

式中：f為融合后的特征；xp為第p個(gè)模態(tài)的特征，p=1，2，…，M；Up為第p個(gè)模態(tài)的投影矩陣，p=1，2，…，M；為第p個(gè)模態(tài)投影后的特征，p=1，2，…，M。將融合后的特征稱之為多模態(tài)融合特征（multi-modal fusion features）并用于分類識(shí)別。本文借鑒聯(lián)合特征選擇與子空間學(xué)習(xí)JFSSL方法［19］學(xué)習(xí)多模態(tài)投影矩陣，用于將不同模態(tài)的特征投影到子空間，并使用?2，1范數(shù)來實(shí)現(xiàn)特征選擇［20］，其最小化問題如下：

式中：Xp為第p個(gè)模態(tài)的特征矩陣，p=1，2，…，M；Y 為JFSSL方 法 構(gòu) 造 的 子 空 間，Y∈RN×c。式（13）的第1項(xiàng)用于學(xué)習(xí)投影矩陣，第2項(xiàng)用于特征選擇，第3項(xiàng)用于保持模態(tài)內(nèi)和模態(tài)間的相似關(guān)系。式（13）的第3項(xiàng)的推導(dǎo)為

本文使用式（16）迭代計(jì)算得到不同模態(tài)的投影矩陣，將不同模態(tài)的特征投影到子空間，再將子空間的特征按式（12）進(jìn)行融合用于行為識(shí)別。

4 數(shù)據(jù)采集

本節(jié)介紹自建的數(shù)據(jù)采集系統(tǒng)，并將其用于全身運(yùn)動(dòng)數(shù)據(jù)的獲取。

4.1 采樣系統(tǒng)搭建

Kinect v2傳感器可以采集RGB-D圖像以及人體25個(gè)關(guān)節(jié)點(diǎn)的位置數(shù)據(jù)。MPU9250慣性傳感器是一種體積小、功耗小的傳感器，采樣率為500 Hz，可同時(shí)捕獲三軸加速度、三軸角速度和三軸磁場強(qiáng)度數(shù)據(jù)并輸出四元數(shù)等。

本文利用Kinect采集深度圖像和關(guān)節(jié)點(diǎn)位置數(shù)據(jù)，利用MPU9250采集三軸加速度數(shù)據(jù)。為了采集人體全身部位的三軸加速度數(shù)據(jù)，本文搭建了包含10個(gè)慣性傳感器的運(yùn)動(dòng)數(shù)據(jù)采集系統(tǒng)，采樣系統(tǒng)架構(gòu)如圖4所示，其中NTP（Network Time Protocol）服務(wù)器用于提供標(biāo)準(zhǔn)時(shí)間，無線AP（wireless Access Point）用于組建無線局域網(wǎng)絡(luò)。利用卡片式計(jì)算機(jī)樹莓派控制MPU9250傳感器，利用筆記本電腦控制Kinect v2，每次采集數(shù)據(jù)時(shí)都與NTP服務(wù)器進(jìn)行時(shí)間同步。本文綜合考慮了MHAD［22］、UTD-MHAD［23］等行為數(shù)據(jù)庫的采樣方案后，確定慣性傳感器的位置如圖5所示，圖中紅色標(biāo)記點(diǎn)為慣性傳感器的位置，“左”為人體的左側(cè)，“右”為人體的右側(cè)。圖6為本文的真實(shí)采樣場景。

圖4 采樣系統(tǒng)架構(gòu)Fig.4 Sampling system architecture

圖5 可穿戴傳感器位置示意圖Fig.5 Position schematic diagram of wearable sensor

圖6 真實(shí)采樣場景Fig.6 Real sampling scene

4.2 數(shù)據(jù)庫描述

本文自建的行為數(shù)據(jù)庫包含7位男性受試者，年齡分布為20～26歲，其中包括一個(gè)肥胖型受試者、一個(gè)瘦弱型受試者。7個(gè)男性受試者分別執(zhí)行15個(gè)動(dòng)作，每個(gè)動(dòng)作重復(fù)執(zhí)行10次。15個(gè)動(dòng)作類別如表1所示。

表1 自建的行為數(shù)據(jù)庫中的15個(gè)動(dòng)作Table 1 Fifteen actions in self-built behavior database

5 實(shí)驗(yàn)結(jié)果與分析

5.1 特征提取

本文在自建的數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)選取了5位受試者執(zhí)行的15個(gè)行為動(dòng)作，其中每個(gè)動(dòng)作由每位受試者重復(fù)執(zhí)行8次，實(shí)驗(yàn)用的行為數(shù)據(jù)庫一共包含600個(gè)樣本。對三軸加速度數(shù)據(jù)提取經(jīng)典的時(shí)域特征：均值、方差、標(biāo)準(zhǔn)差、峰度、偏度。

5.2 實(shí)驗(yàn)設(shè)置

1）設(shè)置1。與Chen等［4］類似，在第1組實(shí)驗(yàn)中將3/8樣本作為訓(xùn)練，剩下數(shù)據(jù)作為測試；在第2組實(shí)驗(yàn)中將4/8樣本作為訓(xùn)練；在第3組實(shí)驗(yàn)中將5/8樣本作為訓(xùn)練；在第4組實(shí)驗(yàn)中將6/8樣本作為訓(xùn)練。本文使用T1～T4代表上述4組實(shí)驗(yàn)。

2）設(shè)置2。與Chen等［24］類似，在第1組實(shí)驗(yàn)中將標(biāo)記為1、2對象的數(shù)據(jù)作為訓(xùn)練樣本；在第2組實(shí)驗(yàn)中將標(biāo)記為1、2、5對象的數(shù)據(jù)作為訓(xùn)練樣本；在第3組實(shí)驗(yàn)中將標(biāo)記為1、2、3、5對象的數(shù)據(jù)作為訓(xùn)練樣本。本文使用T5～T7代表上述3組實(shí)驗(yàn)。

5.3 參數(shù)設(shè)置

本文的實(shí)驗(yàn)需要對分類器參數(shù)、超參數(shù)等進(jìn)行選擇，所需參數(shù)都通過CV（Cross Validation）校驗(yàn)的方法進(jìn)行確定。

1）分類器參數(shù)設(shè)置。本文中使用的分類器如CRC（Collaborative Respresentation Classifier）、KNN （K-Nearest Neighbor）、RandomF（Random Forest）等需要確定最佳參數(shù)。最終確定的分類器最優(yōu)參數(shù)為：KNN的參數(shù)設(shè)置為1；RandomF的參數(shù)設(shè)置為65；CRC的參數(shù)設(shè)置為0.000 1。

2）超參數(shù)設(shè)置。聯(lián)合特征選擇與子空間學(xué)習(xí)的參數(shù)λ1、λ2分別設(shè)置為0.001和0.001；本文提出的結(jié)構(gòu)特征模型中的超參數(shù)λ1、λ2分別設(shè)置為5和0.05。

5.4 三軸加速度數(shù)據(jù)特征分類識(shí)別

本節(jié)對全身三軸加速度數(shù)據(jù)的特征以及使用結(jié)構(gòu)特征模型約束后的特征進(jìn)行分類識(shí)別。表2為使用人體全身的三軸加速度數(shù)據(jù)特征的識(shí)別率（即本節(jié)的基線實(shí)驗(yàn)），表3為使用結(jié)構(gòu)特征模型約束后的特征的識(shí)別率。

從表2可知，封閉測試T1～T4在使用判別分析、RandomF分類器的情況下識(shí)別率很高，如表2中的T4實(shí)驗(yàn)使用判別分析分類器的識(shí)別率可高達(dá)到97.40%。然而表2中的開放測試T5～T7的識(shí)別率均低于T1～T4的識(shí)別率。因此本文的目的是提高開放測試T5～T7的識(shí)別率。為此，將表3中的T5～T7與表2中的T5～T7的識(shí)別率進(jìn)行對比，對比的結(jié)果如圖7所示。

圖7中每個(gè)分類器后的數(shù)字為特征約束后的識(shí)別率減去基線識(shí)別率的結(jié)果。從圖7中可以直觀看出，特征約束后T5～T7的識(shí)別率明顯高于基線識(shí)別率。說明本文利用基于人體空間協(xié)同運(yùn)動(dòng)的結(jié)構(gòu)特征模型約束的特征具有更佳的分類能力。

表2 三軸加速度識(shí)別率Table 2 Recognition rate of triaxial acceleration %

表3 三軸加速度約束后的識(shí)別率Table 3 Recognition rate of constrained triaxial acceleration %

圖7 約束后的識(shí)別率與基線識(shí)別率的對比Fig.7 Comparison of recognition rate after constraints with baseline recognition rate

5.5 關(guān)節(jié)點(diǎn)位置數(shù)據(jù)的識(shí)別率

表4為關(guān)節(jié)點(diǎn)位置數(shù)據(jù)的識(shí)別率。由于5.6節(jié)實(shí)驗(yàn)為多模態(tài)特征的融合，故本節(jié)先計(jì)算關(guān)節(jié)點(diǎn)位置數(shù)據(jù)的識(shí)別率作為多模態(tài)特征融合的基線識(shí)別率。

5.6 多模態(tài)特征選擇與特征融合的識(shí)別率

本節(jié)使用多模態(tài)特征選擇與特征融合方法對三軸加速度數(shù)據(jù)特征、關(guān)節(jié)點(diǎn)位置數(shù)據(jù)特征進(jìn)行融合并使用多個(gè)分類器進(jìn)行分類識(shí)別，其識(shí)別結(jié)果如表5所示，并且將表5作為本節(jié)的基線實(shí)驗(yàn)，將表5與表4、表3的T1～T7識(shí)別率進(jìn)行對比可知，多模態(tài)特征融合的識(shí)別率均優(yōu)于單個(gè)模態(tài)特征的識(shí)別率。將本文結(jié)構(gòu)特征模型約束后的特征與關(guān)節(jié)點(diǎn)位置數(shù)據(jù)特征進(jìn)行融合，結(jié)果如表6所示。

表6與表5的T1～T4相比，融合約束后的特征與關(guān)節(jié)點(diǎn)位置數(shù)據(jù)特征的識(shí)別率均顯著高于基線實(shí)驗(yàn)。由于本文的重點(diǎn)是提高開放測試的識(shí)別率，因此將表6與表5的T5～T7進(jìn)行對比，對比結(jié)果如圖8所示。

表4 關(guān)節(jié)點(diǎn)位置識(shí)別率Table 4 Recognition rate of joint point position %

表5 多模態(tài)特征選擇與特征融合的識(shí)別率Table 5 Recognition rate of multi-modal feature selection and feature fusion %

表6 融合約束后的三軸加速度數(shù)據(jù)特征與關(guān)節(jié)點(diǎn)位置數(shù)據(jù)特征識(shí)別率Table 6 Recognition rate of triaxial acceleration featur e and joint point position data feature after fusion constraints %

從圖8中可以直觀看出，在T6、T7實(shí)驗(yàn)中本文方法明顯優(yōu)于基線實(shí)驗(yàn)，在T5測試中本文方法略低于基線實(shí)驗(yàn)。這是由于T5測試選取2/5受試者的樣本作為訓(xùn)練，選取的受試者數(shù)量少，從側(cè)面說明本文提出的算法還可以進(jìn)一步改良。此外表6中T7實(shí)驗(yàn)的識(shí)別率在5個(gè)分類器中高達(dá)100.00%。上述的對比結(jié)果說明本文提出的基于人體空間協(xié)同運(yùn)動(dòng)的結(jié)構(gòu)特征模型的有效性。

6 結(jié) 論

本文提出了利用人體不同部位三軸加速度數(shù)據(jù)的多個(gè)統(tǒng)計(jì)值用于度量不同部位對完成動(dòng)作的貢獻(xiàn)度，利用不同部位的貢獻(xiàn)度構(gòu)建面向行為識(shí)別的人體空間協(xié)同運(yùn)動(dòng)結(jié)構(gòu)特征模型，并無監(jiān)督、自適應(yīng)地對人體不同部位的特征進(jìn)行約束。在此基礎(chǔ)上，借鑒JFSSL方法融合多模態(tài)的行為特征，并在融合過程中完成了對特征的篩選。實(shí)驗(yàn)結(jié)果表明：

1）該模型適用于具有全身三軸加速度數(shù)據(jù)的行為識(shí)別，模型的構(gòu)建不需要復(fù)雜的算法計(jì)算，具有較好的實(shí)時(shí)性。

2）在自建的行為數(shù)據(jù)庫的封閉測試（T1～T4）、開放測試（T5～T7）中均有優(yōu)異的效果。

3）通過實(shí)驗(yàn)證明了人體在執(zhí)行動(dòng)作時(shí)不同部位之間存在協(xié)同性。這為進(jìn)一步探索人體空間協(xié)同運(yùn)動(dòng)的結(jié)構(gòu)特征提供了實(shí)驗(yàn)依據(jù)。