褚晶輝，羅 薇，呂 衛(wèi)

天津大學(xué) 電子信息工程學(xué)院，天津 300072

多圖嵌入表示在人體運(yùn)動(dòng)模式識(shí)別中的應(yīng)用*

褚晶輝，羅 薇，呂 衛(wèi)+

天津大學(xué) 電子信息工程學(xué)院，天津 300072

CHU Jinghui,LUO Wei,LV Wei.Multi-graph embedding representation for human activity pattern recognition.Journal of Frontiers of Computer Science and Technology,2017,11(6)：941-949.

新穎和恰當(dāng)?shù)乃惴ㄊ侨梭w運(yùn)動(dòng)模式識(shí)別系統(tǒng)的關(guān)鍵。在獲取加速度傳感器信號(hào)的基礎(chǔ)上，提出了一種人體運(yùn)動(dòng)模式識(shí)別算法，其中多圖嵌入表示用于特征降維，最近鄰用于模式分類。該算法通過特征分組對(duì)原始特征空間進(jìn)行多個(gè)獨(dú)立子集的劃分，并生成圖；通過多維尺度分析法在每個(gè)子圖上生成新的嵌入坐標(biāo)，并找到這些嵌入坐標(biāo)的線性組合來(lái)表示原始特征空間；最后通過最近鄰分類器進(jìn)行模式分類。該算法新穎、簡(jiǎn)單，能在最小信息丟失的基礎(chǔ)上挖掘原始特征空間的潛在結(jié)構(gòu)，提高特征選擇的穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明，同其他代表性算法相比，該算法準(zhǔn)確度高，能更好地區(qū)分人體運(yùn)動(dòng)。

加速度傳感器；人體運(yùn)動(dòng)模式識(shí)別；多圖；多維標(biāo)度法；圖嵌入

1 引言

人體運(yùn)動(dòng)模式識(shí)別是一個(gè)有趣且具有挑戰(zhàn)性的問題，廣泛地應(yīng)用于醫(yī)療保健[1]、老人看護(hù)[2]和上下文感知計(jì)算[3]等方面?；镜牟襟E涉及傳感信號(hào)采集、信息處理和模式分類。根據(jù)傳感電子設(shè)備和智能算法的不同，可將人體運(yùn)動(dòng)模式識(shí)別的方法分為兩類：基于計(jì)算機(jī)視覺的系統(tǒng)和基于加速度傳感器的系統(tǒng)[4-5]。

基于計(jì)算機(jī)視覺的技術(shù)已經(jīng)廣泛用于人體運(yùn)動(dòng)跟蹤?；谠摷夹g(shù)的系統(tǒng)大多需要在監(jiān)控地點(diǎn)安裝單個(gè)或多個(gè)攝像機(jī)，并通過對(duì)象檢測(cè)、對(duì)象分割、特征提取和分類實(shí)現(xiàn)人體運(yùn)動(dòng)的識(shí)別[6]。然而，由于對(duì)光照條件要求嚴(yán)格且需在特征上花費(fèi)大量計(jì)算，這類系統(tǒng)在某些場(chǎng)合下不適用，從而在高幀率下使用簡(jiǎn)單特征表示來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別是必要的。Thurau[7]提出利用梯度方向直方圖描述符來(lái)表示動(dòng)作。Kellokumpu等人[8]提出了動(dòng)態(tài)局部二進(jìn)制模式描述符。Le等人[9]提出使用獨(dú)立子空間方法對(duì)時(shí)空信號(hào)進(jìn)行分析，并通過產(chǎn)生的新特征表示來(lái)識(shí)別人體運(yùn)動(dòng)。Gaur等人[10]運(yùn)用圖匹配的方法來(lái)實(shí)現(xiàn)運(yùn)動(dòng)模式的分類。

基于加速度傳感器的人體運(yùn)動(dòng)模式識(shí)別系統(tǒng)在人體運(yùn)動(dòng)識(shí)別中起著重要作用。通過將加速度傳感器穿戴起來(lái)，這類系統(tǒng)能進(jìn)行不引人注目和非侵入性的運(yùn)動(dòng)檢測(cè)，如能通過智能手機(jī)內(nèi)置的加速度傳感器對(duì)走、跳和跑等日常人體運(yùn)動(dòng)進(jìn)行分析和識(shí)別。該系統(tǒng)對(duì)加速度信號(hào)進(jìn)行預(yù)處理、特征提取和特征選擇，然后根據(jù)提取的特征分析和識(shí)別運(yùn)動(dòng)模式。大量的研究都是在身體不同部位放置多個(gè)加速度傳感器來(lái)進(jìn)行運(yùn)動(dòng)模式識(shí)別[11]。然而，在真實(shí)生活環(huán)境中，多個(gè)傳感器收集連續(xù)數(shù)據(jù)既不切實(shí)際，又會(huì)使測(cè)試者感到不舒適，因此基于單個(gè)加速度傳感器的研究受到了更多的關(guān)注。Khan等人[12]將單個(gè)加速度傳感器置于胸部來(lái)識(shí)別靜態(tài)和動(dòng)態(tài)的動(dòng)作。Zhu等人[13]提出了在右大腿上佩戴單個(gè)加速度傳感器來(lái)檢測(cè)人體運(yùn)動(dòng)的方法，可以檢測(cè)出8種日?；顒?dòng)。

基于加速度傳感器區(qū)分人體的運(yùn)動(dòng)模式主要是通過加速度信號(hào)的時(shí)域、頻域和離散域特征來(lái)進(jìn)行分析和判斷。加速度信號(hào)的時(shí)域特征主要包括均值、方差、兩軸間的相關(guān)系數(shù)及能量等。頻域特征是先對(duì)加速度信號(hào)進(jìn)行快速傅里葉變換（fast Fourier transformation，F(xiàn)FT），然后提取FFT系數(shù)或頻域熵等特征。Preece等人[14]通過對(duì)小波特征、時(shí)域和頻域特征的比較，得出基于頻域的識(shí)別效果較好的結(jié)論。除了直接提取判別特征，還可以通過直接學(xué)習(xí)得到數(shù)據(jù)驅(qū)動(dòng)的特征表示。Noorit等人[15]提出了基于圖的相似性測(cè)量技術(shù)的人體運(yùn)動(dòng)模式識(shí)別方法，并且取得了不錯(cuò)的效果。

在基于加速度傳感器的人體運(yùn)動(dòng)模式識(shí)別中，特征的無(wú)關(guān)或冗余容易產(chǎn)生高維數(shù)的特征集，由此引發(fā)“維數(shù)災(zāi)難”。為了避免這個(gè)問題，必要的操作是通過降維方法對(duì)特征進(jìn)行處理，使得高維數(shù)據(jù)映射至低維空間，并且能夠保留這些高維數(shù)據(jù)的內(nèi)在信息。主成分分析（principal component analysis，PCA）[16]、線性判別式分析（linear discriminant analysis，LDA）[17]、局部保留投影（locality preserving projection，LPP）[18]和有監(jiān)督的局部保留投影（supervised locality preserving projection，SLPP）[19]是常用的降維方法，可以用線性圖嵌入框架將它們統(tǒng)一起來(lái)，而且可以用圖的構(gòu)建和圖的嵌入來(lái)進(jìn)行闡釋[20]。PCA能在最小均方意義下找到最能代表原始數(shù)據(jù)的投影，它構(gòu)建的是全連通圖，邊權(quán)值是常量。LDA旨在最大化不同類別間的差異信息，構(gòu)建只保證同類樣本相連的內(nèi)蘊(yùn)圖，邊權(quán)值由本類的樣本數(shù)決定。Long等人[21]利用PCA來(lái)找到時(shí)域和頻域信息的低維表示。但是，PCA忽略了后續(xù)分類器必不可少的能保留區(qū)分信息的類標(biāo)簽。另一些流形學(xué)習(xí)算法屬于非線性降維技術(shù)，如局部線性嵌入算法（locally linear embedding，LLE）[22]，拉普拉斯特征映射算法（Laplacian eigenmap，LE）[23]，它們分別采用有向圖和無(wú)向圖來(lái)描述高維數(shù)據(jù)的流形結(jié)構(gòu)，通過保持樣本間權(quán)值的相似性來(lái)尋找圖在低維空間中的嵌入表示。局部敏感判別式分析（locality sensitive discriminant analysis，LSDA）[24]是能發(fā)現(xiàn)數(shù)據(jù)集局部幾何特性的有效監(jiān)督算法。間隔Fisher分析（marginal Fisher analysis，MFA）[25]是基于圖嵌入框架的新流形學(xué)習(xí)算法，通過兩個(gè)圖來(lái)描述類內(nèi)的相似性和類間的差異性。

本文在獲取加速度傳感器信號(hào)的基礎(chǔ)上，提出了一種多圖嵌入表示的人體運(yùn)動(dòng)模式識(shí)別算法，包括多圖表示學(xué)習(xí)和多圖嵌入學(xué)習(xí)兩部分。第一步，利用譜分析方法實(shí)現(xiàn)多圖表示學(xué)習(xí)。第二步，通過局部降維和全局融合實(shí)現(xiàn)多圖的嵌入。其中，局部降維是指去除每個(gè)圖多余的光譜信息，以獲得圖內(nèi)最相關(guān)的信息；全局融合是指計(jì)算圖之間主要信息的相關(guān)性，以獲得特征最終的表示形式。實(shí)驗(yàn)結(jié)果表明，本文算法可以提高基于加速度傳感器系統(tǒng)的性能，有效區(qū)分人體的運(yùn)動(dòng)模式。

本文組織結(jié)構(gòu)如下：第1章簡(jiǎn)述人體運(yùn)動(dòng)識(shí)別相關(guān)的應(yīng)用與研究；第2章對(duì)本文算法步驟進(jìn)行詳細(xì)描述；第3章采用本文算法對(duì)數(shù)據(jù)進(jìn)行結(jié)果分析；第4章總結(jié)全文。

2 基于多圖嵌入表示的識(shí)別算法

基于圖的算法是挖掘數(shù)據(jù)集潛在結(jié)構(gòu)的有效方法。設(shè)數(shù)據(jù)集為Z，可以根據(jù)Z構(gòu)造一個(gè)無(wú)向加權(quán)圖G={V,E}，其中V表示圖頂點(diǎn)的集合，代表每個(gè)樣本；E表示邊集，代表對(duì)應(yīng)的每?jī)蓚€(gè)樣本的關(guān)系，即相似度?；趫D的方法表示數(shù)據(jù)時(shí)，需要對(duì)圖數(shù)據(jù)進(jìn)行存儲(chǔ)，典型的存儲(chǔ)方式是鄰接矩陣。鄰接矩陣W代表數(shù)據(jù)集Z中每對(duì)數(shù)據(jù)點(diǎn)之間的相似度。然后通過在W上進(jìn)行進(jìn)一步的操作，獲得最終的結(jié)果。然而，所有基于圖的方法都高度依賴于鄰接矩陣對(duì)原始數(shù)據(jù)集結(jié)構(gòu)的反映，因此當(dāng)通過數(shù)據(jù)集Z生成W后，會(huì)面臨丟失原始特征空間中重要信息的問題。當(dāng)表示實(shí)際的加速度信號(hào)、圖片或者視頻時(shí)，可能產(chǎn)生包含多個(gè)獨(dú)立成分的高維表示，通過單個(gè)相似度量標(biāo)準(zhǔn)構(gòu)成鄰接矩陣來(lái)獲取原始特征空間的完整結(jié)構(gòu)是不充分也不現(xiàn)實(shí)的[26]。

本文提出根據(jù)原始特征空間中不同子集構(gòu)建多圖來(lái)表示原始特征空間的算法。圖1給出了本文算法概念上的描述。首先通過譜聚類[27]將原始特征空間劃分成多個(gè)獨(dú)立的子集并生成圖；然后在每個(gè)圖上運(yùn)用多維尺度分析方法分析每個(gè)圖中樣本間的相似性，去掉冗余的光譜信息，獲得每個(gè)圖樣本間最相關(guān)的信息，達(dá)到局部降維的目的；最后將這些圖嵌入形成特征最終的表示形式，減少信息的丟失，從而提高運(yùn)動(dòng)識(shí)別性能。

Fig.1 Avisual illustration of the proposed framework圖1 本文提出框架的可視化表示

2.1 構(gòu)造多圖

多圖的構(gòu)造運(yùn)用了特征分組技術(shù)，該技術(shù)能自動(dòng)從數(shù)據(jù)中找到高度相關(guān)的特征組，有助于更深入地了解和解釋數(shù)據(jù)[28]。首先通過Hilbert-Schmidt獨(dú)立準(zhǔn)則（Hilbert-Schmidt independence criterion，HSIC）將原始特征空間表示為關(guān)聯(lián)圖，然后通過在關(guān)聯(lián)圖上運(yùn)用譜聚類方法將原始特征空間劃分為幾個(gè)獨(dú)立的子集。HSIC基于再生希爾伯特空間，通過Hilbert-Schmidt規(guī)范來(lái)度量相關(guān)性關(guān)系，是一個(gè)非參數(shù)度量且不需要額外正則化條件的方法。因?yàn)镠SIC只有在隨機(jī)變量獨(dú)立的情況下才等于0，所以HSIC在一切情況下都是一個(gè)可靠的判斷相關(guān)關(guān)系的準(zhǔn)則[29]。譜聚類是最受歡迎和最強(qiáng)大的譜方法，能充分利用基于圖的關(guān)聯(lián)矩陣的結(jié)構(gòu)來(lái)將數(shù)據(jù)集分成多個(gè)相互獨(dú)立的子部分。本文一組值的HSIC經(jīng)驗(yàn)估計(jì)為：

其中，Kij=k(xi,xj)，Lij=l(yi,yj)，并且Hij=δij-m-1。通常假設(shè)X和Y是樣本(x,y)的樣本空間，定義一個(gè)映射?:X→F，同樣定義另一個(gè)映射ψ:Y→G。其中F和G是x和y的再生希爾伯特空間表示，k和l是對(duì)應(yīng)于再生希爾伯特空間F和G中的核函數(shù)，并且這兩個(gè)符合可積性的核函數(shù)為是樣本數(shù)。因?yàn)楣烙?jì)的收斂速度是所以基于HSIC的獨(dú)立性測(cè)試不會(huì)出現(xiàn)緩慢的學(xué)習(xí)速度。因此，隨著樣本數(shù)量的增加，極可能發(fā)現(xiàn)現(xiàn)有的相關(guān)性。更重要的是，相比于有限樣本的浮動(dòng)，并不是指有限樣本的收斂速度，可以忽略估計(jì)偏差O(m-1)。由于核矩陣可能是巨大的，可以運(yùn)用降秩表示來(lái)簡(jiǎn)化核矩陣。令則lc的近似估計(jì)為：

首先對(duì)擁有m個(gè)樣本的原始特征數(shù)據(jù)集Z中的每對(duì)特征xi和xj計(jì)算lc，得到初始關(guān)聯(lián)圖A(Aij=lc(xi,xj))。然后在A上運(yùn)用譜聚類方法將原始特征空間劃分成n個(gè)相互獨(dú)立的特征子集z1,z2,…,zn?Z。生成n個(gè)相互獨(dú)立的特征子集后，每個(gè)子集擁有m個(gè)樣本，可以表示為有m個(gè)頂點(diǎn)的圖，因此一共可以生成n個(gè)圖。對(duì)于每個(gè)圖，鄰接矩陣D∈Rm×m可以定義如下：

其中，si和sj分別表示圖中的第i個(gè)和第j個(gè)頂點(diǎn)；σ2是縮放參數(shù)。

2.2 多圖嵌入

獲得n個(gè)圖之后，需要通過局部降維和全局融合將這n個(gè)圖嵌入成最終的特征表示。

2.2.1 局部降維

局部降維運(yùn)用多維尺度分析（multidimensional scaling，MDS）方法。多維尺度分析是一種多變量的探索性數(shù)據(jù)分析技術(shù)，能夠顯示出數(shù)據(jù)的幾何圖結(jié)構(gòu)[30]。多維尺度分析是利用成對(duì)樣本間的相似性來(lái)構(gòu)造合適的低維空間，這樣使得樣本在低維和高維空間中的樣本間相似性保持一致。因此，通過對(duì)每個(gè)圖在鄰接矩陣D上運(yùn)用多維尺度分析，從而對(duì)每個(gè)圖進(jìn)行降維，同時(shí)獲得每個(gè)圖的主坐標(biāo)。具體過程如下：

步驟1根據(jù)得到的鄰接矩陣D，構(gòu)造矩陣T。

步驟2對(duì)矩陣T進(jìn)行特征向量分析，獲得r個(gè)特征向量e1,e2,…,er和r個(gè)非零特征值，將這r個(gè)特征值按照降序排列為λ1≥λ2≥…≥λr>0。矩陣E由特征向量作為列構(gòu)成，即為[e1e2…er]；對(duì)角陣Λ由對(duì)應(yīng)于矩陣E的r個(gè)特征值構(gòu)成。因此第i個(gè)圖的主坐標(biāo)定義為：

通過每個(gè)圖運(yùn)用多維尺度分析，分析每個(gè)圖中樣本間的相似性，既能將冗余的光譜信息去掉，又能獲得每個(gè)圖樣本間最相關(guān)的信息，達(dá)到局部降維的目的。然而，如果將每個(gè)圖得到的主坐標(biāo)直接串聯(lián)合并形成最終的分類特征，雖然能保證每個(gè)圖內(nèi)樣本的關(guān)聯(lián)性，去除了圖內(nèi)的冗余信息，但是沒有考慮不同圖之間的關(guān)聯(lián)性，不能達(dá)到更好的合并效果。

2.2.2 全局融合

全局融合運(yùn)用多集典型相關(guān)分析（multiset canonical correlation analysis，MCCA）方法[31]，即是經(jīng)過MDS后進(jìn)行關(guān)聯(lián)測(cè)量。多集典型相關(guān)分析可以實(shí)現(xiàn)多組數(shù)據(jù)的特征融合，用于分析多個(gè)數(shù)據(jù)集合變量間的線性關(guān)系。多集典型相關(guān)分析的準(zhǔn)則函數(shù)定義為：

上式可轉(zhuǎn)化為如下問題求解：

使用Lagrange乘子法，可以構(gòu)造出輔助函數(shù)：

其中，λ為拉格朗日乘子。分別求L關(guān)于ωi的偏導(dǎo)，并令其為0，可以得到：

通過求解上式，則第i個(gè)圖的k(k≤min(r1,r2,…,rn))階多集典型變量為因此最終的分類特征表示為這樣通過多集典型相關(guān)分析將n個(gè)圖進(jìn)行關(guān)聯(lián)測(cè)量并嵌入，形成最終的特征表示。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 SCUT-NAA數(shù)據(jù)庫(kù)

文本使用的實(shí)驗(yàn)數(shù)據(jù)選取自SCUT-NAA數(shù)據(jù)庫(kù)。SCUT-NAA數(shù)據(jù)庫(kù)[32]是第一個(gè)公開的基于三維加速度的人類行為數(shù)據(jù)庫(kù)。放置三軸加速度傳感器ADXL 330于腰帶、上衣口袋和褲子口袋3個(gè)固定位置，有44名數(shù)據(jù)采集者，采樣頻率是100 Hz，共采集了1 278個(gè)樣本。這44名數(shù)據(jù)采集者由34名男性和10名女性組成，平均年齡和方差分別是21.2歲和0.7歲。該數(shù)據(jù)庫(kù)采集了10類動(dòng)作，如表1所示，有靜坐等輕強(qiáng)度動(dòng)作，原地踏步等中強(qiáng)度運(yùn)動(dòng)，以及跳和跑等高強(qiáng)度運(yùn)動(dòng)，因此SCUT-NAA數(shù)據(jù)庫(kù)適合于本文的研究。

Table 1 Definition of ten kinds of behaviors表1 10類動(dòng)作描述

3.2 頻域特征

因?yàn)樽摺⑴芎吞冗\(yùn)動(dòng)是人體進(jìn)行的有規(guī)律的運(yùn)動(dòng)，傅里葉系數(shù)能捕捉到這種循環(huán)運(yùn)動(dòng)的頻率信息，并且能在基于加速度傳感器的人體運(yùn)動(dòng)識(shí)別中提供令人滿意的識(shí)別率[32]，所以本文提取FFT系數(shù)作為特征。首先分別對(duì)原始信號(hào)的x、y和z軸采用滑動(dòng)窗處理，每個(gè)窗包含512個(gè)樣本點(diǎn)，重疊率為50%。然后對(duì)每個(gè)滑動(dòng)窗分別進(jìn)行FFT變換，因?yàn)榈谝粋€(gè)系數(shù)代表直流分量，則取前64個(gè)系數(shù)并去除第一個(gè)作為FFT特征，即FFT特征為63維。將每個(gè)動(dòng)作在每個(gè)窗口內(nèi)的三軸FFT系數(shù)連接起來(lái)，則每個(gè)窗內(nèi)FFT特征為63×3維，獲得每組動(dòng)作最終的FFT特征為945維。

3.3 實(shí)驗(yàn)說明

本實(shí)驗(yàn)中，選擇采集于腰部的加速度數(shù)據(jù)，任意選取44個(gè)樣本作為訓(xùn)練集，剩余的樣本作為測(cè)試集。因?yàn)橹挥?0個(gè)采集者提供了騎自行車的數(shù)據(jù)，所以騎自行車的實(shí)驗(yàn)數(shù)據(jù)使用的是現(xiàn)有的所有數(shù)據(jù)，并且任意取30個(gè)樣本作為訓(xùn)練集，剩余樣本作為測(cè)試集。本實(shí)驗(yàn)的評(píng)價(jià)標(biāo)準(zhǔn)是分類精度，采用最近鄰分類器實(shí)現(xiàn)分類學(xué)習(xí)。默認(rèn)情況下，設(shè)置子集的數(shù)量為2(n=2)，并且設(shè)置多集典型相關(guān)分析的階數(shù)為19(k=19)。

3.4 實(shí)驗(yàn)結(jié)果

首先為了討論式（3）中的縮放參數(shù)對(duì)算法識(shí)別率的影響，在取得最好識(shí)別率的維數(shù)下，對(duì)不同的σ值進(jìn)行實(shí)驗(yàn)，結(jié)果如圖2所示。

從圖2中可以看出，在維數(shù)為38的情況下，在σ=0.001時(shí)本文算法識(shí)別率最高。σ<0.01時(shí)的識(shí)別率明顯優(yōu)于σ>0.01時(shí)的識(shí)別率，隨著σ的增大，識(shí)別率持續(xù)下降。考慮到在σ=0.001時(shí)能取到最好的識(shí)別率，本文實(shí)驗(yàn)中的σ值為0.001。

FFT特征經(jīng)過多圖嵌入算法后的新特征表示定義為FFTn，表2給出了FFT和FFTn特征在維數(shù)從30到45之間變化的識(shí)別率。圖3給出了PCA、LDA、LSDA、LPP、SLPP和MFA這6種代表性算法和本文算法在不同維數(shù)下的平均識(shí)別結(jié)果。其中x軸代表降維后的維數(shù)大小，y軸代表平均識(shí)別率。表3給出了6種代表性降維方法與本文算法的最好結(jié)果與其相應(yīng)的維數(shù)。圖4給出了本文算法在SCUT-NAA數(shù)據(jù)庫(kù)上一次測(cè)試的分類混淆矩陣，可以更好地理解方法的不足之處。

Table 2 Recognition accuracy of FFT and FFTn features表2 FFT和FFTn特征的識(shí)別率

Fig.3 Recognition rates and dimensions of 7 algorithms圖3 7種算法的識(shí)別率和對(duì)應(yīng)維數(shù)

圖3和表3的結(jié)果表明，本文算法有效，并且在大多數(shù)情況下能達(dá)到最好的效果。相比較于無(wú)監(jiān)督算法PCA和LPP，監(jiān)督算法LDA和SLPP，以及LSDA和MFA，本文算法能在維數(shù)降低的情況下，實(shí)現(xiàn)較高的識(shí)別率。并且根據(jù)表3中的方差值可以知道，算法PCA和本文算法的方差值最小，說明這兩種方法更穩(wěn)定。本文算法優(yōu)于LDA和MFA，因?yàn)楸疚乃惴瓤紤]了圖內(nèi)的相關(guān)性，又考慮了圖間的關(guān)聯(lián)性。LPP是能部分地保留局部幾何信息的線性降維方法，SLPP是LPP有監(jiān)督的學(xué)習(xí)，但是這兩種方法都沒有對(duì)判別信息進(jìn)行準(zhǔn)確的建模。

Table 3 Recognition rates of 7 algorithms on SCUT-NAAdatabase表3 在SCUT-NAA數(shù)據(jù)庫(kù)上7種算法的識(shí)別率

Fig.4 Confusion matrix of FFTn after features classification圖4 FFTn特征分類后的混淆矩陣算法

與這些方法不同，本文算法將原始特征空間劃分為幾個(gè)獨(dú)立子集，構(gòu)造了多個(gè)關(guān)聯(lián)矩陣，能從原始特征空間獲取盡可能多的信息，減少了原始信息的丟失。且在后續(xù)多圖嵌入過程中既考慮了局部降維，使圖內(nèi)變量間相似度最大化，又考慮了圖間的關(guān)聯(lián)性。本文算法雖然不能保證每類都是最高的識(shí)別率，但是整體可以保證最好的識(shí)別率，并且沒有取到最好識(shí)別率的時(shí)候也比較接近最好的識(shí)別性能。因?yàn)橛行﹦?dòng)作，如原地踏步、正常走、向后走這些動(dòng)作相似度很高，界限比較模糊，不容易區(qū)分。區(qū)分這些動(dòng)作，還需要在特征等方面進(jìn)行深入的研究。

從圖3中可以看出，當(dāng)本文算法達(dá)到最好的識(shí)別率后，隨著維數(shù)增加，識(shí)別率會(huì)下降。這是因?yàn)閷?shí)驗(yàn)數(shù)據(jù)本身不多，訓(xùn)練樣本數(shù)相應(yīng)不足，遠(yuǎn)小于樣本的特征向量的維數(shù)。從圖4中可以看出，上樓和下樓、走路、快走和倒退走這些動(dòng)作容易發(fā)生混淆，這是因?yàn)槠浼铀俣刃盘?hào)很相似。

在時(shí)間復(fù)雜度方面，表4列舉了7種算法在訓(xùn)練階段所用的時(shí)間，這里的時(shí)間是10次訓(xùn)練的平均時(shí)間，單位是s?？梢钥吹絇CA最快，然后LDA、LSDA、 LPP和SLPP時(shí)間都很接近，它們相比于MFA與本文算法都較快。PCA和LDA需要計(jì)算協(xié)方差矩陣；LSDA是有監(jiān)督的方法，在保持局部流形結(jié)構(gòu)的基礎(chǔ)上，找到最佳投影；LPP是LE的線性近似，需要建立稀疏鄰近圖，并分析高斯核；SLPP是有監(jiān)督的LPP；MFA需要矩陣轉(zhuǎn)換，建立緊湊的類內(nèi)圖和可分的類間圖，并進(jìn)行特征映射；本文算法既需要建立鄰接圖，又對(duì)矩陣進(jìn)行特征分析，考慮圖內(nèi)的最大相似性，圖間的關(guān)聯(lián)性。因?yàn)镸FA與本文算法比其他算法的復(fù)雜度高，所以速度略次于這些算法。7種算法在相同實(shí)驗(yàn)條件下，在傳統(tǒng)SVM分類器上的實(shí)驗(yàn)結(jié)果如表5所示?？梢钥吹?，運(yùn)用了支持向量機(jī)分類器，識(shí)別準(zhǔn)確率明顯提高了。并且能看到，對(duì)于這兩種分類器而言，本文算法識(shí)別準(zhǔn)確率都最好。

上述實(shí)驗(yàn)結(jié)果顯示本文算法既能有效降低特征維數(shù)，又能達(dá)到較高的識(shí)別率。

Table 4 Time in training phase of 7 algorithms表4 7種算法在訓(xùn)練階段所用時(shí)間

Table 5 Recognition rates of 7 algorithms on SVM表5 7種算法在SVM分類器上的最好平均識(shí)別率

4 結(jié)束語(yǔ)

本文在對(duì)原始加速度信號(hào)提取FFT特征的基礎(chǔ)上，提出了基于多圖嵌入表示的人體運(yùn)動(dòng)模式識(shí)別算法?？紤]到基于圖嵌入的方法利用一個(gè)關(guān)聯(lián)矩陣可能丟失重要信息，本文算法將原始特征空間劃分為幾個(gè)獨(dú)立子集，構(gòu)造了多個(gè)關(guān)聯(lián)矩陣，并在圖嵌入過程中最大化圖內(nèi)變量的相關(guān)性，綜合考慮圖間的關(guān)聯(lián)性。因此本文算法能有效地區(qū)分?jǐn)?shù)據(jù)庫(kù)中的10類日常運(yùn)動(dòng)，且能有效地降低原始特征空間的維數(shù)，減少信息的丟失。然而本文算法仍然對(duì)有些運(yùn)動(dòng)，如上樓和下樓產(chǎn)生誤判，在今后的工作中將嘗試其他特征并改進(jìn)本文算法，以達(dá)到更好的分類結(jié)果。

References:

[1]Crouter S E,Clowers K G,Jr B D R.Anovel method for using accelerometer data to predict energy expenditure[J].Journal ofApplied Physiology,2006,100(4):1324-1331.

[2]Kasteren T L M,Englebienne G,Kr?se B J A.An activity monitoring system for elderly care using generative and discriminative models[J].Personal and Ubiquitous Computing, 2010,14(6):489-498.

[3]Wang Xinxi,Rosenblum D,Wang Ye.Context-aware mobile music recommendation for daily activities[C]//Proceedings of the 20th ACM International Conference on Multimedia,Nara,Japan,Oct 29-Nov 2,2012.New York:ACM, 2012:99-108.

[4]Lara O D,Labrador MA.Asurvey on human activity recognition using wearable sensors[J].IEEE Communications Surveys and Tutorials,2013,15(3):1192-1209.

[5]Sun Lin,Zhang Daqing,Li Bin,et al.Activity recognition on an accelerometer embedded mobile phone with varying position and orientations[C]//LNCS 6406:Proceedings of the 7th International Conference on Ubiquitous Intelligence and Computing,Xi?an,China,Oct 26-29,2010.Berlin,Heidelberg:Springer,2010:548-562.

[6]Poppe R.A survey on vision-based human action recognition [J].Image and Vision Computing,2010,28(6):976-990.

[7]Thurau C.Behavior histograms for action recognition and human detection[C]//LNCS 4814:Proceedings of the 2nd Conference on Human Motion:Understanding,Modeling, Capture and Animation,Rio de Janeiro,Brazil,Oct 20, 2007.Berlin,Heidelberg:Springer,2007:299-312.

[8]Kellokumpu V,Zhao G,Pietik?inen M.Human activity recognition using a dynamic texture based method[C]//Proceedings of the 19th International Conference of British Machine Vision,Leeds,UK,Sep 1-4,2008:885-894.

[9]Le Q V,Zou W Y,Yeung S Y,et al.Learning hierarchical invariant spatiotemporal features for action recognition with independent subspace analysis[C]//Proceedings of the 2011 International Conference on Computer Vision and Pattern Recognition,Colorado Springs,USA,Jun 21-23,2011.Washington:IEEE Computer Society,2011:3361-3368.

[10]Gaur U,Zhu Y,Song B,et al.A“string of feature graphs”model for recognition of complex activities in natural videos [C]//Proceedings of the 13th International Conference on Computer Vision,Barcelona,Spain,Nov 6-13,2011.Washington:IEEE Computer Society,2011:2595-2602.

[11]Ermes M,Parkka J,Mantyjarvi J,et al.Detection of daily activities and sports with wearable sensors in controlled and uncontrolled conditions[J].IEEE Transactions on Information Technology in Biomedicine,2008,12(1):20-26.

[12]Khan A M,Lee Y K,Lee S Y,et al.A triaxial accelerometerbased physical-activity recognition via augmented signal features and a hierarchical recognizer[J].IEEE Transactions on Information Technology in Biomedicine,2010,14 (5):1166-1172.

[13]Zhu Chun,Sheng Weihua.Recognizing human daily activity using a single inertial sensor[C]//Proceedings of the 8th World Congress on Intelligent Control and Automation,Jinan,China,Jul 7-9,2010.Piscataway,USA:IEEE,2010: 282-287.

[14]Preece S J,Yannis J G,Kenney L P J,et al.A comparison of feature extraction methods for the classification of dynamic activities from accelerometer data[J].IEEE Transactions on Biomedical Engineering,2009,56(3):871-879.

[15]Noorit N,Suvonvorn N.Human activity recognition from basic actions using graph similarity measurement[C]//Proceedings of the 12th International Joint Conference on Computer Science and Software Engineering,Songkhla, Thailand,Jul 22-24,2015.Piscataway,USA:IEEE,2015: 7-11.

[16]Yan Shuicheng,Xu Dong,Zhang Benyu,et al.Graph embedding and extension:a general framework for dimensionality reduction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(1):40-51.

[17]Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs.Fisherfaces:recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711-720.

[18]He Xiaofei,Niyogi P.Locality preserving projections[J]. Advances in Neural Information Processing Systems,2003, 16(1):186-197.

[19]Cai Xianfa,Wen Guihua,Wei Jia,et al.Enhanced supervised locality preserving projections for face recognition [C]//Proceedings of the 3rd International Conference on Machine Learning and Computing,Singapore,Feb 26-28, 2011.Piscataway,USA:IEEE,2011:1762-1766.

[20]Liu Cuixiang,Zhao Yana,Wang Baozhu,et al.Survey on data dimensionality reduction for face image based on graph theory[J].Electronic Design Engineering,2013,21 (16):104-106.

[21]Long Xin,Yin Bin,Aarts R N.Single-accelerometer based daily physical activity classification[C]//Proceedings of the31st International IEEE Engineering in Medicine and Biology Society,Minneapolis,USA,Sep 2-6,2009.Piscataway,USA: IEEE,2009:6107-6110.

[22]Roweis S T,Saul L K.Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,290(5500): 2323-2326.

[23]Belkin M,Niyogi P.Laplacian eigenmaps and spectral techniques for embedding and clustering[J].Advances in Neural Information Processing Systems,2002,14(6):585-591.

[24]Lu J.Enhanced locality sensitive discriminant analysis for image recognition[J].Electronics Letters,2010,46(3):217-218.

[25]Xu Dong,Yan Shuicheng,Tao Dacheng,et al.Marginal Fisher analysis and its variants for human gait recognition and content-based image retrieval[J].IEEE Transactions on Image Processing,2007,16(11):2811-2821.

[26]Jones S,Shao L.A multigraph representation for improved unsupervised/semi-supervised learning of human actions[C]// Proceedings of the 2014 International IEEE Conference on Computer Vision and Pattern Recognition,Columbus,USA, Jun 23-28,2014.Piscataway,USA:IEEE,2014:820-826.

[27]Ng A Y,Jordan M I,Weiss Y.On spectral clustering:analysis and an algorithm[J].Advances in Neural Information Processing System,2002,14:849-856.

[28]Dettling M,Bühlmann P.Finding predictive gene groups from microarray data[J].Journal of Multivariate Analysis, 2004,90(1):106-131.

[29]Gretton A,Bousquet O,Smola A,et al.Measuring statistical dependence with Hilbert-Schmidt norms[C]//LNCS 3734:Proceedings of the 16th International Conference on Algorithmic Learning Theory,Singapore,Oct 8-11,2005.Berlin, Heidelberg:Springer,2005:63-77.

[30]Borg I,Groenen P.Modern multidimensional scaling:theory and applications[J].Journal of Educational Measurement, 2006,40(3):277-280.

[31]Nielsen A A.Multiset canonical correlations analysis and multispectral,truly multitemporal remote sensing data[J]. IEEE Transactions on Image Processing,2002,11(3):293-305.

[32]Yang Xue,Jin Lianwen.A naturalistic 3D acceleration-based activity dataset and benchmark evaluations[C]//Proceedings of the 2010 International Conference on Systems Man& Cybernetics,Istanbul,Turkey,Oct 10-13,2010.Piscataway, USA:IEEE,2010:4081-4085.

附中文參考文獻(xiàn):

[20]劉翠響,趙亞娜,王寶珠,等.基于圖論的人臉圖像數(shù)據(jù)降維方法綜述[J].電子設(shè)計(jì)工程,2013,21(16):104-106.

褚晶輝（1969—），女，天津人，2006年于天津大學(xué)獲得博士學(xué)位，現(xiàn)為天津大學(xué)Altera EDA/SOPC聯(lián)合實(shí)驗(yàn)室副教授，主要研究領(lǐng)域?yàn)閿?shù)字視頻技術(shù)，模式識(shí)別等。

LUO Wei was born in 1991.She is an M.S.candidate at Tianjin University.Her research interests include digital video technology and pattern recognition,etc.

羅薇（1991—），女，重慶人，天津大學(xué)Altera EDA/SOPC聯(lián)合實(shí)驗(yàn)室碩士研究生，主要研究領(lǐng)域?yàn)閿?shù)字視頻技術(shù)，模式識(shí)別等。獲授權(quán)發(fā)明專利2件。

LV Wei was born in 1976.He received the Ph.D.degree in signal and information processing from Tianjin University in 2003.Now he is an associate professor at Tianjin University.His research interests include digital video technology, embedded system design and pattern recognition,etc.

呂衛(wèi)（1976—），男，江蘇常熟人，2003年于天津大學(xué)獲得博士學(xué)位，現(xiàn)為天津大學(xué)Altera EDA/SOPC聯(lián)合實(shí)驗(yàn)室副教授，主要研究領(lǐng)域?yàn)閿?shù)字視頻技術(shù)，嵌入式系統(tǒng)設(shè)計(jì)，模式識(shí)別等。發(fā)表學(xué)術(shù)論文10余篇，主持國(guó)家自然科學(xué)基金1項(xiàng)。

Multi-Graph Embedding Representation for HumanActivity Pattern Recognition*

CHU Jinghui,LUO Wei,LV Wei+
School of Electronic Information Engineering,Tianjin University,Tianjin 300072,China
+Corresponding author:E-mail:luwei@tju.edu.cn

Anovel and appropriate algorithm is the key of human activity pattern recognition system.This paper proposes a human activity pattern recognition method utilizing accelerometer data,which adopts a multi-graph embedding representation algorithm for feature dimensionality reduction and a nearest neighbor classifier for pattern classification.Firstly,the proposed method divides the original feature space into several disjoint subsets by clustering so as to generate multiple graphs.Then,the method generates embedding co-ordinates with multidimensional scaling and finds the linear combination of the embedding co-ordinates to represent the original feature space.Finally,the method adopts a nearest neighbor classifier to classify the patterns.The proposed method is novel and simple,and can explore the potential structure of the original feature space with the smallest information loss so that the feature selection is more stable.The experimental results show that the proposed method has a higher accuracy than other representative methods,and can better recognize human activities.

accelerometer;human activity pattern recognition;multi-graph;multidimensional scaling;graph embedding

ui was born in 1969.She

the Ph.D.degree in signal and information processing from Tianjin University in 2006.Now she is an associate professor at Tianjin University.Her research interests include digital video technology and pattern recognition,etc.

A

TP391

*The National Natural Science Foundation of China under Grant No.61271069(國(guó)家自然科學(xué)基金).

Received 2016-07,Accepted 2016-09.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-09-08,http://www.cnki.net/kcms/detail/11.5602.TP.20160908.1045.018.html