姜 鳴＊，， 王 哲 龍， 劉 曉 博， 趙 紅 宇， 胡 耀 華

(1.大連理工大學 控制科學與工程學院，遼寧 大連 116024；2.東莞理工學院 電子工程學院，廣東 東莞 523808；3.中國科學院沈陽自動化研究所 機器人學國家重點實驗室，遼寧 沈陽 110016；4.大連交通大學 電氣信息學院，遼寧 大連 116028)

0 引 言

人體傳感器網(wǎng)絡(body sensor networks，BSN)是無線傳感器網(wǎng)絡在人體監(jiān)督中的應用，通過多個固定在人體上的傳感器節(jié)點，BSN可以采集各肢體部位的運動信號，使用無線網(wǎng)絡將這些信號發(fā)送到遠程接收終端，通過分析這些運動數(shù)據(jù)來識別不同的人體動作[1].已有研究顯示，應用 BSN 識 別老年 人[2－3]、慢性病患者[4－5]，以及術后病人[6]等特殊人群的日常動作，可以有效地提高對這些人群的醫(yī)療監(jiān)護質(zhì)量[7－8].

BSN數(shù)據(jù)的處理通常被歸結為一個分類過程[9]，每個類別對應一個人體動作，常用的分類器包括貝葉斯分類器、決策樹、最近鄰分類器、支持向量機和隱馬爾可夫模型等[10－13]，分類過程通?；谔卣鲗尤诤虾突跊Q策層融合兩種數(shù)據(jù)融合方式[14].在基于特征層融合的分類方式中，首先提取每個傳感器節(jié)點的信號特征，之后使用特征選擇和特征降維技術將這些特征整合為特征向量，最后使用分類器對特征向量進行分類.在基于決策層融合的分類方式中，首先提取每個傳感器節(jié)點的信號特征形成特征向量，之后使用分類器對每個特征向量進行單獨分類，最后應用決策規(guī)則對分類結果進行融合.以上兩種分類方式的不足之處在于，分類過程只考慮了傳感器節(jié)點本身對分類結果的影響，而不同傳感器節(jié)點之間的內(nèi)在關聯(lián)在分類過程中沒有被充分考慮，因此限制了分類結果的準確率.

本文建立一個基于BSN的人體日常動作監(jiān)督平臺，通過固定在人體四肢和腰部的5個加速度傳感器節(jié)點采集人體的動作信號.針對動作識別過程中存在的多傳感器數(shù)據(jù)融合問題，提出一種基于耦合隱馬爾可夫模型(coupled hidden Markov models，CHMMs)的動作識別方法，該方法在分類過程中通過建立不同傳感器節(jié)點之間的關聯(lián)，提高識別結果的正確率.

1 耦合隱馬爾可夫模型

1.1 模型的建立

CHMMs是Brand等[15]在隱馬爾可夫模型(hidden Markov models，HMMs)基礎上提出的擴展模型.HMMs是用來描述含有隱含未知參數(shù)的馬爾可夫過程的概率模型，已經(jīng)成功地在語音識別、圖像識別和生物序列分析等多個領域中得到應用[16].CHMMs將多個HMMs結合在一起，能夠對含有多個相互關聯(lián)數(shù)據(jù)鏈的隨機過程進行建模和統(tǒng)計分析.目前CHMMs已經(jīng)在語音信號處理[17]和生物信號處理[18]中得到使用.BSN 中每個傳感器節(jié)點構成一個單獨的數(shù)據(jù)源，因此BSN數(shù)據(jù)包含多個相互關聯(lián)的數(shù)據(jù)鏈，適合采用CHMMs對其進行建模和分析.

本文采用CHMMs作為動作識別工具，對每個人體日常動作建立一個模型，模型結構如圖1所示，其中N為傳感器節(jié)點的數(shù)量，T為觀測序列的長度表示第n個(1≤n≤N)傳感器節(jié)點在第t個(1≤t≤T)時段內(nèi)的隱藏狀態(tài)表示第n個傳感器節(jié)點在第t個時段內(nèi)輸出的觀測值.在本文建立的CHMMs中，傳感器節(jié)點的隱藏狀態(tài)代表了相應肢體部位的運動模式，同一肢體部位運動模式的不同轉換方式描述了該肢體部位的不同動作，不同肢體部位之間運動模式的相互影響描述了不同肢體部位之間的協(xié)同運動.

圖1 應用BSN數(shù)據(jù)建立的人體日常動作的CHMMs結構Fig.1 Structure of CHMMs for modeling human daily activities based on BSN data

1.2 模型參數(shù)的訓練

令第n個數(shù)據(jù)鏈包含Kn個狀態(tài)，in表示其中的第i(1≤i≤Kn)個狀態(tài)，令λ表示CHMMs的參數(shù)集合，λ包含以下參數(shù).

本文采用Pernkopf[19]提出的基于期望值最大(expectation maximization，EM)算法的參數(shù)訓練方法進行參數(shù)估計，使用訓練數(shù)據(jù)集X0訓練參數(shù)集λ，基本思路如下:首先給出參數(shù)集的初始估計λ′；在E階段，應用forward－backward算法計算在參數(shù)集λ′下，CHMMs對訓練數(shù)據(jù)集X0的似然值P(X0｜λ′)；在M階段，重新估計參數(shù)集λ″使得CHMMs的似然值最大化；E階段和M階段迭代交替進行，直到似然值的增長P(X0｜λ″)－P(X0｜λ′)小于指定閾值.

1.3 應用CHMMs進行動作識別

本文應用CHMMs作為分類工具對Q個人體日常動作進行識別.令X表示總訓練數(shù)據(jù)集，X中的元素為等長的觀測序列，即帶有動作標簽的特征向量序列.令Xq(q＝1，…，Q)表示X的子集，Xq包含所有屬于第q個人體日常動作的訓練樣本.建立Q個CHMMs，每個模型描述一個人體日常動作，令λq表示通過Xq訓練得到的第q個模型的參數(shù)集.對未知動作類別的觀測序列y，首先計算所有CHMMs對y的似然值，之后選擇具有最大似然值的模型對應的人體日常動作，即識別結果為

2 基于BSN的人體日常動作監(jiān)督平臺

2.1 監(jiān)督平臺的建立

本文建立了一個基于BSN的人體日常動作監(jiān)督平臺，平臺由信號采集端和信號接收端組成.圖2所示為本文建立的BSN監(jiān)督平臺中各節(jié)點的示意圖.傳感器節(jié)點上安裝有一枚三軸加速度傳感器 (ADXL330)，能夠采集±3g范圍內(nèi)的三維加速度信號.傳感器節(jié)點負責將采集到的加速度信號通過無線收發(fā)芯片發(fā)送至信號接收節(jié)點，信號接收節(jié)點將接收到的信號保存在電腦中.實驗中信號采集端包括5個傳感器節(jié)點，分別固定在人體左右前臂、胸口和左右小腿.

2.2 實驗數(shù)據(jù)的采集

實驗有8名志愿者參加(4男、4女)，共進行9個日常動作，包括“站”“坐”“躺”“走路”“上樓”“下樓”“跑步”“騎車”和“劃船”，前7個動作在實驗室中完成，后2個動作在健身房中使用健身器械完成.實驗中加速度信號的采樣頻率為20Hz，每個動作的持續(xù)時間約為20s，每個動作重復進行3次.圖3所示為使用本文建立的BSN監(jiān)督平臺采集到的“走路”的一組加速度數(shù)據(jù)，圖中橫軸表示樣本點的數(shù)量n，縱軸為加速度傳感器輸出的電壓值V，與實際加速度值呈線性關系.從圖3中可以直觀地觀察到，不同加速度傳感器的信號波形之間具有較明顯的關聯(lián)，具有相似的波形周期，這種關聯(lián)是由不同肢體部位之間的協(xié)同運動所產(chǎn)生的.

圖2 BSN監(jiān)督平臺Fig.2 BSN monitoring platform

圖3 使用BSN監(jiān)督平臺采集到的“走路”的一組加速度信號Fig.3 Acceleration signals of walking collected by using BSN monitoring platform

3 實驗結果與分析

3.1 實驗數(shù)據(jù)預處理

首先使用滑動窗口分割技術將實驗數(shù)據(jù)分割為若干等長的時間片段(觀測窗口)，每個觀測窗口擁有一個人體動作的標簽，實驗中滑動窗口的長度選擇為32個樣本點(約1.5s)，相鄰觀測窗口之間有50%(16個樣本點)的數(shù)據(jù)重疊，可以避免窗口邊緣的信息丟失.之后提取觀測窗口內(nèi)的信號特征，形成特征向量.實驗中選擇的信號特征包括時域特征和頻域特征兩部分，如表1所示，這些特征的有效性在已有文獻中得到了證明[9－13].

表1 實驗中選擇提取的信號特征Tab.1 Extracted signal features in the experiment

3.2 實驗結果分析

本文采用十折交叉驗證的方式驗證本文提出的動作識別方法的效果，具體步驟如下:(1)將經(jīng)過預處理之后的實驗數(shù)據(jù)隨機分為10個大小相同的子集；(2)選擇其中1個子集作為測試數(shù)據(jù)集，合并其他9個子集作為訓練數(shù)據(jù)集，訓練CHMMs，并計算在測試集下的識別正確率；(3)循環(huán)執(zhí)行步驟(2)共10次，每次選擇不同子集作為測試數(shù)據(jù)集；(4)將平均10次測試結果的正確率作為最終的識別結果.在訓練和測試CHMMs時，觀測序列的長度選擇為10，即每10個特征向量組成一個觀測序列，相鄰觀測序列之間有9個特征向量的重疊，確保序列邊緣信息不被丟失.此外，實驗中選擇了一些常用的人體動作識別方法進行對比，包括基于特征層融合和基于決策層融合的兩種分類方式，分別選擇支持向量機(support vector machine，SVM)和隱馬爾可夫模型作為分類器.在特征層融合中，將不同傳感器節(jié)點的特征向量進行直接累加；在決策層融合中，使用貝葉斯決策準則作為融合分類結果的方法.這些識別方法同樣采用十折交叉驗證方式得到最終的正確率.

表2所示為使用不同識別方法得到的識別結果的正確率，A1～A9分別代表實驗中進行的9個人體動作.從表2中可以看到，本文提出的基于CHMMs的動作識別方法的平均識別正確率最高，達到91.81%，而基于特征層融合和決策層融合的兩種分類方式，無論采用SVM還是HMM作為分類器，都沒有取得理想的識別效果.這說明本文提出的基于CHMMs的動作識別方法能夠挖掘不同傳感器節(jié)點之間的關聯(lián)性，從而有效地提高人體動作識別結果的正確率.實驗中除了計算識別結果的正確率，即精確度(accuracy)，還計算了靈敏度(sensitivity)和特異度(specificity)這兩個常用的評價分類器性能的指標[20]來進一步驗證本文提出方法的效果，其中靈敏度和特異度的定義如下:

表3所示為使用不同動作識別方法得到的所有動作識別結果的平均精確度、靈敏度和特異度.從表3中可以看到，除了精確度外，本文提出的動作識別方法在靈敏度和特異度兩個指標上同樣取得了滿意的結果.

表2 使用不同動作識別方法得到的人體動作識別結果的正確率Tab.2 Accurate rate of human activity recognition by using different recognition methods

表3 使用不同識別方法得到的人體動作識別結果的平均精確度、靈敏度和特異性Tab.3 Average accuracy，sensitivity and specificity of human activity recognition by using different recognition methods

4 結 論

本文建立了一個基于BSN的人體日常動作監(jiān)督平臺，使用固定在人體四肢和腰部的5個加速度節(jié)點采集人體動作信號，通過分析這些信號來識別人體動作.針對動作識別過程中存在的多傳感器數(shù)據(jù)融合問題，提出了一個基于CHMMs的動作識別方法，該方法能夠有效地挖掘不同傳感器信號之間的關聯(lián)，提高識別結果的正確率.通過對實驗采集的9個人體日常動作的加速度數(shù)據(jù)進行處理，發(fā)現(xiàn)使用本文提出的動作識別方法的識別結果取得了滿意的精確度(平均0.918)、靈敏度(平均0.354)和特異度(平均0.931)，均高于已有的基于特征層融合和決策層融合的動作識別方法.實驗結果說明，本文提出的基于CHMMs的動作識別方法符合BSN數(shù)據(jù)的特點，能夠在基于BSN的人體日常動作識別中得到應用.

[1]YANG G Z，Yacoub M.Body Sensor Networks[M].New York:Springer－Verlag，2006.

[2]Scanaill C N，Carew S，Barralon P，etal.A review of approaches to mobility telemonitoring of the elderly in their living environment [J].Annals of Biomedical Engineering，2006，34(4):547－563.

[3]King R C，Atallah L，Wong C，etal.Elderly risk assessment of falls with BSN [C]／／Proceedings of 2010International Conference on Body Sensor Networks. Washington D C:IEEE Computer Society，2010:30－35.

[4]Steele B G，Belza B，Cain K，etal.Bodies in motion:Monitoring daily activity and exercise with motion sensors in people with chronic pulmonary disease[J].Journal of Rehabilitation Research and Development，2003，40(5):45－58.

[5]Boyle J， Karunanithi M， Wark T，etal.Quantifying functional mobility progress for chronic disease management [C]／／ 28th Annual International Conference of Engineering in Medicine and Biology Society.New York:IEEE，2006:5916－5919.

[6]WANG Zhe－long，JIANG Ming，ZHAO Hong－yu，etal.A pilot study on evaluating recovery of the post－operative based on acceleration and sEMG [C]／／Proceedings of 2010International Conference on Body Sensor Networks. Washington D C:IEEE Computer Society，2010:3－8.

[7]Aziz O，Lo B，Pansiot J，etal.From computers to ubiquitous computing by 2010:health care [J].Philosophical Transactions of the Royal Society A:Mathematical，Physical and Engineering Sciences，2008，366(1881):3805－3811.

[8]Atallah L， YANG Guang－zhong. The use of pervasive sensing for behaviour profiling—a survey[J].Pervasive and Mobile Computing，2009，5(5):447－464.

[9]Preece J S，Goulermas Y J，Kenney P J L，etal.Activity identification using body－mounted sensors— a review of classification techniques [J].Physiological Measurement，2009，30(4):1－33.

[10]BAO Ling，Intille S S.Activity recognition from user－annotated acceleration data [J]. Pervasive Computing — Lecture Notes in Computer Science，2004，31(1):1－17.

[11]SUN Zuo－lei， MAO Xu－chu， TIAN Wei－feng，etal.Activity classification and dead reckoning for pedestrian navigation with wearable sensors [J].Measurement Science and Technology，2009，20(1):1－10.

[12]YIN Jie，YANG Qiong，Pan J J.Sensor－based abnormal human－activity detection [J].IEEE Transactions on Knowledge and Data Engineering，2008，20(8):1082－1090.

[13]Singla G，Cook D，Edgecombe M S.Recognizing independent and joint activities among multiple residents in smart environments [J]. Ambient Intelligence and Humanized Computing Journal，2010，1(1):57－63.

[14]YANG G Z，HU X P.Multi－sensor fusion[M]／／YANG G Z， Yacoue M，eds. Body Sensor Networks.New York:Springer－Verlag，2006:239－286.

[15]Brand M，Oliver N，Pentland A.Coupled hidden Markov models for complex action recognition [C]／／ 1997IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Juan:IEEE Computer Society，1997:994－999.

[16]Dietterich T G.Machine learning for sequential data:A review [J].Structural，Syntactic，and Statistical Pattern Recognition，2002，2396(1):227－246.

[17]Chu S M， Huang T S. Audio－visual speech modeling using coupled hidden Markov models[C]／／2002IEEE International Conference on Acoustics，Speech，and Signal Processing(ICASSP).Orlando:IEEE，2002:2009－2012.

[18]Rezek I，Roberts S J.Estimation of coupled hidden Markov models with application to biosignal interaction modelling [C]／／ Neural Networks for Signal Processing X:Proceedings of the 2000IEEE Signal Processing Society Workshop.Sydney:IEEE，2000:804－813.

[19]Pernkopf F.3Dsurface analysis using coupled HMMs [J]. Machine Vision and Applications，2005，16(5):298－305.

[20]Fawcett T.An introduction to ROC analysis[J].Pattern Recognition Letters，2006，27(8):861－874.