王金甲 孔德明 劉建波 王曉敏 洪文學(xué)

(*燕山大學(xué)信息科學(xué)與工程學(xué)院 秦皇島 066004) (**燕山大學(xué)電氣工程學(xué)院 秦皇島 066004) (***東北大學(xué)秦皇島分校 秦皇島 066004)

?

基于傳感器數(shù)據(jù)的人類活動識別研究①

王金甲②*孔德明**劉建波***王曉敏***洪文學(xué)*****

(*燕山大學(xué)信息科學(xué)與工程學(xué)院 秦皇島 066004) (**燕山大學(xué)電氣工程學(xué)院 秦皇島 066004) (***東北大學(xué)秦皇島分校 秦皇島 066004)

給出了活動識別的定義，闡述了活動識別對智能健康監(jiān)護(hù)和老年人護(hù)理的重要意義，并給出了基于傳感器的活動識別系統(tǒng)的構(gòu)成，詳細(xì)描述了系統(tǒng)的傳感器數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理及機(jī)器學(xué)習(xí)等技術(shù)的研究進(jìn)展，介紹了人類活動識別實驗取得的結(jié)果。最后指出，老年人活動識別、多人活動識別以及實時活動識別是未來活動識別的發(fā)展方向；活動識別研究已成為普適計算一個重要和富有挑戰(zhàn)性的研究課題，構(gòu)建用于處理復(fù)雜的現(xiàn)實情況和環(huán)境的可靠的活動識別系統(tǒng)仍然是一個挑戰(zhàn)，需要多學(xué)科交叉研究。

活動識別, 智能健康監(jiān)護(hù), 多傳感器, 數(shù)據(jù)融合, 移動感知

0 引 言

活動識別是指在真實生活環(huán)境中識別出人類日常生活活動[1]?；顒幼R別一般作為大型應(yīng)用服務(wù)的核心任務(wù)[2]。例如，老年人健康監(jiān)護(hù)這種以人為中心的應(yīng)用服務(wù)，就可以利用人類活動識別系統(tǒng)產(chǎn)生巨大的社會經(jīng)濟(jì)效益[3]；識別日常生活活動并從中辨識出潛在危險，對于獨居老人來說意義重大。這些服務(wù)能協(xié)助老年人或有特殊需要的人保持他們的生活獨立性，增強(qiáng)他們的個人舒適感和安全感，推遲他們搬到養(yǎng)老院的時間[4]。此外智能環(huán)境輔助生活、普適計算等領(lǐng)域中，日常生活活動的自動監(jiān)護(hù)和識別都是一個關(guān)鍵挑戰(zhàn)[5]。這都表明活動識別研究成果對相關(guān)領(lǐng)域研究和應(yīng)用都有益處，對相關(guān)領(lǐng)域?qū)＜乙灿薪梃b之處。因此這就迫切需要研究一種新方法和新手段來解決低級傳感器數(shù)據(jù)和高級活動識別概念之間的對應(yīng)關(guān)系問題。在智能健康監(jiān)護(hù)和老年人護(hù)理等許多領(lǐng)域，基于多源多維傳感器數(shù)據(jù)的自動活動識別是非常重要的研究方向。

活動識別最早研究可以追溯到上世紀(jì)90年代[6]。最近幾年，通過各種傳感器數(shù)據(jù)進(jìn)行識別簡單活動如休息、散步和跑步等的研究已經(jīng)取得了成功[7]。而復(fù)雜活動涉及到簡單活動的組合，識別率仍然較低，復(fù)雜活動研究仍然具有挑戰(zhàn)性[8]。本文首先給出了活動識別的定義，其次給出了活動識別系統(tǒng)組成，詳細(xì)介紹了傳感器數(shù)據(jù)采集，預(yù)處理和機(jī)器學(xué)習(xí)的研究現(xiàn)狀，并著重給出了活動識別系統(tǒng)的訓(xùn)練和測試，最后指出了活動識別的未來研究方向。

1 活動識別定義

活動識別系統(tǒng)需要預(yù)定義活動類別，常見的活動類別如表1所示。

基于預(yù)定義的活動類別，活動識別系統(tǒng)關(guān)注如何準(zhǔn)確檢測并識別人類活動。因此活動識別研究者應(yīng)該首先構(gòu)建高級活動類別概念模型，然后通過構(gòu)建合適系統(tǒng)來實現(xiàn)模型。這使機(jī)器學(xué)習(xí)模型廣泛用

表1 目前活動識別系統(tǒng)識別的活動的類別

于活動識別系統(tǒng)，為解決低級傳感器數(shù)據(jù)和高級活動識別概念之間的對應(yīng)關(guān)系問題提供了方案[9]。

活動識別的機(jī)器學(xué)習(xí)模型定義如下：假設(shè)活動類別定義為集合A={a0,…,aC-1}；m個活動采集的等長時間窗數(shù)據(jù)集合記為{W0, W1,…,Wm-1}，每個時間窗數(shù)據(jù)包括k個傳感器的一段時間的測量值；m個活動對應(yīng)的類別記為{y0, y1,…, ym-1}， yi是A中的一個元素?；顒幼R別目的是基于上述訓(xùn)練數(shù)據(jù)找到數(shù)學(xué)模型f:Wi→A，使得f(Wi)和對應(yīng)的活動類別yi盡可能相似。

2 活動識別系統(tǒng)組成

任何活動識別系統(tǒng)的設(shè)計都依賴于預(yù)定義的活動類別，另外活動識別系統(tǒng)還應(yīng)該包括3個模塊：傳感器模塊、預(yù)處理模塊和機(jī)器學(xué)習(xí)模塊。

2.1 活動識別系統(tǒng)的傳感器模塊

傳感器模塊收集原始傳感器數(shù)據(jù)。活動識別使用的傳感器類型可以分為嵌入式傳感器、穿戴式傳感器和智能手機(jī)傳感器。

視頻傳感器、音頻傳感器、磁感應(yīng)器、壓力傳感器、紅外傳感器、水中浮動傳感器等都可以作為嵌入式傳感器用于智能家居，這尤其適用于老年人日常生活活動識別和老年人健康監(jiān)護(hù)。嵌入式傳感器如照相機(jī)或攝像機(jī)等視頻傳感器因隱私程度低、配置復(fù)雜、成本高而飽受詬病。嵌入式傳感器數(shù)據(jù)特點是海量高維，樣本數(shù)和樣本維數(shù)都很大。其中視頻傳感器行為識別的文獻(xiàn)非常豐富，它已成為一個獨立的研究方向[10]。在嵌入式傳感器方面，Acampora 等綜述了家庭智能健康監(jiān)護(hù)的研究現(xiàn)狀，主要涉及的科學(xué)問題包括活動識別、行為模式挖掘、異常檢測、計劃調(diào)度、決策支持、匿名和隱私保護(hù)[3]。這說明活動識別是其中的關(guān)鍵挑戰(zhàn)。Chaquet等綜述了基于視頻傳感器的人類行為和活動識別研究，并綜述了共享的視頻數(shù)據(jù)庫[10]。

加速度傳感器、陀螺儀、其它慣性傳感器、壓力傳感器、生命特征(包括脈搏、呼吸、體溫、血壓等數(shù)據(jù))傳感器等可以作為穿戴式傳感器。穿戴式傳感器具有使用方便、24小時監(jiān)控等特點，克服了視頻傳感器固定環(huán)境限制，此外穿戴式傳感器具有目標(biāo)對象的信息隱私性，克服了視頻傳感器可能包含非目標(biāo)對象的缺點。但是穿戴式傳感器的用戶粘性不夠。在穿戴式傳感器方面，Chavarriaga等綜述了穿戴式傳感器活動識別數(shù)據(jù)庫，并共享了活動識別“機(jī)會數(shù)據(jù)庫”[11]。Lara等綜述了基于穿戴傳感器的活動識別研究[7]，并詳細(xì)給出了多種活動識別系統(tǒng)的識別性能比較。Bulling等也綜述了基于穿戴傳感器的活動識別研究[8]。

GPS(室外)傳感器、加速度傳感器、陀螺儀、其它慣性傳感器、生命特征傳感器等可以作為移動智能手機(jī)傳感器。智能手機(jī)正在成為一個收集、理解和使用人類活動信息的傳感器新平臺。這個平臺為移動感知商業(yè)領(lǐng)域創(chuàng)造了無限可能性。智能手機(jī)傳感器用于活動識別關(guān)鍵問題是如何平衡電池能量、內(nèi)存存儲和計算資源的問題。在智能手機(jī)傳感器方法，Incel 等綜述了基于移動手機(jī)數(shù)據(jù)的活動識別的研究現(xiàn)狀[12]?；谥悄苁謾C(jī)傳感器數(shù)據(jù)的活動識別方面的研究處于萌芽階段，主要研究簡單活動識別問題，方法采用時頻域特征和支持向量機(jī)等常用方法。

國內(nèi)在嵌入式傳感器方面，趙洋等提出了基于視頻RGB深度特征的3D活動識別[13]。Lin等研究了一種新的基于網(wǎng)絡(luò)算法的視頻活動識別。在穿戴式傳感器方面，Wang等基于穿戴式傳感器網(wǎng)絡(luò)提出了連續(xù)隱馬爾科夫模型的健康監(jiān)護(hù)和活動識別系統(tǒng)[14]。李丹等研究了基于三軸加速度傳感器的日常體力活動識別系統(tǒng)設(shè)計。國內(nèi)在智能手機(jī)傳感器方面，史元春等研究了基于旋轉(zhuǎn)模式的移動設(shè)備佩戴位置識別方法[15]。

2.2 活動識別系統(tǒng)的預(yù)處理模塊

預(yù)處理模塊功能是將原始傳感器數(shù)據(jù)轉(zhuǎn)換到有利于分類的特征向量?；顒幼R別的預(yù)處理方法包括傳感器數(shù)據(jù)融合、特征表示、特征提取和特征選擇?；顒幼R別系統(tǒng)的正確率強(qiáng)烈依賴于特征向量。因此提取的特征應(yīng)該對不同活動差異明顯。特征可以采用低級概念表示如信號均值和方差等，也可以采用高級概念表示如從信號塔估計的用戶位置。以加速度傳感器數(shù)據(jù)為例，其數(shù)學(xué)計算的低級概念特征包括均值、標(biāo)準(zhǔn)偏差、方差、四分位差、平均絕對偏差、軸相關(guān)性、熵和峰度系數(shù)等時域特征，傅里葉變換和離散余弦變換系數(shù)等頻域特征、主成分分析、線性判別分析和自回歸模型系數(shù)等其它特征[16]。

Faouzi等研究了活動識別的證據(jù)融合方法[17]。實驗中構(gòu)造了智能家居嵌入式傳感器采集系統(tǒng)。Dempster-Shafer證據(jù)理論及其改進(jìn)方法是一種處理普適計算的不確定性和不完全性的有效工具。然而在處理高度沖突的活動時，它們的融合規(guī)則產(chǎn)生了違反直覺的結(jié)果。作者提出了一個新的沖突證據(jù)融合方法，增加了活動識別的效率和準(zhǔn)確性。作者在真實傳感器數(shù)據(jù)集上進(jìn)行了驗證，活動識別正確率達(dá)到78%，結(jié)果優(yōu)于現(xiàn)有的數(shù)據(jù)融合規(guī)則。

Nam等提出了一種合作融合模型用于孩子活動識別，用以防止兒童意外傷害等事故[18]。實驗中選擇了一些年齡在16至29個月之間的男孩或女孩，并在孩子身體的腰部佩戴了三軸加速度傳感器和壓力傳感器。孩子活動分為11類日?；顒?，包括扭動、翻滾、站著不動、站起來、坐下來、走路、蹣跚學(xué)步、爬行、爬上、爬下、停止。為了識別孩子活動，基于滑動窗技術(shù)，計算了信號的時域均值、標(biāo)準(zhǔn)差和斜率等特征，基于快速傅里葉變換計算了信號的頻域特性，還計算了信號的能量和自相關(guān)特征。將這些特征融合并送入支持向量機(jī)分類器，平均活動識別正確率為98.43%。

2.3 活動識別系統(tǒng)的機(jī)器學(xué)習(xí)模塊

機(jī)器學(xué)習(xí)模塊是指將特征向量和背景知識進(jìn)行數(shù)學(xué)建模，并識別用戶活動，例如站、坐、走、躺或開車等。機(jī)器學(xué)習(xí)模塊是活動識別系統(tǒng)的核心，它包括訓(xùn)練和測試兩個過程，測試也稱為評估。圖1闡明了涉及這個兩個過程的常見步驟。訓(xùn)練過程首先需要搜集時間序列數(shù)據(jù)集，它是從完成每個活動的對象采集的傳感器測量屬性值所組成的，包括位置數(shù)據(jù)、加速信號、生理信號和環(huán)境信號等。然后對數(shù)據(jù)進(jìn)行特征提取包括結(jié)構(gòu)特征和統(tǒng)計特征等，即這些時間序列被劃分為時間窗，在每個時間窗內(nèi)進(jìn)行特征提取以便過濾原始信號中的相關(guān)信息，并定義比較特征的測度。接著基于提取的特征數(shù)據(jù)集利用學(xué)習(xí)方法產(chǎn)生活動識別模型。測試過程也是首先搜集數(shù)據(jù)，然后計算時間窗采集數(shù)據(jù)的特征向量或特征集合，接著將其送入以前訓(xùn)練好的學(xué)習(xí)模型中進(jìn)行評估，識別時間窗對應(yīng)的活動。

圖1 活動識別系統(tǒng)的訓(xùn)練和測試示意圖

機(jī)器學(xué)習(xí)方法一般可分為生成式模型和判別式模型。生成式模型指定特征的聯(lián)合概率密度和被推理的活動類別，然后使用貝葉斯規(guī)則計算條件分布對數(shù)據(jù)進(jìn)行建模，模型參數(shù)通過訓(xùn)練數(shù)據(jù)的最大似然函數(shù)估計得到，最后給定特征的新樣本被分類到最大可能的類別中。生成式模型雖然需要更多訓(xùn)練數(shù)據(jù)，但是它能返回模型值，能提供對基本過程更好的理解。判別式模型僅僅提供了關(guān)于特征的活動模型，它通過指定條件概率分布或決策邊界進(jìn)行建模。

機(jī)器學(xué)習(xí)方法從學(xué)習(xí)角度還可以分為三種：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。大部分活動識別采用了監(jiān)督學(xué)習(xí)模型。當(dāng)數(shù)據(jù)收集時，每個訓(xùn)練樣本的標(biāo)簽都被標(biāo)記為用戶真實的活動。傳感器模塊和其他輸入收集的訓(xùn)練樣本首先被轉(zhuǎn)換為特征向量，然后訓(xùn)練監(jiān)督學(xué)習(xí)模型，最后測試階段推斷新出現(xiàn)的測試樣本的類別。但是標(biāo)記樣本類別是主觀的耗時的，甚至?xí)霈F(xiàn)錯誤。顯然未標(biāo)記樣本比標(biāo)記樣本更容易獲得，因此可采用半監(jiān)督學(xué)習(xí)模型即同時利用標(biāo)記樣本和未標(biāo)記樣本進(jìn)行建模來識別活動模式。非監(jiān)督學(xué)習(xí)目的是使用戶從標(biāo)記樣本的負(fù)擔(dān)重中完全解放出來，實現(xiàn)沒有標(biāo)記樣本和利用標(biāo)記樣本訓(xùn)練識別算法的過程。通過某些距離度量和準(zhǔn)則聚類樣本，非監(jiān)督學(xué)習(xí)模型自動識別活動模式。聚類數(shù)目、距離度量、相似性準(zhǔn)則是非監(jiān)督學(xué)習(xí)的困難問題。

活動識別系統(tǒng)的評估方法主要包括在線活動識別、離線監(jiān)督活動識別和半監(jiān)督活動識別等。評估指標(biāo)包括特異性、敏感性、正確率、F測度、ROC曲線下面積和Kappa系數(shù)等。

監(jiān)督學(xué)習(xí)模型在活動識別領(lǐng)域應(yīng)用很廣泛[9]。

Zhang等在IEEE PAMI(模式分析與機(jī)器智能)中提出了基于間隔時域貝葉斯網(wǎng)絡(luò)的時域交互模型用于復(fù)雜活動識別[19]。復(fù)雜活動通常是由在一段時間內(nèi)并行或連續(xù)發(fā)生的簡單活動組成。理解復(fù)雜活動不僅需要識別出每個簡單活動，而且更需要捕捉它們在不同的時間間隔的時空依賴性。大多數(shù)圖模型方法都有幾個局限性。首先隱馬爾可夫模型(HMMs)和動態(tài)貝葉斯網(wǎng)絡(luò)只能捕獲三種時間關(guān)系：當(dāng)時之前的，當(dāng)時之后的和當(dāng)時。第二，HMMs是概率有限狀態(tài)機(jī)，狀態(tài)會隨著平行活動數(shù)量的增加呈指數(shù)級增加。第三，基于句法和描述的方法，盡管其富有時間關(guān)系建模的能力，但是沒有表達(dá)不確定性的能力。為解決這些問題，作者提出了一種新的圖模型：間隔時域貝葉斯網(wǎng)絡(luò)(ITBN) ，并提出了模型結(jié)構(gòu)和參數(shù)的學(xué)習(xí)算法。該模型結(jié)合了貝葉斯網(wǎng)絡(luò)與區(qū)間代數(shù)，給出了復(fù)雜活動隨著時間間隔變化的時間依賴關(guān)系。實驗結(jié)果表明，提出的模型用于并行和連續(xù)等復(fù)雜活動，分類性能顯著提高。

Avci等基于遠(yuǎn)程依賴關(guān)系，提出了通過分段模式迭代挖掘方法提高活動識別效果[20]。當(dāng)前活動識別算法存在的一個主要問題是將傳感器數(shù)據(jù)的遠(yuǎn)程依賴關(guān)系進(jìn)行融合很困難。作者基于序列模式挖掘提出了新的遠(yuǎn)程交互方法。新方法的基本原理是數(shù)據(jù)的遠(yuǎn)程依賴可以跨度不相同的活動時間段，通過模式匹配覆蓋活動時間段，并進(jìn)行概率模型的學(xué)習(xí)。實驗結(jié)果表明帶有挖掘模式的傳感器數(shù)據(jù)表示方法能夠明顯改善連續(xù)活動識別算法的結(jié)果。

為保證良好分類性能，監(jiān)督學(xué)習(xí)模型需要事先標(biāo)記大量訓(xùn)練樣本的類別，但是實際中類別信息難于收集，即使標(biāo)記也昂貴、耗時。而未標(biāo)記樣本顯然比標(biāo)記樣本更容易獲得，因此活動識別更需要依賴于半監(jiān)督和非監(jiān)督學(xué)習(xí)模型和方法。

Lee等提出了同時處理未標(biāo)記和標(biāo)記樣本的混合專家模型用于活動識別系統(tǒng)[21]。一方面，能同時處理未標(biāo)記和標(biāo)記樣本的半監(jiān)督學(xué)習(xí)模型顯得很重要。另一方面，考慮復(fù)雜活動和不完整傳感器數(shù)據(jù)，多分類器系統(tǒng)應(yīng)該優(yōu)于單分類器系統(tǒng)的識別性能。因此作者提出了一種混合專家模型用于半監(jiān)督學(xué)習(xí)。

Trabelsi等提出了基于隱馬爾科夫模型回歸的非監(jiān)督自動活動識別方法[22]。利用慣性傳感器測量的原始加速度數(shù)據(jù)，作者采用了非監(jiān)督學(xué)習(xí)模型識別人類活動。該模型使用多元回歸隱馬爾科夫模型。當(dāng)沒有活動標(biāo)簽時，該模型使用期望最大化(EM)算法進(jìn)行非監(jiān)督學(xué)習(xí)。實驗結(jié)果證明新方法的效率優(yōu)于標(biāo)準(zhǔn)的監(jiān)督和非監(jiān)督分類方法。

Bhattacharya等研究了在稀疏編碼框架下利用未標(biāo)記樣本的活動識別方法[23]。作者提出了一個稀疏編碼框架用于活動識別，首先給出了傳感器數(shù)據(jù)的一個緊湊、稀疏和有意義的特征表示，它不依賴于專家知識，具有跨域泛化性能非常好的優(yōu)點?；谧詫W(xué)學(xué)習(xí)范式，自動獲得無標(biāo)記數(shù)據(jù)的一組過完備基矢量，這樣無標(biāo)記數(shù)據(jù)就能捕獲活動數(shù)據(jù)中呈現(xiàn)的固有模式。通過將原始傳感器數(shù)據(jù)投影到這種過完備基矢量張成的特征空間，就提取到了有效的特征?；谶@些學(xué)習(xí)到的特征表示，后端分類器僅使用少量的標(biāo)記訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練即可。其次利用無標(biāo)記樣本數(shù)據(jù)有效自舉活動識別，大大降低了為模型估計所需的基本標(biāo)注。實驗中使用了識別任務(wù)和傳感器類型都不同的兩個數(shù)據(jù)集，一個是移動電話上的交通模式識別任務(wù)，另一個是眾所周知的“機(jī)會數(shù)據(jù)庫”。實驗結(jié)果表明稀疏編碼框架明顯優(yōu)于目前的監(jiān)督學(xué)習(xí)模型。作者自稱新方法具有跨域和跨傳感器的泛化能力，有極大的實用潛力。

3 活動識別研究的新方向

盡管活動識別研究如此豐富，但是實際生活中活動識別系統(tǒng)的應(yīng)用還很不普及，原因是活動識別還存在一些關(guān)鍵挑戰(zhàn)問題：(1)老年人活動識別對于健康監(jiān)護(hù)具有重要意義，但是老年人的活動變形嚴(yán)重，可識別性較差，老年人活動識別系統(tǒng)還有很多挑戰(zhàn)性的工作；(2)現(xiàn)有活動識別研究主要關(guān)心的是精確識別感興趣的單用戶連續(xù)活動或預(yù)分割好的傳感器活動，然而現(xiàn)實世界環(huán)境中往往包含多個用戶，每個用戶都用自己的方式，沒有明確的指示來完成自己的活動，識別多用戶并行活動是很有挑戰(zhàn)性的工作；(3)一個人完成活動的方式是隨時間變化的，例如時間長短變化的活動、復(fù)合活動(如打球)、并行活動和重疊活動等復(fù)雜活動，目前常用的靜態(tài)模型仍然難以實現(xiàn)實時連續(xù)活動識別。因此越來越多需要建立動態(tài)模型來識別這種隨時間變化的人類活動。

3.1 老年人活動識別研究

為了幫助老年人保持健康、安全而獨立的生活，輔助生活系統(tǒng)可以幫助具有日?；顒幽芰Φ睦夏耆?。對老年人輔助而言，日?；顒拥淖詣颖O(jiān)護(hù)和識別是環(huán)境輔助生活中的一個關(guān)鍵挑戰(zhàn)。因此需要提供一個模型來建立傳感器數(shù)據(jù)和活動類別間的聯(lián)系。目前小型、廉價和低功耗的傳感器可用于輔助生活，它能根據(jù)用戶當(dāng)前的環(huán)境和情況提供響應(yīng)服務(wù)。

Chernbumroong等研究了活動識別系統(tǒng)在老年人輔助生活中的應(yīng)用[24]。使用小型、低成本、非侵入性、非強(qiáng)制的手腕佩戴傳感器，作者提出了一種檢測老年人日常生活活動(ADLs)的活動識別方法，實驗結(jié)果表明該方法可以獲得了較高的分類率(> 90%)，統(tǒng)計假設(shè)檢驗也支持這么高的分類結(jié)果。同時作者證明溫度傳感器、數(shù)據(jù)測高傳感器和加速度傳感器的數(shù)據(jù)融合，可以明顯提高分類精度。

Magherini等研究了基于時域邏輯和模型檢測的自動識別人類活動的方法，并用于周圍環(huán)境輔助生活或居家生活協(xié)助[25]。作者提出了時序邏輯和模型檢測來實時自動識別智能廚房中老年人完成的不同類型ADLs，實驗結(jié)果證明了方法的有效性和可行性。

Khan等研究了基于R變換和核判別分析的分層異?；顒幼R別系統(tǒng)并用于老年人健康監(jiān)護(hù)[26]。分層系統(tǒng)的第一級識別活動組，第二級從上一級的活動組中識別具體的活動。這種分層方法有助于提高識別率，尤其對于高度相似的活動。實驗包括6個異?；顒樱合蚝蟮?、向前跌倒、胸痛、頭痛、嘔吐、昏厥和正?；顒硬叫?，結(jié)果達(dá)到平均97.1%的識別率。

3.2 多人活動識別研究

從傳感器數(shù)據(jù)中識別多人活動是普適計算重要和富有挑戰(zhàn)性的研究課題。目前活動識別主要關(guān)心的是精確識別單用戶連續(xù)活動或預(yù)分割的離散活動，然而現(xiàn)實世界環(huán)境中往往包含多個用戶，同時每個用戶用自己的方式，沒有明確的指示進(jìn)行活動，識別用戶的并行活動是很有挑戰(zhàn)性的工作。此外，集體活動是由多個人員完成的活動，如排隊、一起說話和一起等在一個十字路口，通常很難從這些活動中分割出只允許一個人出現(xiàn)的活動。

Kaneko等提出了一個用于視頻圖像中集體活動識別的新的全連接模型[27]。作者指出最近研究提出的模型能夠利用附近的其他人的上下文信息，然而這些模型沒有充分考慮一組人群的時空一致性(如僅考慮鄰近區(qū)域的一致性)，因此它們無法有效處理臨時錯誤分類。作者提出的全連接模型能很好地識別集體活動。

Ye等提出了一種用于并行活動識別的知識驅(qū)動方法[28]。基于一年收集的大規(guī)?，F(xiàn)實世界的傳感器數(shù)據(jù)集，包括280萬個樣本，作者提出了一種用于識別并行活動的新的知識方法，識別正確率達(dá)91%。

3.3 實時活動識別研究

實時活動識別，也稱為在線活動識別或連續(xù)活動識別。由于普適計算、移動計算、智能環(huán)境和環(huán)境輔助生活的發(fā)展，導(dǎo)致了無線網(wǎng)絡(luò)和非入侵性傳感器的發(fā)展，它們都能捕捉用戶的活動信息，使得活動識別系統(tǒng)和算法取得了實質(zhì)性的進(jìn)展。但是活動識別方法大都在和活動相關(guān)的預(yù)分割好的傳感器活動序列上進(jìn)行分析，它仍然難以實現(xiàn)實時活動識別。

Krishnan等研究了基于滑動窗方法的實時或流數(shù)據(jù)的活動識別[29]，而且提出并評估了一種用來以在線或流方式完成活動識別的滑動窗方法。考慮到不同活動應(yīng)該占用不同的傳感器時間窗長度，作者提出將時間延遲和傳感器數(shù)據(jù)的互信息權(quán)重整合在一個時間窗內(nèi)。以前活動和以前時間窗信息作為額外特征添加到當(dāng)前傳感器時間窗的特征中，當(dāng)傳感器的新數(shù)據(jù)被采集后就能識別出相應(yīng)的活動。實驗結(jié)果證明了作者的想法。

Okeyo等研究了知識驅(qū)動的實時活動識別中動態(tài)傳感器數(shù)據(jù)分割問題，提出了可變時間窗的概念[30]，而且基于不同時間窗概念的動態(tài)分割模型，提出了一種實時分割連續(xù)活動傳感器數(shù)據(jù)的新方式，該方式不但使用傳感器數(shù)據(jù)和活動狀態(tài)的時間信息，還能夠能夠縮小和擴(kuò)大時間窗。

Tasoulis等研究了基于傳感器流數(shù)據(jù)挖掘?qū)崟r運動識別的統(tǒng)計數(shù)據(jù)的方法，該方法可用于輔助環(huán)境中的活動識別和跌倒識別[31]。在進(jìn)行獨立生活在家中的老年人或殘疾人的活動識別或緊急事件檢測上，研究者常常對人體運動數(shù)據(jù)分析感興趣?；谟脩舻倪\動、音頻和視頻傳感器以及可穿戴傳感器和安裝在周圍環(huán)境中的設(shè)備，研究者提出了一些用來識別這種窘迫情況的方法。作者構(gòu)建了一個活動檢測系統(tǒng)，它可以檢測跌倒和傷害等緊急情況。作者使用頂置相機(jī)從用戶環(huán)境中捕捉視頻數(shù)據(jù)，使用加速度傳感器從用戶搜集運動數(shù)據(jù)，并傳遞給活動檢測系統(tǒng)。由于這些傳感器的輸出是數(shù)據(jù)流，這樣在緊急情況下就需要實時識別。作者提出了一種基于統(tǒng)計的數(shù)據(jù)挖掘方法，并用于真實活動的流數(shù)據(jù)處理。

4 活動識別實驗

Anguita等采集智能手機(jī)傳感器數(shù)據(jù)，利用硬件友好的多類支持向量機(jī)方法進(jìn)行日常生活活動識別[32]。這對失能或老年人的日?；顒颖O(jiān)護(hù)具有重要意義。日?；顒訑?shù)據(jù)集可以從UCI網(wǎng)站下載，數(shù)據(jù)集實驗結(jié)果采自30個19到48歲的志愿者，每人進(jìn)行6次實驗。所有人在執(zhí)行活動之前都要將智能手機(jī)放在腰部。為了方便進(jìn)行數(shù)據(jù)標(biāo)簽，實驗進(jìn)行了視頻錄制。實驗采用三星Galaxy S2手機(jī)作為終端，因為內(nèi)置了用于測量3維線性加速度和角速度的加速度計和陀螺儀，其采樣頻率為50Hz，這對于捕捉人體運動十分有效。作者采用了上樓和下樓兩個活動類，其訓(xùn)練集分別為986個樣本和1073個樣本，測試集分別為420個樣本和471個樣本，變量維數(shù)都是561，由采集傳感器信號的時域和頻域特征組成。常用機(jī)器學(xué)習(xí)模型的實驗結(jié)果見表2。從表2中看出，考慮了變量選擇和變量交互的分層交互Lasso分類結(jié)果最好，訓(xùn)練時間和測試時間都較少。

5 結(jié) 論

本文綜述了智能健康監(jiān)護(hù)和普適計算中的活動識別的研究現(xiàn)狀。從活動定義、傳感器模型、預(yù)處理模型到機(jī)器學(xué)習(xí)模型都給出了詳細(xì)的論述，尤其詳細(xì)給出了活動識別研究現(xiàn)狀，重點給出了傳感器、預(yù)處理和機(jī)器學(xué)習(xí)的研究現(xiàn)狀，最后給出了老年人活動識別、多人活動識別和實時活動識別等難點問題。 活動識別現(xiàn)在被認(rèn)為是一個獨立的研究方向，但仍有許多關(guān)鍵挑戰(zhàn)問題需要解決，如果解決了將在人們與移動設(shè)備交互的方式上產(chǎn)生重大轉(zhuǎn)變，將在老年人健康監(jiān)護(hù)的投入方面減輕巨大的社會和經(jīng)濟(jì)負(fù)擔(dān)。

表2 人類活動識別的實驗結(jié)果

[1] Kim E, Helall S, Cook D. Human activity recognition and pattern discovery.IEEEPervasiveComputing, 2010, 9(1): 48-53

[2] Yurur O, Liu C, Moreno W. A survey of context-aware middleware designs for human activity recognition.IEEECommunicationsMagazine, 2014, 52(6):24-31

[3] Acampora G, Cook D J, Rashidi P, et al. A survey on ambient intelligence in healthcare.ProceedingsoftheIEEE, 2013, 101(12): 2470-2494

[4] Rashidi P, Mihailidis A. A survey on ambient-assisted living tools for older adults.IEEEJournalofBiomedicalandHealthInformatics, 2013, 17(3): 579-590

[5] Roggen D, Troster G, Lukowicz P, et al. Opportunistic human activity and context recognition.Computer, 2013, 46(2): 36-45

[6] Foerster F, Smeja M, Fahrenberg J. Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring.ComputersinHumanBehavior, 1999, 15(5): 571-583

[7] Lara O D, Labrador M A. A survey on human activity recognition using wearable sensors.IEEECommunicationsSurveys&Tutorials, 2013, 15(3): 1192-1209

[8] Bulling A, Blanke U, Schiele B. A tutorial on human activity recognition using body-worn inertial sensors.ACMComputingSurveys, 2014, 46(3): 1-33

[9] Dalton A, OLaighin G. Comparing supervised learning techniques on the task of physical activity recognition.IEEEJournalofBiomedicalandHealthInformatics, 2013, 17(1): 46-52

[10] Chaquet J M, Carmona E J, Antonio F M. A survey of video datasets for human action and activity recognition.ComputerVisionandImageUnderstanding, 2013, 117(6): 633-659

[11] Chavarriaga R, Sagha H, Calatroni A, et al. The opportunity challenge: A benchmark database for on-body sensor-based activity recognition.PatternRecognitionLetters, 2013, 34(15): 2033-2042

[12] Incel O D, Kose M, Ersoy C. A review and taxonomy of activity recognition on mobile phones.BioNanoScience, 2013,3(2): 145-171

[13] 趙洋, Liu Z C, 程洪. 基于RGB深度特征的3D人體活動識別(英文). 中國通信,2013,10(7): 93-103

[14] Wang Z, Zhao C, Qiu S. A system of human vital signs monitoring and activity recognition based on body sensor network.SensorReview, 2014, 34(1): 42-50

[15] 時岳, 喻純, 史元春. 基于旋轉(zhuǎn)模式的移動設(shè)備佩戴位置識別方法. 軟件學(xué)報, 2013,24(8): 1898-1908

[16] Fang H Q, Chen L, Srinivasan R. Influence of time and length size feature selections for human activity sequences recognition.ISATransactions, 2014, 53(1): 134-140

[17] Faouzi S, Abdelghani C, Yacine A. An evidential fusion approach for activity recognition in ambient intelligence environments.RoboticsandAutonomousSystems, 2013, 61(11): 1235-1245

[18] Nam Y Y, Jung W P. Child activity recognition based on cooperative fusion model of a triaxial accelerometer and a barometric pressure sensor.IEEEJournalofBiomedicalandHealthInformatics, 2013, 17(2): 420-426

[19] Zhang Y M, Zhang Y F, Swears E. Modeling temporal interactions with interval temporal bayesian networks for complex activity recognition.IEEETransactionsonPatternAnalysisandMachineIntelligence, 2013, 35(10): 2468- 2483

[20] Avci U, Passerini A. Improving activity recognition by segmental pattern mining.IEEETransactionsonKnowledgeandDataEngineering, 2014, 26(4): 889-902

[21] Lee Y S, Cho S B. Activity recognition with android phone using mixture-of-experts co-trained with labeled and unlabeled data.Neurocomputing, 2014, 126(1): 106-115

[22] Trabelsi D, Mohammed S, Chamroukhi F, et al. An unsupervised approach for automatic activity recognition based on hidden Markov model regression.IEEETransactionsonAutomationScienceandEngineering, 2013, 10(3): 829-835

[23] Bhattacharya S, Nurmi P, Hammerla N, et al. Using unlabeled data in a sparse-coding framework for human activity recognition.PervasiveandMobileComputing, 2014, 15(1): 242-262

[24] Chernbumroong S, Cang S, Atkins A, et al. Elderly activities recognition and classification for applications in assisted living.ExpertSystemswithApplications, 2013, 40(5): 1662-1674

[25] Magherini T, Fantechi A, Nugent C D, et al. Using temporal logic and model checking in automated recognition of human activities for ambient-assisted living.IEEETransactionsonHuman-MachineSystems, 2013, 43(6): 509-521

[26] Khan Z A, Sohn W. A hierarchical abnormal human activity recognition system based on R-transform and kernel discriminant analysis for elderly health care.Computing, 2013, 95(2): 109-127

[27] Kaneko T, Shimosaka M, Odashima S, et al. A fully connected model for consistent collective activity recognition in videos.PatternRecognitionLetters, 2014, 43(1): 109-118

[28] Ye J, Stevenson G, Dobson S. KCAR: A knowledge-driven approach for concurrent activity recognition.PervasiveandMobileComputing, 2014, 19(1): 47-70

[29] Krishnan N C, Cook D J. Activity recognition on streaming sensor data.PervasiveandMobileComputing, 2014, 10(2): 138-154

[30] Okeyo G, Chen L M, Wang H. Dynamic sensor data segmentation for real-time knowledge-driven activity recognition.PervasiveandMobileComputing, 2014, 10(2): 155-172

[31] Tasoulis S K, Doukas C N, Plagianakos V P, et al. Statistical data mining of streaming motion data for activity and fall recognition in assistive environments.Neurocomputing, 2013, 107 (1): 87-96

[32] Anguita D, Ghio A, Oneto L, et al. Human activity recognition on smartphones using a multiclass hardware-friendly support vector machine. In: Proceedings of the International Workshop of Ambient Assisted Living (IWAAL 2012), Vitoria-Gasteiz, Spain, 2012. 216-223

Review of human activity recognition using sensor data

Wang Jinjia*， Kong Deming**， Liu Jianbo***, Wang Xiaomin***， Hong Wenxue*****

(*School of Information Science and Engineer, Yanshan University, Qinhuangdao 066004) (**Institute of Electrical Engineering, Yanshan University, Qinhuangdao 066004) (***Northeastern University at Qinhuangdao, Qinhuangdao 066004)

The definition of activity recognition is given, and the significallce of activity recognition to intelligent healthcare and elderly healthcare is interpreted. The main parts of an activity recognition system based on sensors are described, and the corresponding techniques of sensor data sampling, data preprocessing and machine learning, as well as their developments, are reviewed in detail. The review points out that elderly activity recognition, collective activity recognition and real-time activity recognition are the possible directions of future activity recognition research, the research on activity recognition is an important and challenging research topic in pervasive computing, and building reliable activity recognition systems to deal with complex real-life situations and environments is still a challenge, which requires a multi-disciplinary effort.

activity recognition, intelligent healthcare, multi-sensor, data fusion, mobile sensing

10.3772/j.issn.1002-0470.2016.02.013

①國家自然科學(xué)基金(61273019， 61473339)，河北自然科學(xué)基金(F2013203368， F2014501046)，中國博士后科學(xué)基金(2014M561202)，河北省博士后專項(B2014010005)和首批“河北省青年拔尖人才”(2013-17)資助項目。

2015-07-10)

②男，1978年生，博士，教授；研究方向：傳感器信號處理和模式識別；聯(lián)系人，E-mail: wjj@ysu.edu.cn