余杰 楊連賀 焦帥 易明雨 于佃存
摘 要:目前,在人體行為識別領(lǐng)域中,分類模型通常有兩種,分別是通用模型和個性化模型。但是通用模型沒有考慮人體多樣性問題,不能適用于所有人,而個性化模型需要人為干預較多,針對這兩種模型的不足提出了一種折中的模型訓練方法,即對人體多樣性因素分區(qū)間后的原始加速度數(shù)據(jù)進行訓練得到多個模型。另外,為了使識別模型適用于更加廣泛的情況,在數(shù)據(jù)采集階段還考慮了加速度傳感器的位置。該方法使得模型更具普遍性的同時又能夠提高識別精確度,通過對人體靜止、走路、跑步、上下樓梯五種行為進行試驗,識別率達到了95%左右。實驗表明該方法是切實有效的。
關(guān)鍵詞:人體多樣性;行為識別;模型;位置;精確度
中圖分類號:TP3-05 文獻標識碼:A
Abstract:At present,in the field of human action recognition,there are generally two classification models:the general model and the personalized model.But the diversity of human bodies is not considered in the general model,so it is not suitable for everyone.On the other hand,the personalized model needs more human intervention.In order to make up the deficiency of the two models,the paper proposes a compromise model training method which trains the raw acceleration data after partitioning the diversified factors of human bodies to obtain multiple models.Additionally,the position of the acceleration sensor has been taken into consideration during the process of data collection,in order to extend the application scope of the recognition model.This method provides the model with better universality and recognition accuracy.Eventually,through the test on the five human actions of standing,walking,running,going up and down the stairs,the recognition rate reaches about 95%.Experiments show that the method is practical and effective.
Keywords:diversity of human bodies;action recognition;model;position;accuracy
1 引言(Introduction)
近年來,人們對智能交互和健康監(jiān)護等方面的需求日益迫切,使得基于加速度傳感器的人體行為識別[1,2]在醫(yī)療保健、運動監(jiān)測、能耗評估等領(lǐng)域受到了廣泛的關(guān)注。與其相對的是基于計算機視覺的行為識別[3,4],相比之下,前者更能體現(xiàn)人體運動的本質(zhì),并且不受場景或者時間的限制,攜帶方便,成本較低,更適合推廣應用[5]。
在人體行為識別中,行為分類器的構(gòu)建對識別結(jié)果是至關(guān)重要的。目前,大部分的研究集中在對分類器構(gòu)建算法的改進和優(yōu)化上,采用的數(shù)據(jù)只是少部分比較集中的人的加速度來構(gòu)建通用模型,并沒有考慮到人體多樣性等實際問題。
人體多樣性簡單地表現(xiàn)在性別、年齡、身高、體重等物理方面,更深入地表現(xiàn)在家庭背景及其行為方式等。Nicholas D.Lane等人[6]研究了人體多樣性對行為識別的影響,作者在模型訓練階段采用相似度的概念,通過使用與用戶相似度高的多人的原始加速度數(shù)據(jù)訓練模型,達到數(shù)據(jù)分享的目的,但是計算量較大,所需時間較長。郭忠武等人[7]以健康青年人為研究對象,通過獲取步態(tài)運動學參數(shù),比較了男女之間步態(tài)的差異,得出了兩性之間大多數(shù)步態(tài)參數(shù)的數(shù)值存在顯著性差異的結(jié)論,并且分析了步態(tài)參數(shù)與身高、體重的相關(guān)性。也說明了年齡的不同對步態(tài)也會有不同程度的影響。
在日?;顒又?,人們會根據(jù)個人習慣將手機放在某個位置,常見的有上衣口袋、褲口袋、包中和手中,趙中堂[8]研究了多個設(shè)備被同時部署在人體不同位置的情況,得到了不同位置加速度不相同的結(jié)論。在過去的研究中,上面提到的四個手機位置被經(jīng)常用到,但是并沒有人說明究竟哪個位置對行為識別是最好的,因此大部分情況下建議使用多個傳感器來提高識別精確度[9]。Ling Bao等人[10]使用五個二軸加速度傳感器放在受試者身體的不同部位進行了無監(jiān)督的數(shù)據(jù)采集。
針對以上問題,本文進行了基于人體多樣性的行為分類和預測。將所有訓練好的模型保存起來,用戶輸入基本信息后可立即獲取對應的模型進行識別,不僅可以減少計算量,也減少了所需時間。
2 人體行為識別過程(Human action recognition
process)
人體行為識別主要包括模型訓練和識別階段,具體包括數(shù)據(jù)采集、數(shù)據(jù)預處理、特征提取和選擇、模型訓練、分類器識別五個模塊。首先利用手機加速度傳感器采集人體行為的原始加速度數(shù)據(jù),為了提高識別精確度,需要對原始加速度數(shù)據(jù)進行去噪處理,然后提取并選擇原始加速度數(shù)據(jù)的時域和頻域特征,接著使用模型分類算法實現(xiàn)模型的訓練和最終的行為預測識別。整個行為識別過程如圖1所示。
2.1 數(shù)據(jù)采集與預處理
根據(jù)實驗需要,共采集了80個人的走路、跑步、上樓、下樓和靜止的原始加速度數(shù)據(jù),其中,性別包括男女,年齡包括兩個區(qū)間段[20,30]、[50,60],身高包括兩個區(qū)間段[160,170]、[170,180],體重包括兩個區(qū)間段[55,65]、[65,75]。因此,根據(jù)性別、年齡、身高、體重,共有16種組合,本文選取了其中的5種組合,每種組合的志愿者數(shù)量為10人。
采集數(shù)據(jù)的過程中,為了覆蓋人們常用的四個位置,共使用四部手機,均是小米公司生產(chǎn)的Redmi Note 3,以消除不同手機對結(jié)果產(chǎn)生的可能影響。在每個志愿者的每種行為中,分別將四個手機放到上衣口袋、褲口袋、手中和包中。要求志愿者的每種行為能夠采集到80條數(shù)據(jù),經(jīng)過篩選后能夠保證有70條數(shù)據(jù)。整個過程由志愿者獨立完成,沒有受到其他因素的干擾,以保證數(shù)據(jù)的質(zhì)量。
為了方便加速度數(shù)據(jù)的采集,我們團隊自己開發(fā)了一款手機APP,它不僅能夠完成數(shù)據(jù)的采集,并且能夠?qū)崟r查看志愿者采集到的加速度數(shù)據(jù)的波形,可以根據(jù)波形進行數(shù)據(jù)的篩選。添加采集對象界面、設(shè)置界面、采集界面和加速度展示界面分別如圖2(a)—圖2(d)所示。
實際采集的加速度數(shù)據(jù)一般都有噪聲,需要進行預處理,預處理的方法通常有平滑、去噪、歸一化、加窗等。本文為了提高識別精確度,使用了帶通濾波、頻譜濾波(自定義,即選取頻域中峰值較大的前四個),處理后可獲得更加平滑的數(shù)據(jù)。
為了方便下一步的特征提取,本文使用加窗的方法分割原始加速度信號,使用窗口長度為256個樣本點的矩形窗分割原始加速度信號,加速度信號的采樣頻率為64Hz,所以,加窗后的每個加速度信號的時間跨度為四秒,足以包含單個完整的動作。
2.2 特征提取與選擇
實驗共提取了19個特征值,選擇使用了13個特征,其中,時域特征包括過均值率、平均值、最小值、四分位距、絕對平均差、中位數(shù),對原始加速度數(shù)據(jù)進行了快速傅里葉變換后,獲得的頻域特征包括質(zhì)心、能量、熵、譜峰位置、標準差、平均值、偏度。
首先,由于人們放置手機的位置是不確定的,并不能保證手機的朝向和角度保持不變,而朝向和角度的改變會導致加速度傳感器讀數(shù)的多變性,進而影響數(shù)據(jù)分布的復雜性,進一步影響到后續(xù)步驟建立的行為識別模型的復雜性。為了消除朝向和角度的影響,我們對每個時刻的加速度進行合成。當某個時刻加速度傳感器的讀數(shù)為(ax,ay,az)時,合成加速度為:
主要特征值的計算公式如下:
(1)平均值
(2)絕對平均差
(3)標準差
式中,N為樣本數(shù),X為樣本平均值,標準差是經(jīng)常被使用的統(tǒng)計特征之一。標準差反映了加速度傳感器數(shù)據(jù)的離散程度。由于人在靜止時加速度數(shù)據(jù)是基本不變的,標準差幾乎為零,而在運動時加速度數(shù)據(jù)會不停變化,其標準差總是遠遠大于零,因此標準差是識別靜止與運動的重要特征。
(4)偏度
式中,N為樣本數(shù),X為樣本平均值,σ為樣本標準差。偏度是用來度量加速度傳感器數(shù)據(jù)分布偏斜方向和程度的統(tǒng)計特征。
(5)熵
一般用于當行為間的能量相似時提供輔助的區(qū)分能力,其計算方法為:對信號X經(jīng)離散傅里葉變換后,將各分量幅度的信息熵進行歸一化。
2.3 模型訓練及識別算法
人體行為識別中,模型訓練通常有兩種方法,一是構(gòu)建一個通用的模型,二是為每個用戶構(gòu)建一個個性化的模型。前者省時省事,更易于實現(xiàn),但是沒有考慮到人體多樣性的問題,是以降低識別精確度為代價的,并不能滿足大多數(shù)人的需求;后者與前者相比,識別精確度比較高,但是在模型的建立中,需要用戶過多地參與,即通過采集訓練人的加速度數(shù)據(jù)訓練出個性化的模型,增加了用戶的負擔。
本文采集了多種多樣的人的原始加速度數(shù)據(jù),進行了多個模型的訓練,可以根據(jù)用戶的基本信息為其選擇一個最優(yōu)的分類模型。此舉不僅減少了用戶的負擔,也提高了識別的精確度。
本文采用的模型訓練及識別算法是著名的SVM(Support Vector Machine,支持向量機)。在機器學習領(lǐng)域,SVM是一個有監(jiān)督的學習模型,通常用來進行模式識別、分類和回歸分析。SVM通過尋求結(jié)構(gòu)化風險最小來提高學習機泛化能力,實現(xiàn)經(jīng)驗風險和置信范圍的最小化,從而達到在統(tǒng)計樣本量較少情況下亦能獲得良好統(tǒng)計規(guī)律的目的。
3 實驗結(jié)果(The experimental results)
實驗根據(jù)人體的多樣性,通過訓練多個模型,再根據(jù)每個用戶的基本信息尋找出最匹配的模型。
以上四張圖直觀地表明了性別、年齡、身高、體重的不同對加速度值的直接影響。
經(jīng)過不斷地實驗,將年齡、身高、體重的區(qū)間長度均定為10,即年齡包括兩個區(qū)間段[20,30]、[50,60],身高包括兩個區(qū)間段[160,170]、[170,180],體重包括兩個區(qū)間段[55,65]、[65,75],再加上性別區(qū)分,根據(jù)定量的思想選擇不同的組合,每個組合隨機選出九個人的數(shù)據(jù)做訓練集,剩余一個人的數(shù)據(jù)做測試集,訓練出模型后,使用對應的測試集得到識別精確度,另外使用所有人的數(shù)據(jù)訓練出一個通用模型得到精確度,并且和只有一個屬性不同時的模型精確度作比較,模型編號和測試集編號對應關(guān)系如表1所示。
其中身高的單位是厘米,體重的單位是千克,編號1和2只有性別不同,1和3只有年齡不同,2和4只有身高不同,1和5只有體重不同。測試結(jié)果如表2所示。
數(shù)據(jù)可以得出結(jié)論:性別、年齡、身高、體重對行為識別的精確度是有影響的,對應區(qū)間的精確度高于通用模型和相對區(qū)間的精確度。
從每個組合中重新選擇訓練集和測試集進行多次實驗,然后從所有數(shù)據(jù)集中再選擇出其他組合進行同樣的實驗,得到的最終結(jié)論是一樣的,充分證明了本文提出的方法的正確性。
4 結(jié)論(Conclusion)
本文針對當前設(shè)計模型的不足,提出了使用智能手機三軸加速度傳感器采集數(shù)據(jù)和SVM分類算法進行基于人體多樣性的行為識別的思想,通過將性別、年齡、身高、體重四個人體多樣性因素進行區(qū)間劃分,使得每一類人都有一個對應的模型,不僅能夠保證模型具有普遍性,也提高了識別精度。在實驗過程中,我們同樣考慮到加速度傳感器種類和所放位置對行為識別的影響,并采取了相應的措施,以盡可能考慮到實際情況的復雜性。本文通過與通用模型和相對模型的識別結(jié)果進行比較,證明了本文方法的可行性。
參考文獻(References)
[1] Palaniappan A,Bhargavi R,Vaidehi V.Abnormal Human Activity Recognition Using SVM Based Approach[C].International Conference on Recent Trends in Information Technology,2012:97-102.
[2] Wei H X, He J,Tan J D.Layered Hidden Markov Models for Real-time Daily Activity Monitoring Using Body Sensor Networks[J].Knowledge and Information Systems,2011,29(2):479-494.
[3] Qian H M,et al.Recognition of Human Activities Using SVM Multi-class Classifier[J].Pattern Recognition Letters,2010,31(2):100-111.
[4] Khan Z A,Sohn W.Abnormal Human Activity Recognition System Based on R-transform and Kernel Discriminant Technique for Elderly Home Care[J].IEEE Transactions on Consumer Electronics,2011,57(4):1843-1850.
[5] 王洪斌.基于三軸加速度傳感器的人體行為識別研究[D].無錫:江南大學,2014.
[6] Nicholas D.Lane,et al.Community Similarity Networks[J].Personal and Ubiquitous Computing,2014,18(2):355-368.
[7] 郭忠武,等.正常青年人步態(tài)運動學參數(shù)的研究[J].中國康復理論與實踐,2002,8(9):532-533;544.
[8] 趙中堂.自適應行為識別中的遷移學習方法研究[D].北京:中國科學院大學,2013.
[9] K.Van Laerhoven,A.Schmidt,H.-W.Gellersen.Multi-sensor Context Aware Clothing[C].Proceedings of the Sixth International Symposium on Wearable Computers,2002:49-56.
[10] Ling Bao,Stephen S.Intille.Activity Recognition from User-Annotated Acceleration Data[J].Lecture Notes in Computer Science,2004,3001:1-17.
作者簡介:
余 杰(1991-),女,碩士生.研究領(lǐng)域:數(shù)據(jù)挖掘,模式識別.
楊連賀(1965-),男,博士,教授.研究領(lǐng)域:數(shù)據(jù)挖掘,計算
機輔助設(shè)計.
焦 帥(1984-),男,博士,助理研究員.研究領(lǐng)域:感知計算.
易明雨(1992-),男,碩士生.研究領(lǐng)域:智能算法.
于佃存(1991-),男,碩士生.研究領(lǐng)域:行為識別,情景感知.