鮑 楠，姜博文，李永澤，王向南，李澤政

（東北大學(xué) 遼寧 沈陽 110000）

基于Kinect傳感器的摔倒檢測研究

鮑 楠，姜博文，李永澤，王向南，李澤政

（東北大學(xué) 遼寧 沈陽 110000）

當(dāng)今社會獨居老人越來越多，老年人的監(jiān)護已經(jīng)成為了一個社會問題。為使獨居老人在家摔倒時能夠被及時發(fā)現(xiàn)，將對老年人的傷害減到最低，一種不受可見光影響的基于Kinect的摔倒檢測方法被提出與研究。使用Kinect的深度信息去除背景，提取人物的關(guān)鍵點，采集大量的不同動作下的關(guān)鍵點運動曲線，并進行特征提取作為訓(xùn)練集，用SVM（支持向量機）建立了一個摔倒檢測分類器。在實驗中，500個摔倒動作和1 500個未摔倒動作作為訓(xùn)練數(shù)據(jù)，315個動作被用來作為檢測數(shù)據(jù)，實驗結(jié)果顯示，算法的敏感度是91.4%，精確度是93.7%，由此可見這個方法對于摔倒特征有很好的分類能力和很高的辨別度。

Kinect；人物索引；SVM；摔倒檢測

目前，中國已經(jīng)成為世界上老年人口最多的國家[1]，也是人口老齡化發(fā)展速度最快的國家之一[2]。根據(jù)聯(lián)合國統(tǒng)計，到本世紀(jì)中期，中國將有5億人口超過60歲[3]，而這個數(shù)字將超過美國人口的總數(shù)，而更加不容忽視的是中國空巢老人問題更加突出，目前在城市有54%的老年家庭是空巢家庭，而隨著農(nóng)村進城務(wù)工人數(shù)的增加，近幾年農(nóng)村空巢老人的比例也已接近半數(shù)。隨著年齡的增長，老年人的身體機能不斷下降，摔倒已成為65歲以上老年人受到傷害和死亡的最大誘因[4]。因此針對老年人的摔倒檢測系統(tǒng)的研究與設(shè)計有重大意義。

目前，對摔倒檢測的研究已經(jīng)成為了熱點，主要由3種方法：一是基于穿戴式傳感器的摔倒檢測方法，主要原理是對人體的姿態(tài)進行監(jiān)測，進而進行摔倒檢測判斷。其通常使用的傳感器包括加速度傳感器，陀螺儀傳感器，壓力傳感器[5-8]，不僅可以進行多傳感器聯(lián)合檢測，還可以與心電、脈搏等設(shè)備結(jié)合進行檢測。但是穿戴式的摔倒檢測設(shè)備需要用戶進行長期的佩戴，用戶體驗較差，不方便日常的活動，且長期的穿戴過程中對器材有一定的損耗，誤報率很高，使得準(zhǔn)確度一般；二是環(huán)境式的摔倒檢測方法，原理是在檢測人體目標(biāo)的活動區(qū)域內(nèi)安裝多個傳感器，主要基于目標(biāo)人物摔倒時所發(fā)出的聲音以及與地面接觸時地面震動所產(chǎn)生的數(shù)據(jù)來進行摔倒判斷。李云[9]等人設(shè)計了基于音頻分析的原型麥克風(fēng)陣列摔倒檢測系統(tǒng)，通過采集提取的聲音源信號判斷摔倒動作和摔倒位置。該系統(tǒng)優(yōu)勢在于無需佩戴，對老年人的日?；顒記]有影響，但是數(shù)據(jù)量過大，算法復(fù)雜。且基于環(huán)境式的摔倒檢測系統(tǒng)資金投入大，安裝復(fù)雜，在實際應(yīng)用中較少；三是基于視覺傳感器的摔倒檢測系統(tǒng)，原理是在一定區(qū)域中安裝一個或幾個攝像頭采集人體運動圖像，提取摔倒動作的特征向量，進行匹配實現(xiàn)摔倒檢測，Vaidechi[10]等人利用相機設(shè)計實現(xiàn)了一種基于靜態(tài)人體圖像特征的摔倒檢測系統(tǒng)，并通過提取人體的長寬比和傾斜角度兩個特征進行摔倒判斷。該系統(tǒng)的計算量較小，但只適用于檢測目標(biāo)的靜止?fàn)顟B(tài)，不能對運動目標(biāo)的摔倒過程進行實時動態(tài)檢測。另外，基于視頻的摔倒檢測將會暴露老年人的隱私，這也是它的弊端之一。

文中分析和研究目前現(xiàn)有的摔倒檢測算法，并且對算法的優(yōu)缺點進行比較分析。開發(fā)出一種基于Kinect傳感器的摔倒檢測算法，克服了現(xiàn)有常用的摔倒檢測方法的一些缺點。利用Kinect深度信息中的人物索引去除背景，提取目標(biāo)人物和關(guān)鍵點，基于不同動作下的關(guān)鍵點運動曲線，提取摔倒動作的特征，并采用機器學(xué)習(xí)中的SVM方法對摔倒動作進行分類識別，最終形成一種不受光照等環(huán)境因素影響的摔倒動作識別方法，提高了系統(tǒng)檢測的準(zhǔn)確性以及系統(tǒng)的實時性，同時也保證了用戶體驗的舒適性。

1 系統(tǒng)總體設(shè)計

1.1 系統(tǒng)的硬件結(jié)構(gòu)和圖像信息

Kinect是微軟公司開發(fā)的一種3D體感攝影機，它有3個用于采集圖像的裝置，分別是彩色攝像頭，紅外投影機，紅外攝像頭，其中深度數(shù)據(jù)由后兩個傳感器提供。在深度數(shù)據(jù)流所提供的圖像幀中，每一個像素點代表的是在深度感應(yīng)器的視野中，特定的（x，y）坐標(biāo)處物體到離攝像頭平面最近的距離（以毫米為單位）。如圖1所示。

圖1 深度概念圖

1.2 系統(tǒng)的整體設(shè)計流程

基于Kinect所采集的紅外深度圖像進行摔倒檢測系統(tǒng)的設(shè)計，系統(tǒng)總體結(jié)構(gòu)如圖2所示。

圖2 深度概念圖

2 摔倒檢測算法實現(xiàn)

2.1 人體目標(biāo)提取

文中基于Kinect深度圖像的數(shù)據(jù)格式，實現(xiàn)了一種基于人物索引功能的運動目標(biāo)檢測識別算法。在Kinect深度圖像的每個像素信息[11]中，數(shù)據(jù)位共存儲 16位，其中前 13位為深度信息位，存儲的是深度值，后 3位為用戶索引位[12]，存儲的是用戶索引值。例如：深度圖像的像素數(shù)據(jù)是 0000010110111，意思是實際深度 183 mm，索引數(shù)據(jù)位是 011，代表索引號3。利用深度位可以對檢測的有效范圍進行設(shè)定，利用索引位可以對人物前景進行提取。

具體實現(xiàn)步驟為：

1）從Kinect獲取的深度圖像中，提取像素點的景深距離值和索引編號。

2）由于Kinect的檢測范圍是有限的，微軟建議在開發(fā)中使用1~3.8 m范圍內(nèi)的值。為保證算法的精度，設(shè)定深度閾值范圍:1.2~3.5 m。我們只對該閾值范圍內(nèi)的目標(biāo)進行檢測識別，如果在這個范圍之外，就將像素點的灰度值設(shè)置為 0當(dāng)作背景來處理；如果在這個范圍之內(nèi)，就對該像素點進行后續(xù)處理。

3）將深度圖像二值化，將在景深閾值范圍內(nèi)的像素值歸一化為 255，反之歸一為0。

4）人體目標(biāo)識別，通過索引值player index將位于景深閾值范圍內(nèi)的像素點進行目標(biāo)人物像素點的判定，根據(jù)Kinect索引值的定義，索引值為1-6的像素點為人物前景，反之就是背景點，將其歸一為0。

5）利用人物索引提取前景后，存在一些噪聲。對提取的圖像進行形態(tài)學(xué)[13]和濾波去噪的相關(guān)預(yù)處理，最后通過均值法確定人物目標(biāo)的中心點。前后對比如圖3所示。

圖3 基于人物索引的目標(biāo)提取算法前后對比圖

通過實驗驗證該算法對目標(biāo)人物的識別提取具有很好的準(zhǔn)確性和魯棒性，不管是處于靜止、運動還是與障礙物相接觸，目標(biāo)人物都能很好地檢測并提取出來。

2.2 摔倒檢測算法

基于上節(jié)提取的人物中心點獲取運動軌跡曲線，并以曲線加速度為特征，利用SVM分類器進行摔倒檢測的初步分類與識別，并基于所提取的人物目標(biāo)的頂點進行二次判斷。

2.2.1 SVM分類檢測

本課題所采用的SVM[14]是機器學(xué)習(xí)的一種。SVM在解決小樣本、非線性及高維模式識別有特有的優(yōu)勢，所以本文選取SVM分類器用于判決運動物體是否處于摔倒?fàn)顟B(tài)。

2.2.2不同動作下人物中心點的運動軌跡獲取及特征提取

基于上節(jié)人物中心點提取的結(jié)果，我們獲取了人體不同動作下中心點的實時運動軌跡曲線，以行走動作和摔倒動作為例，如圖4所示。

圖4 基于SVM分類器的訓(xùn)練集的曲線圖

曲線圖的橫坐標(biāo)為所獲取中心點的幀數(shù)，即時間。曲線的縱坐標(biāo)為目標(biāo)中心點的Y坐標(biāo)。由摔倒曲線可以看出在摔倒的那一時刻加速度激增?；诖宋覀冞x取加速度作為特征進行分析，對不同動作下的人物中心點軌跡曲線進行特征提取，并基于SVM訓(xùn)練摔倒檢測分類器。因為所獲取的圖像并不連續(xù)，所以利用差分求運動物體Y方向加速度，如公式1所示。

公式中 y（t1）表示當(dāng)前幀的 Y 坐標(biāo)值，y（t2）表示前一幀的Y坐標(biāo)值，Δt表示兩幀數(shù)據(jù)的時間間隔，a即為加速度。利用求得的加速度特征進行分類器的訓(xùn)練和分類判斷。

2.2.3 摔倒檢測二次判斷

為提高摔倒判斷的準(zhǔn)確性，基于SVM進行一次判斷后，對被認為是摔倒動作的數(shù)據(jù)引入了二次判斷機制。提取人物前景中Y坐標(biāo)最大點為頂點，摔倒動作發(fā)生時，由于人平躺在地面上，因此頂點比起直立、坐下、下蹲或者平躺等其他動作的頂點更低，我們設(shè)定一個閾值法，當(dāng)頂點低于閾值時認為是摔倒動作，從而實現(xiàn)摔倒檢測的二次判斷。這有效地避免了由快速下蹲等動作所引起人物中心點加速度的突變導(dǎo)致被誤判為摔倒的情況。

摔倒檢測算法的具體流程圖5所示。

圖5 摔倒檢測算法流程圖

3 實驗評估

3.1.1 訓(xùn)練數(shù)據(jù)采集

為驗證本文所述方法的準(zhǔn)確性，我們選取6種動作進行SVM分類訓(xùn)練，摔倒動作采集了500組，其余5種動作每種采集了300組，訓(xùn)練細節(jié)如表1所示。

表1 實驗數(shù)據(jù)分組情況

在數(shù)據(jù)采集過程中，每一組視頻樣本時長大約為30秒，從每一個視頻中大約可以提取出600幀有效的視頻幀作為樣本，提取人物中心點Y坐標(biāo)加速度為特征，采用SVM分類器進行訓(xùn)練。

3.1.2 實驗測試

在測試實驗中，為了保證系統(tǒng)的普適性，選擇了7位不同類型的實驗對象：三位女性 （158 cm，45 kg；167 cm，52 kg；170 cm，54 kg）和四位男性（170 cm，63 kg；173 cm，64 kg；177 cm，70 kg；180 cm，74 kg）。實驗中每人做6種不同的動作，其中摔倒動作每人做20次，其余5種非摔倒動作每人做 5次，共315個測試樣本。

在實驗中，使用分類準(zhǔn)確率、敏感度、特異性[15]3項作為分類效果的評價指標(biāo)，其定義分別如公式2，3，4 所示：

式中：TP表示真陽，即摔倒的樣本被檢測為摔倒的數(shù)量；TN表示為真陰，即沒有摔倒的樣本被檢測為沒有摔倒的數(shù)量；FP表示為假陽，即沒有摔倒的樣本被檢測為摔倒的數(shù)量；FN表示為假陰，即摔倒的樣本被檢測為沒有摔倒的數(shù)量。

將測試數(shù)據(jù)用SVM分類器做摔倒動作的一次判斷，用人物頂點做二次判斷。實驗結(jié)果在表2中體現(xiàn)。

表2 實驗數(shù)據(jù)分析

在實驗中，140個摔倒動作中128個被成功的檢測了出來，靈敏度為91.4%。在總共175個未摔倒動作中，有8個被誤判為摔倒。該算法的總體精度為93.7%，這是非常高的。12個未被檢測出的摔倒動作都是發(fā)生在實驗對象在模擬后摔的過程中。因為后摔時很難控制身體，導(dǎo)致實驗對象在整個模擬后摔的過程中有些猶豫，或者臀部與地面接觸前下意識的用胳膊或手支撐了地面，影響了測試數(shù)據(jù)的準(zhǔn)確性，導(dǎo)致摔倒動作未被檢測出來。但事實上，在真正摔倒的時候，運動目標(biāo)沒有防備，完全陷入失重的狀態(tài)，數(shù)據(jù)的特征將會更加明顯，漏判的情況將會大大減少。在未摔倒動作的檢測中有8處錯誤是由于檢測時運動目標(biāo)躺下的速度過快，系統(tǒng)把其歸類為摔倒所致。此外，實驗中訓(xùn)練數(shù)據(jù)量是有限的，只有2 000組的摔倒和非摔倒的動作數(shù)據(jù)集合。如果我們擴大訓(xùn)練集，并擴大非摔倒的動作種類，摔倒檢測的準(zhǔn)確度將會提高。

4 結(jié) 論

文中所研究的摔倒檢測方法是基于Kinect獲取到的深度數(shù)據(jù)，提取人物前景和中心點，并獲取中心點運動軌跡，利用SVM分類器對運動曲線的加速度特征進行分類學(xué)習(xí)，訓(xùn)練了一個摔倒檢測分類器，從而判斷人體是否摔倒。實驗過程表明，此系統(tǒng)具有良好的實時性和普適性。實驗結(jié)果顯示，對摔倒和未摔倒動作的檢測，系統(tǒng)的準(zhǔn)確率達到93.7%，充分說明系統(tǒng)對摔倒檢測的魯棒性。同時Kinect的紅外攝像頭受外界光照等環(huán)境因素影響較小，可實現(xiàn)在黑暗環(huán)境下進行摔倒檢測?？蓮V泛地用于獨居老人的日常監(jiān)護，具有一定的應(yīng)用價值。

[1]鄧桂芳.未來我國老年社區(qū)護理淺論[J].臨床醫(yī)藥實踐，2014，23（4）:300-302.

[2]李建民，杜鵬，桂世勛，等.新時期的老齡問題我們應(yīng)該如何面對[J].人口研究，2011，35（4）:30-44.

[3]葉云.關(guān)注老年健康擁抱美好夕陽[J].健康博覽，2015（10）:4-8.

[4]衛(wèi)生部.老年人跌倒干預(yù)技術(shù)指南[J].中國實用鄉(xiāng)村醫(yī)生雜志，2012，19（8）:1672-7185.

[5]劉鵬，盧潭城，呂愿愿，等.基于MEMS三軸加速度傳感器的摔倒檢測 [J].傳感技術(shù)學(xué)報，2014（4）:570-574.

[6]歐志球，戴堅鋒，王錚.基于高斯模糊的摔倒自檢測算法設(shè)計與應(yīng)用[J].計算機測量與控制，2015，23（11）:3867-3870.

[7]崔英輝，詹林.基于三軸加速度傳感器的老人摔倒檢測[J].現(xiàn)代電子技術(shù)，2013，36（3）:130-132.

[8]許繼平，景濤，彭森，等.基于三軸加速度傳感器的老年人摔倒檢測系統(tǒng)[J].計算機仿真，2014，31（12）:434-437.

[9]Li Y，Ho K C，Popescu M.A microphone array system for automatic fall detection[J].Biomedical Engineering， IEEE Transactions on， 2012，59（5）:1291-1301.

[10]Vaidehi V，Ganapathy K，Mohan K，et al.Video based automatic fall detection in indoor environment[C]//Recent Trends in Information Technology（ICRTIT），2011 International Conference on.IEEE，2011:1016-1020.

[11]Samuele Gasparrini，Enea Cippitelli，Susanna Spinsante and Ennio Gambi.A Depth-Based Fall Detection System Using a Kinect Sensor[J].Sensors 2014，14（2）:2756-2775.

[12]邢關(guān)生，張慧，衛(wèi)朋，等.基于Kinect的特定人員魯棒識別與定位[J].河北工業(yè)大學(xué)學(xué)報，2014，43（5）:1-7.

[13]李亞寧，王俊平，高艷紅.圖空間上彩色矢量形態(tài)學(xué)算子[J].電子學(xué)報，2015，43（3）:424-430.

[14]申曉霞，張樺，高贊，等.基于Kinect和金字塔特征的行為識別算法[J].光電子·激光， 2014，25（2）:357-363.

[15]Askari M， Eslami S， Rijn M，et al.Assessment of the quality of fall detection and management in primary care in the Netherlands based on the ACOVE quality indicators [J]. Osteoporosis International， 2016，27（2）:569-576.

Fall detection system based on Kinect

BAO Nan， JIANG Bo-wen， LI Yong-ze，WANG Xiang-nan， LI Ze-zheng
（Northeastern University， Shenyang 110000， China）

Nowadays society， more and more elderly people living alone，Theelderly people's healthcare has become a social problem.In order to make some old people falls down at home can be found in time andminimize the harm of elderly people falls.So，a kind of fall detection based on Kinect camera which is not affected by the visible light is proposed and studied.By using Kinect camera’s depth information remove the background， to extract the key points of the characters， and get the motion curves under different actions based on the key points，and then extract the feature as the training database.We use the SVM established a fall detection classifier.In the experiment，500 fall action and 1500 did not fall action as the training data， 315 actionswere used as test data.Sensitivity is 91.4%，the accuracy of the algorithm is 93.7%.The experiment results show that the method has good classification capability and high recognition rate for fall detection features.

Kinect； playerindex； SVM； fall detection

TN911.73

A

1674－6236（2017）12-0149-04

2016-05-06稿件編號：201605054

第九批大學(xué)生創(chuàng)新訓(xùn)練計劃項目（150092）

鮑 楠（1981—），女，內(nèi)蒙古赤峰人，碩士，講師。研究方向：醫(yī)學(xué)圖像處理、醫(yī)學(xué)信號處理。