姜珊 劉勇國(guó) 李巧勤 陶文元 朱斌 邢萍

(1電子科技大學(xué)信息與軟件工程學(xué)院中醫(yī)知識(shí)與數(shù)據(jù)工程實(shí)驗(yàn)室，四川 成都 610054；2成都市第八人民醫(yī)院；3四川省中醫(yī)藥科學(xué)院)

跌倒是指由于各種原因?qū)е氯梭w無意識(shí)、非自主的體位變化，從而倒在地面或更低位置所造成的意外事件〔1〕。世界衛(wèi)生組織報(bào)告人體跌倒主要受生物因素、行為因素、環(huán)境因素和社會(huì)經(jīng)濟(jì)學(xué)因素等相互影響〔2〕。據(jù)預(yù)測(cè)，中國(guó)60歲及以上的老年人口2025年將達(dá)3億，2035年超過4億〔3〕。隨著年齡增長(zhǎng)，人體功能和平衡控制能力下降，導(dǎo)致跌倒風(fēng)險(xiǎn)增加。研究顯示，30%的65歲及以上老年人每年均發(fā)生意外跌倒〔2〕，導(dǎo)致身體受傷，如骨折、顱腦損傷、扭傷及拉傷等，嚴(yán)重者甚至導(dǎo)致死亡，對(duì)老年人正常生活造成嚴(yán)重威脅。2008年美國(guó)和英國(guó)老年人因跌倒導(dǎo)致1 480億元人民幣(233億美元)和138億元人民幣(16億英鎊)的醫(yī)療費(fèi)用，中國(guó)老年人每年因跌倒所致直接費(fèi)用超50億元人民幣，巨額醫(yī)療費(fèi)用給家庭和社會(huì)造成沉重的經(jīng)濟(jì)負(fù)擔(dān)〔4〕。因此，有效防控人體跌倒已成為公共衛(wèi)生領(lǐng)域的重要研究問題〔5〕。

人體跌倒防控包含3個(gè)方面：跌倒事件前預(yù)警、跌倒事件中檢測(cè)及跌倒事件后施救與傷害評(píng)估。人體跌倒后的跌倒?fàn)顟B(tài)保持時(shí)間是決定傷害程度的關(guān)鍵因素之一，及時(shí)發(fā)現(xiàn)跌倒行為并報(bào)警可顯著減少跌倒事件對(duì)人體的不良影響〔6〕。人體跌倒行為檢測(cè)包含數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取及跌倒檢測(cè)。Mubashir等〔7〕根據(jù)傳感器類型將跌倒檢測(cè)系統(tǒng)分為3類：基于可穿戴傳感器、基于環(huán)境傳感器和基于視覺傳感器的跌倒檢測(cè)系統(tǒng)。Igual等〔8〕將視覺傳感器歸屬于環(huán)境傳感器類型，將跌倒檢測(cè)系統(tǒng)劃分為基于可穿戴傳感器的跌倒檢測(cè)系統(tǒng)和基于環(huán)境感知的跌倒檢測(cè)系統(tǒng)，前者通常將可穿戴傳感器放置于人體胸部、腰部、手腕、大腿等部位感知人體，如加速度計(jì)感知人體方位變化，陀螺儀探測(cè)人體行為角動(dòng)量變化等〔9，10〕?；诃h(huán)境感知的跌倒檢測(cè)系統(tǒng)通常采用紅外傳感器、震動(dòng)傳感器、麥克風(fēng)、雷達(dá)和視頻傳感器等設(shè)備放置于室內(nèi)對(duì)人體進(jìn)行定位與跟蹤。研究人員發(fā)現(xiàn)，基于單一傳感器的跌倒檢測(cè)系統(tǒng)由于單一數(shù)據(jù)類型不能完整表征人體跌倒時(shí)身體姿態(tài)變化，造成檢測(cè)精度不足〔11〕，故引入多傳感器通過多源異構(gòu)數(shù)據(jù)融合技術(shù)提高人體跌倒檢測(cè)系統(tǒng)的檢測(cè)性能〔12〕。多源異構(gòu)數(shù)據(jù)融合是將多傳感器數(shù)據(jù)進(jìn)行關(guān)聯(lián)與組合，實(shí)現(xiàn)多源信息準(zhǔn)確全面地推斷和估計(jì)〔13〕。根據(jù)融合方式可分為集中式融合和分布式融合〔14〕，集中式融合將多傳感器的測(cè)量數(shù)據(jù)傳輸至融合中心，進(jìn)行統(tǒng)一數(shù)據(jù)預(yù)處理與特征提??；分布式融合是單一傳感器根據(jù)測(cè)量數(shù)據(jù)進(jìn)行局部狀態(tài)估計(jì)并發(fā)送至融合中心，根據(jù)特定融合標(biāo)準(zhǔn)生成全局最優(yōu)或次優(yōu)狀態(tài)估計(jì)。根據(jù)節(jié)點(diǎn)處理層次可分為數(shù)據(jù)層融合、特征層融合和決策層融合〔15，16〕，數(shù)據(jù)層融合將多傳感器采集數(shù)據(jù)經(jīng)最小程度處理(如加權(quán)平均或卡爾曼濾波等)后直接進(jìn)行融合提取特征；特征層融合將各傳感器進(jìn)行目標(biāo)觀測(cè)，提取代表性特征并對(duì)特征矢量進(jìn)行融合；決策層融合根據(jù)各傳感器的局部狀態(tài)估計(jì)綜合分析后進(jìn)行決策。人體跌倒行為檢測(cè)系統(tǒng)將多傳感器的多源異構(gòu)信息進(jìn)行全面綜合，形成相對(duì)完整的人體感知描述，實(shí)現(xiàn)準(zhǔn)確識(shí)別人體跌倒行為〔6〕。本文從傳感器類型出發(fā)，通過可穿戴融合、環(huán)境感知融合、可穿戴與環(huán)境感知結(jié)合融合三方面綜述國(guó)內(nèi)外基于多源異構(gòu)信息融合的人體跌倒行為檢測(cè)相關(guān)研究工作。

1 基于可穿戴傳感器數(shù)據(jù)融合的跌倒檢測(cè)

基于可穿戴傳感器的跌倒檢測(cè)系統(tǒng)通過可佩戴或附著于人體表面的可穿戴設(shè)備采集人體日常行為數(shù)據(jù)，經(jīng)過預(yù)處理和特征提取生成樣本集進(jìn)行跌倒檢測(cè)模型訓(xùn)練〔17～19〕?？纱┐鱾鞲衅髦饕铀俣扔?jì)、陀螺儀、磁強(qiáng)計(jì)、肌電傳感器等。基于單一可穿戴傳感器的人體跌倒檢測(cè)由于單一數(shù)據(jù)源無法全面反映人體跌倒時(shí)的姿態(tài)變化規(guī)律，研究人員開展可穿戴傳感器融合的跌倒檢測(cè)研究〔20～24〕。

胡雙杰等〔25〕利用三軸加速度計(jì)、陀螺儀和方向計(jì)提出一種基于長(zhǎng)短期記憶(LSTM)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的跌倒檢測(cè)算法，利用滑動(dòng)時(shí)間窗獲取傳感器數(shù)據(jù)，經(jīng)歸一化處理后采用數(shù)據(jù)層融合作為網(wǎng)絡(luò)學(xué)習(xí)模型輸入進(jìn)行迭代學(xué)習(xí)，通過softmax分類器進(jìn)行跌倒行為識(shí)別，通過MobiAct和SisFall數(shù)據(jù)集進(jìn)行測(cè)試，檢測(cè)精度達(dá)99.68%和99.58%。

Yi等〔26〕利用加速度計(jì)和心電傳感器開展人體跌倒檢測(cè)，將兩個(gè)三軸加速度計(jì)置于測(cè)試者胸部與大腿前側(cè)，通過閾值法估計(jì)人體姿勢(shì)，心電信號(hào)通過QRS信號(hào)處理技術(shù)計(jì)算心率以監(jiān)測(cè)心臟活動(dòng)，采用分布式融合方法通過SVM分類方法實(shí)現(xiàn)前向、后向、左右側(cè)跌倒的行為檢測(cè)。

李坤等〔13〕將陀螺儀和加速度計(jì)置于人體腰部設(shè)計(jì)跌倒行為檢測(cè)系統(tǒng)，通過中值、均值濾波進(jìn)行數(shù)據(jù)預(yù)處理，采用數(shù)據(jù)級(jí)融合提取人體加速度及其動(dòng)態(tài)量、靜態(tài)量、身體姿態(tài)角等特征，設(shè)計(jì)基于閾值法的跌倒檢測(cè)方法，通過前倒、后倒、側(cè)倒及日常行為(如行走、站立、坐下等)實(shí)驗(yàn)測(cè)試，算法靈敏度和特異性達(dá)96%和97%。

Felisberto等〔27〕利用加速度計(jì)、陀螺儀和磁力計(jì)研制跌倒行為檢測(cè)系統(tǒng)應(yīng)用于老年人日常監(jiān)控與康復(fù)訓(xùn)練，通過對(duì)比數(shù)據(jù)級(jí)融合、特征級(jí)融合、決策級(jí)融合方式，分別研究擴(kuò)展卡爾曼濾波器、直接余弦矩陣、控制算法等3類融合方法，將傳感器集成模塊置于胸前、臀部和大腿外側(cè)進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)擴(kuò)展卡爾曼濾波器數(shù)據(jù)級(jí)融合方式獲得98%的最佳準(zhǔn)確率。

2 基于環(huán)境感知傳感器數(shù)據(jù)融合的跌倒檢測(cè)

可穿戴傳感器數(shù)據(jù)融合方法促進(jìn)跌倒行為識(shí)別率顯著提升，由于人體可穿戴設(shè)備數(shù)量明顯增加，造成現(xiàn)實(shí)場(chǎng)景應(yīng)用困難，研究人員開展非接觸式環(huán)境感知傳感器條件下的人體跌倒檢測(cè)研究。環(huán)境感知傳感器主要包括視頻、紅外線、音頻等，基于環(huán)境感知傳感器的跌倒行為檢測(cè)通過傳感器數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理和特征提取，進(jìn)行跌倒行為識(shí)別〔28，29〕。單一環(huán)境感知傳感器信息類型單一，無法完整表征人體跌倒時(shí)的姿態(tài)變化，研究人探索多環(huán)境感知傳感器融合的跌倒檢測(cè)研究〔30〕。

Zigel等〔31〕采集人體跌倒沖擊地面的振動(dòng)與聲音信號(hào)開展跌倒行為檢測(cè)，其中包括跌倒事件檢測(cè)和分類。跌倒事件檢測(cè)通過提取跌倒沖擊的振動(dòng)和聲音信號(hào)能量特征，根據(jù)閾值法提取可疑跌倒事件；事件分類采用特征層融合提取時(shí)間特征，即從振動(dòng)和聲音信號(hào)提取時(shí)間長(zhǎng)度與振幅平方特征，此外，從振動(dòng)信號(hào)提取沖擊響應(yīng)譜特征并從聲音信號(hào)提取梅爾頻率倒譜系數(shù)特征，通過順序浮動(dòng)前向搜索算法進(jìn)行特征選擇，采用最大似然估計(jì)識(shí)別跌倒行為，其檢測(cè)靈敏度和特異性為97.5%和98.6%。

Li等〔32〕采用三軸加速度計(jì)和深度視頻傳感器，設(shè)計(jì)基于閾值法和支持向量機(jī)分類的跌倒協(xié)同檢測(cè)平臺(tái)，采用基于邏輯規(guī)則和D-S證據(jù)理論的決策級(jí)融合開展跌倒行為檢測(cè)，閾值法的檢測(cè)準(zhǔn)確率達(dá)84.17%，支持向量機(jī)法的準(zhǔn)確率達(dá)97.08%，協(xié)同檢測(cè)的準(zhǔn)確率達(dá)98.00%。

Chen等〔33〕提出紅外超聲傳感器數(shù)據(jù)融合方法檢測(cè)老年人跌倒行為，紅外陣列傳感器用于熱點(diǎn)檢測(cè)，超聲波傳感器用于范圍檢測(cè)，根據(jù)閾值法估計(jì)受試者位置，通過數(shù)據(jù)層融合采用支持向量機(jī)分類識(shí)別跌倒行為，針對(duì)站、坐、彎腰等日常行為動(dòng)作和前倒、側(cè)倒等跌倒動(dòng)作開展實(shí)驗(yàn)，檢測(cè)精度達(dá)91.3%。

3 融合可穿戴和環(huán)境感知傳感器的跌倒檢測(cè)

可穿戴傳感器適宜于晝間戶外環(huán)境的人體跌倒檢測(cè)，不適合室內(nèi)休息和私密環(huán)境下使用；環(huán)境感知傳感器適合室內(nèi)條件，不宜推廣于戶外環(huán)境應(yīng)用〔34〕。研究發(fā)現(xiàn)將可穿戴傳感器和環(huán)境感知傳感器結(jié)合使用，可實(shí)現(xiàn)多場(chǎng)景、多信號(hào)通道的跌倒行為檢測(cè)，提高跌倒檢測(cè)精度和適應(yīng)性〔35，36〕。

Poi Voon等〔37〕設(shè)計(jì)基于加速度計(jì)和音頻傳感器的跌倒檢測(cè)系統(tǒng)，提出基于模糊邏輯的決策層融合跌倒檢測(cè)算法處理加速度計(jì)和音頻傳感器信號(hào)，首先對(duì)人體加速度數(shù)據(jù)通過閾值法進(jìn)行識(shí)別，再以跌倒音頻閾值法再次識(shí)別，最終通過模糊邏輯識(shí)別人體跌倒，針對(duì)前倒、后倒、側(cè)倒及日常行為(步行、上下樓梯、坐下、站立、蹲下等)開展實(shí)驗(yàn)，跌倒檢測(cè)率達(dá)95%。

Xu等〔38〕根據(jù)人體運(yùn)動(dòng)中上下肢協(xié)調(diào)運(yùn)動(dòng)關(guān)系，提出基于協(xié)調(diào)運(yùn)動(dòng)融合的助行機(jī)器人系統(tǒng)，采用力感電阻傳感器獲取上肢握力，激光測(cè)距儀獲取人體腿部行走速度，基于模糊邏輯控制和卡爾曼濾波器的協(xié)調(diào)運(yùn)動(dòng)融合算法預(yù)測(cè)人體行走狀態(tài)下的運(yùn)動(dòng)意向，通過支持向量機(jī)進(jìn)行跌倒檢測(cè)，實(shí)現(xiàn)提前5.8 s檢測(cè)人體跌倒。

Daher等〔39〕利用地磚下壓力傳感器和內(nèi)嵌三軸加速度計(jì)針對(duì)老年公寓環(huán)境開展人體跌倒行為檢測(cè)，提取地磚表面最大壓力和壓力持續(xù)時(shí)間以閾值法確定人體姿勢(shì)(行走、站立、坐/跌倒)，基于負(fù)載地磚數(shù)量區(qū)分人體坐下與跌倒行為，對(duì)三軸加速計(jì)與壓力傳感器進(jìn)行數(shù)據(jù)級(jí)融合以閾值法識(shí)別人體平躺與跌倒動(dòng)作，根據(jù)模糊邏輯分類實(shí)現(xiàn)人體跌倒行為檢測(cè)，對(duì)人體步行、坐和站立條件下的跌倒情況進(jìn)行實(shí)驗(yàn)，檢測(cè)準(zhǔn)確率分別達(dá)90.0%、94.1%和92.3%。

4 問題與展望

當(dāng)前，研究人員已將多源異構(gòu)數(shù)據(jù)融合技術(shù)引入人體跌倒行為檢測(cè)研究，取得多個(gè)研究成果。但研究工作仍存在以下問題：①現(xiàn)有研究工作關(guān)注人體日常行為的三軸加速度、角速度傳感信息和紅外、音頻等環(huán)境信息，缺乏人體生理體征信息(如血壓、心率等)以開展全維度跌倒行為檢測(cè)；②跌倒行為檢測(cè)中決策層數(shù)據(jù)融合將傳感器數(shù)據(jù)作為局部狀態(tài)估計(jì)，缺乏考慮估計(jì)結(jié)果的關(guān)聯(lián)二義性問題，導(dǎo)致準(zhǔn)確性降低；③現(xiàn)有研究工作多在試驗(yàn)條件下進(jìn)行且設(shè)定統(tǒng)一的跌倒行為檢測(cè)參數(shù)，較難精準(zhǔn)感知用戶的動(dòng)態(tài)個(gè)性化行為。

針對(duì)上述問題，人體跌倒行為檢測(cè)后續(xù)可在以下方面開展相關(guān)研究：①開展異構(gòu)多模態(tài)傳感數(shù)據(jù)的無監(jiān)督表征學(xué)習(xí)，獲取血壓、心率、肌電等人體生理表征數(shù)據(jù)，自適應(yīng)關(guān)聯(lián)日常行為信息，基于深度對(duì)抗學(xué)習(xí)人體跌倒時(shí)空?qǐng)鼍安?shí)現(xiàn)全維度人體跌倒檢測(cè)；②基于深度共現(xiàn)圖卷積構(gòu)建多元模型決策框架，建立多源數(shù)據(jù)決策點(diǎn)，根據(jù)決策點(diǎn)二義性生成相鄰決策邊，引入動(dòng)態(tài)規(guī)劃?rùn)C(jī)制觸發(fā)決策共現(xiàn)性，聚合共現(xiàn)決策點(diǎn)實(shí)現(xiàn)多源異構(gòu)傳感數(shù)據(jù)的決策級(jí)融合；③基于增量學(xué)習(xí)方法面向用戶動(dòng)態(tài)個(gè)性化數(shù)據(jù)對(duì)模型進(jìn)行持續(xù)更新與自適應(yīng)調(diào)整，結(jié)合統(tǒng)計(jì)學(xué)習(xí)理論的精準(zhǔn)泛化能力和單隱層神經(jīng)網(wǎng)絡(luò)的高效計(jì)算速度，實(shí)現(xiàn)漸進(jìn)個(gè)性化、跌倒感知的智能化。

綜上，隨著我國(guó)老齡化進(jìn)程加快，人體跌倒成為老年群體面臨的主要危險(xiǎn)因素之一，跌倒檢測(cè)是有效防控人體跌倒的重要研究?jī)?nèi)容。由于單一傳感器數(shù)據(jù)不能準(zhǔn)確表征人體跌倒時(shí)身體姿態(tài)變化，基于多傳感器多源異構(gòu)數(shù)據(jù)融合的人體跌倒檢測(cè)成為研究熱點(diǎn)。