潘道華，劉宏偉

（1 哈爾濱工業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院，哈爾濱 150001； 2 黑龍江民族職業(yè)學(xué)院電子信息工程系，哈爾濱 150001）

0 引 言

當(dāng)今社會人口老齡化現(xiàn)象是最顯著的人口特征之一，由于老年人生理結(jié)構(gòu)的老化和身體機能的下降，在生活中老年人意外摔倒不再是個例，是造成老年人嚴(yán)重健康傷害、甚至死亡的十大主要原因之一。在日常生活中，尤其是在潮濕處，如廚房、浴室等地，老人就容易出現(xiàn)打滑。 此時，若老年人還患有腦溢血、心臟病等疾病，發(fā)生摔倒就有可能危及老年人的生命。 此外，當(dāng)今社會老人戶外摔倒，若未能遇到路人及時伸出援手，就將導(dǎo)致摔倒后的老人很長一段時間內(nèi)得不到救助［1］，這種情況就更會加劇對老年人的傷害。 綜上可知，老年人摔倒問題已經(jīng)衍生成為一個重大的社會問題［2］。 因此，摔倒行為識別對老年人尤為重要，有關(guān)人體摔倒行為識別的研究具有很高的實際應(yīng)用價值。

在人體摔倒行為識別的研究中，特征提取是至關(guān)重要的一個環(huán)節(jié)。 目前，特征提取主要是通過手工法提取，提取的特征包括時域特征、頻域特征和時頻域特征。 這些傳統(tǒng)的手工法提取的特征往往導(dǎo)致分類識別的準(zhǔn)確性不夠高。 為了提高識別準(zhǔn)確性和特征提取的自動化程度，減少人為的干預(yù)，本文提出基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）進行深度特征的提取，而后再經(jīng)過機器學(xué)習(xí)分類器算法進行識別的方法。 將深度學(xué)習(xí)技術(shù)與機器學(xué)習(xí)算法相相合，可以使整個模型的綜合性能得以提高，從而提升人體摔倒行為識別準(zhǔn)確率。 將CNN 用作分類器會有一定的局限性。 分析可知，CNN 是多層感知機的拓展模型，通過使用經(jīng)驗風(fēng)險最小化的算法來進行訓(xùn)練學(xué)習(xí)，這就容易導(dǎo)致模型最終得到的不是全局最優(yōu)解、而是局部最優(yōu)解［3］。 另外，當(dāng)數(shù)據(jù)到達網(wǎng)絡(luò)的輸出層（output layer） 時，經(jīng)常使用的多分類激活函數(shù)（softmax） 往往傾向于把一個極大的值（近似為1）賦給某一個類別，而其它的類別所得的值相比就很小（近似為0），這就明顯降低了CNN 在分類識別中的容錯能力。 因此，CNN 并不適合用作分類器模型［4］。本文選擇了CNN 結(jié)合SVM 的混合式模型做人體摔倒行為的分類研究，可以大大提高識別的準(zhǔn)確率。

1 人體摔倒過程的分析及數(shù)據(jù)獲取

1.1 人體摔倒過程的分析

人體摔倒在地面或接近于地面的較低物體上時，會對其產(chǎn)生一定的沖擊，根據(jù)沖擊的強度，可以將摔倒分為硬摔倒和軟摔倒兩大類［5］。 其中，硬摔倒是指發(fā)生撞擊后，會引起身體的一系列疾病的摔倒。 軟摔倒是指因為撞擊強度低，發(fā)生撞擊后，身體不會受到嚴(yán)重傷害的摔倒，比如老年人靠在墻邊，或者扶著墻壁等比較緩慢地摔倒。 由于硬摔倒會對身體產(chǎn)生較大的危害，因此，本文著重對這種摔倒進行研究和分析。 根據(jù)人體動力學(xué)的原理，當(dāng)人體的重心投向地面的投影不在人體的支撐點上時，人體的力平衡機制就已經(jīng)被打破。 如果人體的重心或支撐點沒有得到及時調(diào)整，就極易發(fā)生摔倒。 這種人體的不平衡狀態(tài)導(dǎo)致的結(jié)果是人體以一定的加速度向下落地，同時，身體的姿態(tài)角度發(fā)生變化。 根據(jù)這一分析，可以將摔倒過程分為4 個階段：

（1）摔倒開始階段：此時摔倒并沒有發(fā)生，但人體平衡被破壞了，在這一階段里身體加速度和身體姿態(tài)角度都沒有發(fā)生改變。

（2）身體下降階段：從人體失去平衡開始，到身體與地面接觸結(jié)束。 在這個過程中，人的雙腳著地面會逐漸脫離地面，身體在重力加速度的作用下發(fā)生向下的墜落，該階段中，人體處于失重的狀態(tài)。 由于人體受到重力加速度的作用，身體的變化速度在與地面發(fā)生撞擊之前會逐漸增大，直至達到某個最大值。 身體的加速度值也會發(fā)生變化，由重力加速度G逐漸下降為接近于0。 身體繞人體坐標(biāo)系中的坐標(biāo)軸旋轉(zhuǎn)的旋轉(zhuǎn)角度和旋轉(zhuǎn)角速度發(fā)生變化。

（3）沖擊發(fā)生階段：從身體觸碰地面或者較低平面那一刻開始，到身體靜止在地面上為止。 在沖擊階段中，身體的加速度值會發(fā)生劇烈的變化，身體將承受很大的沖擊，這一階段也是造成身體損傷的階段。 在身體受到撞擊發(fā)生前，身體向下的運動速度達到最大值，此后與地面或其它較低平面發(fā)生突然性碰撞，速度發(fā)生驟減，減至0。 此時，加速度會迅速地變大，會形成一個明顯的峰值。

（4）身體靜止階段：身體在受到?jīng)_擊后通常會躺在地面上一段時間。 一般情況下，無論身體是否受到傷害，在摔倒后的一段較短的時間內(nèi)，身體都會處于一種相對靜止的狀態(tài)。 在這一階段，身體的加速度值處于相對平穩(wěn)的狀態(tài)。

1.2 數(shù)據(jù)獲取

本文的實驗數(shù)據(jù)是通過志愿者穿戴著一套動作捕捉設(shè)備進行采集的。 該套設(shè)備全身共包含16 個傳感器節(jié)點，如圖1 所示，每個傳感器節(jié)點都為九軸傳感器，分別集成了三軸加速度計、三軸陀螺儀、三軸地磁計。

圖1 數(shù)據(jù)采集所用的傳感器節(jié)點Fig. 1 The sensor nodes used for data acquisition

該套動捕設(shè)備通過WiFi 與主機通信，并將采集到的傳感器數(shù)據(jù)存儲在主機中。 由于本文的實驗是做人體大幅度動作的分類，旨在有效識別出是否有摔倒行為的發(fā)生，所以手背處的傳感器節(jié)點所采集的數(shù)據(jù)對于摔倒識別的影響不大。 另外，由于全身的傳感器呈身體對稱性分布，所以本文實驗只選用身體單側(cè)肢體的傳感器節(jié)點和身體主干上的傳感器節(jié)點的數(shù)據(jù)就可以實現(xiàn)實驗要求，文中選用了7 個關(guān)鍵的傳感器節(jié)點所采集的傳感器數(shù)據(jù)進行實驗，這7 個傳感器節(jié)點分別位于頭部、胸部、腰部、上臂部、前臂部、大腿部和小腿部。

本文的部分實驗數(shù)據(jù)是來源于5 位65 歲以上的老年人真實日常生活中的各種行為數(shù)據(jù)的采集，但是由于沒有那么多老年人可以進行實驗數(shù)據(jù)的采集，另外又考慮到老年人的安全和健康，本文的另一部分?jǐn)?shù)據(jù)獲取來源于征集的20 位青年志愿者，志愿者的年齡范圍為18～22 歲，平均年齡為20.5 歲；體重范圍為46～79 kg，平均體重為62.18 kg；身高范圍為155～178 cm，平均身高為169.6 cm。 所有的志愿者模擬日常生活中7 類常見的行為活動［6］：行走、坐、蹲、躺、站立、上樓、下樓，每種日常行為活動的數(shù)據(jù)采集持續(xù)時間為5 min。每位志愿者進行了模擬摔倒，摔倒分為向前、向后、向左、向右和行走中摔倒（也稱為絆倒）。 分別模擬人體下肢在突然失去控制的情況下和發(fā)生眩暈的情況下發(fā)生的摔倒，每種摔倒進行20 次，共計100 次，所有的摔倒都是在厚約10 cm 的海綿墊上進行的。 所有傳感器節(jié)點的采樣頻率均為120 Hz。

實驗采集的原始傳感器數(shù)據(jù)信號通過0.2 Hz的三階巴特沃斯高通濾波器［7］進行濾波，接著再通過滑動窗口技術(shù)實現(xiàn)傳感器數(shù)據(jù)的分割，將數(shù)據(jù)分割成若干個數(shù)據(jù)片段。 滑動窗口的時間窗口大小是由目標(biāo)行為活動集來決定的，最終根據(jù)實際情況，將滑動窗口的時間設(shè)定為3 s，這是一個比較常用的窗口大?。?］。 7 個傳感器節(jié)點分別穿戴在人身體上的7 個不同位置，因為每個傳感節(jié)點都包括三軸加速度計、三軸陀螺儀、三軸地磁計，所以每個數(shù)據(jù)文件包括63 列傳感器數(shù)據(jù)。

2 特征提取

2.1 傳統(tǒng)特征的提取

特征提取是進行人體摔倒行為識別的過程中不可缺少的主要環(huán)節(jié)，對摔倒行為識別的準(zhǔn)確性有著很大的影響。 傳統(tǒng)的統(tǒng)計特征會經(jīng)常被用在人體行為識別的研究中，通?？煞譃闀r域特征、頻域特征和時頻域特征。 Khan 等人［9］和Yan 等人［10］對時域特征和頻域特征進行了對比，結(jié)果是在大多數(shù)情況下時域特征對分類的作用更大，但是將兩者結(jié)合起來是一種更好的方法。

本文進行了傳統(tǒng)特征的提取。 對傳感器的每個軸所采集的數(shù)據(jù)分別提取了9 種常用特征：均值、方差、中位數(shù)、均方根、標(biāo)準(zhǔn)差、最大差值、偏度、峰度和能量，各指標(biāo)的數(shù)學(xué)定義公式如下。

（1）均值。 計算公式可寫為：

（2）方差。 計算公式可寫為：

（3）中位數(shù)。 計算公式可寫為：

（4）均方根。 計算公式可寫為：

（5）標(biāo)準(zhǔn)差。 計算公式可寫為：

（6）最大差值。 計算公式可寫為：

（7）偏度。 計算公式可寫為：

（8）峰度。 計算公式可寫為：

（9）能量。 計算公式可寫為：

其中，T（i） 表示經(jīng)過預(yù)處理后的數(shù)據(jù)的第i個采樣點值，F(xiàn)（i） 為T經(jīng)過傅立葉變換后的第i個傅立葉系數(shù)。

經(jīng)過特征提取后，形成了由各個傳感器數(shù)據(jù)片段的特征向量組成的多維特征向量。

2.2 深度特征的提取

本文使用卷積神經(jīng)網(wǎng)絡(luò)CNN 來進行深度特征的提取。 為了提取深度特征，構(gòu)建CNN 的結(jié)構(gòu)［11］如圖2 所示。 在實驗部分，對基于深度特征的摔倒行為識別效果和基于傳統(tǒng)的統(tǒng)計特征的識別效果做了對比。

為了闡述模型的工作機制，用X來表示卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)。 經(jīng)過卷積后，第k個特征圖中的元素被記為［12］：

其中，（p，q） 表示元素在對應(yīng)的特征圖中的具體位置；bk是偏置項；卷積核的大小用i?j來表示；表示卷積核權(quán)重值，這里的α和β標(biāo)識為該權(quán)重在卷積核中的位置。

假設(shè)原始傳感器數(shù)據(jù)序列大小為m?n，表示進行第p?（m－2）＋q次卷積運算時輸入的數(shù)據(jù)中對應(yīng)位置的值。F為卷積層的激活函數(shù)，本文使用的是ReLu線性整流函數(shù)，函數(shù)形式可表示為：

經(jīng)過平化層后，所有的特征圖經(jīng)由矩陣轉(zhuǎn)換為1D 的向量。 此后數(shù)據(jù)再經(jīng)過全連接層，輸出深層特征。 全連接層的數(shù)學(xué)原理公式可表示為：

其中，u表示輸入的數(shù)據(jù)的維度；xγ個輸入的元素；vγ表示第γ個輸出的元素；W表示權(quán)重向量；b為偏移值；S是激活函數(shù)tanh，其值可由如下數(shù)學(xué)公式計算求出：

最后一層的輸出向量V ＝［v1，…，vu］ 是卷積神經(jīng)網(wǎng)絡(luò)提取出的深度特征，為下一步將要進行的機器學(xué)習(xí)分類器做訓(xùn)練使用的特征。

每個節(jié)點的采集數(shù)據(jù)是由9 個軸的數(shù)據(jù)組成，采集到的數(shù)據(jù)序列經(jīng)過滑動窗口進行分割，分割為每個窗口包含360 個采樣點的傳感器數(shù)據(jù)文件。 因此，進行深度特征提取的輸入為多個360?9 大小的矩陣。 卷積層采用4 個卷積核，因為每3 個傳感器數(shù)據(jù)都屬于同一類型，所以使用了4 個大小為3?3的卷積核。 將stride設(shè)置為1。 經(jīng)過卷積運算后的結(jié)果，再經(jīng)過平坦層的一維化運算進入稠密層，該層中設(shè)計了64 個權(quán)重節(jié)點，經(jīng)過全連接運算后得到64 維的特征向量。

3 實驗對比分析

人體摔倒行為的識別一般采用敏感性、特異性、準(zhǔn)確性三個指標(biāo)來評價。 這3 個指標(biāo)是用4 種可能情況來計算的，參見表1。

表1 摔倒行為識別的4 種可能情況Tab. 1 Four possible cases of falling behavior recognition

表1 中，True Negatives（TN） 表示摔倒并未發(fā)生，可以正確識別為不是摔倒、而是其它行為的樣本數(shù)；False Negatives（FN） 表示摔倒發(fā)生了、但卻沒有被識別出來的摔倒行為的樣本數(shù)； False Positives（FP） 表示摔倒并未發(fā)生、但卻把其它的日常行為活動誤判為是摔倒行為的樣本數(shù)；True Positives（TP） 表示摔倒發(fā)生了、而且能正確地被識別出來的摔倒行為的樣本數(shù)。

進而，針對研究采用的評價指標(biāo)，擬做剖析分述如下。

（1）敏感性。 是標(biāo)識檢測摔倒能力的指標(biāo)。 可由摔倒發(fā)生并能夠成功檢測到的摔倒數(shù)（TP） 與發(fā)生的總摔倒數(shù)（TP ＋FN） 之比計算得出：

（2）特異性。 是標(biāo)識避免誤報能力的指標(biāo)，計算公式為：

至此分析可知，敏感性和特異性用來更好地了解摔倒行為識別的某些限制。

（3）準(zhǔn)確性。是有效區(qū)分和識別摔倒（TP） 和非摔倒（TN） 的能力，可以通過以下公式計算得出：

其中，P表示摔倒發(fā)生的次數(shù)，N表示沒有摔倒發(fā)生的次數(shù)。

總體來說，準(zhǔn)確性是一個全局性的指標(biāo)，本文實驗部分把準(zhǔn)確性作為摔倒行為識別的衡量標(biāo)準(zhǔn)。

3.1 基于傳統(tǒng)特征的摔倒識別

通過2.1 節(jié)提取的統(tǒng)計特征作為特征向量，利用支持向量機（SVM）［13］、決策樹（DT）［14］、隨機森林（RF）［15］三種分類器模型分別進行訓(xùn)練與測試，然后采用十折交叉驗證法對分類效果進行驗證。 準(zhǔn)確性的實驗比較結(jié)果見表2。

表2 基于統(tǒng)計特征的摔倒行為識別準(zhǔn)確性Tab. 2 Accuracy of falling behavior recognition based on statistical features

表2 顯示了3 種分類器算法的不同檢測效果。可能是因為DT 分類器和RF 分類器不適合對連續(xù)數(shù)據(jù)進行處理，還可能因為對分類器參數(shù)的設(shè)置沒有達到最優(yōu)，所以導(dǎo)致RF 的效果略差，DT 的效果更差。 總的說來，SVM 的平均識別準(zhǔn)確性最高，整體效果最好。

另外，傳感器佩戴的不同位置對摔倒行為的檢測準(zhǔn)確率有一定的差別。 腰部采集的實驗數(shù)據(jù)效果最好。 不同傳感器佩戴位置、不同的分類器算法對摔倒行為的檢測準(zhǔn)確率有一定的影響，但差別并不明顯。 綜合SVM、DT、RF 三種分類器算法的摔倒行為識別準(zhǔn)確率對比效果，如圖3 所示。

圖3 傳感器佩戴位置與摔倒行為識別準(zhǔn)確性的關(guān)系Fig. 3 The relationship between sensor position and the accuracy of falling behavior recognition

通過實驗可以看出：不同的傳感器佩戴位置對摔倒行為的識別準(zhǔn)確率影響并不大，特別是對SVM 這個整體性能比較好的分類器。 雖然方法不同，但這一結(jié)論與其他研究工作者得出的結(jié)論相似［16］。

3.2 基于深度特征的摔倒識別

3.2.1 基于深度特征的摔倒行為識別的效果

利用本文設(shè)計的CNN 結(jié)構(gòu)提取新的深度特征，構(gòu)成特征向量，利用支持向量機（SVM）、決策樹（DT）、隨機森林（RF）三種分類器模型分別對身體的7 個傳感器節(jié)點采集到的數(shù)據(jù)進行訓(xùn)練和測試，基于統(tǒng)計特征對身體各傳感器節(jié)點的摔倒行為識別的準(zhǔn)確性實驗結(jié)果見表3。

表3 基于深度特征的摔倒行為識別準(zhǔn)確性Tab. 3 Accuracy of falling behavior recognition based on depth feature

3.2.2 基于深度特征與傳統(tǒng)特征的摔倒行為識別的效果對比

為了便于清楚地對比基于深度特征與傳統(tǒng)特征的摔倒行為識別的效果，將識別準(zhǔn)確率的效果以圖4 顯示。

圖4 使用深度特征與傳統(tǒng)特征進行的摔倒行為識別準(zhǔn)確性的對比圖Fig. 4 Falling behavior identification accuracy using depth features versus traditional features

由圖4 可以看出基于深度特征的人體摔倒行為識別的準(zhǔn)確率明顯高于基于傳統(tǒng)統(tǒng)計特征的人體摔倒行為識別的準(zhǔn)確率。 圖4 中，分類器算法SVM 通過CNN 提取的深度特征對摔倒識別準(zhǔn)確率的提升最為明顯。 另外，在對人體摔倒行為識別的整個實驗過程中，可以發(fā)現(xiàn)無論使用哪一種分類器，相對運動幅度比較小的活動的識別精度都相對較高，這是因為相對運動幅度比較小的活動所具有的平穩(wěn)信號特性。 而對于運動時幅度比較大的動態(tài)行為活動，識別準(zhǔn)確率略低一些，也許是因為受數(shù)據(jù)失真的影響更大的結(jié)果。 但是本文采用的基于CNN 提取的深度特征的方法可以大大地緩解這個問題。

4 結(jié)束語

本文提出了基于CNN 結(jié)構(gòu)進行深度特征提取的方法，將深度特征的提取結(jié)合SVM 分類器用于人體摔倒行為識別的實驗研究中，結(jié)果表明，提取不同的特征對人體活動識別的準(zhǔn)確性有著很大的影響，基于CNN 的深度特征可以大大提高人體摔倒行為識別的準(zhǔn)確率。 另外，本文對身體不同的傳感器佩戴位置所采集的實驗數(shù)據(jù)對人體摔倒行為的識別準(zhǔn)確率的影響進行了對比，結(jié)果是腰部的識別準(zhǔn)確率最高，可達到94.89%。 本文將基于CNN 和SVM 的混合分類識別模型用于人體摔倒行為識別的研究，可以大大提高摔倒行為識別的準(zhǔn)確率。