衛(wèi)少潔,周永霞

(中國計量大學 信息工程學院,杭州 310018) E-mail:weishaojie01@163.com

1 引 言

聯(lián)合國報告指出,到2050年65歲以上老人將達世界總人口數(shù)的1/6,老年人的醫(yī)療健康問題引起了全球的普遍關注.在影響老人身體健康的因素中,摔倒傷害占比最高[1].當老人獨處時發(fā)生摔倒,及時的檢測和預警可以極大縮短獲得醫(yī)療救護的時間,盡可能保障人們的生命安全.

目前,人體摔倒檢測主要有基于外部傳感器檢測和基于計算機視覺檢測兩種方法.基于外部傳感器檢測法通常將傳感器嵌入手環(huán)、腰帶、衣服等可隨身穿戴的物品或室內墻壁、天花板、地毯等外部環(huán)境中,用于采集人體運動數(shù)據(jù)[2-5],使用采集得到的數(shù)據(jù)訓練MLP[6]、SVM[7]等機器學習算法進行人體摔倒檢測.基于計算機視覺的摔倒檢測法通常使用圖像處理、機器學習和深度學習等方法對監(jiān)控視頻進行特征提取和摔倒檢測.文獻[8]使用自動特征學習方法的摔倒檢測框架,通過對不同視角的視頻序列提取人,對PCAnet模型進行訓練,最后通過SVM分類判斷摔倒;文獻[9]使用Faster-RCNN檢測人體和家具,判斷人體與周圍家具之間的關系從而判斷人體是否摔倒;文獻[10]使用高斯混合模型檢測人體得到外接輪廓,通過多幀融合得到時間序列信息,最后用一個淺層CNN判斷摔倒.

基于外部傳感器的摔倒檢測法需要隨身穿戴傳感器等,存在用戶體驗不佳、硬件成本高、檢測精度低等問題.現(xiàn)有基于計算機視覺的摔倒檢測法存在檢測場景適應性差和不同摔倒姿勢誤檢率高等問題.針對上述問題,本文提出了一種基于Alphapose和LSTM的人體摔倒檢測模型.該模型采用Alphapose對視頻中人體進行骨骼關鍵點檢測,將得到的骨骼點坐標分為x坐標值和y坐標值兩類,分別訓練兩個LSTM神經網絡,將兩個LSTM隱層輸出合并后輸入一個全連接網絡分類,實現(xiàn)人體摔倒檢測,避免了場景依賴性,并在公開數(shù)據(jù)集上與多個模型進行對比,表明本模型具有更好的性能.

2 模型算法

2.1 Alphapose骨骼檢測模型

Alphapose采用自頂向下的方法,骨骼檢測示意圖如圖1所示.先用目標檢測算法檢測人,再用SPPE(single person pose estimation)算法對檢測到的人做姿態(tài)估計.

圖1 骨骼檢測示意圖Fig.1 Detection of skeleton keypoints

已有的骨骼模型主要有兩個問題:定位錯誤和產生冗余檢測結果.針對這些問題,Alphapose模型添加了三個模塊:對稱空間變換網絡(Symmetric space transformation network,SSTN)、由姿態(tài)引導的樣本生成器(Pose-guided Proposals Generator,PGPG)和姿態(tài)非極大值抑制器(Parametric Pose Non-Maximum Suppression,PPNMS).SSTN的作用為對人體檢測框進行感興趣區(qū)域提取,達到自動調整檢測框的目的,通過添加該模塊使圖1 中目標檢測結果更加準確.PGPG作用為對已有的數(shù)據(jù)進行姿態(tài)引導的數(shù)據(jù)擴充,增加訓練樣本,達到數(shù)據(jù)增強的目的,作用于目標檢測和SPPE的訓練.PPNMS是一種參數(shù)化姿態(tài)非極大抑制方法,通過定義姿態(tài)距離計算姿態(tài)相似度來消除冗余的檢測框,當相似度低于某一閾值時作為冗余框刪除.通過結合這三個模塊,Alphapose實現(xiàn)了更精確的骨骼檢測.

文獻[11]在COCO數(shù)據(jù)集和MPII數(shù)據(jù)集上對多種骨骼檢測模型進行對比實驗,結果表明Alphapose為目前精度最高的骨骼檢測模型.本文采用Alphapose對人體的18個骨骼關鍵點進行檢測,得到18個骨骼關鍵點在該幀圖像中的(x,y)坐標.

2.2 LSTM網絡模型

循環(huán)神經網絡(RNN)[12]中,每個時刻網絡的輸出都可以在下一時刻直接作用到自身,即當前時刻網絡的最終結果是該時刻的輸入信息和所有歷史信息共同作用的結果,因此,RNN能夠處理時間序列信息.但是,隨著網絡層加深,神經元個數(shù)不斷增加,RNN在實際訓練時常存在梯度消失和梯度爆炸的問題,導致網絡最終無法正常訓練.針對這些問題,Hochreiter & Schmidhuber等人[13]在1997年提出了LSTM(Long Short-Term Memory),通過門控制和更新細胞狀態(tài)將短期記憶與長期記憶結合起來,解決了神經網絡中的長期依賴問題,讓網絡能夠默認記憶長期信息.文獻[14-16]均應用了LSTM模型及其改進方法,取得了不錯的效果.圖2為LSTM神經元結構示意圖.

LSTM神經單元包含輸入門i、遺忘門f、細胞狀態(tài)C和輸出門O,通過門和細胞狀態(tài)來控制長短期記憶.其計算過程可表示為公式(1)到公式(6).

it=σ(Wi·[ht-1,xt]+bi)

(1)

(2)

ft=σ(Wf·[ht-1,xt]+bf)

(3)

(4)

Ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=Ot*tanh(Ct)

(6)

圖2 LSTM神經元結構示意圖Fig.2 Structure of LSTM Cell

3 人體摔倒檢測模型

本文提出的基于Alphapose和LSTM的人體摔倒檢測模型結構如圖3所示,首先將視頻分割成幀,該模型每次讀取視頻的一幀圖像,輸入Alphapose模型檢測得到人體的18個骨骼點坐標.在運動過程中,人體骨骼點x坐標變化和y坐標變化存在明顯差異,所以本文采用兩個LSTM網絡分別對其進行訓練.將得到的18個坐標拆分成x坐標值(x1,x2,…,x18)和y坐標值(y1,y2,…,y18),上述步驟連續(xù)檢測多幀圖像后可以得到x坐標值序列和y坐標值序列.當x坐標值序列和y坐標值序列的長度滿足設置的LSTM輸入序列長度size后,將兩種序列分別輸入兩個LSTM進行時序特征提取.之后每檢測到一幀新的圖像骨骼數(shù)據(jù),就將新的x坐標值和y坐標值加入到序列中,并刪除序列中最舊的坐標值,保持x坐標值序列和y坐標值序列的長度始終為size.LSTM隱層的輸出向量即為提取到的時序特征,對兩個LSTM的隱層輸出向量進行Flatten和Merge操作以滿足全連接層輸入要求.最后,將合并后的時序信息通過一個全連接層進行分類,計算輸出模型的分類結果,判斷是否摔倒.

4 數(shù)據(jù)集與數(shù)據(jù)處理

4.1 數(shù)據(jù)集

本文選用MuHAVi-MAS17和Le2i兩個公開數(shù)據(jù)集進行實驗.MuHAVi-MAS17[17]數(shù)據(jù)集是一個行為識別數(shù)據(jù)集,包含摔倒、走路、跑步、起身等17種行為,其中ShotGunCollapse數(shù)據(jù)為摔倒行為,該數(shù)據(jù)集由均勻分布在場景周圍的8個攝像頭采集獲得,共包含7個人數(shù)據(jù),每個人包含8個視角,摔倒姿勢為側后方左摔和側后方右摔,視頻分辨率為720×576,攝像頭離人體較遠,畫面中人較為模糊.

圖3 模型結構示意圖Fig.3 Structure of Model

Le2i[18]摔倒數(shù)據(jù)集包含Home、Coffee room、Office、Lecture room四個場景,人體行為包含:摔倒、坐下、行走、拿東西、彎腰撿東西、下樓、掃地等,摔倒姿勢包括前摔、側摔、后側摔等多種姿勢,視頻分辨率為320×240,攝像頭離人體較近,畫面中人較為清晰.

4.2 數(shù)據(jù)處理

針對樣本中常存在奇異數(shù)據(jù)使網絡無法收斂,增加網絡訓練時間,為了避免該問題,同時增強模型通用性,遂對樣本數(shù)據(jù)做歸一化處理.本文主要對Alphapose模型提取到的骨骼點坐標進行了歸一化處理,方法如公式(7)所示:

(7)

LSTM訓練樣本通過滑窗法獲取.首先設置樣本大小為size,如圖4所示,size為n的滑動窗口內包含的序列為訓練輸入樣本,當前幀n的標簽L(n)為該樣本標簽,其中X(n)和Y(n)分別為對應幀序的18個骨骼點的x坐標和y坐標集合,即X(n)={x1,x2,…,x18},Y(n)={y1,y2,…,y18}.窗口沿幀序每次向右滑動一幀來獲取新樣本,即取下一個樣本時,滑動窗口末尾處新增下一幀數(shù)據(jù),窗口起始處刪除起始幀數(shù)據(jù),保持樣本的大小不變,獲取新增幀標簽為新樣本標簽,據(jù)此,通過窗口不斷滑動得到所有的訓練樣本.

圖4 樣本處理示意圖Fig.4 Processing of samples

5 實 驗

本文的實驗執(zhí)行環(huán)境為:windows 10,處理器為 Intel(R)Core(TM)i7-6700 CPU @3.4GHz,內存8G,顯卡為 GTX 1060 3GB.編程語言為python3.6,開發(fā)工具為Pycharm 2017,使用Keras框架進行網絡搭建,訓練和測試.

5.1 評價標準

實驗樣本分為四類,其中真正例TP(True Position)表示正樣本被模型正確分類為正樣本;假正例FP(False Position)表示負樣本被模型錯誤分類為正樣本;假反例FN(False Negative)表示正樣本被模型錯誤分類為負樣本;真反例TN(True Negative)表示負樣本被模型正確分類為負樣本.

本文選用了摔倒檢測常用的7個評價標準來評判實驗結果的可靠性.

精確度(Precision)表示模型正確分類的摔倒樣本占分類為摔倒樣本的比重,如公式(8)所示.

(8)

召回率(Recall)表示模型正確分類的摔倒樣本占實際摔倒樣本的比重,如公式(9)所示.

(9)

真負率(True Negative Rate,TNR)表示模型正確分類的非摔倒樣本占實際非摔倒樣本的比重,如公式(10)所示.

(10)

漏警率(MA)表示模型錯分為非摔倒的摔倒樣本占實際摔倒樣本總數(shù)的比重,如公式(11)所示.

(11)

虛警率(FA)表示模型錯分為摔倒的非摔倒樣本占所有分類為摔倒樣本的比重,如公式(12)所示.

(12)

準確率(Accuracy)表示模型分類正確(包括摔倒和非摔倒)的樣本占所有樣本的比重,是評價模型整體性能的評價指標,如公式(13)所示.

(13)

F1-measure(又稱F-score)為分類模型常用的一個綜合性評價指標,如公式(14)所示.

(14)

5.2 實驗結果分析

MuHAVi-MAS17數(shù)據(jù)集中,選取摔倒過程和摔倒后躺下的狀態(tài)為摔倒樣本,其他狀態(tài)行為為非摔倒樣本(如站立,行走,起身等).該數(shù)據(jù)集包含7個人的樣本,本文采用交叉驗證的方式進行實驗,即每次取一個人的數(shù)據(jù)作為測試集,其他六人數(shù)據(jù)為訓練集,先求得每個人作為測試集的測試結果,最后求7次測試結果的平均值為最終結果,保證實驗的可靠性.

MuHAVi-MAS17數(shù)據(jù)集在7個評價標準下的實驗結果如表1所示,其中表頭第一行的p1-p7表示第1個人到第7個人,Average為7個人測試結果的平均值.表1實驗結果表明,本文模型在MuHAVi-MAS17數(shù)據(jù)集上達到了92%的識別率.

表1 MuHAVi-MAS17數(shù)據(jù)集結果
Table 1 Performance on MuHAVi-MAS17 dataset

p1p2p3p4p5p6p7AveragePrecision0.89 0.84 0.91 0.99 0.93 0.66 0.67 0.84 Recall0.85 0.80 0.72 0.80 0.83 0.80 0.89 0.81 TNR0.97 0.95 0.97 1.00 0.97 0.94 0.93 0.96 MA0.15 0.20 0.28 0.20 0.17 0.20 0.11 0.19 FA0.11 0.16 0.09 0.01 0.07 0.34 0.33 0.16 F-score0.87 0.82 0.80 0.88 0.88 0.73 0.76 0.82 Accuracy0.95 0.91 0.89 0.94 0.92 0.92 0.92 0.92

為了進一步評價模型性能,本文以Alphapose為骨骼檢測模型,選取了三個分類模型進行對比.分別是支持向量機(Support Vector Machine,SVM)、多層感知器(Multilayer Perceptron,MLP)和隨機森林(Random Forest,RF).SVM基于結構風險最小化理論,通過找到幾個支持向量來確定一個超平面使樣本分為兩類,并且間隔最大,算法不容易過擬合,是介于簡單算法和神經網絡算法之間性能極佳的算法.MLP是一種典型的神經網絡模型,采用前向結構,每一層之間都進行全連接,是單層感知機的推廣,能夠解決單層感知機不能解決的非線性問題.RF采用決策樹作為基學習器,基于Baggiing思想集成,對于分類回歸、異常點檢測等具有良好的特性.以上三個模型都是分類模型中經常使用且性能較好的機器學習方法,因此本文選擇與這些模型進行對比.

對比模型在MuHAVi-MAS17數(shù)據(jù)集上的實驗結果如表2所示,表中分別為3個對比模型和本文模型在7個評價指標下的實驗對比結果.從表中可以看出,本文提出的模型在多個評價指標上明顯優(yōu)于其他三個模型.

Accuracy是評價模型整體分類性能的指標,F-score是分類模型最常用的綜合性評價指標,圖5圖6分別為設置不同樣本大小訓練模型得到的4個模型精確度對比折線圖和F-score對比折線圖.從圖中可以看出,本文模型在不同size上基本優(yōu)于其他三個模型,表現(xiàn)出更好的性能.

表2 MuHAVi-MAS17不同模型對比結果
Table 2 Performance of different models on MuHAVi-MAS17

SVMMLPRFoursPrecision0.78140.74680.81850.8406Recall0.22250.72490.78560.8140TNR0.98230.91980.94920.9596MA0.77750.27510.21440.1860FA0.21860.25320.18150.1594F-score0.33540.70310.7820.8206Accuracy0.79380.86270.90290.9214

Le2i數(shù)據(jù)集中正負樣本的選取規(guī)則同MuHAVi-MAS17數(shù)據(jù)集,該數(shù)據(jù)集包含4個不同室內場景,實驗分別對每個場景進行交叉驗證得到測試結果,4個場景測試結果的平均值作為最終結果.Le2i數(shù)據(jù)集在7個評價指標下的實驗結果如表3所示,實驗數(shù)據(jù)表明,本模型在該數(shù)據(jù)集上實現(xiàn)了99%以上的識別率.

圖5 精確度折線圖Fig.5 Accuracy line chart

圖6 F-score折線圖Fig.6 F-score line chart

表3 Le2i數(shù)據(jù)集結果
Table 3 Performance on le2i dataset

CoffeeHoomLectureOfficeAveragePrecision0.9988 0.9955 0.9990 1.0000 0.9983 Recall0.9992 0.9968 0.9558 0.9989 0.9877 TNR0.9983 0.9987 0.9992 0.8889 0.9713 MA0.0008 0.0032 0.0442 0.0011 0.0123 FA0.0012 0.0045 0.0010 0.0000 0.0017 F_score0.9990 0.9960 0.9755 0.9994 0.9925 Accuracy0.9987 0.9985 0.9950 0.9991 0.9979

文獻[19]采用雙流卷積神經網絡方法在Le2i數(shù)據(jù)集上進行實驗,該模型方法較新、結果較好,因此本文選擇跟文獻[19]進行對比.本文模型與文獻[19]方法在Le2i數(shù)據(jù)集上的對比結果如表4所示,表中包含4個場景的識別率和平均識別率,實驗數(shù)據(jù)表明,本文識別率比文獻[19]中3D-CNN方法提高8%,比Two-Stream CNN方法提高3%.

表4 Le2i數(shù)據(jù)集對比結果
Table 4 Compare on le2i dataset

CoffeeHoomLectureOfficeAverage3D-CNN[19]0.900.930.950.880.915Two-Stream CNN[19]0.94 0.98 0.97 0.95 0.96 ours0.9987 0.9985 0.9950 0.9991 0.9979

6 總 結

針對現(xiàn)有人體摔倒檢測方法對不同場景的適應性低和誤檢率高等問題,本文提出了一種基于Alphapose和LSTM的摔倒檢測模型,該模型使用Alphapose對人體骨骼關鍵點進行檢測,去除不同場景帶來的干擾,使用骨骼關鍵點數(shù)據(jù)訓練LSTM來實現(xiàn)人體摔倒檢測.本文在MuHAVi-MAS17和Le2i兩個公開數(shù)據(jù)集上進行實驗,并與多種檢測模型進行對比,實驗結果表明本文模型在不同場景、不同視角和不同摔倒姿勢情況下都有較高的檢測精度.