衛(wèi)少潔 周永霞

(中國(guó)計(jì)量大學(xué)信息工程學(xué)院 浙江 杭州 310018)

0 引 言

在我國(guó)，摔倒是老年人傷害死亡的首要原因。據(jù)統(tǒng)計(jì)，高齡老年人近一年的摔倒發(fā)生率為31.8%，其中32.5%的摔倒情況需要醫(yī)療救治，甚至危及生命[1]。當(dāng)老人發(fā)生意外摔倒時(shí)，未能及時(shí)發(fā)現(xiàn)并救治極容易造成無(wú)法挽回的危害。因此，急需一種智能高效的方法來(lái)解決摔倒行為檢測(cè)問(wèn)題。

目前，針對(duì)摔倒行為檢測(cè)的研究方法主要有3種類型，分別為可穿戴設(shè)備法、環(huán)境感知法和計(jì)算機(jī)視覺(jué)法?？纱┐髟O(shè)備法通過(guò)手機(jī)、手環(huán)、智能衣物等設(shè)備中的傳感器獲取運(yùn)動(dòng)數(shù)據(jù)，而環(huán)境感知法則使用外部環(huán)境(如地板、墻壁等)中的嵌入式傳感器獲取人體運(yùn)動(dòng)數(shù)據(jù)，結(jié)合SVM、ANN、RNN等算法，對(duì)傳感器數(shù)據(jù)提取特征來(lái)檢測(cè)摔倒行為的發(fā)生[2-6]?？纱┐髟O(shè)備法需隨身攜帶或穿戴檢測(cè)設(shè)備，存在諸多不便，且誤檢率較高；環(huán)境感知法存在場(chǎng)景要求復(fù)雜、檢測(cè)范圍局限和檢測(cè)設(shè)備昂貴等缺點(diǎn)，在實(shí)際情況下可操作性較差，因此本文采取計(jì)算機(jī)視覺(jué)法進(jìn)行摔倒檢測(cè)。計(jì)算機(jī)視覺(jué)法通常以監(jiān)控?cái)z像頭采集的視頻作為數(shù)據(jù)，通過(guò)圖像處理和機(jī)器學(xué)習(xí)等方法進(jìn)行特征提取和算法建模，文獻(xiàn)[7]采用高斯混合模型提取前景圖像，定位人頭位置并計(jì)算人體信息，通過(guò)設(shè)定人體高度和寬高比等特征閾值來(lái)判斷摔倒。隨著深度學(xué)習(xí)算法在圖片分類、識(shí)別等多領(lǐng)域取得巨大成功，越來(lái)越多的學(xué)者嘗試使用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)人體特征，用于摔倒檢測(cè)。文獻(xiàn)[8]通過(guò)對(duì)圖片提取光流信息作為運(yùn)動(dòng)特征，基于光流圖像訓(xùn)練VGG16網(wǎng)絡(luò)進(jìn)行人體狀態(tài)檢測(cè)；文獻(xiàn)[9]用背景減除法獲取人體輪廓圖，使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取特征，最后用softmax計(jì)算概率來(lái)判決摔倒；文獻(xiàn)[10]提出了一種基于3D卷積和LSTM相結(jié)合的摔倒檢測(cè)算法，通過(guò)3DCNN提取視頻中的運(yùn)動(dòng)特征，結(jié)合LSTM提取時(shí)序特征，實(shí)現(xiàn)摔倒判別，該模型由于參數(shù)量極大，訓(xùn)練過(guò)程復(fù)雜，對(duì)硬件設(shè)備要求較高，因此在實(shí)際應(yīng)用中不易實(shí)現(xiàn)。目前，計(jì)算機(jī)視覺(jué)法多采用雙流法、多幀融合、3D卷積等提取時(shí)空特征，這些方法難以有效結(jié)合時(shí)序特征，導(dǎo)致誤檢率高、泛化性低。而使用LSTM提取時(shí)序特征的摔倒檢測(cè)模型大多是基于傳感器數(shù)據(jù)，在計(jì)算機(jī)視覺(jué)法中應(yīng)用較少，原因在于圖像特征維度較高，特征冗余使模型訓(xùn)練效率低下，影響模型檢測(cè)精度。

針對(duì)上述問(wèn)題，本文提出了一種新的人體輪廓關(guān)鍵點(diǎn)特征提取方法，并將該特征提取方法和LSTM相結(jié)合提出了一種新的摔倒行為檢測(cè)模型(簡(jiǎn)稱C- LSTM)。C-LSTM模型首先檢測(cè)多幀圖像中人體輪廓關(guān)鍵點(diǎn)和質(zhì)心的坐標(biāo)，得到人體關(guān)鍵點(diǎn)坐標(biāo)序列；然后將坐標(biāo)序列分成x坐標(biāo)序列和y坐標(biāo)序列，使用兩個(gè)LSTM分別提取兩種坐標(biāo)序列中的時(shí)序特征；最后將兩個(gè)LSTM隱層輸出向量輸入全連接層得到檢測(cè)結(jié)果。該模型在摔倒行為檢測(cè)和多種行為識(shí)別上都達(dá)到了較高精度，且與深層卷積網(wǎng)絡(luò)模型相比，具有訓(xùn)練速度快、對(duì)設(shè)備要求低等優(yōu)點(diǎn)。

1 相關(guān)算法原理

1.1 人體特征提取方法

人體運(yùn)動(dòng)過(guò)程中，各個(gè)部位關(guān)鍵點(diǎn)在圖片序列中的坐標(biāo)變化非常明顯且具有特異性，因此，本文通過(guò)結(jié)合人體輪廓關(guān)鍵點(diǎn)坐標(biāo)和質(zhì)心坐標(biāo)作為人體特征來(lái)進(jìn)行摔倒檢測(cè)算法研究。

已有的輪廓特征提取方法通常計(jì)算輪廓曲線上每個(gè)點(diǎn)到質(zhì)心的距離作為特征，但該方法存在三個(gè)問(wèn)題：(1) 相鄰幀獲取到的輪廓曲線點(diǎn)集無(wú)對(duì)應(yīng)性，輪廓通常基于人體在圖片中最上方像素點(diǎn)開始沿某一方向獲取，但該輪廓點(diǎn)集的選取相對(duì)于人體部位而言并沒(méi)有統(tǒng)一性，只是秉承最上方原則；(2) 通過(guò)計(jì)算距離之后的特征變成了相對(duì)位置變化，不能有效表征人體的整體移動(dòng)變化；(3) 每幅圖片中人體的輪廓點(diǎn)個(gè)數(shù)多且不固定，對(duì)于數(shù)據(jù)建模而言特征冗余且不規(guī)則。針對(duì)以上問(wèn)題，本文基于人體質(zhì)心提出了一種新的輪廓特征提取方法，提取過(guò)程如圖1所示，包括輪廓檢測(cè)、質(zhì)心計(jì)算和輪廓關(guān)鍵點(diǎn)提取。

圖1 特征提取示意圖

具體步驟如下：

2) 遍歷輪廓點(diǎn)坐標(biāo)集，分別計(jì)算人體輪廓在x方向和y方向上的質(zhì)心坐標(biāo)，計(jì)算過(guò)程如式(1)所示：

(1)

式中：p為像素值，最終得到質(zhì)心坐標(biāo)(xc,yc)(如圖1(b)所示)。

3) 以質(zhì)心為基準(zhǔn)，根據(jù)式(2)在輪廓點(diǎn)坐標(biāo)集中查找與質(zhì)心橫坐標(biāo)xc相等的點(diǎn)組成集合s，取s中y值最大的點(diǎn)(xc,ymax)為輪廓起始點(diǎn)，如圖1(c)圖所示，線段上下兩端分別為起始點(diǎn)和質(zhì)心，然后將輪廓長(zhǎng)度30等分計(jì)算間隔，按間隔在輪廓曲線上逆時(shí)針提取得到30個(gè)輪廓關(guān)鍵點(diǎn)。

(2)

4) 結(jié)合質(zhì)心坐標(biāo)和30個(gè)輪廓關(guān)鍵點(diǎn)坐標(biāo)作為本文的人體特征。

1.2 LSTM算法原理

1994年，由Bengio等[11]提出了一種循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)，循環(huán)使前一時(shí)刻產(chǎn)生的信息傳遞到當(dāng)前時(shí)刻，使網(wǎng)絡(luò)能夠記憶歷史信息從而實(shí)現(xiàn)對(duì)時(shí)序特征的處理。但是，RNN訓(xùn)練困難，隨著序列長(zhǎng)度增加，過(guò)多的輸入會(huì)導(dǎo)致梯度消失和梯度爆炸，因此RNN無(wú)法解決長(zhǎng)期依賴的問(wèn)題，導(dǎo)致在實(shí)際問(wèn)題中很難應(yīng)用。

針對(duì)這些問(wèn)題， Hochreiter等[12]提出了長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)。LSTM通過(guò)增加細(xì)胞狀態(tài)并結(jié)合門控制，使神經(jīng)網(wǎng)絡(luò)能夠默認(rèn)記憶長(zhǎng)期信息，解決了長(zhǎng)期依賴問(wèn)題。

為了更好地理解LSTM原理，圖2展示了一個(gè)LSTM神經(jīng)元結(jié)構(gòu)，f、i、O、C分別表示遺忘門、輸入門、輸出門和細(xì)胞狀態(tài)。

圖2 LSTM神經(jīng)元結(jié)構(gòu)示意圖

通過(guò)門控制和更新細(xì)胞狀態(tài)來(lái)記憶長(zhǎng)短期信息。式(3)-式(5)分別表示輸入門、輸出門和遺忘門的計(jì)算過(guò)程:

it=σ(Wi·[ht-1,xt]+bi)

(3)

Ot=σ(Wo·[ht-1,xt]+bo)

(4)

ft=σ(Wf·[ht-1,xt]+bf)

(5)

式中：ht-1為t-1時(shí)刻的隱層輸出;xt為t時(shí)刻的輸入信息。LSTM有效結(jié)合了上一時(shí)刻信息和當(dāng)前輸入信息。當(dāng)前時(shí)刻細(xì)胞候選狀態(tài)計(jì)算如下所示：

(6)

結(jié)合輸入門和遺忘門來(lái)更新t時(shí)刻的細(xì)胞狀態(tài)Ct：

(7)

最后通過(guò)輸出門和細(xì)胞狀態(tài)計(jì)算當(dāng)前時(shí)刻LSTM的隱層輸出：

ht=Ot*tanh(Ct)

(8)

式中：W表示權(quán)值矩陣；b為偏置值；σ和tanh分別為Sigmoid激活函數(shù)和雙曲正切激活函數(shù)。LSTM通過(guò)結(jié)合門控制和不斷更新每個(gè)時(shí)刻的細(xì)胞狀態(tài)，解決了網(wǎng)絡(luò)的長(zhǎng)期依賴問(wèn)題，且有效避免了訓(xùn)練過(guò)程中可能出現(xiàn)的梯度爆炸和梯度消失問(wèn)題，使網(wǎng)絡(luò)能夠很好地對(duì)時(shí)序特征進(jìn)行學(xué)習(xí)。

2 摔倒檢測(cè)模型

2.1 模型結(jié)構(gòu)

本文的人體摔倒檢測(cè)模型結(jié)構(gòu)如圖3所示，首先對(duì)圖像進(jìn)行輪廓檢測(cè)、質(zhì)心計(jì)算、輪廓關(guān)鍵點(diǎn)提取，得到人體的31個(gè)特征關(guān)鍵點(diǎn)坐標(biāo)，連續(xù)檢測(cè)多幀圖像得到關(guān)鍵點(diǎn)坐標(biāo)序列?；谌梭w在x軸和y軸上運(yùn)動(dòng)變化的差異性，將31個(gè)關(guān)鍵點(diǎn)坐標(biāo)分為x坐標(biāo)值序列和y坐標(biāo)值序列，經(jīng)過(guò)連續(xù)多幀檢測(cè)，當(dāng)坐標(biāo)序列長(zhǎng)度達(dá)到LSTM網(wǎng)絡(luò)設(shè)置的序列長(zhǎng)度時(shí)，將x坐標(biāo)序列和y坐標(biāo)序列分別輸入兩個(gè)LSTM網(wǎng)絡(luò)進(jìn)行時(shí)序特征提取。之后將兩個(gè)LSTM網(wǎng)絡(luò)隱層輸出向量展成一維，合并成一個(gè)一維向量，輸入一個(gè)全連接層，通過(guò)全連接層輸出最終檢測(cè)結(jié)果。

圖3 C-LSTM摔倒檢測(cè)模型圖

2.2 模型詳細(xì)設(shè)置

C-LSTM模型的輸入為視頻幀序列，經(jīng)過(guò)人體特征提取、時(shí)序特征提取，最后通過(guò)全連接層輸出分類結(jié)果。表1為本文模型的詳細(xì)參數(shù)設(shè)置，本文選用均方誤差(Mean-square error，MSE)作為模型的損失函數(shù)，采用ReLU(Rectified linear unit)激活函數(shù)和Adam(adaptive momentum)優(yōu)化器構(gòu)建模型。

表1 模型參數(shù)設(shè)置

3 數(shù)據(jù)集與數(shù)據(jù)處理

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)數(shù)據(jù)集為MuHAVi-MAS14[13]，該數(shù)據(jù)集是一個(gè)多攝像頭行為識(shí)別數(shù)據(jù)集，包含多種日常行為和摔倒行為。表2為數(shù)據(jù)集詳細(xì)介紹，包括14種行為：左摔(CL)、右摔(CR)、左起身(SL)、右起身(SR)、右踢(KR)、右擊(PR)、跳起來(lái)踢(GK)、跳起來(lái)拳擊(GP)、從左向右跑(RLR)、從右向左跑(RRL)、從左向右走(WLR)、從右向左走(WRL)、左轉(zhuǎn)身(TL)和右轉(zhuǎn)身(TR)，以及視頻樣本數(shù)量，其中m為攝像頭個(gè)數(shù)，n為每個(gè)視角的視頻樣本數(shù)。

表2 數(shù)據(jù)集介紹

3.2 數(shù)據(jù)處理

本文通過(guò)滑窗法獲取訓(xùn)練樣本。圖4演示了在一段視頻數(shù)據(jù)上獲取訓(xùn)練樣本的過(guò)程，設(shè)當(dāng)前視頻行為類別標(biāo)簽為L(zhǎng)，F(xiàn)(n)為第n幀圖像，使用長(zhǎng)度為size的窗口，步長(zhǎng)為1幀，在視頻圖像序列上沿著幀序滑動(dòng)，窗口內(nèi)的圖像序列作為一條訓(xùn)練樣本，L為該訓(xùn)練樣本標(biāo)簽，通過(guò)滑動(dòng)窗口將一段視頻分為多個(gè)訓(xùn)練樣本。

圖4 樣本選取示意圖

然后對(duì)獲取到的樣本序列進(jìn)行歸一化處理，從而加速模型收斂，計(jì)算如式(9)所示：

(9)

式中：w和h分別為圖片寬度和高度。

4 實(shí)驗(yàn)與分析

4.1 評(píng)價(jià)標(biāo)準(zhǔn)

為了驗(yàn)證模型的可靠性，本文選取了精確度(Precision)、召回率(Recall)、真負(fù)率(True Negative Rate,TNR)、漏警率(MA)、虛警率(FA)、準(zhǔn)確率(Accuracy)和F1-score 7個(gè)評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估，計(jì)算方法如式(10)-式(16)所示。

(10)

(11)

(12)

(13)

(14)

(16)

4.2 對(duì)比模型

為評(píng)估C-LSTM模型性能，在特征提取方面本文選取了文獻(xiàn)[14]中的人體輪廓特征提取方法、VGG16和Resnet50網(wǎng)絡(luò)，在分類方面選取了隨機(jī)森林(Random Forest，RF)、支持向量機(jī)(Support Vector Machine，SVM)、多層感知機(jī)(Multilayer Perceptron，MLP)進(jìn)行對(duì)比實(shí)驗(yàn)。

文獻(xiàn)[14]輪廓特征提取方法采用輪廓點(diǎn)到質(zhì)心的加權(quán)距離作為特征，有效表征了水平和垂直兩方向變化，具有平移不變性，是效果較好的輪廓特征方法。

VGG16是近年來(lái)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，包含16個(gè)卷積層和全連接層，卷積層全部采用了3×3的小卷積，具有良好的分類性能。

Resnet50是一種基于殘差結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)快捷連接和恒等映射解決了網(wǎng)絡(luò)退化問(wèn)題，使深層網(wǎng)絡(luò)能夠獲得更好的性能，在檢測(cè)、分割、識(shí)別等多領(lǐng)域均表現(xiàn)出優(yōu)良性能。

RF由多決策樹通過(guò)集成學(xué)習(xí)方法構(gòu)成，每一個(gè)決策樹對(duì)樣本預(yù)測(cè)一個(gè)結(jié)果，通過(guò)綜合考量所有結(jié)果最終給出預(yù)測(cè)。隨機(jī)森林對(duì)大部分?jǐn)?shù)據(jù)集都表現(xiàn)良好，精確度較高，不容易發(fā)生過(guò)擬合，且泛化能力強(qiáng)。

SVM基于統(tǒng)計(jì)學(xué)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，對(duì)二分類問(wèn)題性能極佳，適用于小樣本學(xué)習(xí)，對(duì)異常值不敏感，具有良好的魯棒性。

MLP是一種神經(jīng)網(wǎng)絡(luò)模型，包含輸入層、隱藏層和輸出層，層與層之間全連接，對(duì)分類問(wèn)題表現(xiàn)突出。

將本文提出的人體特征提取方法和RF、SVM、MLP結(jié)合得到C-RF、C-SVM、C-MLP對(duì)比模型；將文獻(xiàn)[14]特征提取方法與LSTM結(jié)合得到C0-LSTM對(duì)比模型，同時(shí)，采用多幀融合方法和卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，設(shè)置融合幀數(shù)為10，得到VGG16-10和Resnet50-10對(duì)比模型。

4.3 實(shí)驗(yàn)結(jié)果分析

表3為不同模型在多評(píng)價(jià)指標(biāo)下的實(shí)驗(yàn)對(duì)比結(jié)果。實(shí)驗(yàn)顯示，結(jié)合本文特征方法的多個(gè)模型識(shí)別性能較好，證明本文特征優(yōu)于文獻(xiàn)[14]特征，此外，C-RF、C-MLP與VGG16-10、Resnet50-10模型性能相近，與深層網(wǎng)絡(luò)模型相比結(jié)構(gòu)簡(jiǎn)單、計(jì)算開銷更小，驗(yàn)證了本文人體特征提取方法的有效性，而本文提出的C-LSTM模型在該數(shù)據(jù)集上達(dá)到了99%以上的識(shí)別率，且在多評(píng)價(jià)指標(biāo)上優(yōu)于其他對(duì)比模型，驗(yàn)證了本文模型的有效性。

表3 MuHAVi-MAS14不同模型對(duì)比結(jié)果

F1-score通過(guò)結(jié)合Precision指標(biāo)和Recall指標(biāo)，能夠綜合評(píng)價(jià)模型的整體性能。圖5為設(shè)置不同序列長(zhǎng)度情況下C-LSTM模型與C-SVM、C-MLP、C-RF模型的F1-score對(duì)比折線圖，圖中橫軸為不同序列長(zhǎng)度size，縱軸為F1-score分?jǐn)?shù)，結(jié)果表明，本文模型在以不同size序列為輸入情況下實(shí)驗(yàn)評(píng)分優(yōu)于其他3個(gè)對(duì)比模型，表現(xiàn)出良好的綜合性能。

圖5 F1-score折線圖

為了驗(yàn)證模型的泛化能力，本文在MuHAvi-MAS14數(shù)據(jù)集上對(duì)14種行為進(jìn)行了多分類識(shí)別，其中多個(gè)行為之間相似度明顯，識(shí)別難度較大。表4為本文模型與深度學(xué)習(xí)模型，以及文獻(xiàn)[14-16]中幾種方法在該數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比，其中，本文模型識(shí)別率為90.83%，相比較其他幾種模型均有提升，驗(yàn)證了本文模型的泛化性。

表4 MAS14多行為識(shí)別結(jié)果對(duì)比

圖6為C-LSTM模型多分類結(jié)果的混淆矩陣圖，其中橫軸為14種行為的預(yù)測(cè)標(biāo)簽，縱軸為樣本真實(shí)標(biāo)簽，從圖中可看出C-LSTM在絕大多數(shù)行為類別上精度很高，驗(yàn)證了本文模型的泛化性能。

圖6 多行為識(shí)別混淆矩陣圖

5 結(jié) 語(yǔ)

本文基于人體輪廓提出了一種新的人體特征提取方法，通過(guò)結(jié)合該方法和LSTM構(gòu)建了一種新的人體摔倒檢測(cè)模型(C-LSTM)，并將其擴(kuò)展至多行為識(shí)別，為人體分割特征和行為識(shí)別問(wèn)題提供了一種新的思路。C-LSTM模型從圖像中提取人體輪廓關(guān)鍵點(diǎn)和質(zhì)心坐標(biāo)作為人體特征，使用LSTM對(duì)特征序列進(jìn)行時(shí)序特征提取來(lái)實(shí)現(xiàn)人體摔倒檢測(cè)。本文在MuHAVi- MAS14公開數(shù)據(jù)集上進(jìn)行人體摔倒檢測(cè)和多行為檢測(cè)實(shí)驗(yàn)，并與多種模型進(jìn)行對(duì)比，實(shí)驗(yàn)表明：本文模型優(yōu)于對(duì)比模型，其人體摔倒識(shí)別率達(dá)到99%以上，多行為識(shí)別率達(dá)到90%以上，驗(yàn)證了本文模型的有效性和泛化性。