吳海濤 陸志平 胡晨駿

(南京中醫(yī)藥大學(xué)人工智能與信息技術(shù)學(xué)院 江蘇 南京 210046)

0 引 言

人體活動(dòng)識(shí)別(Human Activity Recognition， HAR)[1]是指根據(jù)傳感器得到的時(shí)序數(shù)據(jù)，將活動(dòng)分類為已知的預(yù)定義的人體活動(dòng)類別。在當(dāng)前可穿戴設(shè)備飛速發(fā)展和大量應(yīng)用的情況下，采集的人體活動(dòng)和生命體征等數(shù)據(jù)越來越精確，從而使得人體活動(dòng)信息的捕獲質(zhì)量和HAR的精度越來越高。HAR精度的提升對(duì)健康監(jiān)視系統(tǒng)、遠(yuǎn)程醫(yī)療保健、人機(jī)交互、康復(fù)醫(yī)療等領(lǐng)域有重要的意義[2]。例如：文獻(xiàn)[3]總結(jié)了可穿戴設(shè)備數(shù)據(jù)在慢性病預(yù)防與管理上的應(yīng)用，指出有效的數(shù)據(jù)反饋能夠增加人體活動(dòng)、增強(qiáng)患者健康、改善疾病預(yù)后、降低醫(yī)療費(fèi)用并幫助臨床使用者做出醫(yī)療決策；文獻(xiàn)[4]提出一種集成式傳感器網(wǎng)絡(luò)——CareNet的架設(shè)，并用于遠(yuǎn)程的健康護(hù)理和醫(yī)療保健；文獻(xiàn)[5]總結(jié)了無線傳輸?shù)膫鞲衅骶W(wǎng)絡(luò)在康復(fù)醫(yī)學(xué)上的應(yīng)用，指出傳感器反饋的信息能夠幫助進(jìn)行康復(fù)訓(xùn)練的患者即時(shí)監(jiān)測(cè)，這些信息在幫助矯正康復(fù)姿勢(shì)的層面上也有研究價(jià)值。

雖然通過視頻采集也能夠進(jìn)行人體活動(dòng)識(shí)別，但是，隱私保護(hù)、采集盲點(diǎn)、道德倫理等問題使得這種形式的信息采集存在諸多缺陷，應(yīng)用場(chǎng)合也有諸多限制。文獻(xiàn)[6]提到可穿戴式健康監(jiān)測(cè)系統(tǒng)在進(jìn)行實(shí)時(shí)監(jiān)護(hù)時(shí)具有對(duì)人體的非介入性和無創(chuàng)性等優(yōu)點(diǎn)，可見，HAR在規(guī)避隱私保護(hù)等問題的同時(shí)，確保了采集信息的準(zhǔn)確性和采集對(duì)象的安全性。HAR的相關(guān)研究不僅需要考慮技術(shù)和應(yīng)用方面的問題，也需要考慮隱私保護(hù)等社會(huì)問題。因此，本文基于傳感器進(jìn)行人體行為識(shí)別的研究。

健康手環(huán)、智能手表等設(shè)備都可以作為HAR提供數(shù)據(jù)的傳感器。常用的HAR傳感器有三軸加速度傳感器、陀螺儀和地磁場(chǎng)傳感器等慣性測(cè)量單元(Inertial Measurement Unit， IMU)、心率傳感器和溫度傳感器等，這些設(shè)備體積小巧，能夠方便地嵌入到可穿戴設(shè)備中，提供用戶的各種生理指標(biāo)。傳感器數(shù)據(jù)的多樣性提高了HAR的準(zhǔn)確性。

經(jīng)過不斷發(fā)展的神經(jīng)網(wǎng)絡(luò)在解決HAR任務(wù)上有獨(dú)到的優(yōu)勢(shì)。本文綜合考量了神經(jīng)網(wǎng)絡(luò)中卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，設(shè)計(jì)了CNN-GRU混合模型并予以改良，以便自動(dòng)提取傳感器數(shù)據(jù)的特征并加入對(duì)時(shí)序依賴問題的考慮，實(shí)現(xiàn)對(duì)基礎(chǔ)人體狀態(tài)與常見康復(fù)保健活動(dòng)的辨識(shí)。

1 相關(guān)工作

1.1 人體活動(dòng)識(shí)別解決方案

采用神經(jīng)網(wǎng)絡(luò)進(jìn)行人體活動(dòng)識(shí)別的流程大致分為數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理和訓(xùn)練并驗(yàn)證模型三個(gè)步驟，如圖1所示。

圖1 人體活動(dòng)識(shí)別研究流程

采用神經(jīng)網(wǎng)絡(luò)進(jìn)行人體活動(dòng)識(shí)別屬于深度學(xué)習(xí)中的多元分類任務(wù)，數(shù)據(jù)采集工作必須以預(yù)定義活動(dòng)類別為基礎(chǔ)。在實(shí)驗(yàn)室環(huán)境中，一名或多名受專業(yè)訓(xùn)練的測(cè)試者按一定的規(guī)范完成一系列完整的指令活動(dòng)，并采集與之相關(guān)的數(shù)據(jù)，采集完成后根據(jù)實(shí)際活動(dòng)和其發(fā)生的時(shí)間節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行標(biāo)注。

數(shù)據(jù)采集中難免會(huì)產(chǎn)生錯(cuò)誤數(shù)據(jù)，例如，利用無線技術(shù)遠(yuǎn)程記錄數(shù)據(jù)，數(shù)據(jù)集可能因通信干擾等問題產(chǎn)生缺失值，從而影響模型訓(xùn)練的結(jié)果，而數(shù)據(jù)預(yù)處理可使模型訓(xùn)練得到更為精確的結(jié)果。數(shù)據(jù)預(yù)處理將通過線性插值等方式填充數(shù)據(jù)或簡單剔除無效數(shù)據(jù)。此外，提供模型訓(xùn)練的數(shù)據(jù)若不夠充足，需要數(shù)據(jù)增強(qiáng)以擴(kuò)充樣本容量，樣本數(shù)據(jù)的增強(qiáng)可使用添加高斯噪聲的方式進(jìn)行處理。同時(shí)，數(shù)據(jù)需調(diào)整至指定維度才能作為模型的輸入。動(dòng)態(tài)滑動(dòng)窗口方法可有效應(yīng)用于人體活動(dòng)識(shí)別的數(shù)據(jù)處理中[7]。該方法要求確定滑動(dòng)窗口的大小和步長，并使每個(gè)窗口與特定活動(dòng)相關(guān)聯(lián)。一個(gè)滑動(dòng)窗口代表一段時(shí)間的活動(dòng)數(shù)據(jù)，且一般不將相鄰窗口重疊。較小的滑動(dòng)窗口用于簡單的瞬時(shí)活動(dòng)辨識(shí)，且不需要太大的運(yùn)算開銷[8]。動(dòng)態(tài)滑動(dòng)窗口方法能夠使數(shù)據(jù)集的維度符合模型輸入的要求。

將完成預(yù)處理的數(shù)據(jù)集按比例劃分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集用于模型的訓(xùn)練。模型訓(xùn)練的效果既取決于訓(xùn)練數(shù)據(jù)集的可靠性，也取決于采用的機(jī)器學(xué)習(xí)算法。傳統(tǒng)的機(jī)器學(xué)習(xí)算法如支持向量機(jī)、決策樹、隱馬爾可夫模型等，在人體活動(dòng)識(shí)別上已有廣泛的應(yīng)用[9-10]。但是這些方案過度依賴于傳感器數(shù)據(jù)特征的全面性和深層的專家領(lǐng)域知識(shí)，操作難度大且泛化能力弱。而神經(jīng)網(wǎng)絡(luò)作為人工智能的分支迅速發(fā)展，使得HAR問題的解決不需要特征工程的相關(guān)知識(shí)。

1.2 人體活動(dòng)識(shí)別的神經(jīng)網(wǎng)絡(luò)模型

鑒于傳統(tǒng)機(jī)器學(xué)習(xí)算法的局限性，本文采用神經(jīng)網(wǎng)絡(luò)研究人體活動(dòng)識(shí)別。神經(jīng)網(wǎng)絡(luò)既能避免上述繁瑣的問題，又兼具有良好操作性和準(zhǔn)確性[11]。神經(jīng)網(wǎng)絡(luò)仿真人類大腦的運(yùn)作模式，以人工神經(jīng)元為基本單位，基于張量運(yùn)算模擬人類神經(jīng)元的信息傳導(dǎo)，以實(shí)現(xiàn)對(duì)輸入信息的處理和反饋[12]?；谏窠?jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)又稱深度學(xué)習(xí)，是當(dāng)今成長最快的人工智能分支。

神經(jīng)網(wǎng)絡(luò)的激活函數(shù)用于模擬神經(jīng)元對(duì)事件觸發(fā)的響應(yīng)，具有生物學(xué)上的意義。常見的神經(jīng)元激活函數(shù)有四種，如表1所示。

表1 四種常見的神經(jīng)元激活函數(shù)

神經(jīng)網(wǎng)絡(luò)使用反向傳播與梯度下降使損失函數(shù)的結(jié)果最小化以獲得更佳的神經(jīng)網(wǎng)絡(luò)模型，期間權(quán)重與偏差參數(shù)不斷更新。得到訓(xùn)練完成的模型后，將特征數(shù)據(jù)輸入至參數(shù)固定的神經(jīng)網(wǎng)絡(luò)，通過多層神經(jīng)元模擬而成的感知，得到對(duì)應(yīng)的結(jié)果標(biāo)簽。

神經(jīng)網(wǎng)絡(luò)中最常見的卷積神經(jīng)網(wǎng)絡(luò)(CNN)[13]利用卷積核強(qiáng)化特征并降低噪聲，目前已在圖像識(shí)別中廣泛應(yīng)用。卷積核的本質(zhì)是矩陣，卷積層通過卷積核與樣本數(shù)據(jù)矩陣的卷積運(yùn)算采樣，將一個(gè)矩陣經(jīng)過卷積運(yùn)算后產(chǎn)生多個(gè)矩陣，以達(dá)到提取特征的目的。池化層起到了縮減采樣的作用，有效地縮小了矩陣的尺寸，減少了總參數(shù)量，加速了CNN的運(yùn)作。常見的池化操作有最大池化和平均池化。卷積與池化操作在提取樣本數(shù)據(jù)細(xì)微的局部特征上具有獨(dú)到優(yōu)勢(shì)。

一般的CNN由多個(gè)卷積層和池化層線性堆疊，以獲取更細(xì)微的特征。線性堆疊后，將網(wǎng)絡(luò)的輸出再通過平坦層展開連接至全連接層，最后與輸出層的預(yù)定義標(biāo)簽對(duì)應(yīng)。展開的卷積神經(jīng)網(wǎng)絡(luò)即參數(shù)共享的深度神經(jīng)網(wǎng)絡(luò)，在特征提取上已有顯著應(yīng)用。特征提取是解決HAR問題的關(guān)鍵，因此卷積神經(jīng)網(wǎng)絡(luò)能很好地應(yīng)用于HAR，并獲得較高的準(zhǔn)確度。卷積神經(jīng)網(wǎng)絡(luò)的原理如圖2所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)工作方式

鑒于樣本數(shù)據(jù)的抽象性，HAR任務(wù)常使用一維卷積核。一維卷積核可以理解為長度為1的二維卷積核，這樣便得到一維卷積神經(jīng)網(wǎng)絡(luò)。使用動(dòng)態(tài)滑動(dòng)窗口方法可將樣本切分成尺寸為[樣本容量, 滑動(dòng)步長, 通道數(shù)]的三維矩陣，這樣的三維矩陣能夠作為一維卷積層的輸入數(shù)據(jù)。

門控循環(huán)單元(Gated Recurrent Unit， GRU)[14]和長短期記憶(LSTM)[15]模型屬循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[16]的分支。其中GRU是LSTM的簡化改良，它合并了LSTM中的輸入門和遺忘門，僅擁有更新門和重置門，既能夠保持與LSTM相同的效果，又減少了參數(shù)量，同時(shí)也加速了訓(xùn)練過程。GRU是當(dāng)前最流行、效果最好的LSTM變體。與LSTM一樣，GRU對(duì)解決RNN的長期依賴問題有很大幫助。其原理如圖3所示。

圖3 門控循環(huán)神經(jīng)網(wǎng)絡(luò)工作方式

更新閘門通過判斷過去的信息是否對(duì)當(dāng)前狀態(tài)有貢獻(xiàn)以控制新數(shù)據(jù)流入記憶的程度。更新閘門的計(jì)算公式為：

(1)

式中：xt表示t時(shí)刻的輸入。

重置閘門控制記憶的狀態(tài)和記憶流失的程度。重置閘門的計(jì)算公式為：

(2)

(3)

(4)

式中：下標(biāo)t指示當(dāng)前狀態(tài)；帶下標(biāo)的W和U分別指GRU結(jié)構(gòu)各處的不同權(quán)值；帶下標(biāo)的b指偏差值；σ特指Sigmoid函數(shù)；φ特指tanh函數(shù)。由圖3可知，重置門和更新門分別對(duì)時(shí)序數(shù)據(jù)的短期和長期依賴關(guān)系提供支持。當(dāng)rt的值為0時(shí)，表示前一時(shí)刻的信息對(duì)當(dāng)前狀態(tài)不產(chǎn)生影響；當(dāng)rt的值為1時(shí)，則當(dāng)前狀態(tài)受影響。由式(4)可知，zt的取值決定隱藏參數(shù)為前一時(shí)刻的隱藏狀態(tài)還是預(yù)備更改的隱藏狀態(tài)。GRU通過這樣的方式處理時(shí)序性數(shù)據(jù)，使得前一時(shí)刻的輸入擁有影響當(dāng)前情況輸出的能力。

2 混合神經(jīng)網(wǎng)絡(luò)模型及其改良

2.1 設(shè)計(jì)原理及模型雛形設(shè)想

人體活動(dòng)依照一定順序非跳躍地完成，例如，躺與坐兩種常見的人體姿勢(shì)，從物理上是不可能瞬間地切換的，其間必然有一個(gè)轉(zhuǎn)換的過程。這種時(shí)序上的依賴問題也出現(xiàn)于心率數(shù)據(jù)中。可見，滑動(dòng)窗口捕獲的人體活動(dòng)的傳感器數(shù)據(jù)是時(shí)空完備的。理論上，純粹的神經(jīng)網(wǎng)絡(luò)在HAR的任務(wù)上并非足夠，卷積神經(jīng)網(wǎng)絡(luò)能解決的只是依照當(dāng)前狀態(tài)進(jìn)行識(shí)別的問題，而循環(huán)神經(jīng)網(wǎng)絡(luò)在特征提取上并不出色。理論上，將各模型線性堆疊實(shí)現(xiàn)模型的混合，整體的工作效果能得到提升。文獻(xiàn)[17]設(shè)計(jì)了LSTM-RNN混合模型以應(yīng)用于普適化人體活動(dòng)識(shí)別，并取得了良好的效果；文獻(xiàn)[18]將CNN與LSTM模型結(jié)合用于多穿戴傳感器的人體活動(dòng)識(shí)別，也得到了良好的結(jié)果。然而，在人體活動(dòng)識(shí)別的相關(guān)研究中，鮮有研究者將模型混合以并行考慮傳感器數(shù)據(jù)特征提取及其時(shí)序性。

此外，純粹的單一神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練中存在訓(xùn)練時(shí)間長、容易過擬合等問題，且容易陷入局部最小值，致使模型最終評(píng)估準(zhǔn)確率大幅降低。在實(shí)際應(yīng)用中，簡單的神經(jīng)網(wǎng)絡(luò)模型往往準(zhǔn)確度不高、泛化能力差。因此，純粹神經(jīng)網(wǎng)絡(luò)具有局限性。

綜上，為充分利用人體活動(dòng)數(shù)據(jù)的時(shí)空性，并考慮到純粹神經(jīng)網(wǎng)絡(luò)的局限，本文提出將卷積神經(jīng)網(wǎng)絡(luò)與門控循環(huán)神經(jīng)網(wǎng)絡(luò)線性混合，得到自動(dòng)提取傳感器數(shù)據(jù)特征和記憶時(shí)序序列能力兼得的CNN-GRU混合模型。予以多處改良并與其他傳統(tǒng)模型對(duì)比，在公開數(shù)據(jù)集OPPORTUNITY和MHEALTH上分別進(jìn)行四種基本的人體活動(dòng)識(shí)別任務(wù)和康復(fù)保健相關(guān)行為的辨識(shí)任務(wù)。

2.2 防止神經(jīng)網(wǎng)絡(luò)過擬合

過擬合即神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)集中表現(xiàn)良好，而在測(cè)試數(shù)據(jù)集中表現(xiàn)較差的情況，通常表現(xiàn)為當(dāng)訓(xùn)練周期數(shù)增多，訓(xùn)練數(shù)據(jù)集誤差減小，而驗(yàn)證數(shù)據(jù)集誤差沒有明顯變化。通常，在不變更數(shù)據(jù)集的情況下，防止過擬合的技術(shù)有早停、L2正則化和加入Dropout層。

其中，加入Dropout層是迄今最簡單、最高效的防止過擬合的方式[19]。它的工作方式為以給定的概率p隨機(jī)剔除神經(jīng)網(wǎng)絡(luò)的一些神經(jīng)元，如圖4所示，這既使得神經(jīng)網(wǎng)絡(luò)輕量化，又增強(qiáng)了神經(jīng)網(wǎng)絡(luò)的泛化能力。實(shí)際應(yīng)用中，Dropout不僅能減輕過擬合的問題，還可以增加準(zhǔn)確率，原因在于其消減了錯(cuò)誤分類結(jié)果對(duì)最終評(píng)估造成的影響。

圖4 Dropout層工作方式

在實(shí)驗(yàn)中，我們采用早停與加入Dropout層的方式來減輕過擬合現(xiàn)象，以提升模型在評(píng)估時(shí)的準(zhǔn)確率。

2.3 具體改良內(nèi)容

(1) 使用雙向門控循環(huán)單元。實(shí)際情況中，當(dāng)前狀態(tài)的輸出也可能受其之后輸入的影響，然而前述循環(huán)神經(jīng)網(wǎng)絡(luò)模型均只記憶當(dāng)前狀態(tài)之前的輸入。雙向門控循環(huán)單元(Bidirectional Gated Recurrent Unit， BiGRU)能夠靈活解決此問題，使得在產(chǎn)生當(dāng)前狀態(tài)的輸出時(shí)，其前后的輸入均被遍歷。BiGRU的原理如圖5所示,其中：下標(biāo)t指示當(dāng)前狀態(tài)；A和A′分別代表正向和逆向的隱藏狀態(tài)參數(shù)。

圖5 雙向門控循環(huán)單元工作方式

以⊕表示按元素相加，最終的輸出公式為：

yt=A⊕A′

(5)

由圖5可知，在當(dāng)前狀態(tài)t下，其后的輸入數(shù)據(jù)逆向處理，其輸出與之前正向數(shù)據(jù)產(chǎn)生的輸出合并，得到雙向門控循環(huán)單元網(wǎng)絡(luò)的輸出，該改良使模型附加以未來輸入數(shù)據(jù)作為依據(jù)的學(xué)習(xí)和評(píng)估方式。具體到HAR任務(wù)上，當(dāng)前動(dòng)作姿態(tài)的前一瞬間與后一瞬間的傳感器數(shù)據(jù)結(jié)合作為辨識(shí)依據(jù)，能使動(dòng)作辨識(shí)更加準(zhǔn)確。例如，心率數(shù)據(jù)在人體運(yùn)動(dòng)時(shí)的波動(dòng)變化可以結(jié)合其前后瞬間的心率傳感器數(shù)據(jù)進(jìn)行判斷。被試活動(dòng)后的心率恢復(fù)程度也能作為其判斷依據(jù)，通過判斷活動(dòng)的劇烈程度對(duì)其進(jìn)行分類。同理，當(dāng)前狀態(tài)后一瞬間的IMU數(shù)據(jù)能為活動(dòng)的正確分類提供支持。因此，BiGRU能為HAR精度的提升作出貢獻(xiàn)。

(2) 改良模型其他各層。卷積層通常作為研究圖像識(shí)別問題的神經(jīng)網(wǎng)絡(luò)模型的輸入層。二維圖像數(shù)據(jù)中某一像素塊與其周圍相鄰像素塊可能關(guān)聯(lián)，成為圖像的特征。然而過于抽象的傳感器數(shù)據(jù)不同于圖像數(shù)據(jù)，它們通常被輸入一維卷積層。除某些IMU能記錄四元數(shù)外，大部分IMU捕獲x軸、y軸和z軸三軸方向上的信息，各組信息間關(guān)聯(lián)性不大。因此使用大小為3、步長為3的卷積核，以使卷積層更好地提取特征。提高特征提取的針對(duì)性，能對(duì)人體活動(dòng)準(zhǔn)確分類做好鋪墊。

同樣，在圖像識(shí)別問題上，池化層一般能縮小矩陣尺寸以加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。最大池化一般可表示為：

C=[max{c1},max{c2},…,max{cn}]

(6)

由式(6)可知，池化層必將造成特征信息的流失。然而傳感器數(shù)據(jù)遠(yuǎn)不如圖像數(shù)據(jù)龐大，縮減采樣的操作必要性不大，且破壞了數(shù)據(jù)的固有格式，反而使準(zhǔn)確率降低。本研究在改進(jìn)的模型中剔除了池化層，此外還增加了其他各層的神經(jīng)元以取得更高的準(zhǔn)確率。

2.4 改良CNN-GRU混合模型

依據(jù)前述混合模型介紹，本文設(shè)計(jì)的CNN-GRU混合模型各層及各參數(shù)如表2所示。

表2 改進(jìn)前后的CNN-GRU混合模型各層及各參數(shù)

由表2可知，將CNN提取的人體活動(dòng)特征數(shù)據(jù)連接至GRU層的輸入，不僅規(guī)避了普通神經(jīng)網(wǎng)絡(luò)的缺陷，突破了純粹神經(jīng)網(wǎng)絡(luò)的局限性，而且使用較少參數(shù)量實(shí)現(xiàn)了自動(dòng)化特征提取和時(shí)序性考慮的融合，充分利用了傳感器數(shù)據(jù)的時(shí)間性和空間性。研究發(fā)現(xiàn)CNN-GRU混合模型還能夠繼續(xù)升級(jí)改進(jìn)，改進(jìn)前后的混合模型對(duì)比如表2所示。本文改良CNN-GRU的混合模型如圖6所示，基于該模型的實(shí)驗(yàn)過程可使用算法1-算法3描述。

圖6 改良CNN-GRU模型工作方式

算法1數(shù)據(jù)初始化

輸入：原始數(shù)據(jù)集dataset，需要使用的數(shù)據(jù)的列號(hào)集合c。

輸出：訓(xùn)練使用的特征數(shù)據(jù)Xnorm和特征數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽Ynorm。

1.f=Load(dataset)

// 根據(jù)原始數(shù)據(jù)集得到二維矩陣

2.f=Reset(f,index,column)

// 重設(shè)行列標(biāo)號(hào)

3.Xtmp1,Xtmp2, …,Xtmpn=ExtractFeature(f,c)

// 提取特征數(shù)據(jù)

4.Xtmp=Stack(Xtmp1,Xtmp2, …,Xtmpn)

// 堆疊組合特征數(shù)據(jù)

5.Ytmp=ExtractLabel(f,Xtmp)

// 根據(jù)特征數(shù)據(jù)提取標(biāo)簽

6.foreachin(Xtmp,step):

7.Xw+=CreateWin(each,step,sizeOfWin,Ytmp)

// 根據(jù)滑動(dòng)窗口生成樣本特征數(shù)據(jù)

8.Xnorm=Norm(Xw)

// 歸一化特征數(shù)據(jù)

9.Ynorm=OneHot(Ytmp,numberOfCategories)

// 將標(biāo)簽數(shù)據(jù)轉(zhuǎn)化為獨(dú)熱編碼

10.return(Xnorm,Ynorm)

算法2構(gòu)建并訓(xùn)練改良的CNN-GRU混合模型

輸入：特征數(shù)據(jù)Xnorm，特征數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽Ynorm。

輸出：混合模型model。

1.model=List():

// 初始化一個(gè)線性堆疊模型

2.Convolution1D(size=Xnorm.Size)

// 作為輸入層的卷積層

3.Convolution1D()

// 第二層卷積層

4.Bidirectional(GRU(return_sequence))

// 雙向GRU層

5.Flatten()

// 連接至平坦層展開

6.Dense()

// 全連接層

7.Dense(f=softmax)

// 使用Softmax對(duì)人體活動(dòng)進(jìn)行多元分類

8.model=CompileModel(CrossEntropy)

9.returnmodel.Train(Xnorm,Ynorm)

算法3模型準(zhǔn)確性評(píng)估

輸入：測(cè)試的特征數(shù)據(jù)Xtest和對(duì)應(yīng)標(biāo)簽Ytest。

輸出：準(zhǔn)確率得分Acc。

1. Init(Xtest,Ytest)

2.foreachin(Xtest,Ytest):

3.yieldreturnmodel.Predict(each)

// 返回每一項(xiàng)活動(dòng)的辨識(shí)準(zhǔn)確率

由圖6可知，改良模型在自動(dòng)提取特征并進(jìn)行時(shí)序性分析的基礎(chǔ)上，更高效地利用了數(shù)據(jù)的時(shí)空性，確保了分類依據(jù)的完整性，增強(qiáng)了模型整體的糅合度，因此能夠提高模型評(píng)估的準(zhǔn)確性。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集分析

(1) OPPORTUNITY活動(dòng)識(shí)別數(shù)據(jù)集。OPPORTUNITY數(shù)據(jù)集(OPPORTUNITY Activity Recognition Dataset)[20-21]收集四名測(cè)試者的日常活動(dòng)，每名測(cè)試者的數(shù)據(jù)分為ADL(Activities of Daily Living)和Drill兩類，分別代表日常順序執(zhí)行的生活活動(dòng)和腳本化重復(fù)執(zhí)行的各個(gè)活動(dòng)。該數(shù)據(jù)集使用人體穿戴、物件和環(huán)境三類傳感器收集數(shù)據(jù)。其中，本文實(shí)驗(yàn)中使用的人體穿戴傳感器分為7個(gè)慣性測(cè)量單元和12個(gè)普通三軸加速度傳感器兩類，慣性測(cè)量單元提供三軸加速度傳感器、三軸陀螺儀和三軸地磁場(chǎng)傳感器的讀數(shù)。人體穿戴傳感器的分布如表3所示。

表3 OPPORTUNITY活動(dòng)識(shí)別數(shù)據(jù)集人體穿戴傳感器分布

該數(shù)據(jù)集提供了4類基本活動(dòng)模式標(biāo)簽和17類高級(jí)姿態(tài)活動(dòng)標(biāo)簽。本文僅針對(duì)通過人體穿戴傳感器辨識(shí)人體活動(dòng)展開研究，因此剔除了該數(shù)據(jù)集中的物件與環(huán)境傳感器數(shù)據(jù)。本文研究的實(shí)驗(yàn)需要用到4類基本活動(dòng)模式標(biāo)簽，它們分別為站、走、坐和躺。

(2) MHEALTH數(shù)據(jù)集。MHEALTH數(shù)據(jù)集(MHEALTH Dataset)[22-23]收集十名測(cè)試者進(jìn)行不同體育、保健活動(dòng)的運(yùn)動(dòng)數(shù)據(jù)和生命體征，這些活動(dòng)包括慢跑、蹲伏和向前彎腰等，共12類，如表4所示。MHEALTH即移動(dòng)醫(yī)療或數(shù)字健康，是互聯(lián)網(wǎng)健康醫(yī)療服務(wù)背景下的新穎概念。數(shù)據(jù)收集涉及到的傳感器有位于胸前的三軸加速度傳感器和心率傳感器，分別位于左腳踝和右下臂的慣性測(cè)量單元。

表4 MHEALTH數(shù)據(jù)集中的活動(dòng)清單

續(xù)表4

3.2 模型訓(xùn)練和實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)采用Nvidia GTX 1050的GPU顯卡硬件加速以完成訓(xùn)練過程，編程語言為Python 3.0，底層和頂層框架分別為TensorFlow1.13.0和Keras 2.0。

交叉熵函數(shù)常作為多元分類問題的損失函數(shù)，本文實(shí)驗(yàn)使用它作為梯度下降的依據(jù)，其公式為：

(7)

僅通過一次評(píng)估不能判定神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性，因?yàn)樯窠?jīng)網(wǎng)絡(luò)具有一定隨機(jī)性，因此本文多次重復(fù)評(píng)估模型并求取平均值。在上述兩個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表5所示。

表5 OPPORTUNITY活動(dòng)識(shí)別數(shù)據(jù)集和MHEALTH數(shù)據(jù)集的實(shí)驗(yàn)準(zhǔn)確率 %

從總體上準(zhǔn)確率看，改良后的CNN-GRU模型在OPPORTUNITY活動(dòng)識(shí)別數(shù)據(jù)集和MHEALTH數(shù)據(jù)集的表現(xiàn)較其他所有模型更好。模型在MHEALTH數(shù)據(jù)集上的高準(zhǔn)確率也說明了模型具有很強(qiáng)的泛化能力，能夠適應(yīng)不同的人體活動(dòng)識(shí)別情景。對(duì)比純粹的CNN、LSTM、GRU等模型，混合神經(jīng)網(wǎng)絡(luò)模型更具優(yōu)勢(shì)，充分說明了改良CNN-GRU模型在人體活動(dòng)識(shí)別上的準(zhǔn)確性。在行走等強(qiáng)時(shí)序性狀態(tài)活動(dòng)的識(shí)別下，含記憶單元的模型具有更大的優(yōu)勢(shì)。因?yàn)槿鄙贂r(shí)序性的考慮，CNN模型在辨識(shí)動(dòng)態(tài)狀態(tài)時(shí)可能產(chǎn)生與其相似的靜態(tài)姿勢(shì)的混淆，但這也使得CNN在檢測(cè)如躺姿等簡單且?guī)缀蹯o態(tài)的狀態(tài)上具有優(yōu)勢(shì)。

實(shí)驗(yàn)中使用一次改良CNN-GRU模型對(duì)MHEALTH數(shù)據(jù)集評(píng)估的混淆矩陣如表6所示。改良CNN-GRU模型在MHEALTH數(shù)據(jù)集中的8個(gè)活動(dòng)標(biāo)簽的辨識(shí)準(zhǔn)確率均達(dá)90%以上，其中3個(gè)活動(dòng)標(biāo)簽?zāi)苓_(dá)到100%的辨識(shí)程度。

表6 一次改良CNN-GRU模型對(duì)MHEALTH數(shù)據(jù)集評(píng)估的混淆矩陣

實(shí)驗(yàn)過程中發(fā)現(xiàn)，純粹的CNN模型的損失函數(shù)并非每次都能降低至預(yù)期的最小值附近，容易停留于局部最小值，這種情況導(dǎo)致評(píng)估時(shí)準(zhǔn)確率震蕩性明顯。含與CNN結(jié)合的LSTM/GRU層的模型因?yàn)檩斎氲臄?shù)據(jù)集經(jīng)過卷積池化處理，訓(xùn)練用時(shí)較含直接作為輸入層的LSTM/GRU層的模型更快，這也證實(shí)了純粹神經(jīng)網(wǎng)絡(luò)模型的一些局限。

綜合上述結(jié)果，改良CNN-GRU模型的訓(xùn)練過程較其他所有模型更為穩(wěn)定，訓(xùn)練速度適中，準(zhǔn)確率更佳，評(píng)估的結(jié)果也更為理想。在時(shí)序依賴較強(qiáng)的人體活動(dòng)辨識(shí)中，本文提出的改良CNN-GRU模型能充分發(fā)揮優(yōu)勢(shì)，獲得更好的準(zhǔn)確率。

4 結(jié) 語

綜合實(shí)驗(yàn)結(jié)果分析，在人體活動(dòng)識(shí)別的任務(wù)上，CNN-GRU模型能擁有較好的準(zhǔn)確度和穩(wěn)定性。在輸入數(shù)據(jù)時(shí)序依賴較強(qiáng)的情況下，CNN-GRU混合模型能取得更好的辨識(shí)結(jié)果。在實(shí)際的康復(fù)醫(yī)療領(lǐng)域應(yīng)用中，康復(fù)保健運(yùn)動(dòng)基本為依照完整的流程有序地進(jìn)行，是時(shí)序性強(qiáng)的腳本化動(dòng)作序列，所以采用CNN-GRU混合模型更為準(zhǔn)確有效。本文采用CNN-GRU混合模型在公開的OPPORTUNITY活動(dòng)識(shí)別數(shù)據(jù)集和MHEALTH數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，準(zhǔn)確率分別達(dá)到了94.186%和88.102%，也證明了該模型能擁有更好的準(zhǔn)確度和穩(wěn)定性。