王曉玲，趙岳生，羅宇彤

（廣西科技大學(xué) 自動化學(xué)院，廣西 柳州 545616）

0 引 言

人體活動識別一直是一項充滿實用價值的研究，尤其是在康復(fù)訓(xùn)練、施工安全、娛樂和戶外行動等方面有著廣泛的應(yīng)用。人體活動識別按照采集數(shù)據(jù)所使用硬件的不同大體上可以分為兩種，即基于視覺和基于慣性等傳感器的人體活動識別[1]。其中，使用慣性傳感器的人體活動識別系統(tǒng)主要是指使用三軸加速度計收集人體的活動數(shù)據(jù)。

目前，在使用慣性傳感器的人體活動識別領(lǐng)域，主要是使用機(jī)器學(xué)習(xí)算法進(jìn)行活動識別，常用的算法包括決策樹[2]、隨機(jī)森林[3]、支持向量機(jī)[4]以及深度學(xué)習(xí)[5]等。

在基于慣性傳感器的人體活動識別領(lǐng)域已經(jīng)有相當(dāng)一部分學(xué)者進(jìn)行了研究。段小虎等人[6]使用支持向量機(jī)（SVM）對WISDM 數(shù)據(jù)集進(jìn)行人體活動識別，提取了9 個特征，使用支持向量機(jī)在測試集上達(dá)到了91.1%的識別率。張烈平等人[7]采用BP 神經(jīng)網(wǎng)絡(luò)作為人體活動識別的分類算法，提取了原始數(shù)據(jù)的12 個特征表征人體活動，對走、坐和躺等五種典型人體活動進(jìn)行分類。實驗結(jié)果表明，該方法的識別率達(dá)到了100%。也有學(xué)者認(rèn)為，大量特征的計算將會降低識別系統(tǒng)的效率，于是范書瑞等人[8]提出了一種特征篩選和層次分類法相結(jié)合的提取特征子集的方法，使用了Fisher score、Relief-F 和Chi square 三種特征選擇方法進(jìn)行特征篩選。隨著深度學(xué)習(xí)的不斷發(fā)展，近年來，有些學(xué)者開始采用深度學(xué)習(xí)算法進(jìn)行人體活動識別，李新科等人[9]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的人體活動識別模型，該模型在WISDM數(shù)據(jù)集上的識別率達(dá)到了92.73%。陳馨瑤等人[10]提出了一種融合多種模型的人體行為識別方法，該方法結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)（CNN）和長短期記憶網(wǎng)絡(luò)（LSTM）兩種算法，在WISDM 數(shù)據(jù)集上的平均識別率達(dá)到了96.95%。

本文針對傳統(tǒng)機(jī)器學(xué)習(xí)算法類別識別率較低的問題，提出了一種基于機(jī)器學(xué)習(xí)的人體活動識別方法。該方法首先將多分類任務(wù)通過多級結(jié)構(gòu)轉(zhuǎn)換為一系列二分類任務(wù)；其次分析人體活動的特性，計算出60 個時域特征，使用遞歸特征消除法進(jìn)行每一級的特征篩選，并使用篩選特征訓(xùn)練出每一級的最優(yōu)模型；最后將得到的模型按照多級結(jié)構(gòu)組成人體活動識別系統(tǒng)，對人體活動進(jìn)行識別。

與傳統(tǒng)機(jī)器學(xué)習(xí)算法相比，深度學(xué)習(xí)算法有著明顯優(yōu)勢和深遠(yuǎn)潛力。針對傳統(tǒng)機(jī)器學(xué)習(xí)算法需要特征工程的問題，本文同時提出了一種用于人體活動識別的卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過訓(xùn)練和測試，最后將得到的優(yōu)化模型組成人體活動識別系統(tǒng)，對人體活動進(jìn)行識別。

1 數(shù)據(jù)集及特征提取

1.1 數(shù)據(jù)集

為了能夠驗證本文所提的人體識別系統(tǒng)的魯棒性和準(zhǔn)確性，同時便于和其他學(xué)者所提出的識別方法進(jìn)行比較，本文使用兩個收集人體不同位置慣性數(shù)據(jù)的公 開數(shù)據(jù)集UCI 數(shù)據(jù)集[11]和WISDM 數(shù)據(jù)集[12]。

UCI 數(shù)據(jù)集包含30 位年齡在19 ～48 歲的志愿者進(jìn)行站立、坐、躺、走、上樓梯和下樓梯共六種日常生活中常見活動所產(chǎn)生的慣性測量數(shù)據(jù)。志愿者們使用固定在腰部的智能手機(jī)（三星Galaxy S Ⅱ）內(nèi)置的三軸加速度計和三軸陀螺儀收集慣性數(shù)據(jù)，傳感器采樣頻率為50 Hz，采集智能手機(jī)的三軸加速度信號和三軸角速度信號。

WISDM 數(shù)據(jù)集包含29 位實驗者的走、慢跑、上樓梯、下樓梯、坐和站六種日常生活的三軸加速度數(shù)據(jù)。收集數(shù)據(jù)時，測試者將智能手機(jī)裝在前褲腿口袋中，傳感器采樣頻率為20 Hz，采集智能手機(jī)的三軸加速度信號。

1.2 特征提取

本文所使用的傳統(tǒng)機(jī)器學(xué)習(xí)算法需要人工提取特征，提取的特征包括最大值、最小值、標(biāo)準(zhǔn)差、平均值、峰度、偏度、波形因子、峰值因子、方差、第10 百分位數(shù)、第25 百分位數(shù)、第50 百分位數(shù)、第75 百分位數(shù)、第90 百分位數(shù)和過零率，共計15 個特征[1,13-15]。分別使用三軸加速度計的X軸、Y軸、Z軸和合加速度數(shù)據(jù)計算上述15個特征，共計得到60個特征。

合加速度由以下公式得到：

式中：X(t)、Y(t)、Z(t)是時刻t的三軸加速度計X軸、Y軸、Z軸輸出數(shù)據(jù)；A(t)為該時刻三軸加速度計測量得到的合加速度。

2 多級傳統(tǒng)機(jī)器算法

人體活動識別的對象一般包括步行、跑步、坐、站、躺和上、下樓梯等典型的日常人體活動，因此本質(zhì)上是一種多分類任務(wù)。然而，對于運(yùn)動軌跡或運(yùn)動量相似的兩種活動，僅僅依靠數(shù)據(jù)之間的幅值差異已經(jīng)難以描述不同活動之間的差異。如圖1 所示，圖中上樓梯和下樓梯之間以及坐和站之間合加速度的幅值和周期差異很小，因此手工提取的特征也難以完整表征相似活動之間的差異。當(dāng)進(jìn)行多種活動分類時，相似活動分類結(jié)果的準(zhǔn)確與否將會直接影響算法的性能指標(biāo)。為解決該問題，本文使用了多級結(jié)構(gòu)，將一個多分類任務(wù)分解為一系列二分類任務(wù)的級聯(lián)，以期望得到更好的分類效果。

圖1 相似動作合加速度對比

根據(jù)UCI 和WISDM 數(shù)據(jù)集所包含日常活動的不同情況，分別創(chuàng)建了兩種多級結(jié)構(gòu)，分別如圖2 和圖3 所示。

圖3 基于WISDM 數(shù)據(jù)集的多級結(jié)構(gòu)

3 深度學(xué)習(xí)算法

由于傳統(tǒng)機(jī)器學(xué)習(xí)算法需要對數(shù)據(jù)進(jìn)行特征提取，而特征的選擇多種多樣，沒有明確的最優(yōu)標(biāo)準(zhǔn)，因此有必要使用能夠自動提取特征的一種深度學(xué)習(xí)算法—卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人體活動識別?；诖讼敕ǎ疚奶岢隽艘环N基于卷積神經(jīng)網(wǎng)絡(luò)的人體活動識別系統(tǒng)。

在使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行時間序列分類時，如何將加速度傳感器獲取的時間序列數(shù)據(jù)進(jìn)行轉(zhuǎn)換是關(guān)鍵。本文提出了一種數(shù)據(jù)轉(zhuǎn)換方式，將獲取的X軸、Y軸、Z軸數(shù)據(jù)以及計算得出的合加速度進(jìn)行排列，將一維時間序列轉(zhuǎn)換為二維張量，且轉(zhuǎn)換后的數(shù)據(jù)包含軸間關(guān)系，最后將轉(zhuǎn)換后的二維張量作為卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試數(shù)據(jù)。本文提出了一種僅僅使用兩層卷積的卷積神經(jīng)網(wǎng)絡(luò)模型，用于人體活動識別，算法模型結(jié)構(gòu)如圖4 所示。

圖4 卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

4 實驗結(jié) 構(gòu)及分析

實驗采用Python 的sklearn 及Keras 庫編程構(gòu)建人體活動識別系統(tǒng)，利用UCI 和WISDM 數(shù)據(jù)集分別構(gòu)建訓(xùn)練集和測試集，兩個數(shù)據(jù)集均按照原數(shù)據(jù)集70%和30%的比例進(jìn)行訓(xùn)練集和測試集的劃分。采用隨機(jī)劃分的方式，以保證各類活動在訓(xùn)練集和測試集中的比例不變，避免出現(xiàn)某類活動的大部分樣本均位于訓(xùn)練集或者測試集的情況，保證最終識別結(jié)果的合理性。

在使用慣性數(shù)據(jù)進(jìn)行人體活動識別時，識別周期的劃分對識別結(jié)果有著重大影響。當(dāng)前在基于慣性傳感器的人體活動識別領(lǐng)域存在兩種識別周期，分別是長周期和短周期[14,17-18]，其中長周期普遍超過10 s，而短周期普遍在1 ～3 s。在實際生活中，長周期極容易出現(xiàn)一個周期內(nèi)包含多種活動的情況發(fā)生，因此本文所使用的識別周期為2.56 s和3 s，其中，UCI 數(shù)據(jù)集使用2.56 s 識別周期，WISDM 數(shù)據(jù)集使用3 s 識別周期。

4.1 分類性能的度量指標(biāo)

在一些文獻(xiàn)研究中，對于人體活動識別系統(tǒng)的分類性能評價指標(biāo)比較單一，例如只使用平均識別率來衡量系統(tǒng)的性能。對于均衡數(shù)據(jù)集而言，平均識別率能夠在一定程度上表征識別系統(tǒng)的性能，但在人體活動識別領(lǐng)域，許多公用數(shù)據(jù)集的樣本數(shù)量并不均衡，例如本文所采用的兩個公開數(shù)據(jù)集。當(dāng)數(shù)據(jù)樣本不均衡時，只采用平均識別率作為評價指標(biāo)進(jìn)行評估難以保證評估結(jié)果的準(zhǔn)確性。比如，上、下樓特征比較相似，因此其分類難度比較高。當(dāng)上、下樓梯的樣本數(shù)量在整個數(shù)據(jù)集的樣本總數(shù)中占比較小時，采用平均識別率對系統(tǒng)評估就會產(chǎn)生平均識別率較高而上、下樓梯識別率較低的情況。為準(zhǔn)確評估本文所構(gòu)建的人體活動識別系統(tǒng)，本文采用平均識別率和每種活動的準(zhǔn)確率、召回率、F1 分?jǐn)?shù)作為評價指標(biāo)，以評估本文所構(gòu)建的人體活動識別系統(tǒng)是否能夠在保證較高平均識別率的同時，也能對各種活動進(jìn)行準(zhǔn)確識別。以下是平均識別率、準(zhǔn)確率、召回率和F1 分?jǐn)?shù)的定義。

平均識別率：預(yù)測準(zhǔn)確的樣本數(shù)除以所有樣本數(shù)。

準(zhǔn)確率：表征被預(yù)測為正例的樣本中有多少是真正的正例。

召回率：表征正例樣本中有多少被預(yù)測為正例。

F1-分?jǐn)?shù)：準(zhǔn)確率和召回率的調(diào)和平均數(shù)。

式中：TP 表示正例被預(yù)測為正例的樣本數(shù)量；TN 表示負(fù)例被預(yù)測為負(fù)例的樣本數(shù)量；FP 表示負(fù)例被預(yù)測為正例的樣本數(shù)量；FN 表示正例被預(yù)測為負(fù)例的樣本數(shù)量。

4.2 基于多級傳統(tǒng)機(jī)器學(xué)習(xí)算法的實驗

由于本文采用了多級結(jié)構(gòu)進(jìn)行人體活動識別，而多級結(jié)構(gòu)需要根據(jù)層級的不同訓(xùn)練一系列模型，不同層級所適用的特征組合不同，因此需要根據(jù)不同的層級進(jìn)行特征篩選。本文采用遞歸特征消除法篩選出指定數(shù)量的特征組合。

使用決策樹、隨機(jī)森林和支持向量機(jī)對多級結(jié)構(gòu)的每一層級進(jìn)行訓(xùn)練，將各層最優(yōu)模型組合得到最終的人體活動識別系統(tǒng)。使用最優(yōu)模型組合的多級模型在測試集上的評價指標(biāo)見表1 和表2 所列。

表1 多級模型使用UCI 數(shù)據(jù)集的評價指標(biāo)

4.3 基于卷積神經(jīng)網(wǎng)絡(luò)的實驗

本文使用考慮軸間關(guān)系的數(shù)據(jù)轉(zhuǎn)換方法，將一維時間序列數(shù)據(jù)轉(zhuǎn)換為二維張量的形式，供卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試。

本文提出了一種僅采用兩層卷積和兩層池化的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人體活動識別。該網(wǎng)絡(luò)第一個卷積層采用的卷積核數(shù)量為64，第二個卷積層的卷積核數(shù)量為128，兩者所采用的卷積核尺寸均為1*15。采用學(xué)習(xí)率下降和早停機(jī)制，所使用的優(yōu)化器為Adam。使用卷積神經(jīng)網(wǎng)絡(luò)對測試集的評價指標(biāo)見表3 和表4 所列。

表3 卷積神經(jīng)網(wǎng)絡(luò)使用UCI 數(shù)據(jù)集的評價指標(biāo)

表4 卷積神經(jīng)網(wǎng)絡(luò)使用WISDM 數(shù)據(jù)集的評價指標(biāo)

4.4 對比實驗

在基于慣性數(shù)據(jù)的人體活動識別領(lǐng)域，使用傳統(tǒng)機(jī)器學(xué)習(xí)算法的人體活動識別系統(tǒng)通常需要對數(shù)據(jù)進(jìn)行特征提取，計算其時域或頻域特征，然后使用分類算法對提取的特征進(jìn)行分類從而得到識別結(jié)果。常用的分類算法包括決策樹、隨機(jī)森林和支持向量機(jī)等傳統(tǒng)機(jī)器學(xué)習(xí)算法。

對比實驗將對本文提出的多級模型和卷積神經(jīng)網(wǎng)絡(luò)，與傳統(tǒng)的決策樹和隨機(jī)森林等人體活動識別算法進(jìn)行對比。為了保證結(jié)果可靠和合理，在對比實驗中，各傳統(tǒng)算法所采用的數(shù)據(jù)集、特征工程和參數(shù)尋優(yōu)方法與本文基于多級結(jié)構(gòu)的人體活動識別系統(tǒng)完全一致。

見表5，本文提出的基于多級結(jié)構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)的人體活動識別方法在兩個數(shù)據(jù)集上均能夠達(dá)到較高的識別率，其中多級結(jié)構(gòu)達(dá)到了表中的最高識別率。此外，本文提出的卷積神經(jīng)網(wǎng)絡(luò)也能夠獲得較高識別率。

表5 各算法平均識別率對比

通過平均識別率的對比發(fā)現(xiàn)，對于傳統(tǒng)機(jī)器學(xué)習(xí)算法而言，使用多級結(jié)構(gòu)能夠獲取更高的評價指標(biāo)，尤其是在傳統(tǒng)原始算法評價指標(biāo)較低的情況下，例如基于WISDM 數(shù)據(jù)集的決策樹和多級決策樹，采用多級結(jié)構(gòu)的決策樹相比于原始決策樹在上樓梯這一活動中，其識別率提升了33.13%。對于卷積神經(jīng)網(wǎng)絡(luò)算法而言，其評價指標(biāo)相對于多級最優(yōu)而言較低，相對于傳統(tǒng)機(jī)器學(xué)習(xí)算法而言較高，且各類別識別率較為均衡。

5 結(jié) 語

本文使用傳統(tǒng)機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法設(shè)計了基于4 種算法的7 個實驗，并對實驗結(jié)果進(jìn)行評估和對比。實驗結(jié)果表明，本文基于多級結(jié)構(gòu)的傳統(tǒng)機(jī)器學(xué)習(xí)機(jī)器算法、卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法分別構(gòu)建的人體活動識別系統(tǒng)在UCI 和WISDM 兩個公共數(shù)據(jù)集上，相對于傳統(tǒng)機(jī)器學(xué)習(xí)算法而言，能夠有效提升人體活動識別率，滿足了實際應(yīng)用的需求。