鄧詩卓,王波濤,楊傳貴,王國仁

1(東北大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,遼寧 沈陽 110819)

2(北京理工大學(xué) 計(jì)算機(jī)學(xué)院,北京 100081)

近年來,隨著智能生活概念的普及和可穿戴終端設(shè)備技術(shù)的快速發(fā)展,大量的時(shí)序傳感器數(shù)據(jù)為普適計(jì)算、人工智能等領(lǐng)域帶來了新的研究熱點(diǎn),因此,基于傳感器數(shù)據(jù)的人體活動(dòng)識(shí)別(human activity recognition,簡稱HAR)[1,2]得到了廣泛關(guān)注.基于傳感器數(shù)據(jù)的HAR能夠有效地避免基于視頻數(shù)據(jù)動(dòng)作識(shí)別[3,4]帶來的隱私泄露等問題[5],且計(jì)算復(fù)雜度比視頻數(shù)據(jù)低,使得基于傳感器的HAR研究更加具有現(xiàn)實(shí)意義.目前,HAR的研究應(yīng)用包括健康監(jiān)控[6-8]、智慧家庭[9-11]、工業(yè)環(huán)境[12]和運(yùn)動(dòng)員監(jiān)測[13]等,例如:老人通過佩戴智能手環(huán)檢測是否有走路姿態(tài)異常;工人通過佩戴傳感器來記錄和規(guī)范操作動(dòng)作.因此,準(zhǔn)確地識(shí)別和記錄人體的活動(dòng)姿態(tài),能夠?yàn)槿藗兲峁└鼮榫_的服務(wù).面對多形態(tài)多位置的復(fù)雜傳感器數(shù)據(jù),如何利用傳感器數(shù)據(jù)特點(diǎn)提取具有良好判別力的特征以提高基于傳感器數(shù)據(jù)的的HAR準(zhǔn)確率,是具有研究價(jià)值和現(xiàn)實(shí)意義的研究問題.

基于傳感器數(shù)據(jù)的HAR特征提取方法包括傳統(tǒng)特征提取和深度學(xué)習(xí)特征表達(dá)兩種方法[1,2].傳統(tǒng)方法需人工對劃分的數(shù)據(jù)抽取統(tǒng)計(jì)學(xué)意義特征向量,包括時(shí)域特征[14-16]、頻域特征[17]以及其他特征向量[16,18].但是傳統(tǒng)方法所抽取的特征都是淺層的,深度學(xué)習(xí)技術(shù)可以直接從原始數(shù)據(jù)自動(dòng)地抽取更復(fù)雜的深層的特征[19,20],無需人工干預(yù);同時(shí),深度學(xué)習(xí)可以有效地解決類內(nèi)差異和類間相似的問題.卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,簡稱 CNN)是深度學(xué)習(xí)方法中研究較多的特征抽取方法[2,21].文獻(xiàn)[19]的理論分析和實(shí)踐證明了 HAR中基于傳感器的CNN可以更有效地抽取數(shù)據(jù)隱藏的特征.

本文基于多位置的傳感器數(shù)據(jù)特點(diǎn),利用深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)技術(shù),從原始數(shù)據(jù)中抽取有效的特征來提高 HAR識(shí)別準(zhǔn)確率.現(xiàn)有的基于傳感器的 CNN抽取特征方法根據(jù)卷積核維度分為一維卷積核方法1DCNN[13,22-28]和二維卷積核方法 2DCNN[29-37].1DCNN即提取基于時(shí)間依賴的特征,在時(shí)間軸上面進(jìn)行卷積.雖然通過一維卷積核可以抽取具有良好分辨能力的特征,但是一維卷積核忽略了原始數(shù)據(jù)的不同位置傳感器之間的空間依賴性.因此研究人員提出了基于傳感器數(shù)據(jù)的二維卷積核,綜合考慮了時(shí)間依賴性和空間依賴性.但是,這些 2D-CNN方法僅僅是樸素地將不同類別傳感器羅列拼接,或者利用一定算法構(gòu)建傳感器動(dòng)作圖片(activity image)作為二維卷積核的輸入,并沒有考慮不同位置三軸向傳感器(三軸加速度、三軸陀螺儀等)的相同軸向數(shù)據(jù)之間隱藏的空間依賴性.

針對以上不足,為了進(jìn)一步利用不同位置的三軸傳感器之間的相同軸向多位置傳感器原始數(shù)據(jù)的空間依賴性,本文提出了新穎的 CNN二維卷積的輸入動(dòng)作圖片構(gòu)建方法,進(jìn)而提出了卷積網(wǎng)絡(luò)結(jié)構(gòu).為了優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),進(jìn)一步提出了卷積層參數(shù)優(yōu)化方法.本文的主要貢獻(xiàn)如下:

(1) 提出了基于多位置三軸向傳感器二維卷積核輸入動(dòng)作圖片構(gòu)建方法T-2D(triaxial 2 dimension).該方法對來自不同位置傳感器的原始數(shù)據(jù)按照不同軸向劃分,生成 3張動(dòng)作圖片.每一軸向動(dòng)作圖片構(gòu)成二維卷積的輸入;在T-2D基礎(chǔ)之上,針對非三軸傳感器提出M-2D(mixed 2 dimension),構(gòu)建非三軸傳感器數(shù)據(jù)一維卷積核輸入的動(dòng)作圖片,以抽取時(shí)間依賴特征,共生成4張動(dòng)作圖片;

(2) 提出了基于T-2D和M-2D多層卷積神經(jīng)網(wǎng)絡(luò)模型T-2DCNN和M-2DCNN,將M-2D得到一維特征和T-2D得到的二維特征合并成高層次特征向量,實(shí)現(xiàn)了人體活動(dòng)識(shí)別功能;為了減少卷積層訓(xùn)練參數(shù)數(shù)量,對卷積網(wǎng)絡(luò)進(jìn)行優(yōu)化,進(jìn)一步提出了基于參數(shù)共享的卷積網(wǎng)絡(luò)TS-2DCNN和MS-2DCNN;

(3) 在公開數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn),驗(yàn)證了基于本文所提出的特征抽取方法的 HAR模型識(shí)別效果,同時(shí)驗(yàn)證了共享參數(shù)卷積網(wǎng)絡(luò)在參數(shù)數(shù)量減少的情況下,可依然保持其識(shí)別效果;從傳感器數(shù)量變化以及每個(gè)類別識(shí)別準(zhǔn)確性的角度,分別驗(yàn)證了本文所提出的兩種卷積輸入動(dòng)作圖片構(gòu)建方法的有效性和穩(wěn)定性.

本文第1節(jié)介紹現(xiàn)有基于CNN的HAR中基于穿戴式傳感器的兩種典型特征抽取方法,并進(jìn)行分析對比.第2節(jié)描述二維卷積核輸入動(dòng)作圖片的兩種構(gòu)建方法和基于本文方法的 HAR模型的卷積網(wǎng)絡(luò)結(jié)構(gòu)及其優(yōu)化網(wǎng)絡(luò).第3節(jié)通過實(shí)驗(yàn)和對比分析,證明本文提出的二維卷積輸入構(gòu)建方法的良好性能.最后是總結(jié)與展望.

1 相關(guān)工作

卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛并成功地應(yīng)用于圖像識(shí)別[38,39]和語音識(shí)別[40],在無需知道專業(yè)領(lǐng)域知識(shí)(domain knowledge)的前提下,自動(dòng)地抽取具有高分辨能力的特征.近年來,CNN在基于傳感器數(shù)據(jù)的人體活動(dòng)識(shí)別方面也取得了一定進(jìn)展.與圖像識(shí)別的原始數(shù)據(jù)不同,在HAR中的原始數(shù)據(jù)大多為時(shí)間序列數(shù)據(jù)、一維數(shù)據(jù).在文獻(xiàn)[19]中,從局部依賴(local dependency)和尺度不變性(scale invariance)這兩個(gè)角度描述了在動(dòng)作識(shí)別領(lǐng)域應(yīng)用CNN的優(yōu)勢.本文主要從卷積核維度以及對應(yīng)的輸入構(gòu)造方法對現(xiàn)有工作進(jìn)行總結(jié)和分析.

1.1 HAR中一維卷積核1D-CNN應(yīng)用

一維卷積核應(yīng)用于一維時(shí)間序列數(shù)據(jù),抽取具有時(shí)間依賴性的特征.盡管基于可穿戴設(shè)備傳感器類型多種多樣,包括加速度計(jì)、陀螺儀等,但是傳感器數(shù)據(jù)或者傳感器各通道數(shù)據(jù)都是一維時(shí)序數(shù)據(jù),例如加速度計(jì)中每一個(gè)軸向的時(shí)序數(shù)據(jù)代表一個(gè)通道.圖1(a)描述了大部分一維卷積核的卷積方式,數(shù)據(jù)包含具備三軸屬性的傳感器數(shù)據(jù),同時(shí)也有可能包含不具備三軸屬性的傳感器數(shù)據(jù),例如心率等.輸入矩陣是由滑動(dòng)窗口(sliding window)大小T和傳感器通道總數(shù)Chan_num構(gòu)成的矩陣,一維卷積核方式在各通道數(shù)據(jù)上面進(jìn)行卷積操作,因此在滑動(dòng)窗口固定的情況下,能夠自動(dòng)抽取動(dòng)作特征.但在具體相關(guān)文獻(xiàn)中,傳感器的選擇以及 CNN 的結(jié)構(gòu)略有不同.文獻(xiàn)[19]中,作為早期的CNN在HAR中的應(yīng)用,將三軸加速度計(jì)的3個(gè)軸向數(shù)據(jù)看成3個(gè)通道,分別在各軸向數(shù)據(jù)上沿時(shí)間軸進(jìn)行卷積和池化,最后合并成該窗口的特征向量,并提出了局部共享權(quán)重的CNN卷積方式.該文獻(xiàn)使用一對卷積層和池化層,因此抽取特征屬于淺層特征.文獻(xiàn)[22]同樣利用單一加速度計(jì)的三軸向原始數(shù)據(jù)作為卷積網(wǎng)絡(luò)的輸入,但是通過改變卷積核的大小來適應(yīng)三軸加速度信號(hào)特點(diǎn).類似地,文獻(xiàn)[13]提出了利用手腕傳感器采集的三軸加速度識(shí)別排球動(dòng)作.文獻(xiàn)[23,24]利用加速度計(jì)三軸向數(shù)據(jù)和陀螺儀三軸向數(shù)據(jù)組成六通道,對輸入使用一維卷積核,多卷積層和池化層抽取深層特征提高了識(shí)別準(zhǔn)確率.文獻(xiàn)[25]中除了使用了三軸加速計(jì)和多種傳感器數(shù)據(jù),將 3個(gè)通道擴(kuò)展成多通道,利用兩層一維卷積核和池化抽取特征.文獻(xiàn)[26]中提出了將 CNN和長短期記憶循環(huán)網(wǎng)絡(luò)(long short-term memory,簡稱 LSTM)結(jié)合的深度學(xué)習(xí)模型,利用多層CNN一維卷積核自動(dòng)抽取特征,且沒有池化層,使用 LSTM 進(jìn)行分類識(shí)別,在通用數(shù)據(jù)集上取得了良好的效果.文獻(xiàn)[27]采用一維卷積核抽取特征,結(jié)合VGG和LSTM組合模型.文獻(xiàn)[28]利用三軸加速度性質(zhì),將三軸加速度分看成深度為3的一維輸入,經(jīng)過卷積之后生成180個(gè)特征映射,以此來捕捉數(shù)據(jù)之間的依賴性.

Fig.1 Architecture of convolutional neural network based on multiple channels圖1 基于多通道時(shí)序數(shù)據(jù)的卷積結(jié)構(gòu)

綜上所述,一維卷積核的輸入通常為一維的原始信號(hào)數(shù)據(jù).一維卷積核在抽取特征過程中能夠較好地挖掘一維信號(hào)的時(shí)間依賴性,但是往往忽略了不同類別傳感器或者是同一傳感器不同軸向數(shù)據(jù)之間的空間依賴性,影響人體動(dòng)作的識(shí)別效果.

1.2 HAR中二維卷積核2D-CNN應(yīng)用

針對一維卷積核 HAR的不足,絕大多數(shù) 2D-CNN對原始數(shù)據(jù)進(jìn)行重新排列,形成類似圖片一樣的輸入矩陣,即動(dòng)作圖片.在該矩陣上使用二維卷積核以及相應(yīng)的池化操作,利用二維卷積核抽取時(shí)空依賴性,如圖1(b)所示,之后結(jié)合不同的學(xué)習(xí)模型.文獻(xiàn)[29]將原始數(shù)據(jù)多通道輸入看作一張圖片,第 1層使用二維卷積核,在整張圖片上進(jìn)行卷積形成一維特征映射,再次進(jìn)行卷積時(shí),應(yīng)用一維卷積核.文獻(xiàn)[30]利用不同位置的相同類型傳感器按三軸順序排序,并以零矩陣填充來分隔不同類型的傳感器,同一張動(dòng)作圖片上面包含所有軸,在此輸入結(jié)構(gòu)基礎(chǔ)上使用二維卷積核.該文獻(xiàn)實(shí)現(xiàn)了時(shí)間依賴性和空間依賴性結(jié)合.在文獻(xiàn)[30]二維卷積核的基礎(chǔ)之上,文獻(xiàn)[31]對 CNN卷積核應(yīng)用了局部權(quán)重共享和全局權(quán)重共享兩種卷積方式.不同于圖1(b),文獻(xiàn)[32]利用傅里葉變換將一維原始信號(hào)數(shù)據(jù)生成頻譜,對三軸加速度計(jì)和三軸陀螺儀信號(hào)形成頻譜,將頻譜視為動(dòng)作圖片作為輸入進(jìn)行卷積操作.類似地,文獻(xiàn)[33]提出一種算法,可將一維信號(hào)轉(zhuǎn)換為二維圖片信號(hào),其目的在于讓每一通道信號(hào)都可以與其他通道信號(hào)相連,即使是不同類型的通道信號(hào),抽取每兩個(gè)信號(hào)之間的依賴性.受文獻(xiàn)[33]的啟發(fā),文獻(xiàn)[34]修改了輸入圖片構(gòu)造算法,同時(shí)調(diào)整了同一時(shí)刻不同類型三軸傳感器之間(x,y,z)軸的數(shù)據(jù)排列順序,確保該時(shí)刻所有不同類型的傳感器數(shù)據(jù)兩兩相鄰,以及同一類型傳感器內(nèi)的不同軸向數(shù)據(jù)兩兩相鄰.文獻(xiàn)[35]針對單一位置傳感器,使用滑動(dòng)窗口折疊法分別生成三軸動(dòng)作圖片,在每個(gè)動(dòng)作圖片上分別卷積.文獻(xiàn)[36,37]同樣針對手機(jī)上傳感器中的三軸加速度計(jì),將滑動(dòng)窗口內(nèi)三軸數(shù)據(jù)直接生成同一張方形動(dòng)作圖片,之后采用卷積網(wǎng)絡(luò).

相比于一維卷積核只考慮時(shí)間域上面的依賴性,二維卷積核應(yīng)用的角度更多,可以更大限度地利用傳感器數(shù)據(jù)的空間依賴性.基于二維卷積核的HAR依賴于輸入數(shù)據(jù)的組織構(gòu)造形式,但是現(xiàn)有的工作僅僅是不同傳感器數(shù)據(jù)按照通道樸素排列并直接進(jìn)行二維卷積或是對三軸向傳感器的同一位置的三軸數(shù)據(jù)進(jìn)行簡單粗暴地排列組合.盡管相較于傳統(tǒng)的基于統(tǒng)計(jì)學(xué)特征的 HAR和基于一維卷積核的 HAR,現(xiàn)有的二維卷積方式可以提高準(zhǔn)確率和精確率等評價(jià)指標(biāo),但是并沒有充分利用不同位置的三軸向傳感器數(shù)據(jù)的特點(diǎn)以及充分挖掘空間依賴性,如三軸加速度計(jì).因此,本文根據(jù)三軸傳感器的數(shù)據(jù)特點(diǎn),充分挖掘相同軸向數(shù)據(jù)之間的空間依賴性和時(shí)間依賴性,設(shè)計(jì)新穎的輸入組織形式構(gòu)造多張動(dòng)作圖片來提高HAR的識(shí)別效果.

2 基于二維卷積核的多位置三軸向傳感器HAR模型

本文提出了基于二維卷積核的多位置三軸向穿戴式設(shè)備HAR模型,該模型雖然沿用了HAR問題中的二維卷積應(yīng)用的思想,但是增強(qiáng)了對時(shí)序數(shù)據(jù)的空間依賴性的挖掘.因此,結(jié)合三軸向傳感器特點(diǎn),本文提出了一種新穎的二維卷積核輸入的動(dòng)作圖片構(gòu)建方法及其改進(jìn)方法,利用不同位置的三軸向傳感器的相同軸向數(shù)據(jù)構(gòu)成輸入動(dòng)作圖片,將原始數(shù)據(jù)分別構(gòu)建成3個(gè)或4個(gè)動(dòng)作圖片,基于輸入動(dòng)作圖片構(gòu)建卷積神經(jīng)網(wǎng)絡(luò),分別抽取原始數(shù)據(jù)各軸向數(shù)據(jù)內(nèi)部的時(shí)空依賴性,進(jìn)而得到更加具有分辨能力的特征向量,提高模型識(shí)別準(zhǔn)確率.為了簡化模型參數(shù),對卷積網(wǎng)絡(luò)進(jìn)行參數(shù)優(yōu)化,提出了基于共享參數(shù)的HAR模型.

2.1 問題描述與定義

本文研究的根本問題是如何學(xué)習(xí)一個(gè)具有良好識(shí)別效果的人體活動(dòng)識(shí)別模型,即模型參數(shù);關(guān)鍵問題是如何從原始標(biāo)簽數(shù)據(jù)中抽取具有高分辨能力的特征;核心問題是如何構(gòu)造用于二維卷積核輸入的動(dòng)作圖片,原因在于不同的動(dòng)作圖片組織形式會(huì)導(dǎo)致二維卷積核抽取的特征具有不同的依賴性和表達(dá)能力.為了方便描述問題,形式化定義如下:

定義1(動(dòng)作圖片).相對于一維時(shí)序數(shù)據(jù),動(dòng)作圖片是對一維信號(hào)通過一定規(guī)律進(jìn)行升維操作所生成的二維信號(hào)數(shù)據(jù).動(dòng)作圖片是卷積核的輸入.

定義2(滑動(dòng)窗口).滑動(dòng)窗口是動(dòng)作圖片的時(shí)間窗口,是時(shí)序傳感器數(shù)據(jù)的時(shí)間處理單元,令ws表示滑動(dòng)窗口大小,如圖1中所示,ws=T.

定義3(模型 M).給定時(shí)序數(shù)據(jù)長度N,每時(shí)刻原始訓(xùn)練數(shù)據(jù)X={(l1,x1),…,(lN,xN)}為帶有標(biāo)簽數(shù)據(jù),時(shí)刻數(shù)據(jù)標(biāo)簽li,其中,i∈[1,N].假設(shè)覆蓋率為0且ws=T,用于訓(xùn)練的實(shí)例數(shù)量為N′=N/T,其中,j∈[1,N′].用于訓(xùn)練模型M的數(shù)據(jù)為D={(t1,d1),…,d1(tN′,dN′)},則:

其中,A,B分別為模型M的權(quán)重參數(shù)矩陣和偏置參數(shù)矩陣,Loss函數(shù)為損失函數(shù).即:在輸入數(shù)據(jù)D的條件下求取使得損失函數(shù)最小的模型參數(shù)A和B.

2.2 HAR模型二維動(dòng)作圖片構(gòu)建

2.2.1 基于多位置三軸傳感器二維動(dòng)作圖片構(gòu)建原理

傳感器形態(tài)多樣化可分為傳感器種類多樣化和傳感器位置多樣化[30],本文中構(gòu)造二維卷積輸入的前提是傳感器位置多樣化.傳感器種類多樣化是基于多種類別傳感器的動(dòng)作識(shí)別,例如基于加速度計(jì)、陀螺儀、磁力計(jì)等傳感器的識(shí)別.傳感器位置多樣化是基于多種位置的相同類型傳感器或者不同類型傳感器的動(dòng)作識(shí)別.本文結(jié)合三軸向傳感器特點(diǎn),舍棄同一傳感器三軸之間的空間依賴性,選擇不同傳感器的相同軸向數(shù)據(jù)的空間依賴性,并構(gòu)建用于卷積網(wǎng)絡(luò)輸入的動(dòng)作圖片,從理論和數(shù)據(jù)分析兩個(gè)角度闡釋本文動(dòng)作圖片構(gòu)建原理.

(1) 理論分析

以三軸加速度計(jì)為例,其三軸向傳感器數(shù)值代表了 3個(gè)相互垂直方向的加速度值,從空間角度上講,同一傳感器三軸向加速度在加速度方向上是相互獨(dú)立的,相關(guān)性較弱,不同傳感器的不同軸向之間相關(guān)性更弱.而不同傳感器的相同軸向加速度值大致描繪的是同一個(gè)方向的整體加速度變化,類比于圖片分類中的RGB三通道,每一個(gè)軸向具有相同的意義表達(dá),描述的是一個(gè)動(dòng)作在同一個(gè)軸向上所有傳感器的加速度變化,基于同一個(gè)軸方向的加速度矩陣可以通過卷積操作提取更加具有分辨能力的特征,提高識(shí)別準(zhǔn)確率.

(2) 數(shù)據(jù)分析

在理論分析的基礎(chǔ)上,對原始數(shù)據(jù)同一傳感器不同軸向數(shù)據(jù)和不同傳感器同一軸向數(shù)據(jù)進(jìn)行相關(guān)性分析.相關(guān)系數(shù)絕對值在0.3以下為極弱相關(guān)性,該相關(guān)系數(shù)矩陣極弱相關(guān)性比例遠(yuǎn)遠(yuǎn)高于多傳感器同一軸向各個(gè)傳感器加速度之間的比例.取本文實(shí)驗(yàn)中的測試數(shù)據(jù)集SKODA的5個(gè)三軸傳感器計(jì)算相關(guān)性,如圖2所示,在105對數(shù)據(jù)中,該矩陣極弱相關(guān)性系數(shù)比例達(dá)到18.09%;而同一軸向所有傳感器數(shù)據(jù)共有10對數(shù)據(jù),3個(gè)單軸向的所有傳感器中則有30對數(shù)據(jù),在30對數(shù)據(jù)中極弱相關(guān)性系數(shù)比例僅有6.67%.這是因?yàn)樵摼仃囍写嬖诖罅康耐粋鞲衅鞯娜S之間和不同傳感器的不同軸之間的相關(guān)性計(jì)算.

Fig.2 Correlation coefficient matrix of different axises of accelerometer sensors圖2 不同軸向數(shù)據(jù)相關(guān)系數(shù)矩陣

2.2.2 基于多位置三軸傳感器二維動(dòng)作圖片構(gòu)建方法

根據(jù)多位置三軸傳感器動(dòng)作圖片構(gòu)建原理,本文提出了基于多位置三軸傳感器輸入構(gòu)建方法T-2D和基于多位置混合傳感器輸入構(gòu)造算法M-2D.

(1) 基于多位置三軸傳感器輸入構(gòu)建方法算法T-2D.

圖3描述了基于多位置三軸傳感器動(dòng)作圖片構(gòu)建方法T-2D.原始時(shí)序數(shù)據(jù)來自于n個(gè)位置三軸傳感器,將所有位置傳感器的數(shù)據(jù)根據(jù)(x,y,z)三軸方向進(jìn)行抽取,分別得到全部x軸時(shí)序數(shù)據(jù)、全部y軸時(shí)序數(shù)據(jù)和全部z軸時(shí)序數(shù)據(jù),并且分別對這3組數(shù)據(jù)進(jìn)行歸一化處理.根據(jù)定義2,分別對3組數(shù)據(jù)以滑動(dòng)窗口T和預(yù)設(shè)覆蓋率進(jìn)行滑動(dòng)窗口劃分,獲取時(shí)序傳感器數(shù)據(jù)的處理單元,該時(shí)間單元的傳感器數(shù)據(jù)為動(dòng)作圖片.

3個(gè)動(dòng)作圖片均作為二維卷積神經(jīng)網(wǎng)絡(luò)的輸入,并用于抽取不同位置傳感器的相同軸向數(shù)據(jù)的時(shí)間依賴性和空間依賴性.目前,三軸加速度計(jì)是在人體活動(dòng)識(shí)別過程中使用較為普遍的傳感器,大多數(shù)設(shè)備中都包含三軸加速度計(jì),如手環(huán)、手機(jī)等,因此,本文三軸向傳感器使用三軸加速度計(jì).

Fig.3 T-2D based on multi-location 3D accelerometer sensors圖3 基于多位置三軸傳感器輸入構(gòu)建方法T-2D

(2) 基于多位置混合傳感器二維輸入構(gòu)建方法M-2D.

大部分設(shè)備內(nèi)置三軸加速度計(jì)的同時(shí),也配有其他的傳感器,這些傳感器一部分與三軸加速度計(jì)一樣具有三軸特性的,例如陀螺儀、磁力計(jì)等;而有一些就是簡單的時(shí)序數(shù)據(jù),例如心率計(jì).因此,針對這種更為實(shí)際且廣泛存在的情況,在 T-2D的三軸加速度計(jì)輸入構(gòu)造算法的基礎(chǔ)上,本文擴(kuò)充了一種混合傳感器數(shù)據(jù)輸入構(gòu)造算法M-2D,在生成三軸加速度的3個(gè)動(dòng)作圖片的同時(shí),對其他傳感器數(shù)據(jù)按序排列,構(gòu)成第4個(gè)動(dòng)作圖片.由于該動(dòng)作圖片在卷積過程中采用一維卷積核而非二維卷積核,僅抽取這些時(shí)序數(shù)據(jù)的時(shí)間依賴性.

2.2.3 算法實(shí)現(xiàn)

算法1描述了本文提出的基于多位置混合傳感器二維輸入動(dòng)作圖片構(gòu)建方法M-2DCNN,由于M- 2DCNN是 T-2DCNN的擴(kuò)充方法,其不同之處在于增加了算法 1中的第 4行和第 7行.算法 1輸入為X={(l1,x1),…,(lN,xN)},其中,每個(gè)時(shí)刻數(shù)據(jù)xi=(xi1,yi1,zi1,…,xin,yin,zin,ri1,…,rim),n為三軸傳感器數(shù)量,xin,yin,zin分別表示三軸數(shù)據(jù),rim表示非三軸傳感器.該算法返回的結(jié)果是對輸入數(shù)據(jù)按照滑動(dòng)窗口大小進(jìn)行分割之后的動(dòng)作圖片以及相應(yīng)的標(biāo)簽.

算法1.基于二維輸入動(dòng)作圖片構(gòu)造方法M-2D.

輸入:X={(l1,x1),…,(lN,xN)},ws;

輸出:所有分割好的動(dòng)作圖片以及該組動(dòng)作圖片對應(yīng)標(biāo)簽List((Ximag,Yimag,Zimag,Rimag),t).

2.3 基于二維卷積核的HAR模型

在基于傳感器時(shí)序數(shù)據(jù)的活動(dòng)識(shí)別領(lǐng)域,與傳統(tǒng)基于統(tǒng)計(jì)學(xué)特征不同,CNN能夠在無需專業(yè)領(lǐng)域知識(shí)的前提下自動(dòng)地從原始數(shù)據(jù)中提取具有高分辨能力的特征,因此,CNN在該領(lǐng)域得到了廣泛應(yīng)用.本文在構(gòu)建動(dòng)作圖片的基礎(chǔ)上,使用卷積神經(jīng)網(wǎng)絡(luò)提取特征并分類.

2.3.1 二維卷積網(wǎng)絡(luò)結(jié)構(gòu)

由于基于多位置混合傳感器的二維卷積結(jié)構(gòu)是基于多位置加速度計(jì)傳感器二維卷積結(jié)構(gòu)的改進(jìn)方法,圖4既可以描述T-2DCNN又可以描述M-2DCNN卷積模型結(jié)構(gòu),虛線框內(nèi)為T-2DCNN的二維卷積操作.

Fig.4 M-2DCNN architecture of 2D CNN based on multi-location mixed sensors圖4 基于多位置混合傳感器的二維卷積模型網(wǎng)絡(luò)結(jié)構(gòu)M-2DCNN

該網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層在內(nèi)共11層,其中,卷積層4層,池化層1層,數(shù)據(jù)轉(zhuǎn)化層2層,全連接層2層,連接分類器 1層.本文中,卷積層和全連接層的 feature map的數(shù)量同文獻(xiàn)[26],為 C(64)-C(64)-C(64)-C(64)-D(128)-D(128).多層卷積可以提取出更加具有分辨能力的特征,二維卷積核是為了得到原始數(shù)據(jù)每個(gè)軸向的時(shí)間和空間的依賴性,再使用一維卷積核降低參數(shù)數(shù)量.同時(shí)增設(shè)最大值池化層用來減少特征數(shù)量和訓(xùn)練參數(shù),抽象數(shù)據(jù)輪廓特征.如圖4所示,

· 第1層為輸入層,從上到下依次為x軸、y軸和z軸數(shù)據(jù)構(gòu)成的3個(gè)動(dòng)作圖片,其中,T為滑動(dòng)窗口大小,TriSen_num為三軸加速度計(jì)的數(shù)量;

· 第2層～第5層均為卷積層,其中,前兩層使用二維卷積核,卷積核(過濾器)大小為Kh×Kw,針對每一個(gè)動(dòng)作圖片分別進(jìn)行卷積操作時(shí),提取原始數(shù)據(jù)時(shí)間和空間的依賴性;同時(shí),為了減少參數(shù)數(shù)量,第4層和第5層采用一維卷積核,卷積核大小為Kh×1;

· 卷積之后進(jìn)行池化(第6層),本文采用最大值池化可降低由于卷積層參數(shù)誤差引起的估計(jì)均值的偏移;

· 第7層和第8層均為對池化后的矩陣進(jìn)行重新整理和融合特征,第7層將池化后的矩陣數(shù)據(jù)沿時(shí)間軸方向?qū)⑻卣饔成溥M(jìn)行拼接,池化層每個(gè)軸向數(shù)據(jù)尺寸為64@hl×wl,則第7層數(shù)據(jù)尺寸為64@hl×(wl×3);第 8層將數(shù)據(jù)平鋪?zhàn)兂梢痪S向量,作為全連接層的輸入(第 9層),兩層全連接層抽取更為抽象的特征,實(shí)現(xiàn)特征非線性組合,方便連接分類器Softmax(第11層).

如圖4所示,當(dāng)處理非三軸加速度計(jì)數(shù)據(jù)時(shí)(虛線外),基于M-2D共生成4個(gè)動(dòng)作圖片.在卷積層,針對由非三軸全部使用一維卷積核,其工作同文獻(xiàn)[25]卷積操作類似.當(dāng)傳感器中也包含三軸向數(shù)據(jù)時(shí),將該數(shù)據(jù)看做 3個(gè)通道,依次排列.由于各個(gè)卷積層使用的卷積核在時(shí)間維度上的尺寸是相同的,因此在第7層串聯(lián)時(shí),可以與三軸加速度計(jì)產(chǎn)生的3個(gè)特征映射在時(shí)間軸上面進(jìn)行拼接,此時(shí),第7層特征維度為64@hl×(wl×3+Sen_num),其中,Sen_num為第4張動(dòng)作圖片的傳感器數(shù)量,之后的操作則與多位置加速度計(jì)傳感器二維卷積結(jié)構(gòu)的后四層操作相同.

2.3.2 基于參數(shù)共享二維卷積網(wǎng)絡(luò)結(jié)構(gòu)

盡管卷積網(wǎng)絡(luò)與傳統(tǒng)全連接網(wǎng)絡(luò)相比極大地降低了參數(shù)數(shù)量,但 M-2DCNN和 T-2DCNN在訓(xùn)練過程中,卷積操作依然產(chǎn)生大量的參數(shù),原因在于每一張動(dòng)作圖片都需要單獨(dú)的卷積操作.

每一個(gè)動(dòng)作圖片的前向傳播的卷積過程如圖5所示,其中,卷積核大小為,第l層共有個(gè)feature maps,第l-1層共有個(gè)feature maps.

Fig.5 Computation of 2D CNN kernals圖5 二維卷積計(jì)算過程

因此,每一個(gè)動(dòng)作圖片卷積過程中的第l-1層和第l層之間需要訓(xùn)練的參數(shù)見公式(2):

根據(jù)圖4所示的卷積網(wǎng)絡(luò)訓(xùn)練模型,每個(gè)動(dòng)作圖片的卷積操作過程中模型參數(shù)都是獨(dú)立的,那么 3個(gè)動(dòng)作圖片的每層卷積操作中共需要3×Pnum數(shù)量的參數(shù),且參數(shù)數(shù)量是隨著卷積核大小以及feature map數(shù)量的增加而增加的.

因此,本文在T-2DCNN和M-2DCNN的基礎(chǔ)上提出了基于共享卷積層參數(shù)的卷積網(wǎng)絡(luò)模型TS-2DCNN和MS-2DCNN.結(jié)合本文中動(dòng)作圖片單一軸向數(shù)據(jù)的特點(diǎn)以及模型的特點(diǎn),將利用共享同一組參數(shù)對 3組動(dòng)作圖片進(jìn)行特征提取,即:在圖4之中的x_axis,y_axis和z_axis這3個(gè)方向使用同一組模型參數(shù)取代之前的3組模型參數(shù).可以共用同一組參數(shù)的原因在于該卷積操作中訓(xùn)練 3組不同參數(shù)與同一組參數(shù)都可以達(dá)到在各個(gè)方向上提取數(shù)據(jù)特征的目的,因此可在保證識(shí)別效果的同時(shí)減少訓(xùn)練參數(shù)數(shù)量.采用表4中的卷積核參數(shù),利用公式(2),對圖4的網(wǎng)絡(luò)結(jié)構(gòu)中卷積層之間的參數(shù)數(shù)量進(jìn)行計(jì)算,見表1,其中,Input_X表示輸入層中X軸的動(dòng)作圖片,Cov2_X表示通過X軸動(dòng)作圖片獲取的第2層卷積層,則第2層中Cov2_X與上一層Input_X之間需要訓(xùn)練的參數(shù)數(shù)量為3×3×64+64=640,以此類推.TS-2DCNN和MS-2DCNN在卷積層能夠?qū)?shù)數(shù)量縮減至原來的三分之一.

Table 1 Comparison of the number of the CNN parameters表1 卷積層參數(shù)數(shù)量對比

2.3.3 模型訓(xùn)練與實(shí)現(xiàn)

· 前向傳播過程

本文中使用了二維卷積核和一維卷積.結(jié)合圖5,二維卷積在前向傳播過程中的計(jì)算見公式(3):

第kl個(gè)特征映射的輸出為

其中,σ(x)為激活函數(shù).為了加快求導(dǎo)數(shù)速度并防止梯度彌散,本文中使用修正線性單元 ReLU(rectified linear unit)作為激活函數(shù),在池化層,即子采樣層,選取卷積層子區(qū)域內(nèi)所有神經(jīng)元的最大值構(gòu)成池化層神經(jīng)元.

· 反向傳播過程

本文中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中包含兩種情況:卷積層連接卷積層和卷積層連接池化層.當(dāng)l層為卷積層時(shí),第l-1層第特征映射的殘差項(xiàng)來自于l層的所有神經(jīng)元單元,定義?為卷積操作,那么第特征映射中坐標(biāo)為(i,j)的殘差項(xiàng)為

在得到殘差項(xiàng)計(jì)算公式之后,第l-1層的第個(gè)特征映射神經(jīng)元卷積核的梯度公式為

· 模型實(shí)現(xiàn)

算法2描述了基于二維卷積動(dòng)作圖片的HAR模型訓(xùn)練過程:分別對每個(gè)動(dòng)作圖片進(jìn)行4次卷積和一次池化操作(第4行、第5行),并將特征映射進(jìn)行串聯(lián)拼接和扁平處理(第6行).第7行、第8行對應(yīng)全連接層和輸出層的操作,全連接層的輸入為第6行處理之后的一維特征向量.第9行包含對所有層反向傳播計(jì)算,當(dāng)參數(shù)變化小于閾值或者訓(xùn)練完全部數(shù)據(jù)時(shí),可以得到該模型的參數(shù).值得注意的是:在實(shí)際運(yùn)算過程中,是將訓(xùn)練數(shù)據(jù)劃分成批次,以矩陣形式進(jìn)行計(jì)算.

算法2.基于二維卷積輸入動(dòng)作圖片的HAR模型訓(xùn)練.

算法 3描述 HAR模型預(yù)測過程.對于輸入無標(biāo)簽數(shù)據(jù),使用 M-2DCNN(MS-2DCNN)或者 T-2DCNN(TS-2DCNN)方法對輸入進(jìn)行處理生成相應(yīng)動(dòng)作圖片,利用訓(xùn)練好的參數(shù)預(yù)測每個(gè)時(shí)間窗口數(shù)據(jù)的標(biāo)簽類別pi.

算法3.HAR模型預(yù)測過程.

3 實(shí)驗(yàn)與分析

為了驗(yàn)證本文提出的兩種二維輸入構(gòu)造算法 T-2DCNN(TS-2DCNN)和 M-2DCNN(MS-2DCNN)的特征提取的有效性,本文在公開數(shù)據(jù)集上對比了現(xiàn)有典型且特征提取效果較好的兩種算法的姿態(tài)識(shí)別效果,即傳統(tǒng)的一維卷積輸入 1DCNN[26]和現(xiàn)有的二維卷積輸入 2DCNN[30].文獻(xiàn)[26,30]中所述的兩種卷積方式是目前在相同公開數(shù)據(jù)集上表現(xiàn)較好且利用不同數(shù)據(jù)組織形式和卷積方式提取特征的方法,具有一定代表性.此外,本文重心不是測試現(xiàn)有 CNN網(wǎng)絡(luò)結(jié)構(gòu)以及 CNN和不同分類模型融合的混合模型,而是側(cè)重于對特征的提取效果的驗(yàn)證,因此選取1DCNN和2DCNN兩種對比方法.同時(shí),分類模型全部使用softmax進(jìn)行分類.

3.1 實(shí)驗(yàn)數(shù)據(jù)集描述

在基于傳感器信號(hào)的人體活動(dòng)識(shí)別領(lǐng)域,根據(jù)傳感器位置,用于測試的公開數(shù)據(jù)集通常分為兩類:一種是僅用測試者身上的傳感器收集的數(shù)據(jù);另一種是包含周邊環(huán)境和物體傳感器的數(shù)據(jù),例如在抽屜、茶杯之類的物品上面放置傳感器,結(jié)合身上的傳感器一起識(shí)別動(dòng)作.本文中使用的公開數(shù)據(jù)集屬于第 1種類型的數(shù)據(jù)——OPPORTUNITY[41]數(shù)據(jù)集和SKODA數(shù)據(jù)集[42].

· OPPORTUNITY數(shù)據(jù)集(https://archive.ics.uci.edu/ml/datasets/opportunity+activity+recognition)

OPPORTUNITY數(shù)據(jù)集收集場景為日常生活,主要活動(dòng)范圍在廚房.該數(shù)據(jù)集數(shù)共有 4名測試者,3種類型傳感器分別為:測試者身上傳感器(body-worn sensors)、物體傳感器(object sensors)和周圍環(huán)境傳感器(ambient sensors).本文利用身上傳感器識(shí)別測試者的動(dòng)作,包括7個(gè)IMU(inertial measurement unit)、12個(gè)三軸加速度傳感器,其分布見表2.對于每一個(gè)測試者記錄了6個(gè)文件,其中5個(gè)ADL和1個(gè)Drill.ADL是測試者在自然狀態(tài)下的活動(dòng)記錄,包括在椅子上躺著、在房間走動(dòng)以及準(zhǔn)備咖啡、三明治等一些列活動(dòng);Drill是對一系列動(dòng)作的20次重復(fù),包括開關(guān)冰箱、開關(guān)抽屜等活動(dòng).對于活動(dòng)類別,該數(shù)據(jù)進(jìn)行了等級劃分,分為運(yùn)動(dòng)模式識(shí)別(modes of locomotion)和姿態(tài)識(shí)別(gesture recognition),姿態(tài)識(shí)別分為高層次活動(dòng)[43]、中層次活動(dòng)[25,26]和低層次活動(dòng)[44].高層次活動(dòng)為抽象活動(dòng),例如咖啡時(shí)間、三明治時(shí)間等;中層次活動(dòng)為高層次活動(dòng)細(xì)化,例如咖啡時(shí)間中包含開關(guān)抽屜等活動(dòng);低層次活動(dòng)為中層次活動(dòng)的活動(dòng)單元.本文選擇中層次動(dòng)作作為識(shí)別的標(biāo)簽.而運(yùn)動(dòng)模式識(shí)別中描述運(yùn)動(dòng)的狀態(tài),如站立、躺、坐等.為了描述實(shí)驗(yàn)方便,用GR和 LM來代表姿態(tài)識(shí)中層次標(biāo)簽識(shí)別任務(wù)和運(yùn)動(dòng)模式標(biāo)簽識(shí)別任務(wù),標(biāo)簽描述見表3.在原始數(shù)據(jù)中存在很多缺失值,因此利用線性插值對缺失數(shù)據(jù)進(jìn)行填充.數(shù)據(jù)采樣頻率為30HZ.

Table 2 Location of the sensors in OPPORTUNITY dataset表2 OPPORTUNITY數(shù)據(jù)集傳感器位置分布

Table 3 Details of OPPORTUNITY and SKODA表3 OPPORTUNITY 和 SKODA數(shù)據(jù)集描述

· SKODA數(shù)據(jù)集(http://www.ife.ee.ethz.ch/research/activity-recognition-datasets.html)

SKODA數(shù)據(jù)集描述汽車工人對汽車進(jìn)行操作的場景,該數(shù)據(jù)集總共包含19個(gè)USB傳感器,每個(gè)傳感器包含三軸加速度傳感器,其中,在右臂和左臂上分別放置10個(gè)和9個(gè)傳感器,其具體位置見文獻(xiàn)[42].在本文中,我們僅適用右臂中的10個(gè)傳感器進(jìn)行測試,傳感器編號(hào)從手腕到大臂依次為{2,27,16,29,1,18,14,24,22, 21},該數(shù)據(jù)集包含10類標(biāo)簽,具體動(dòng)作見表3.

3.2 實(shí)驗(yàn)設(shè)置

· 參數(shù)設(shè)置

本文實(shí)驗(yàn)環(huán)境為Google Colaboratory提供的GPU.編程語言為Python 2.0,框架為Keras.本文中實(shí)驗(yàn)過程所需參數(shù)見表4.為了驗(yàn)證本文所提算法在不同滑動(dòng)窗口下的性能,因此設(shè)計(jì)了滑動(dòng)窗口參數(shù)范圍,在沒有明確指出滑動(dòng)窗口參數(shù)時(shí)缺省值為24,即24個(gè)時(shí)刻數(shù)據(jù)作為一個(gè)數(shù)據(jù)單元進(jìn)行訓(xùn)練和預(yù)測,該窗口最后一個(gè)時(shí)刻數(shù)據(jù)作為該數(shù)據(jù)單元的標(biāo)簽,窗口覆蓋率為 50%.由于 SKODA采樣頻率較大,為了實(shí)現(xiàn)實(shí)驗(yàn)參數(shù)共享并且方便與OPPORTUNITY數(shù)據(jù)集對比,對SKODA數(shù)據(jù)進(jìn)行降采樣,降采樣之后頻率為32HZ,與OPPORTUNITY數(shù)據(jù)集采樣頻率相當(dāng).當(dāng)滑動(dòng)窗口為24時(shí),OPPORTUNITY數(shù)據(jù)集和SKODA數(shù)據(jù)集各類訓(xùn)練樣本數(shù)量見表3,并對各類標(biāo)簽進(jìn)行了符號(hào)化表示.結(jié)合數(shù)據(jù)傳感器類型特點(diǎn),本文利用 OPPORTUNITY數(shù)據(jù)集驗(yàn)證 M-2DCNN(MS-2DCNN)識(shí)別效果,利用SKODA驗(yàn)證T-2DCNN(TS-2DCNN)識(shí)別效果.

Table 4 Experiment parameters表4 實(shí)驗(yàn)參數(shù)

同時(shí),本文從傳感器數(shù)量角度對提出的卷積網(wǎng)絡(luò)模型以及共享參數(shù)模型的特征抽取效果進(jìn)行了驗(yàn)證,對于OPPORTUNITY數(shù)據(jù)集,添加部分IMU傳感器并按照傳感器在人體分布情況逐次添加傳感器,總共有4組傳感器,默認(rèn)缺省值為最后一組包含16類傳感器.類似地,對于SKODA數(shù)據(jù)集,按照傳感器分布位置區(qū)域進(jìn)行添加,共有3組:第1組包含小臂傳感器3類,第2組包含大小臂傳感器8類,最后一組包含10類,默認(rèn)為最后一組.

在使用OPPORTUNITY和SKODA數(shù)據(jù)集的文獻(xiàn)中,由于各種參數(shù)設(shè)置不同以及衡量標(biāo)準(zhǔn)不同,無法統(tǒng)一衡量,因此本文結(jié)合參考文獻(xiàn)中的方法,統(tǒng)一了輸入數(shù)據(jù)參數(shù)進(jìn)行對比實(shí)驗(yàn).結(jié)合第 2.3節(jié)中所提出的卷積框架,卷積層和池化層的卷積核參數(shù)見表4.對于第2層和第3層卷積層,該結(jié)構(gòu)在梯度下降過程中學(xué)習(xí)速率為0.01.本文中用于對比實(shí)驗(yàn)的一維卷積 1DCNN輸入構(gòu)造和網(wǎng)絡(luò)結(jié)構(gòu)來自文獻(xiàn)[26],為了使實(shí)驗(yàn)對比結(jié)果更加令人信服,將原文獻(xiàn)中前兩個(gè)卷積層的卷積核定義3×1,網(wǎng)絡(luò)架構(gòu)與原文相同.二維卷積2DCNN輸入構(gòu)造來自文獻(xiàn)[30],還原了文獻(xiàn)中的二維卷積輸入構(gòu)造和卷積網(wǎng)絡(luò)結(jié)構(gòu).

· 評價(jià)指標(biāo)

本文使用F1值作為識(shí)別效果的評價(jià)指標(biāo),F1同時(shí)受到精確率和召回率的影響,計(jì)算公式為

其中,Pi和Ri分別為第i類的精確率和召回率,wi為該類樣本占所有樣本比例,目的是解決類間樣本數(shù)量不平衡問題.

· 訓(xùn)練集和測試集選取

對于SKODA數(shù)據(jù)集,訓(xùn)練集和測試集比例為4:1.對于OPPORTUNITY數(shù)據(jù)集,結(jié)合文獻(xiàn)中的實(shí)驗(yàn)源碼,訓(xùn)練數(shù)據(jù)包括測試者1的所有ADL和Drill、測試者2和測試者3的ADL1,ADL2,ADL3和Drill,測試數(shù)據(jù)為測試者2和測試者3的ADL4和ADL5.所有數(shù)據(jù)均沒有進(jìn)行數(shù)據(jù)類間均衡.在OPPORTUNITY數(shù)據(jù)集中,盡管IMU傳感器數(shù)據(jù)中包含多維度數(shù)據(jù),我們僅僅抽取其中的三軸加速度與ACC的三軸加速度結(jié)合,按照三軸方向構(gòu)造3組二維輸入,IMU傳感器剩余數(shù)據(jù)包括三軸陀螺儀和磁力器均作為一維卷積輸入.

3.3 實(shí)驗(yàn)結(jié)果與分析

·F1對比分析

表5和表6分別描述了本文提出的兩種輸入構(gòu)造法以及經(jīng)過優(yōu)化參數(shù)的網(wǎng)絡(luò)在OPPORTUNITY數(shù)據(jù)集和SKODA數(shù)據(jù)集上面的表現(xiàn).對于OPPORTUNITY數(shù)據(jù)中GR標(biāo)簽和LM標(biāo)簽,均分為兩種情況:一種是包含Null class類,一種是不包含Null class類.

Table 5 F1-value on OPPORTUNITY dataset表5 OPPORTUNITY數(shù)據(jù)集F1值

Table 6 F1-value on SKODA dataset表6 SKODA數(shù)據(jù)集F1值

在表5中,加粗?jǐn)?shù)字表示同等實(shí)驗(yàn)參數(shù)和環(huán)境下最高F1值.通過表5亦可知:滑動(dòng)窗口取48時(shí),GR和 GR(null)的F1值與窗口為24時(shí)相比均有降低.無論窗口取24還是48,基于本文提出的輸入構(gòu)造方法的卷積神經(jīng)網(wǎng)絡(luò)M-2DCNN和MS-2DCNN與現(xiàn)有方法1DCNN和2DCNN的F1值相比,在絕大多數(shù)情況下表現(xiàn)效果良好.這是因?yàn)?OPPORTUNITY傳感器遍布全身且動(dòng)作具有連續(xù)性,本文所述動(dòng)作圖片構(gòu)建方法能夠有效地卷積出單一軸方向上的數(shù)據(jù)特征,其時(shí)空特征表現(xiàn)良好.在默認(rèn)參數(shù)情況下,針對4種分類任務(wù),利用2DCNN實(shí)現(xiàn)GR分類時(shí),MS-2DCNN的F1提升值最大為6.68%,M-2DCNN次之為6.07%;在利用1DCNN實(shí)現(xiàn)GR(null)時(shí),F1提升值最小,為0.38%.而在窗口取48時(shí),LM(null)分類效果中,本文方法略占劣勢,與最高值相比經(jīng)降低了1.57%.其原因在于1DCNN和 2DCNN更依賴于時(shí)序數(shù)據(jù)的時(shí)間特征,而本文方法需要較多的訓(xùn)練樣本.在這 4種方法中,LM識(shí)別F1值總體上比GR的高.這是因?yàn)長M識(shí)別種類少,包括Null class在內(nèi)共5種類別,而GR包含Null class在內(nèi)共有18種類別,相比于LM,GR類間差異會(huì)相對不明顯,因此整體F1值低于LM.在GR中,由于Null class數(shù)量相對于其他類別數(shù)據(jù)數(shù)量明顯增多,占GR樣本總數(shù)的71.9%,因此包含Null class的GR的識(shí)別效果要好于不包含Null class的GR.在LM(null)識(shí)別任務(wù)中,Null class僅占總樣本數(shù)17.2%,Null class的加入會(huì)造成整體F1值降低.

表6描述了本文算法在SKODA數(shù)據(jù)集上的表現(xiàn),由表可知:T-2DCNN和TS-2DCNN表現(xiàn)良好,在默認(rèn)參數(shù)情況下,T-2DCNN的F1高達(dá)95.18%,與相同條件下使用樸素2DCNN0相比提高了1.09%.該數(shù)量級F1值提升非常有意義,說明本文提出的二維卷積輸入構(gòu)建方法可以更高層次地抽取傳感器數(shù)據(jù)之間的空間依賴性;同樣與1DCNN相比,比單純的抽取時(shí)間依賴性提高了0.27%.當(dāng)超過采樣頻率之后即窗口取 48時(shí),在默認(rèn)傳感器數(shù)量情況下,整體F1值有所下降.其原因在于訓(xùn)練樣本隨著窗口增加而減少,訓(xùn)練樣本不足導(dǎo)致.同時(shí), T-2DCNN和TS-2DCNN依然保持優(yōu)勢.這是因?yàn)闃颖静蛔銜r(shí),1DCNN時(shí)間特征不足,2DCNN空間特征表達(dá)沒有 T-2DCNN和TS-2DCNN明顯.

· 傳感器數(shù)量與F1關(guān)系分析

為了更好地說明本文提出的輸入組織形式可以有效地抽取數(shù)據(jù)的空間依賴特征和時(shí)間依賴特征,并在不同傳感器數(shù)量以及輸入數(shù)據(jù)窗口的情況下保持整體的平均識(shí)別效果,本節(jié)從傳感器數(shù)量角度出發(fā),采用表4中傳感器數(shù)量參數(shù),對基于4種卷積網(wǎng)絡(luò)的識(shí)別效果進(jìn)行驗(yàn)證.OPPORTUNITY數(shù)據(jù)集和SKODA數(shù)據(jù)集傳感器添加方式均是將不同區(qū)域的傳感器按照逐一區(qū)域添加.

圖6描述了OPPORTUNITY中GR和GR(null)F1傳感器數(shù)量之間的關(guān)系.隨著傳感器數(shù)量增加,不同滑動(dòng)窗口大小的F1趨勢不同,甚至出現(xiàn)反復(fù)現(xiàn)象.由此可以說明傳感器數(shù)量越多,其計(jì)算效果不一定越好.原因在于識(shí)別效果和傳感器空間分布以及滑動(dòng)窗口的變化有關(guān),同時(shí),傳感器較多容易引起過擬合,如ws=48時(shí) GR中M-2DCNN,1DCNN和2DCNN.從整體上講,GR中的M-2DCNN和MS-2DCNN可以有效地兼顧數(shù)據(jù)時(shí)間和空間的特征,在傳感器數(shù)量較少時(shí),能夠有從單一軸向動(dòng)作圖片中挖掘時(shí)間依賴性;在傳感器數(shù)量較多時(shí),本文描述的動(dòng)作圖片可以挖掘同一軸向上的不同位置傳感器的空間依賴性.相對于1DCNN和2DCNN的F1提升較大.但在 GR(null)中,雖然F1值也有提升,但提升沒有 GR中明顯.其原因在于 null類在訓(xùn)練過程中所占比例較高.隨著傳感器數(shù)量增多,F1值先下降后上升,這是因?yàn)樾录尤氲膫鞲衅鲗傩阅軌蚋玫乇磉_(dá)特征,降低了之前加入傳感器數(shù)造成的數(shù)據(jù)干擾.

Fig.6 F1-values of GR with different number of sensors on OPPORTUNITY圖6 OPPORTUNITY數(shù)據(jù)集不同數(shù)量傳感器的GR任務(wù)的F1值

圖7描述了OPPORTUNITY中LM和LM(null)中的動(dòng)作識(shí)別效果隨著傳感器數(shù)量變化的的趨勢.在LM中,M-2DCNN和MS-2DCNN在窗口為24時(shí)的F1值整體上隨著傳感器數(shù)量增加而提高,在窗口為48時(shí)小范圍波動(dòng),而其他兩種方法在窗口為24時(shí)整體低于M-2DCNN和MS-2DCNN并呈現(xiàn)下降趨勢.這說明M-2DCNN和MS-2DCNN在小窗口時(shí)可以有效地從少量多個(gè)位置、多種傳感器中抽取空間特征.當(dāng) LM(null)分類任務(wù)窗口為48時(shí),1DCNN識(shí)別效果較為穩(wěn)定,這說明1DCNN能夠在大窗口傳感器數(shù)據(jù)中得到時(shí)間特征.而2DCNN的F1值范圍波動(dòng)較大,M-2DCNN和MS-2DCNN也有小范圍波動(dòng),說明在該窗口下數(shù)據(jù)空間特征受傳感器分布影響較大,不能夠在逐一區(qū)域添加傳感器過程中得到穩(wěn)定的時(shí)空特征.當(dāng)加入null class之后,4種方法對于特征學(xué)習(xí)能力下降,這是因?yàn)樵贚M標(biāo)簽中null class學(xué)習(xí)樣本較少,增大了誤差.

Fig.7 F1-values of LM with different number of sensors on OPPORTUNITY圖7 OPPORTUNITY數(shù)據(jù)集不同數(shù)量傳感器的LM任務(wù)的F1值

圖8描述了SKODA數(shù)據(jù)集上不同滑動(dòng)窗口情況下F1隨著傳感器數(shù)量變化.

Fig.8 F1-values of recognition with different number of sensors on SKODA圖8 SKODA數(shù)據(jù)集不同數(shù)量傳感器的活動(dòng)識(shí)別F1值

隨著傳感器數(shù)量的增加,T-2DCNN,TS-2DCNN呈現(xiàn)上升趨勢.這是因?yàn)閯?dòng)作圖片構(gòu)建需要一定數(shù)量的傳感器,在不受噪音傳感器干預(yù)的情況下,傳感器數(shù)量越多,則在每一個(gè)軸向的動(dòng)作圖片中所提取動(dòng)作的空間依賴性越強(qiáng).在窗口為48時(shí),1DCNN和2DCNN呈現(xiàn)了先上升后下降的趨勢,其原因是在該參數(shù)情況下,訓(xùn)練數(shù)據(jù)較少,且傳感器數(shù)量較多,產(chǎn)生了過擬合現(xiàn)象.同時(shí)可觀測到,TS-2DCNN和T-2DCNN在傳感器數(shù)量為3時(shí)F1值很低.這是由于該數(shù)量傳感器構(gòu)成的3個(gè)動(dòng)作圖片的空間特征分辨力不足,但隨著傳感器數(shù)量增多,F1值逐漸提高.

為了更加清晰地描述基于這4種方法的在各種傳感器分布情況下的卷積網(wǎng)絡(luò)效果,我們對圖6～圖8獲取最高F1值的方法出現(xiàn)的次數(shù)進(jìn)行了統(tǒng)計(jì),見表7和表8.該統(tǒng)計(jì)的目的在于說明這4種方法在不具體指出傳感器位置分布的情況下的總體識(shí)別效果,即該算法的通用性,而不針對于某一種情況下作比較.在 OPPORTUNITY上,M-2DCNN和MS-2DCNN獲取最高F1值的頻次較高;SKODA數(shù)據(jù)集上,本文所述方法頻次最高.因此說明我們提出的方法對實(shí)驗(yàn)參數(shù)和數(shù)據(jù)集的變化具有較好的的適應(yīng)能力,可以有效地從多位置傳感器組合中抽取有效的特征.同時(shí),通過圖6～圖8也可以看出:基于共享參數(shù)的卷積網(wǎng)絡(luò)MS-2DCNN和TS-2DCNN與M-2DCNN和T-2DCNN達(dá)到同等效果,即使F1在某些情況下略有降低,但整體好于2DCNN和1DCNN.

Table 7 Frequency of the largestF1-value on OPPORTUNITY表7 OPPORTUNITY數(shù)據(jù)集最高F1值次數(shù)

Table 8 Frequency of the largest F1-value on SKODA表8 SKODA數(shù)據(jù)集最高F1值次數(shù)

· 相同類別F1值對比分析

本文未采用混淆矩陣對每一類的識(shí)別效果進(jìn)行分析,而是縱向?qū)Ρ攘嗣恳活惒捎貌煌椒ǖ腇1差值.可以更清晰和直觀地觀測到不同的輸入構(gòu)造和卷積對每一類識(shí)別效果的影響.圖9描述了 OPPORTUNITY中M-2DCNN和MS-2DCNN每個(gè)類別F1值與待對比方法法F1值差異,橫坐標(biāo)為類別標(biāo)簽符號(hào),其符號(hào)與類別之間對應(yīng)關(guān)系見表3,縱坐標(biāo)為不同方法F1值之間的差值.

Fig.9 F1-values’ difference of GR in different CNN architectures on OPPORTUNITY (ws=24)圖9 OPPORTUNITY數(shù)據(jù)集GR各類別不同輸入構(gòu)造方法F1值差異(ws=24)

在GR的17類動(dòng)作中,M-2DCNN在11個(gè)動(dòng)作中的識(shí)別效果均優(yōu)于其他兩種方法,完全低于其他兩種方法的有4類動(dòng)作(G3,G6,G10和G17).在MS-2DCNN中,不存在完全低于其他兩種方法的動(dòng)作標(biāo)簽,對于類間差異較小的動(dòng)作,如開關(guān)不同的抽屜和門,本文方法能夠有效地進(jìn)行區(qū)分,同時(shí)說明了OPPORTUNITY數(shù)據(jù)集中傳感器分布使得同一軸向的動(dòng)作圖片數(shù)據(jù)特征表達(dá)較好,即使共享卷積參數(shù),依然在各類別的識(shí)別過程中表現(xiàn)良好.但對于G17(clean table)的動(dòng)作識(shí)別效果不如2DCNN,這是因?yàn)镚17不同于其他動(dòng)作,該動(dòng)作持續(xù)時(shí)間長,因此在同一軸向小窗口數(shù)據(jù)上的空間依賴性表達(dá)不如2DCNN明顯.

圖10描述了 SKODA數(shù)據(jù)集中,默認(rèn)情況下使用 T-2DCNN和 TS-2DCNN與待對比方法F1值的差異.T-2DCNN在9種動(dòng)作中的識(shí)別效果均優(yōu)于其他兩種方法;TS-2DCNN可以較好地識(shí)別出8種動(dòng)作;而1DCNN在第6類動(dòng)作識(shí)別效果略好,這是因?yàn)镾6動(dòng)作樣本數(shù)量較少,且該動(dòng)作完全由左臂完成,文中所使用SKODA傳感器均佩戴在右臂,在完成動(dòng)作時(shí)右臂動(dòng)作幅度不大,使用一維卷積核時(shí)能夠完整地抽取傳感器各個(gè)軸向的時(shí)間特征,該動(dòng)作空間特征不明顯,出現(xiàn)了本文方法識(shí)別效果不如1DCNN,但卻優(yōu)于2DCNN的現(xiàn)象.

Fig.10 F1-Values’ difference in different CNN architectures on SKODA (ws=24)圖10 SKODA數(shù)據(jù)集各類別不同輸入構(gòu)造方法F1值差異(ws=24)

4 結(jié) 論

本文針對現(xiàn)有二維卷積輸入構(gòu)建方法中對多位置三軸向傳感器相同軸向數(shù)據(jù)之間的空間依賴性挖掘不足的現(xiàn)象進(jìn)行研究并提出解決方案.本文提出了 T-2DCNN和 M-2DCNN兩種網(wǎng)絡(luò)結(jié)構(gòu),其核心是利用 T-2D和M-2D構(gòu)建方法將多個(gè)位置的三軸加速度計(jì)的數(shù)據(jù)劃分成 3張獨(dú)立的動(dòng)作圖片用于二維卷積核的輸入,同時(shí),結(jié)合非三軸傳感器構(gòu)建一維卷積核輸入的動(dòng)作圖片,融合多張動(dòng)作圖片所得的特征映射來抽取高層次特征,實(shí)現(xiàn)了以本文所提方案為特征抽取方法的HAR模型.同時(shí),提出了基于共享參數(shù)TS-2DCNN和MS-2DCNN的網(wǎng)絡(luò)結(jié)構(gòu),在保證識(shí)別準(zhǔn)確率的同時(shí),減少了卷積層訓(xùn)練參數(shù)數(shù)量,并通過設(shè)置不同實(shí)驗(yàn)參數(shù)驗(yàn)證了本文所述方法的識(shí)別效果.在未來研究工作中,將結(jié)合項(xiàng)目研究組采集的數(shù)據(jù)對真實(shí)環(huán)境建模和動(dòng)作識(shí)別.