李嘉智,劉 寧,節(jié)笑晗,王靖驍,趙 輝

(北京信息科技大學 高動態(tài)導航技術北京市重點實驗室,北京 100192)

0 引 言

隨著科技的發(fā)展與進步,以高精度定位和導航為核心的位置服務(Location Based Service,LBS)[1]在人們的日常活動中應用廣泛。但在室內(nèi)環(huán)境下,建筑物的遮擋和內(nèi)部環(huán)境的干擾使導航定位存在盲區(qū),位置精度嚴重發(fā)散。因此,如何在室內(nèi)遮蔽環(huán)境下獲得高精度的位置信息,成為當前研究的熱點與重點[2]。常見的主流定位方法有WiFi定位[3]、藍牙定位[4]、超寬帶定位[5]等。李景文等[6]提出了一種超寬帶無線定位(Ultra-wide Band,UWB)和行人航跡推算(Pedestrian Dead Reckoning,PDR)相結(jié)合的一種高精度定位技術,與單一定位方法相比精度有明顯提高。Zhan等[7]提出了一種基于擴展卡爾曼濾波的WiFi-PDR融合室內(nèi)定位方法,在PDR定位的基礎上通過采集WiFi指紋位置信息并建立指紋庫來降低定位誤差。上述研究均為融合WiFi、UWB等外部設備,但是在一些地震災區(qū)、火災現(xiàn)場、深山森林等場地,沒有足夠的條件來安置這些外部設備。鐘立揚等[8]提出了一種以衛(wèi)星測距為基礎,建立個體步長數(shù)據(jù)庫來替代步長模型的方法,約束步長的誤差來提高定位精度,但是個體步長數(shù)據(jù)庫需要龐大的數(shù)據(jù)作為支撐,且人的身形差異較大,實施起來有一定的難度。鄭秋菊等[9]提出了一種依據(jù)行為分類的人員軌跡盲推方法,根據(jù)識別出手機的3種方式(手持條件下、口袋中、自由晃動)對人員的位置進行估計,定位精度得到了有效提高,但是沒有完全考慮人員的多種運動狀態(tài)。

綜上所述,并考慮到在一些復雜環(huán)境下WiFi、UWB等外部設施實現(xiàn)困難的情況,本文提出一個基于神經(jīng)網(wǎng)絡運動識別輔助室內(nèi)定位的方法(Human Activity Recognition-PDR,HAR-PDR),使用簡單的加速度計陀螺儀等器件完成數(shù)據(jù)采集,實現(xiàn)人員運動識別和航跡推算。首先利用加速度計、陀螺儀等器件采集加速度、角速度等數(shù)據(jù),通過神經(jīng)網(wǎng)絡識別人體的運動狀態(tài)并完成分類,然后根據(jù)不同運動狀態(tài)下的加速度特征,設置不同的參數(shù)約束閾值、步長等參數(shù),利用人體的運動特征優(yōu)化PDR軌跡,實現(xiàn)高精度的室內(nèi)定位。

1 總體架構(gòu)描述

由于日常的行為活動中人體的運動狀態(tài)復雜多變,不同運動狀態(tài)下的步長、步頻等均不相同,僅僅憑靠單純的PDR技術定位誤差會越來越大,難以滿足高精度的定位需求。本文提出的方法首先是利用三層卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)和兩層門控循環(huán)單元(Gated Recurrent Unit,GRU)構(gòu)建出動作識別網(wǎng)絡模型,在自建數(shù)據(jù)集上進行驗證,數(shù)據(jù)集中動作的準確率可以達到99.6%,滿足日常運動狀態(tài)的識別與分類。將識別出的動作分類結(jié)果應用到PDR算法,根據(jù)不同的閾值參數(shù)調(diào)整不同運動狀態(tài)下的步長、步數(shù)等關鍵參數(shù),縮小定位誤差,提高定位精度。整體框架流程如圖1所示。

圖1 HAR-PDR總體框架Fig.1 Overall framework of HAR-PDR

2 人體運動識別算法

傳統(tǒng)的人體動作識別技術如樸素貝葉斯[10]、支持向量機[11]和隨機森林[12]等算法在提取特征時采用的是人工提取,工作量大,效率低,設計的時候還有一定的主觀性,當處理大量繁雜、非線性數(shù)據(jù)時往往達不到預期的效果。神經(jīng)網(wǎng)絡的應用則很好地解決了這一問題。目前常用的網(wǎng)絡有卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)。

2.1 人體運動識別網(wǎng)絡模型

本文提出的網(wǎng)絡模型主要由3層CNN和2層門控循環(huán)單元循環(huán)層組成。卷積神經(jīng)網(wǎng)絡的核心是卷積層,主要作用是提取圖像特征,將每一塊內(nèi)容進行更深入的分析從而得到抽象程度更高的特征。在確定卷積核的數(shù)量時,本文使用WISDM數(shù)據(jù)集,網(wǎng)絡結(jié)構(gòu)為3層卷積神經(jīng)網(wǎng)絡,測試了16,32,64和128個卷積核數(shù)量,訓練次數(shù)為300次,結(jié)果如圖2所示。圖2(a)為不同卷積核下的識別準確率,圖2(b)為不同卷積核下的損失函數(shù)值。測試中,卷積核為64時效果最佳,繼續(xù)增大到128或更高時,損失值的收斂速度和準確率相較于64持平,但是參數(shù)成倍數(shù)增多,每輪訓練時間大幅增加,所以最終卷積核數(shù)量確定為64,卷積核大小為3。每個卷積層中卷積核數(shù)量和大小都是相同的,這樣可以學習到更多的非線性特征。卷積層中的激活函數(shù)為RELU ,池化方式分為最大池化和平均池化兩種。為了提取到數(shù)據(jù)集中的最顯著的特征,本文使用的是最大池化方式。

圖2 不同卷積核對準確率和損失函數(shù)的影響Fig.2 Influence of different convolutional kernels on accuracy and loss function

由于CNN提取特征每一段都是獨立的,沒有考慮數(shù)據(jù)段之間的聯(lián)系性,而循環(huán)神經(jīng)網(wǎng)絡的優(yōu)勢在于捕捉時間尺度上的依賴關系,通過前一時刻和后一時刻的狀態(tài)來更加精準的判斷出當前時刻的狀態(tài)。門控循環(huán)單元是為了克服RNN中出現(xiàn)的梯度消失和爆炸問題提出的,相對長短期記憶(Long Short-Term Memory,LSTM)網(wǎng)絡來說,它的作用效果相當,網(wǎng)絡結(jié)構(gòu)卻更簡單,參與運算的參數(shù)和運算時占用的內(nèi)存也更少,速度也更快。

以訓練的WISDM數(shù)據(jù)集為例,使用的網(wǎng)絡結(jié)構(gòu)為3層卷積層和2層循環(huán)層的組合模型,在相同的環(huán)境下,在循環(huán)層用控制變量法對比LSTM和GRU,實驗結(jié)果如圖3和表1所示。LSTM為循環(huán)層時訓練50次左右損失函數(shù)收斂,而GRU為循環(huán)層時訓練20次左右即可收斂,并且準確率和LSTM相持平,所以用GRU網(wǎng)絡代替LSTM來執(zhí)行循環(huán)體部分的功能。GRU循環(huán)層的神經(jīng)元數(shù)量為32。

表1 GRU與LSTM單層參數(shù)對比Tab.1 Single layer parameters comparison between GRU and LSTM

圖3 GRU和LSTM損失函數(shù)收斂性比較Fig.3 Convergence comparison between GRU and LSTM loss functions

2.2 實驗結(jié)果驗證

仿真實驗環(huán)境：電腦系統(tǒng)Wisdom 10,CPU型號為Intel(R) Core(TM) i7-10750H,運行內(nèi)存16 GB;GPU為NVIDIA GeForce GTX 1650;使用的算法是在機器學習的TensorFlow框架內(nèi)實現(xiàn)。在對數(shù)據(jù)集樣本訓練時,使用ADMA優(yōu)化器,學習率設置為0.001。

本文驗證測試采用WISDM[13]、UCI HAR[14]、PAMAP2[15]3種數(shù)據(jù)集。WISDM數(shù)據(jù)集中包括了步行、慢跑、上樓、下樓、站立、坐下共6種動作。UCI HAR數(shù)據(jù)集采用其中的6種動作,即坐、站、躺、上樓、下樓、走路。PAMAP2數(shù)據(jù)集包含了12項動作,包括一些簡單的動作(如平躺、站立和行走)和復雜的動作(如跳繩、折疊衣服和開車)。在本文的測試中,主要使用其中的9種動作進行測試。這些數(shù)據(jù)集中70%的數(shù)據(jù)用作訓練集,30%的數(shù)據(jù)用作測試集。在本文提出的模型中對3個數(shù)據(jù)集進行訓練,選取最終穩(wěn)定后的結(jié)果,其準確率如圖4所示。

此外,本文還對比了其他網(wǎng)絡結(jié)構(gòu)下3種數(shù)據(jù)集的準確率,具體數(shù)值如表2所示。

表2 不同網(wǎng)絡模型準確率對比Tab.2 Accuracy comparison among different network models

本文網(wǎng)絡模型和單類型的卷積神經(jīng)網(wǎng)絡、SVM相比,識別準確率有明顯提升。這是因為CNN-GRU絡模型能夠充分提取特征,充分考慮序列之間的相關信息。實驗結(jié)果驗證了本文提出的網(wǎng)絡模型可以有效地對人體的運動狀態(tài)進行識別分類。

3 基于運動狀態(tài)識別的行人航跡推算

PDR技術是利用行人行走的步態(tài)特征,在得到初始坐標的基礎上,根據(jù)陀螺儀、加速度計等慣性器件采集的數(shù)據(jù),解算出航向和步長,通過迭代累計推算出定位軌跡。

(1)

式中：(xk,yk)是tk時刻的位置坐標;lk,θk是tk時行走一步的步長和航向角;(xk+1,yk+1)是下tk+1時的位置坐標。

3.1 航向角估計

航向角的解算是實現(xiàn)精確定位的關鍵一步,本文使用加速度計和磁力計聯(lián)合計算航向角。首先通過加速度計數(shù)據(jù)ax,ay,az計算橫滾角γ和俯仰角θ：

(2)

(3)

然后利用γ和θ將b系下的磁力計數(shù)據(jù)轉(zhuǎn)換到n系下,如公式(4)所示,其中Hx,Hy,Hz和hx,hy,hz分別是n和b坐標系下的三軸磁力計數(shù)據(jù) 。

(4)

最后利用三角函數(shù)進行轉(zhuǎn)換即可獲得當前位置的航向角ψ：

(5)

3.2 多運動狀態(tài)下步長估計

在PDR系統(tǒng)中,步態(tài)、步長、航向角是實現(xiàn)室內(nèi)定位的三要素,而步長計算是否準確直接會影響定位的精度,隨著時間的積累,位置誤差的積累也會逐漸擴大。在復雜環(huán)境下有多種運動狀態(tài),且不同運動狀態(tài)下步長也是不同的,所以選擇合適的步長模型至關重要。常見的步長模型有常量模型、線性模型和非線性模型等。在多運動情況下,不同的運動狀態(tài)下加速度值和步頻都不相同。本文提出將兩種步長模型融合解算步長,針對行走、跨步、慢跑等速度較慢的運動,采用線性模型Length(1);對快跑、跳躍等加速度值較大的運動,采用非線性模型Length(2),表示如下：

(6)

Length(1)中：f表示步頻;σ2表示加速度模的方差;α,β,γ為常數(shù),通過訓練得到。

Length(2)中：k為系數(shù),通過訓練獲得;amax和amin分別為加速度的最大和最小值。

3.3 多運動狀態(tài)下步數(shù)檢測

傳統(tǒng)的步數(shù)檢測方法有峰值檢測、過零檢測、歸一化步數(shù)檢測等?？紤]到多運動狀態(tài)下波形的復雜變化,單一的檢測方式已經(jīng)滿足不了對步數(shù)的精準記數(shù),所以本文將人體運動數(shù)據(jù)特征和峰值檢測、時間閾值檢測相結(jié)合,利用波峰之間的時間間隔和閾值大小去除偽波峰。

首先對合加速度數(shù)據(jù)進行四階低通濾波器處理,截至頻率為0.2π。

(7)

然后根據(jù)公式(8)和(9)獲取峰值點,其中,acci是檢測到的峰值點,thpeak是設置的峰值閾值。

peaki={acci|acci>acci-1&acci>acci+1}

(8)

peaki>thpeak

(9)

同時利用時間閾值,檢測方式如公式(10),thtime是設置的最小間隔時間閾值,當?shù)陀谶@個數(shù)值的時候?qū)⒄J為存在偽波峰。

tn-tn-1>thtime

(10)

在多運動狀態(tài)下步數(shù)檢測中,由于不同運動狀態(tài)的峰值和每步的間隔距離都不盡相同,具體數(shù)值如表3所示,因此,根據(jù)識別到的不同的運動模式設置不同的閾值參數(shù)可以有效提高步數(shù)檢測精度。圖5為4種不同動作下運動步數(shù)的檢測結(jié)果,單一的檢測方式不再適用多種運動模式而導致出現(xiàn)漏檢,而本文提出的方法則很好地適應多運動下的步數(shù)檢測。

表3 不同運動狀態(tài)下的參數(shù)Tab.3 Parameters in different moving states

圖5 峰值檢測結(jié)果Fig.5 Peak value detection results

4 實驗結(jié)果與分析

本文以榮耀V30手機作為實驗平臺,通過手機內(nèi)置的傳感器采集實驗數(shù)據(jù),采集頻率設定為100 Hz。本次實驗數(shù)據(jù)由年齡在22～26歲之間的10名男性和2名女性采集完成,數(shù)據(jù)集使用六軸IMU(加速度計、陀螺儀)采集走、跑、跳、跨步4種動作。其中,其中行走數(shù)據(jù)為93 959,跑步為65 735,跳為51 232,跨步60 335。

4.1 人體運動識別驗證

在本文構(gòu)建的CNN-GRU網(wǎng)絡模型下對自建數(shù)據(jù)集進行識別分類,如圖6所示,準確率可達99.6%。

圖6 自建數(shù)據(jù)集訓練結(jié)果Fig.6 Training result of the built dataset

混淆矩陣是一種可視化的用來呈現(xiàn)算法性能的矩陣,又稱為錯誤矩陣或可能性表格,主要用于顯示分類結(jié)果。圖7為自建數(shù)據(jù)集的混淆矩陣,可以看出,4種動作均可以準確地識別分類,動作“走”和“跨步”可以100%識別,動作“跑”和“跳”由于加速度數(shù)據(jù)上相似,存在較小的誤判,但對定位效果影響較小,總體達到了需求目標。

圖7 自建數(shù)據(jù)集混淆矩陣Fig.7 Confusion matrix of the built dataset

圖8 實驗結(jié)果Fig.8 Experiment results

4.2 基于運動識別約束的室內(nèi)定位實驗

對本文提出的基于神經(jīng)網(wǎng)絡運動識別輔助室內(nèi)定位的算法進行實驗驗證,實驗路徑是建筑物內(nèi)的一段矩形路線,路線長為40 m,寬為16 m,總長度為112 m,實驗中共有走、跑、跳、跨步4種動作。實驗結(jié)果如圖 8所示,傳統(tǒng)的PDR方法路徑偏移嚴重,路線距離是131.9 m,位置誤差為19.9 m,誤差百分比為17.8%;本文HAR-PDR定位路線總距離為113.8 m,誤差為1.8 m,誤差百分比為1.6%。

由于人的行為動作之間的差異性,每種動作的誤差各不相同,累計總誤差為3.4 m,每段具體誤差數(shù)據(jù)如見表4。

表4 不同動作下的距離誤差Tab.4 Distance error under different activities

在實驗測試中,可以發(fā)現(xiàn)傳統(tǒng)PDR方法的相對路徑誤差較大,這是因為在多種運動狀態(tài)下,不同的運動情況其步長、加速度峰值、每步的間隔時間等參數(shù)都不盡相同。傳統(tǒng)PDR方法不僅在步數(shù)檢測方面存在較大誤差,而且不同的運動狀態(tài)下的步長不能自適應調(diào)節(jié)。在行、跑、跳、跨步4種運動中,跑步時的加速度峰值最高,跨步的步頻最低,這些參數(shù)的不同導致了“跑”和“跳”時傳統(tǒng)PDR解算的步長比真實步長數(shù)值偏大,“跨步”階段的距離偏短,所以傳統(tǒng)的PDR算法會導致路徑的累計誤差越來越大,而有運動識別約束的PDR算法會根據(jù)不同運動狀態(tài)下閾值參數(shù)修正步長和步數(shù)檢測,來減小定位誤差。

5 結(jié)束語

本文提出了一種基于運動識別輔助室內(nèi)定位的方法,通過識別人體的運動狀態(tài),自適應地檢測步數(shù)和調(diào)整步長模型,實現(xiàn)了較為理想的定位精度,定位誤差為1.8 m,遠高于傳統(tǒng)PDR的19.9 m,滿足日常定位需要。

后續(xù)研究將考慮加入更多的運動類型,以便在復雜環(huán)境下實現(xiàn)更準確的定位,提高HAR-PDR的實際應用價值。