任夢(mèng)恬，田增山，蔣 青

(重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

0 引 言

隨著二十一世紀(jì)科學(xué)技術(shù)的飛速發(fā)展以及計(jì)算機(jī)的普及，人機(jī)交互技術(shù)已經(jīng)成為了大家關(guān)注和研究的對(duì)象[1]。手勢(shì)是最簡(jiǎn)單與自然的交互方式，在智能家居[2]、輔助汽車(chē)控制系統(tǒng)[3]等諸多領(lǐng)域發(fā)揮重要作用，因此，手勢(shì)識(shí)別逐漸成為人機(jī)交互的一個(gè)重要研究方向。

目前，被廣泛關(guān)注的手勢(shì)識(shí)別技術(shù)主要有基于可穿戴傳感設(shè)備[4-5]、基于計(jì)算機(jī)視覺(jué)[6-7]、基于射頻信號(hào)[8-9]3類(lèi)。其中，基于可穿戴設(shè)備和計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別系統(tǒng)起步較早，迄今為止已經(jīng)非常成熟，并且取得可喜的精度[10]，但由于基于可穿戴設(shè)備的手勢(shì)識(shí)別系統(tǒng)需要使用者佩戴如數(shù)據(jù)手套、臂環(huán)、加速度傳感器等傳感設(shè)備獲取相應(yīng)的參數(shù)，造成使用者的不便；而計(jì)算機(jī)視覺(jué)的方法利用攝像頭獲取用戶(hù)手勢(shì)行為，其依賴(lài)于高分辨的視頻或圖像，并且在黑暗、濃煙等非光照條件下無(wú)法使用。與其他手勢(shì)識(shí)別技術(shù)相比，射頻信號(hào)中基于Wi-Fi信號(hào)的手勢(shì)識(shí)別系統(tǒng)因其不需要光照、佩戴設(shè)備，也不需要昂貴的硬件基礎(chǔ)，只需要利用軟件的升級(jí)與更新，所以逐漸成為手勢(shì)識(shí)別的主流。

基于Wi-Fi的手勢(shì)識(shí)別系統(tǒng)中，目前大多數(shù)系統(tǒng)通常使用接收信號(hào)強(qiáng)度指示(received signal strength indicator，RSSI)捕捉信號(hào)，2014 年，哥延根大學(xué)的S.Sigg等[11]提取了RSSI信號(hào)對(duì)簡(jiǎn)單的行為進(jìn)行識(shí)別；2015年，H.Abdelnasser等[12]提出WiGest，通過(guò)分析RSSI信號(hào)變化的上升沿、下降沿等特性進(jìn)行手勢(shì)識(shí)別，在單個(gè)接入點(diǎn)的情況下準(zhǔn)確率為87.5%，但RSSI作為一種粗粒度的信號(hào)，在不確定噪聲和室內(nèi)多徑情況下穩(wěn)定性比較差，因此，無(wú)法提供足夠的可靠性。隨著對(duì)可靠性的追求越來(lái)越高，具有更細(xì)膩度的信道狀態(tài)信息(channel state information，CSI)逐漸出現(xiàn)在大家的視野。2013年Q.Pu等[13]提出了基于CSI的手勢(shì)識(shí)別系統(tǒng)WiSee，WiSee通過(guò)從Wi-Fi信號(hào)中提取人體運(yùn)動(dòng)的多普勒頻移信息，對(duì)推手、揮手類(lèi)動(dòng)作進(jìn)行識(shí)別，手勢(shì)識(shí)別平均準(zhǔn)確率可達(dá)到94%，但由于WiSee系統(tǒng)只能在軟件無(wú)線(xiàn)電平臺(tái)上使用，不能在目前商用Wi-Fi上使用，無(wú)法進(jìn)行推廣；2015年深圳大學(xué)研究出WiG[14]系統(tǒng)，WiG系統(tǒng)基于3發(fā)2收的場(chǎng)景，利用濾波抑噪、時(shí)域統(tǒng)計(jì)特征值等處理，對(duì)CSI信息進(jìn)行手勢(shì)識(shí)別，在直射徑環(huán)境下準(zhǔn)確度達(dá)90%以上，但該系統(tǒng)采用了大量的時(shí)域統(tǒng)計(jì)特征，并且需要對(duì)CSI相位信息進(jìn)行長(zhǎng)時(shí)間的校正；WiGeR[15]系統(tǒng)基于CSI對(duì)手勢(shì)動(dòng)作選擇動(dòng)態(tài)時(shí)間扭曲算法進(jìn)行識(shí)別與分類(lèi)，手勢(shì)識(shí)別精度均在90%以上，但動(dòng)態(tài)時(shí)間規(guī)整算法時(shí)間復(fù)雜度很高，時(shí)間開(kāi)銷(xiāo)巨大，并且需要結(jié)合k-最近鄰(k-nearest neighbo，KNN)分類(lèi)算法進(jìn)行分類(lèi)。相較于傳統(tǒng)的時(shí)域技術(shù)，本文研究增加頻域特征頻譜熵的信息，手勢(shì)動(dòng)作在各個(gè)頻率分量的變化更加直觀，更好地描述了行為的結(jié)構(gòu)特性，同時(shí)，本文還采用CSI幅值信息，無(wú)需利用功分器對(duì)CSI相位信息進(jìn)行長(zhǎng)時(shí)間的校正。本文將充分利用CSI幅值信息對(duì){畫(huà)圈、前后、左右、上下、揮手}5種手勢(shì)進(jìn)行識(shí)別，具體貢獻(xiàn)可歸納如下。

1)針對(duì)如何在復(fù)雜環(huán)境下提取有用的手勢(shì)信號(hào)，本文采用了小波變換-主成分分析聯(lián)合去噪的方法，在去噪的同時(shí)解決了多個(gè)CSI子載波之間信號(hào)冗余的問(wèn)題。

2)針對(duì)如何完成對(duì)手勢(shì)信號(hào)的訓(xùn)練和分類(lèi)，本文首先提出基于最小方差的信號(hào)分割算法對(duì)信號(hào)進(jìn)行分割，其次結(jié)合時(shí)域和頻域特征將動(dòng)作的持續(xù)時(shí)間、不同頻率階段的頻譜熵等特征作為手勢(shì)的特征值，完成不同手勢(shì)信號(hào)的訓(xùn)練和分類(lèi)。

1 系統(tǒng)模型與方案設(shè)計(jì)

室內(nèi)環(huán)境復(fù)雜多變，存在著多徑效應(yīng)的干擾，如墻面、沙發(fā)、桌椅等靜態(tài)反射物，其模型示意圖如圖1。

圖1 室內(nèi)環(huán)境示意圖Fig.1 Schematic diagram of indoor environment

根據(jù)圖1可知，接收機(jī)接收到的CSI數(shù)據(jù)為多條路徑信號(hào)的疊加，可表示為

H(fi,t)=|H(fi,t)|×arg(H(fi,t))=

(1)

(1)式中：|H(fi,t)|和arg(H(fi,t))分別表示第i個(gè)子載波在第t時(shí)刻的幅值與相位，其中，fi表示子載波的頻率；e-j2πΔft表示由于相位誤差造成的相位偏移；N為一共的多徑數(shù)；ak(fi,t)表示第k條多徑的傳播衰減；e-j2πfiτk(t)表示由于傳播時(shí)延引起的相位偏移；n表示噪聲。

文獻(xiàn)[16]根據(jù)(1)式推導(dǎo)出CSI幅值的平方公式為

(2)

由(2)式可得，CSI幅值的平方是由一些常量和余弦函數(shù)組成，可以準(zhǔn)確反映目標(biāo)運(yùn)動(dòng)的抖動(dòng)性，因此，本文考慮利用CSI幅值信息的特征完成手勢(shì)運(yùn)動(dòng)的分類(lèi)與識(shí)別。系統(tǒng)方案如圖2。

圖2 手勢(shì)識(shí)別算法系統(tǒng)方案流程圖Fig.2 Overview of the gesture recognition algorithm system

2 基于時(shí)頻分析的手勢(shì)識(shí)別

2.1 數(shù)據(jù)預(yù)處理

由前文可知，接收機(jī)接收到的CSI數(shù)據(jù)為多條路徑信號(hào)的疊加，存在墻壁、桌椅等靜態(tài)反射物的干擾，如何在復(fù)雜的室內(nèi)環(huán)境中提取目標(biāo)用戶(hù)手勢(shì)運(yùn)動(dòng)引起的信號(hào)變化是一項(xiàng)巨大的挑戰(zhàn)。針對(duì)此問(wèn)題，本文對(duì)CSI幅值信號(hào)采用離散小波變換(discrete wavelet transform，DWT)技術(shù)對(duì)信號(hào)進(jìn)行有效去噪；由于CSI信號(hào)具有30個(gè)子載波信息，但30個(gè)子載波攜帶的信息是有冗余的，并且考慮所有的子載波數(shù)會(huì)增加計(jì)算的復(fù)雜性，因此，本文將DWT去噪后的信號(hào)進(jìn)行主成分分析(principal component analysis，PCA)，對(duì)數(shù)據(jù)進(jìn)行有效降維，進(jìn)一步達(dá)到去噪的效果。

小波變換具有細(xì)膩的多尺度信號(hào)分析功能，將信號(hào)分為細(xì)節(jié)系數(shù){β(1)，β(2),…,β(J)}和近似系數(shù)α(J)，J表示小波變換的層數(shù)，每一層的細(xì)節(jié)系數(shù)與近似系數(shù)的求解式為

J∈Z

(3)

l∈{1,2,…,J}

(4)

(3)—(4)式中：xn表示輸入的信號(hào)；〈·〉表示點(diǎn)積運(yùn)算；g和h表示小波變換的正交基即小波基。因此，重構(gòu)后的信號(hào)為

(5)

(5)式中，細(xì)節(jié)系數(shù){β(1)，β(2),…,β(J)}中包含手勢(shì)運(yùn)動(dòng)的細(xì)節(jié)信息以及噪聲，針對(duì)此問(wèn)題，本文采用小波硬閾值去噪，將低層的信號(hào)噪聲置零重構(gòu)信號(hào)。CSI數(shù)據(jù)處理具體步驟如下。

步驟1從接收機(jī)采集手勢(shì)信號(hào)的CSI數(shù)據(jù)，并提取相應(yīng)的原始CSI幅值信號(hào)subCSI。

步驟2將原始幅值信號(hào)subCSI每個(gè)子載波經(jīng)過(guò)小波分解，分解層數(shù)為5，得出最高層的近似系數(shù)α(5)以及各層的細(xì)節(jié)系數(shù){β(1)，β(2),…,β(5)}。

步驟3采用硬閾值去噪，將細(xì)節(jié)系數(shù){β(1)，β(2),…,β(5)}置零，根據(jù)(5)式重構(gòu)手勢(shì)信號(hào)subCSI′。

步驟4信號(hào)subCSI′的大小為30×p，30為CSI子載波的數(shù)量，p為總的采樣包數(shù)，采用PCA對(duì)去噪后的數(shù)據(jù)進(jìn)行降維，根據(jù)文獻(xiàn)[14]可知，降維后第一主成分幾乎包含了所有的手勢(shì)運(yùn)動(dòng)信號(hào)的信息，因此，得到降維后的信號(hào)sig，其大小為1×p。

通過(guò)以上4個(gè)步驟對(duì)信號(hào)進(jìn)行去噪降維處理，其中，手勢(shì)揮手的數(shù)據(jù)處理圖如圖3。由圖3可知，采用DWT-PCA聯(lián)合去噪能有效完成對(duì)CSI數(shù)據(jù)的處理。圖4表示揮手手勢(shì)去噪之后前3個(gè)主成分示意圖，由圖4可知，第1主成分和第2主成分所含噪聲較小，而第3主成分噪聲較大，第1主成分相對(duì)于第2主成分能更好地表示手勢(shì)信息，因此，采用第1主成分作為降維后的手勢(shì)信息。

圖3 CSI數(shù)據(jù)處理流程圖Fig.3 Flow char of CSI data processing

2.2 基于最小方差的分割算法

由于接收到的CSI手勢(shì)序列是一個(gè)連續(xù)的時(shí)間序列，要想完成手勢(shì)的特征提取與分類(lèi)，需要對(duì)接收到的時(shí)間序列進(jìn)行分段處理，同樣的動(dòng)態(tài)手勢(shì)會(huì)產(chǎn)生幅度相似的CSI片段。針對(duì)這個(gè)問(wèn)題，本文采用基于片段方差最小的方式對(duì)連續(xù)的時(shí)間序列進(jìn)行分割，5種手勢(shì)分割后如圖5。

圖5 5種手勢(shì)對(duì)應(yīng)的信號(hào)波形圖與時(shí)頻圖Fig.5 Signal and time-frequency diagrams five gestures

基于最小方差的分割算法的偽代碼如下。

輸入：連續(xù)動(dòng)作的時(shí)間序列。

輸出：連續(xù)時(shí)間序列的單個(gè)手勢(shì)片段。

算法步驟：

for對(duì)每個(gè)連續(xù)的時(shí)間序列

1) do

2) 第一個(gè)窗口對(duì)應(yīng)著時(shí)間序列的開(kāi)始，第二個(gè)窗口的開(kāi)始對(duì)應(yīng)著第一個(gè)窗口的結(jié)束；

3) for每個(gè)手勢(shì)片段

4) 初始化窗口大小Wmin、Wmax；

5) forw=Wmin∶Wmax

6) 得到第一個(gè)窗口CSI數(shù)據(jù)為

Pfirst=(P1,P2,…,Pw)，

第二個(gè)窗口CSI數(shù)據(jù)為

Psecond=(Pw+1,Pw+2,…,P2w)；

7) 計(jì)算方差差異

8) end

9) 得到|wmax-wmin+1|對(duì)數(shù)據(jù)(w,d)，其中d值最小的窗口就是我們所求的分割片段；

10) end until直到?jīng)]有可用于分割的片段；

end

2.3 時(shí)頻特征提取

2.3.1 短時(shí)傅里葉變換

對(duì)不同手勢(shì)信號(hào)進(jìn)行相同特征值的提取以便手勢(shì)的訓(xùn)練與分類(lèi)，但手勢(shì)是一種小幅度的運(yùn)動(dòng)，如何從不同手勢(shì)提取可分辨的特征是關(guān)鍵點(diǎn)，針對(duì)此問(wèn)題，本文采用短時(shí)傅里葉變換(short-time Fourier transform，STFT)對(duì)信號(hào)進(jìn)行時(shí)頻轉(zhuǎn)換，在小幅度的行為動(dòng)作中，短時(shí)傅里葉變換的頻譜特征相比于小波變換具有更優(yōu)越的性能[17]。

2.3.2 特征值提取

雖然時(shí)域信號(hào)與頻域信號(hào)能很好地反映不同手勢(shì)運(yùn)動(dòng)的特征，但由于時(shí)間序列的不一致，大多數(shù)的模式識(shí)別方法不可行，基于此問(wèn)題，本文提出了特征值的選取。選取的特征值共6種，如表1。

表1 選擇的特征值Tab.1 Selected features

文獻(xiàn)[14]使用了時(shí)域特征的均值、標(biāo)準(zhǔn)差、方差、四分位距等特征值進(jìn)行行為的識(shí)別，但由于手勢(shì)幅度較小，這些統(tǒng)計(jì)特征值不具有代表性。針對(duì)此問(wèn)題，本文將每個(gè)手勢(shì)運(yùn)動(dòng)的標(biāo)準(zhǔn)差、四分位距以及持續(xù)時(shí)間作為時(shí)域特征值。標(biāo)準(zhǔn)差能很好反映手勢(shì)信號(hào)基于均值的離散程度，比均值更具有代表性；四分位距反映了信號(hào)中間50%數(shù)據(jù)的離散程度，不受極值的影響；由于每個(gè)動(dòng)作的時(shí)間有差別，因此，每個(gè)動(dòng)作的持續(xù)時(shí)間也作為特征值。

針對(duì)頻域特征，常規(guī)的算法使用頻域信息的均值、標(biāo)準(zhǔn)差等特征值作為手勢(shì)分類(lèi)的標(biāo)準(zhǔn)，本文提出了不同頻率范圍下頻譜熵作為特征值，頻譜熵是一個(gè)標(biāo)準(zhǔn)化的特征值，可以很好地描述行為的結(jié)構(gòu)特性，其計(jì)算式為

(6)

2.4 SVM分類(lèi)算法

支持向量機(jī)(support vector machine, SVM)算法是N.Cristianini, J.S.Taylor在1995年提出的一種以結(jié)構(gòu)風(fēng)險(xiǎn)化為準(zhǔn)則的模式識(shí)別方法，對(duì)小樣本的處理有突出的優(yōu)勢(shì)，主要思想是找到最優(yōu)的分離超平面可以最小化誤差成本函數(shù)，從而擴(kuò)大了分離超平面的邊界，完成分類(lèi)[18]。SVM算法最初只用于解決二分類(lèi)問(wèn)題，當(dāng)處理多分類(lèi)問(wèn)題時(shí)，需要通過(guò)直接法或間接法構(gòu)造多分類(lèi)，本文采用間接法中“一對(duì)一”方法進(jìn)行分類(lèi)。SVM算法分為訓(xùn)練和識(shí)別2部分，在SVM訓(xùn)練階段，本文采用高斯徑向基函數(shù)核函數(shù)，各樣本的70%樣本數(shù)構(gòu)建分類(lèi)器；在分類(lèi)識(shí)別階段，讓剩下30%的數(shù)據(jù)構(gòu)成測(cè)試集依次通過(guò)這些分類(lèi)器，通過(guò)投票決定它的類(lèi)別。

3 算法驗(yàn)證與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

為了驗(yàn)證本文算法的可靠性，選擇了2種具有代表性的實(shí)驗(yàn)測(cè)試環(huán)境進(jìn)行驗(yàn)證。測(cè)試環(huán)境1選擇面積大小為57.6 m×51 m的逸夫科技樓樓頂，該環(huán)境為室外空曠環(huán)境，障礙物比較少，多徑分量也較少，發(fā)射機(jī)與接收機(jī)之間距離分別為5，7，10 m；測(cè)試環(huán)境2為重慶郵電逸夫樓504為實(shí)測(cè)環(huán)境，逸夫樓504是典型的室內(nèi)復(fù)雜環(huán)境，面積大小為7.7 m×9 m，環(huán)境中存在墻壁、桌椅等靜態(tài)反射物，測(cè)試時(shí)收發(fā)裝置距離分別為1，2，2.5，3 m，訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)同為{畫(huà)圈、前后、左右、上下、揮手}5種手勢(shì)，其測(cè)試示意圖如圖6。

圖6 室內(nèi)室外測(cè)試場(chǎng)景示意圖Fig.6 Test scenario diagram in indoor and in outdoor

3.2 實(shí)驗(yàn)結(jié)果分析

針對(duì)如圖6的實(shí)驗(yàn)環(huán)境，本文從以下3個(gè)方面進(jìn)行結(jié)果分析：①驗(yàn)證分割算法的有效性；②分析采樣率對(duì)識(shí)別精度的影響，并基于2種測(cè)試環(huán)境驗(yàn)證不同距離情況下算法的有效性；③基于相同數(shù)據(jù)集驗(yàn)證本文算法與文獻(xiàn)[14]中的WiG系統(tǒng)進(jìn)行比較分析。

基于最小方差的分割算法對(duì)不同速度下的揮手手勢(shì)分割如圖7。由圖7可知，基于最小方差的分割算法對(duì)揮手手勢(shì)行為進(jìn)行較為準(zhǔn)確的分割。

圖7 不同速度下手勢(shì)分割示意圖Fig.7 Gesture segmentation diagram of different velocity

圖8是分析采樣率對(duì)本文算法識(shí)別精度的影響，對(duì)“畫(huà)圈”“前后”“左右”“上下”“揮手”5種手勢(shì)各100組共計(jì)500組構(gòu)建分類(lèi)器與測(cè)試樣本，在室內(nèi)收發(fā)相距2.5 m的情況下，對(duì)手勢(shì)分別在采樣率分別為200 ，400，800，1 000 packet/s情況下的識(shí)別精確度進(jìn)行評(píng)估，并使用了3 倍交叉驗(yàn)證計(jì)算分類(lèi)精度。圖8展示了5種手勢(shì)在不同采樣率下的識(shí)別精度。

圖8 不同采樣率下手勢(shì)識(shí)別結(jié)果Fig.8 Gesture recognition results under different sampling rates

從圖8中可以看出，采樣率的增大提高了系統(tǒng)的識(shí)別率，因此，本文考慮設(shè)備性能以及系統(tǒng)的運(yùn)行效率，設(shè)置采樣率為1 000 packet/s。圖9是在該采樣率情況下的不同場(chǎng)景與位置的識(shí)別精度。在不同位置，5種手勢(shì)各采集100組構(gòu)建分類(lèi)器與測(cè)試樣本。

圖9 不同場(chǎng)景不同距離下手勢(shì)分割示意圖Fig.9 Recognition accuracy of indoor and outdoor at different distances

圖9的結(jié)果表明，本文在室外空曠環(huán)境下，當(dāng)收發(fā)端距離相隔分別為5，7，10 m時(shí)，5種手勢(shì)的識(shí)別率均達(dá)到90%以上；室內(nèi)多徑環(huán)境下，5種手勢(shì)在收發(fā)端距離相隔分別為1，2，2.5，3 m時(shí)，識(shí)別率均在90%左右。同時(shí)，由于信號(hào)在空中的衰減，收發(fā)兩端距離增大將導(dǎo)致識(shí)別率降低。相對(duì)來(lái)說(shuō)，手勢(shì)“前后”和“揮手”具有較高的識(shí)別精度，而“畫(huà)圈”和“上下”手勢(shì)識(shí)別精度相對(duì)較小，原因在于“前后”和“揮手”手勢(shì)相對(duì)于“畫(huà)圈”和“上下”對(duì)直射鏈路的影響較大，特征更為明顯。

基于相同測(cè)試集與相同的參數(shù)設(shè)置，收發(fā)距離相距2.5 m，本文算法與WiG系統(tǒng)提出的算法對(duì)比如圖10。從圖10中可以看出，對(duì)于WiG只提取時(shí)域特征的系統(tǒng)，本文提出的算法要優(yōu)于WiG系統(tǒng)。

圖10 本文與WiG系統(tǒng)的對(duì)比圖Fig.10 Comparison between this paper and WiG system

4 結(jié)束語(yǔ)

本文提出了一種基于時(shí)頻域特征值的Wi-Fi手勢(shì)識(shí)別方法。首先，本文針對(duì)如何在復(fù)雜環(huán)境下提取有用的手勢(shì)信號(hào)，采用了小波變換-主成分分析聯(lián)合去噪的方法，在利用小波變換去噪之后，采用PCA解決了多個(gè)CSI子載波之間信號(hào)冗余的問(wèn)題，進(jìn)一步抑制噪聲；其次，針對(duì)傳統(tǒng)Wi-Fi時(shí)域特征進(jìn)行手勢(shì)識(shí)別的方法，本文將時(shí)域特征值與頻域特征值相結(jié)合，增加了頻譜熵作為特征值，更好地描述了手勢(shì)行為在頻率分量的結(jié)構(gòu)特性，僅僅只需6 個(gè)特征即可完成手勢(shì)的識(shí)別。實(shí)驗(yàn)結(jié)果表明，本文在復(fù)雜的室內(nèi)環(huán)境和室外環(huán)境均能有效對(duì)手勢(shì)進(jìn)行識(shí)別，手勢(shì)的識(shí)別率達(dá)到90%以上。