任夢(mèng)恬,田增山,蔣 青
(重慶郵電大學(xué) 通信與信息工程學(xué)院,重慶 400065)
隨著二十一世紀(jì)科學(xué)技術(shù)的飛速發(fā)展以及計(jì)算機(jī)的普及,人機(jī)交互技術(shù)已經(jīng)成為了大家關(guān)注和研究的對(duì)象[1]。手勢(shì)是最簡(jiǎn)單與自然的交互方式,在智能家居[2]、輔助汽車(chē)控制系統(tǒng)[3]等諸多領(lǐng)域發(fā)揮重要作用,因此,手勢(shì)識(shí)別逐漸成為人機(jī)交互的一個(gè)重要研究方向。
目前,被廣泛關(guān)注的手勢(shì)識(shí)別技術(shù)主要有基于可穿戴傳感設(shè)備[4-5]、基于計(jì)算機(jī)視覺(jué)[6-7]、基于射頻信號(hào)[8-9]3類(lèi)。其中,基于可穿戴設(shè)備和計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別系統(tǒng)起步較早,迄今為止已經(jīng)非常成熟,并且取得可喜的精度[10],但由于基于可穿戴設(shè)備的手勢(shì)識(shí)別系統(tǒng)需要使用者佩戴如數(shù)據(jù)手套、臂環(huán)、加速度傳感器等傳感設(shè)備獲取相應(yīng)的參數(shù),造成使用者的不便;而計(jì)算機(jī)視覺(jué)的方法利用攝像頭獲取用戶(hù)手勢(shì)行為,其依賴(lài)于高分辨的視頻或圖像,并且在黑暗、濃煙等非光照條件下無(wú)法使用。與其他手勢(shì)識(shí)別技術(shù)相比,射頻信號(hào)中基于Wi-Fi信號(hào)的手勢(shì)識(shí)別系統(tǒng)因其不需要光照、佩戴設(shè)備,也不需要昂貴的硬件基礎(chǔ),只需要利用軟件的升級(jí)與更新,所以逐漸成為手勢(shì)識(shí)別的主流。
基于Wi-Fi的手勢(shì)識(shí)別系統(tǒng)中,目前大多數(shù)系統(tǒng)通常使用接收信號(hào)強(qiáng)度指示(received signal strength indicator,RSSI)捕捉信號(hào),2014 年,哥延根大學(xué)的S.Sigg等[11]提取了RSSI信號(hào)對(duì)簡(jiǎn)單的行為進(jìn)行識(shí)別;2015年,H.Abdelnasser等[12]提出WiGest,通過(guò)分析RSSI信號(hào)變化的上升沿、下降沿等特性進(jìn)行手勢(shì)識(shí)別,在單個(gè)接入點(diǎn)的情況下準(zhǔn)確率為87.5%,但RSSI作為一種粗粒度的信號(hào),在不確定噪聲和室內(nèi)多徑情況下穩(wěn)定性比較差,因此,無(wú)法提供足夠的可靠性。隨著對(duì)可靠性的追求越來(lái)越高,具有更細(xì)膩度的信道狀態(tài)信息(channel state information,CSI)逐漸出現(xiàn)在大家的視野。2013年Q.Pu等[13]提出了基于CSI的手勢(shì)識(shí)別系統(tǒng)WiSee,WiSee通過(guò)從Wi-Fi信號(hào)中提取人體運(yùn)動(dòng)的多普勒頻移信息,對(duì)推手、揮手類(lèi)動(dòng)作進(jìn)行識(shí)別,手勢(shì)識(shí)別平均準(zhǔn)確率可達(dá)到94%,但由于WiSee系統(tǒng)只能在軟件無(wú)線(xiàn)電平臺(tái)上使用,不能在目前商用Wi-Fi上使用,無(wú)法進(jìn)行推廣;2015年深圳大學(xué)研究出WiG[14]系統(tǒng),WiG系統(tǒng)基于3發(fā)2收的場(chǎng)景,利用濾波抑噪、時(shí)域統(tǒng)計(jì)特征值等處理,對(duì)CSI信息進(jìn)行手勢(shì)識(shí)別,在直射徑環(huán)境下準(zhǔn)確度達(dá)90%以上,但該系統(tǒng)采用了大量的時(shí)域統(tǒng)計(jì)特征,并且需要對(duì)CSI相位信息進(jìn)行長(zhǎng)時(shí)間的校正;WiGeR[15]系統(tǒng)基于CSI對(duì)手勢(shì)動(dòng)作選擇動(dòng)態(tài)時(shí)間扭曲算法進(jìn)行識(shí)別與分類(lèi),手勢(shì)識(shí)別精度均在90%以上,但動(dòng)態(tài)時(shí)間規(guī)整算法時(shí)間復(fù)雜度很高,時(shí)間開(kāi)銷(xiāo)巨大,并且需要結(jié)合k-最近鄰(k-nearest neighbo,KNN)分類(lèi)算法進(jìn)行分類(lèi)。相較于傳統(tǒng)的時(shí)域技術(shù),本文研究增加頻域特征頻譜熵的信息,手勢(shì)動(dòng)作在各個(gè)頻率分量的變化更加直觀,更好地描述了行為的結(jié)構(gòu)特性,同時(shí),本文還采用CSI幅值信息,無(wú)需利用功分器對(duì)CSI相位信息進(jìn)行長(zhǎng)時(shí)間的校正。本文將充分利用CSI幅值信息對(duì){畫(huà)圈、前后、左右、上下、揮手}5種手勢(shì)進(jìn)行識(shí)別,具體貢獻(xiàn)可歸納如下。
1)針對(duì)如何在復(fù)雜環(huán)境下提取有用的手勢(shì)信號(hào),本文采用了小波變換-主成分分析聯(lián)合去噪的方法,在去噪的同時(shí)解決了多個(gè)CSI子載波之間信號(hào)冗余的問(wèn)題。
2)針對(duì)如何完成對(duì)手勢(shì)信號(hào)的訓(xùn)練和分類(lèi),本文首先提出基于最小方差的信號(hào)分割算法對(duì)信號(hào)進(jìn)行分割,其次結(jié)合時(shí)域和頻域特征將動(dòng)作的持續(xù)時(shí)間、不同頻率階段的頻譜熵等特征作為手勢(shì)的特征值,完成不同手勢(shì)信號(hào)的訓(xùn)練和分類(lèi)。
室內(nèi)環(huán)境復(fù)雜多變,存在著多徑效應(yīng)的干擾,如墻面、沙發(fā)、桌椅等靜態(tài)反射物,其模型示意圖如圖1。
圖1 室內(nèi)環(huán)境示意圖Fig.1 Schematic diagram of indoor environment
根據(jù)圖1可知,接收機(jī)接收到的CSI數(shù)據(jù)為多條路徑信號(hào)的疊加,可表示為
H(fi,t)=|H(fi,t)|×arg(H(fi,t))=
(1)
(1)式中:|H(fi,t)|和arg(H(fi,t))分別表示第i個(gè)子載波在第t時(shí)刻的幅值與相位,其中,fi表示子載波的頻率;e-j2πΔft表示由于相位誤差造成的相位偏移;N為一共的多徑數(shù);ak(fi,t)表示第k條多徑的傳播衰減;e-j2πfiτk(t)表示由于傳播時(shí)延引起的相位偏移;n表示噪聲。
文獻(xiàn)[16]根據(jù)(1)式推導(dǎo)出CSI幅值的平方公式為
(2)
由(2)式可得,CSI幅值的平方是由一些常量和余弦函數(shù)組成,可以準(zhǔn)確反映目標(biāo)運(yùn)動(dòng)的抖動(dòng)性,因此,本文考慮利用CSI幅值信息的特征完成手勢(shì)運(yùn)動(dòng)的分類(lèi)與識(shí)別。系統(tǒng)方案如圖2。
圖2 手勢(shì)識(shí)別算法系統(tǒng)方案流程圖Fig.2 Overview of the gesture recognition algorithm system
由前文可知,接收機(jī)接收到的CSI數(shù)據(jù)為多條路徑信號(hào)的疊加,存在墻壁、桌椅等靜態(tài)反射物的干擾,如何在復(fù)雜的室內(nèi)環(huán)境中提取目標(biāo)用戶(hù)手勢(shì)運(yùn)動(dòng)引起的信號(hào)變化是一項(xiàng)巨大的挑戰(zhàn)。針對(duì)此問(wèn)題,本文對(duì)CSI幅值信號(hào)采用離散小波變換(discrete wavelet transform,DWT)技術(shù)對(duì)信號(hào)進(jìn)行有效去噪;由于CSI信號(hào)具有30個(gè)子載波信息,但30個(gè)子載波攜帶的信息是有冗余的,并且考慮所有的子載波數(shù)會(huì)增加計(jì)算的復(fù)雜性,因此,本文將DWT去噪后的信號(hào)進(jìn)行主成分分析(principal component analysis,PCA),對(duì)數(shù)據(jù)進(jìn)行有效降維,進(jìn)一步達(dá)到去噪的效果。
小波變換具有細(xì)膩的多尺度信號(hào)分析功能,將信號(hào)分為細(xì)節(jié)系數(shù){β(1),β(2),…,β(J)}和近似系數(shù)α(J),J表示小波變換的層數(shù),每一層的細(xì)節(jié)系數(shù)與近似系數(shù)的求解式為
J∈Z
(3)
l∈{1,2,…,J}
(4)
(3)—(4)式中:xn表示輸入的信號(hào);〈·〉表示點(diǎn)積運(yùn)算;g和h表示小波變換的正交基即小波基。因此,重構(gòu)后的信號(hào)為
(5)
(5)式中,細(xì)節(jié)系數(shù){β(1),β(2),…,β(J)}中包含手勢(shì)運(yùn)動(dòng)的細(xì)節(jié)信息以及噪聲,針對(duì)此問(wèn)題,本文采用小波硬閾值去噪,將低層的信號(hào)噪聲置零重構(gòu)信號(hào)。CSI數(shù)據(jù)處理具體步驟如下。
步驟1從接收機(jī)采集手勢(shì)信號(hào)的CSI數(shù)據(jù),并提取相應(yīng)的原始CSI幅值信號(hào)subCSI。
步驟2將原始幅值信號(hào)subCSI每個(gè)子載波經(jīng)過(guò)小波分解,分解層數(shù)為5,得出最高層的近似系數(shù)α(5)以及各層的細(xì)節(jié)系數(shù){β(1),β(2),…,β(5)}。
步驟3采用硬閾值去噪,將細(xì)節(jié)系數(shù){β(1),β(2),…,β(5)}置零,根據(jù)(5)式重構(gòu)手勢(shì)信號(hào)subCSI′。
步驟4信號(hào)subCSI′的大小為30×p,30為CSI子載波的數(shù)量,p為總的采樣包數(shù),采用PCA對(duì)去噪后的數(shù)據(jù)進(jìn)行降維,根據(jù)文獻(xiàn)[14]可知,降維后第一主成分幾乎包含了所有的手勢(shì)運(yùn)動(dòng)信號(hào)的信息,因此,得到降維后的信號(hào)sig,其大小為1×p。
通過(guò)以上4個(gè)步驟對(duì)信號(hào)進(jìn)行去噪降維處理,其中,手勢(shì)揮手的數(shù)據(jù)處理圖如圖3。由圖3可知,采用DWT-PCA聯(lián)合去噪能有效完成對(duì)CSI數(shù)據(jù)的處理。圖4表示揮手手勢(shì)去噪之后前3個(gè)主成分示意圖,由圖4可知,第1主成分和第2主成分所含噪聲較小,而第3主成分噪聲較大,第1主成分相對(duì)于第2主成分能更好地表示手勢(shì)信息,因此,采用第1主成分作為降維后的手勢(shì)信息。
圖3 CSI數(shù)據(jù)處理流程圖Fig.3 Flow char of CSI data processing
由于接收到的CSI手勢(shì)序列是一個(gè)連續(xù)的時(shí)間序列,要想完成手勢(shì)的特征提取與分類(lèi),需要對(duì)接收到的時(shí)間序列進(jìn)行分段處理,同樣的動(dòng)態(tài)手勢(shì)會(huì)產(chǎn)生幅度相似的CSI片段。針對(duì)這個(gè)問(wèn)題,本文采用基于片段方差最小的方式對(duì)連續(xù)的時(shí)間序列進(jìn)行分割,5種手勢(shì)分割后如圖5。
圖5 5種手勢(shì)對(duì)應(yīng)的信號(hào)波形圖與時(shí)頻圖Fig.5 Signal and time-frequency diagrams five gestures
基于最小方差的分割算法的偽代碼如下。
輸入:連續(xù)動(dòng)作的時(shí)間序列。
輸出:連續(xù)時(shí)間序列的單個(gè)手勢(shì)片段。
算法步驟:
for對(duì)每個(gè)連續(xù)的時(shí)間序列
1) do
2) 第一個(gè)窗口對(duì)應(yīng)著時(shí)間序列的開(kāi)始,第二個(gè)窗口的開(kāi)始對(duì)應(yīng)著第一個(gè)窗口的結(jié)束;
3) for每個(gè)手勢(shì)片段
4) 初始化窗口大小Wmin、Wmax;
5) forw=Wmin∶Wmax
6) 得到第一個(gè)窗口CSI數(shù)據(jù)為
Pfirst=(P1,P2,…,Pw),
第二個(gè)窗口CSI數(shù)據(jù)為
Psecond=(Pw+1,Pw+2,…,P2w);
7) 計(jì)算方差差異
8) end
9) 得到|wmax-wmin+1|對(duì)數(shù)據(jù)(w,d),其中d值最小的窗口就是我們所求的分割片段;
10) end until直到?jīng)]有可用于分割的片段;
end
2.3.1 短時(shí)傅里葉變換
對(duì)不同手勢(shì)信號(hào)進(jìn)行相同特征值的提取以便手勢(shì)的訓(xùn)練與分類(lèi),但手勢(shì)是一種小幅度的運(yùn)動(dòng),如何從不同手勢(shì)提取可分辨的特征是關(guān)鍵點(diǎn),針對(duì)此問(wèn)題,本文采用短時(shí)傅里葉變換(short-time Fourier transform,STFT)對(duì)信號(hào)進(jìn)行時(shí)頻轉(zhuǎn)換,在小幅度的行為動(dòng)作中,短時(shí)傅里葉變換的頻譜特征相比于小波變換具有更優(yōu)越的性能[17]。
2.3.2 特征值提取
雖然時(shí)域信號(hào)與頻域信號(hào)能很好地反映不同手勢(shì)運(yùn)動(dòng)的特征,但由于時(shí)間序列的不一致,大多數(shù)的模式識(shí)別方法不可行,基于此問(wèn)題,本文提出了特征值的選取。選取的特征值共6種,如表1。
表1 選擇的特征值Tab.1 Selected features
文獻(xiàn)[14]使用了時(shí)域特征的均值、標(biāo)準(zhǔn)差、方差、四分位距等特征值進(jìn)行行為的識(shí)別,但由于手勢(shì)幅度較小,這些統(tǒng)計(jì)特征值不具有代表性。針對(duì)此問(wèn)題,本文將每個(gè)手勢(shì)運(yùn)動(dòng)的標(biāo)準(zhǔn)差、四分位距以及持續(xù)時(shí)間作為時(shí)域特征值。標(biāo)準(zhǔn)差能很好反映手勢(shì)信號(hào)基于均值的離散程度,比均值更具有代表性;四分位距反映了信號(hào)中間50%數(shù)據(jù)的離散程度,不受極值的影響;由于每個(gè)動(dòng)作的時(shí)間有差別,因此,每個(gè)動(dòng)作的持續(xù)時(shí)間也作為特征值。
針對(duì)頻域特征,常規(guī)的算法使用頻域信息的均值、標(biāo)準(zhǔn)差等特征值作為手勢(shì)分類(lèi)的標(biāo)準(zhǔn),本文提出了不同頻率范圍下頻譜熵作為特征值,頻譜熵是一個(gè)標(biāo)準(zhǔn)化的特征值,可以很好地描述行為的結(jié)構(gòu)特性,其計(jì)算式為
(6)
支持向量機(jī)(support vector machine, SVM)算法是N.Cristianini, J.S.Taylor在1995年提出的一種以結(jié)構(gòu)風(fēng)險(xiǎn)化為準(zhǔn)則的模式識(shí)別方法,對(duì)小樣本的處理有突出的優(yōu)勢(shì),主要思想是找到最優(yōu)的分離超平面可以最小化誤差成本函數(shù),從而擴(kuò)大了分離超平面的邊界,完成分類(lèi)[18]。SVM算法最初只用于解決二分類(lèi)問(wèn)題,當(dāng)處理多分類(lèi)問(wèn)題時(shí),需要通過(guò)直接法或間接法構(gòu)造多分類(lèi),本文采用間接法中“一對(duì)一”方法進(jìn)行分類(lèi)。SVM算法分為訓(xùn)練和識(shí)別2部分,在SVM訓(xùn)練階段,本文采用高斯徑向基函數(shù)核函數(shù),各樣本的70%樣本數(shù)構(gòu)建分類(lèi)器;在分類(lèi)識(shí)別階段,讓剩下30%的數(shù)據(jù)構(gòu)成測(cè)試集依次通過(guò)這些分類(lèi)器,通過(guò)投票決定它的類(lèi)別。
為了驗(yàn)證本文算法的可靠性,選擇了2種具有代表性的實(shí)驗(yàn)測(cè)試環(huán)境進(jìn)行驗(yàn)證。測(cè)試環(huán)境1選擇面積大小為57.6 m×51 m的逸夫科技樓樓頂,該環(huán)境為室外空曠環(huán)境,障礙物比較少,多徑分量也較少,發(fā)射機(jī)與接收機(jī)之間距離分別為5,7,10 m;測(cè)試環(huán)境2為重慶郵電逸夫樓504為實(shí)測(cè)環(huán)境,逸夫樓504是典型的室內(nèi)復(fù)雜環(huán)境,面積大小為7.7 m×9 m,環(huán)境中存在墻壁、桌椅等靜態(tài)反射物,測(cè)試時(shí)收發(fā)裝置距離分別為1,2,2.5,3 m,訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)同為{畫(huà)圈、前后、左右、上下、揮手}5種手勢(shì),其測(cè)試示意圖如圖6。
圖6 室內(nèi)室外測(cè)試場(chǎng)景示意圖Fig.6 Test scenario diagram in indoor and in outdoor
針對(duì)如圖6的實(shí)驗(yàn)環(huán)境,本文從以下3個(gè)方面進(jìn)行結(jié)果分析:①驗(yàn)證分割算法的有效性;②分析采樣率對(duì)識(shí)別精度的影響,并基于2種測(cè)試環(huán)境驗(yàn)證不同距離情況下算法的有效性;③基于相同數(shù)據(jù)集驗(yàn)證本文算法與文獻(xiàn)[14]中的WiG系統(tǒng)進(jìn)行比較分析。
基于最小方差的分割算法對(duì)不同速度下的揮手手勢(shì)分割如圖7。由圖7可知,基于最小方差的分割算法對(duì)揮手手勢(shì)行為進(jìn)行較為準(zhǔn)確的分割。
圖7 不同速度下手勢(shì)分割示意圖Fig.7 Gesture segmentation diagram of different velocity
圖8是分析采樣率對(duì)本文算法識(shí)別精度的影響,對(duì)“畫(huà)圈”“前后”“左右”“上下”“揮手”5種手勢(shì)各100組共計(jì)500組構(gòu)建分類(lèi)器與測(cè)試樣本,在室內(nèi)收發(fā)相距2.5 m的情況下,對(duì)手勢(shì)分別在采樣率分別為200 ,400,800,1 000 packet/s情況下的識(shí)別精確度進(jìn)行評(píng)估,并使用了3 倍交叉驗(yàn)證計(jì)算分類(lèi)精度。圖8展示了5種手勢(shì)在不同采樣率下的識(shí)別精度。
圖8 不同采樣率下手勢(shì)識(shí)別結(jié)果Fig.8 Gesture recognition results under different sampling rates
從圖8中可以看出,采樣率的增大提高了系統(tǒng)的識(shí)別率,因此,本文考慮設(shè)備性能以及系統(tǒng)的運(yùn)行效率,設(shè)置采樣率為1 000 packet/s。圖9是在該采樣率情況下的不同場(chǎng)景與位置的識(shí)別精度。在不同位置,5種手勢(shì)各采集100組構(gòu)建分類(lèi)器與測(cè)試樣本。
圖9 不同場(chǎng)景不同距離下手勢(shì)分割示意圖Fig.9 Recognition accuracy of indoor and outdoor at different distances
圖9的結(jié)果表明,本文在室外空曠環(huán)境下,當(dāng)收發(fā)端距離相隔分別為5,7,10 m時(shí),5種手勢(shì)的識(shí)別率均達(dá)到90%以上;室內(nèi)多徑環(huán)境下,5種手勢(shì)在收發(fā)端距離相隔分別為1,2,2.5,3 m時(shí),識(shí)別率均在90%左右。同時(shí),由于信號(hào)在空中的衰減,收發(fā)兩端距離增大將導(dǎo)致識(shí)別率降低。相對(duì)來(lái)說(shuō),手勢(shì)“前后”和“揮手”具有較高的識(shí)別精度,而“畫(huà)圈”和“上下”手勢(shì)識(shí)別精度相對(duì)較小,原因在于“前后”和“揮手”手勢(shì)相對(duì)于“畫(huà)圈”和“上下”對(duì)直射鏈路的影響較大,特征更為明顯。
基于相同測(cè)試集與相同的參數(shù)設(shè)置,收發(fā)距離相距2.5 m,本文算法與WiG系統(tǒng)提出的算法對(duì)比如圖10。從圖10中可以看出,對(duì)于WiG只提取時(shí)域特征的系統(tǒng),本文提出的算法要優(yōu)于WiG系統(tǒng)。
圖10 本文與WiG系統(tǒng)的對(duì)比圖Fig.10 Comparison between this paper and WiG system
本文提出了一種基于時(shí)頻域特征值的Wi-Fi手勢(shì)識(shí)別方法。首先,本文針對(duì)如何在復(fù)雜環(huán)境下提取有用的手勢(shì)信號(hào),采用了小波變換-主成分分析聯(lián)合去噪的方法,在利用小波變換去噪之后,采用PCA解決了多個(gè)CSI子載波之間信號(hào)冗余的問(wèn)題,進(jìn)一步抑制噪聲;其次,針對(duì)傳統(tǒng)Wi-Fi時(shí)域特征進(jìn)行手勢(shì)識(shí)別的方法,本文將時(shí)域特征值與頻域特征值相結(jié)合,增加了頻譜熵作為特征值,更好地描述了手勢(shì)行為在頻率分量的結(jié)構(gòu)特性,僅僅只需6 個(gè)特征即可完成手勢(shì)的識(shí)別。實(shí)驗(yàn)結(jié)果表明,本文在復(fù)雜的室內(nèi)環(huán)境和室外環(huán)境均能有效對(duì)手勢(shì)進(jìn)行識(shí)別,手勢(shì)的識(shí)別率達(dá)到90%以上。
重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版)2021年3期