魏玉婷，王森，逄德明，陳穎文

（1.國防科技大學(xué)計(jì)算機(jī)學(xué)院，湖南 長沙 410015；2.國家信息中心，北京 100038）

0 引言

2000 年以來，無線技術(shù)快速發(fā)展，Wi-Fi 覆蓋越來越廣，幾乎家家戶戶、各大活動(dòng)場所都有部署，因此使用無線CSI（Channel State Information，信道狀態(tài)信息）來感知人類活動(dòng)成為可能，不需要部署專用的設(shè)備傳感器就能感知人類活動(dòng)，可以使用CSI 來持續(xù)檢測無線信道的變化。基于無線CSI 感知人類活動(dòng)的主要工作原理為：通過發(fā)射器產(chǎn)生的無線電波在傳播過程中會(huì)發(fā)生直射、反射和散射等物理現(xiàn)象，從而形成多個(gè)傳播路徑，這使得在信號接收機(jī)處形成的多徑疊加信號攜帶了反映信號傳播空間的信息[1]。比如，當(dāng)人在室內(nèi)活動(dòng)時(shí)，如圖1 所示，有一對收發(fā)機(jī)，當(dāng)人移動(dòng)時(shí)，人體反射的Wi-Fi信號會(huì)隨之發(fā)生變化，除此之外，家具、墻壁等也會(huì)反射信號一起疊加到接收機(jī)處，從而可以根據(jù)信號的變化，再結(jié)合人工智能的方法感知以達(dá)到識別人類活動(dòng)的目的。因?yàn)槿耸腔顒?dòng)的，家具墻壁等物體是靜止的，所以人體產(chǎn)生的反射路徑稱為動(dòng)態(tài)路徑，家具、墻壁等產(chǎn)生的反射路徑稱為靜態(tài)路徑?，F(xiàn)如今，智能無線感知已被廣泛應(yīng)用到多個(gè)領(lǐng)域，比如感知人類的日常行為[2-3]、檢測人們的健康[4-5]和手勢識別[6-7]等。

圖1 人體移動(dòng)造成的多徑傳播變化

目前使用無線CSI 來感知人類活動(dòng)主要分為四個(gè)步驟：數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取和建模分類[8]。通常采用一個(gè)發(fā)送機(jī)和一個(gè)或多個(gè)接收機(jī)采集數(shù)據(jù)，發(fā)送機(jī)一般為路由器，接收機(jī)一般為裝有Intel 5300 網(wǎng)卡的筆記本電腦，且每個(gè)接收機(jī)會(huì)配備三個(gè)全向天線，分別對應(yīng)三個(gè)CSI 流。

由于原始數(shù)據(jù)往往會(huì)不完整并且可能包含許多錯(cuò)誤和噪音，所以在特征提取之前，首先要進(jìn)行數(shù)據(jù)預(yù)處理，通常這個(gè)過程會(huì)采用線性插值、帶通濾波器去除噪聲和主成分分析選取子載波的方法。但是，帶通濾波器通過平滑濾波去噪，在這過程中不僅會(huì)消除噪聲，也會(huì)去除原始信號中的高頻部分，且直接對CSI 原始信息進(jìn)行去噪，往往不能消除原始CSI 振幅中的高脈沖噪聲和突發(fā)噪聲。然后進(jìn)行特征提取，這個(gè)環(huán)節(jié)的重點(diǎn)是建立信號與人類活動(dòng)之間的對應(yīng)關(guān)系，現(xiàn)有系統(tǒng)一般是在時(shí)域中提取振幅和相位作為分類的特征，但是同種活動(dòng)在不同的位置或方向進(jìn)行時(shí)可能會(huì)產(chǎn)生不同的CSI 信號。最后對提取的特征進(jìn)行分類識別，傳統(tǒng)的方法會(huì)采用支持向量機(jī)或K近鄰算法，但前者解決多分類問題較為困難，常用于解決二分類問題且難以訓(xùn)練大規(guī)模樣本；后者的預(yù)測結(jié)果容易受噪聲數(shù)據(jù)影響并且K值的選擇不固定。使用智能無線感知做手勢識別，既沒有傳統(tǒng)攝像頭對光線的要求，也不存在可穿戴傳感器給人們帶來的不便，且在智能家居、人機(jī)交互等方面廣泛被應(yīng)用，所以國內(nèi)外許多研究學(xué)者對基于智能無線感知的手勢識別進(jìn)行了許多研究，已經(jīng)取得了很大的進(jìn)展，識別準(zhǔn)確率在90%左右且應(yīng)用前景也很樂觀。但是，目前對該領(lǐng)域的研究存在的主要問題是有效特征缺失和分類模型精度低，由于大部分提取的特征都依賴于所部署的環(huán)境，所以當(dāng)環(huán)境發(fā)生變化時(shí)感知性能就會(huì)較低。對于分類模型，無線信號在實(shí)際傳播過程中會(huì)有衍射、散射等情況，導(dǎo)致無線感知的實(shí)際結(jié)果和模型的預(yù)測結(jié)果之間存在差異，造成識別精度低。

鑒于此，本文基于小波分析和遷移學(xué)習(xí)的方法，提出了一個(gè)智能無線感知識別手勢的方法，在數(shù)據(jù)預(yù)處理部分，考慮到無線信號實(shí)際傳播與理想有差異，所以采用CSI 比值和小波去噪消除原始信息中的噪聲，再在主成分分析的基礎(chǔ)上，采用最大比合并法將子載波合成一個(gè)信噪比最大的波；隨后再將預(yù)處理好后的時(shí)序數(shù)據(jù)轉(zhuǎn)化為圖像特征，在時(shí)頻域中分析信號并增加分類的可解釋性；最后采用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)分類識別，提高識別準(zhǔn)確率和可遷移性。

1 基于智能無線感知的手勢識別方案設(shè)計(jì)

方法設(shè)計(jì)主要分為三個(gè)部分：數(shù)據(jù)預(yù)處理、特征提取和分類。在Widar 數(shù)據(jù)集中選取了6 個(gè)手勢并獲取了它們的原始信號。在數(shù)據(jù)預(yù)處理部分，先進(jìn)行線性插值統(tǒng)一所有記錄通道的采樣率，再使用CSI 比值和離散小波變換消除信號里的高脈沖噪聲和突發(fā)噪聲；在特征提取部分，采用連續(xù)小波變換生成譜圖；最后在分類部分，采用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對手勢進(jìn)行分類。

1.1 信道狀態(tài)信息

CSI[9-10]是一種描述信道的數(shù)據(jù)，可以表示通信鏈路之間的傳播特性，攜帶了在某時(shí)間測量的載波頻率的信道頻率響應(yīng)。令發(fā)射機(jī)信號為X(f,t)，接收機(jī)信號為Y(f,t)，其中f表示載波頻率，它們之間的關(guān)系如式(1)所示：

H(f,t)即在時(shí)間t下測量的載波頻率為f的信道頻率響應(yīng)，它是一個(gè)復(fù)值；ak(f,t)表示第k條路徑衰減和初始相位偏移；表示第k條路徑上有一個(gè)傳播延遲為τk(t)的相位偏移；表示第k條路徑上收發(fā)機(jī)之間載波頻率差為Δf造成的相位偏移。則H(f,t)可以由式(2)表示：

CSI 可以通過Intel 5300 和Atheros 無線網(wǎng)卡獲取，采用OFDM 調(diào)制方式，每個(gè)CSI 的測量都包含30 個(gè)子載波，每個(gè)子載波的維度和收發(fā)機(jī)的天線數(shù)有關(guān)，將給定天線對和子載波頻率得到的一系列信道頻率響應(yīng)值稱為CSI 流。

1.2 數(shù)據(jù)預(yù)處理

由于收集到的原始CSI 數(shù)據(jù)包含了大量的噪聲而不能直接使用，所以先對其進(jìn)行預(yù)處理，消除載波偏差和去除噪聲。先通過線性插值的方法使所有記錄通道具有相同的采樣率，這樣可以解決因非視線鏈接和穿墻等因素造成某些鏈路信號較弱從而導(dǎo)致的丟包問題。然后，將同一接收機(jī)的兩個(gè)天線的振幅求比值，這樣可以消除原始CSI 振幅中難以消除的高脈沖噪聲和突發(fā)噪聲。因?yàn)槊}沖噪聲在同一接收機(jī)上是用相同的電平放大每個(gè)天線的功率，雖然功率會(huì)隨著時(shí)間的推移變化，但是在同一接收器上的不同天線之間的功率是一致的，這樣處理后還可以顯著擴(kuò)大傳感范圍和傳感精度[11]。這里會(huì)計(jì)算天線的離散系數(shù)，再選取最大的兩個(gè)天線的CSI 求比值，進(jìn)行CSI 比值后的結(jié)果明顯更清晰、噪聲更少，如圖2所示。最后，因?yàn)槊總€(gè)CSI 都有30 個(gè)子載波，根據(jù)每個(gè)子載波的信噪比做加權(quán)平均合成一個(gè)子載波，這樣可以獲得一個(gè)具有更高信噪比的波形[12]。因?yàn)槭謩莼顒?dòng)和噪聲難以直接分離，所以先采用手勢活動(dòng)頻率范圍內(nèi)的功率譜密度與手勢活動(dòng)頻率范圍外的功率譜密度的比值去估計(jì)每個(gè)子載波的信噪比。接下來將每個(gè)子載波乘上對應(yīng)的信噪比并采用離散小波變換去噪再做主成分分析，離散小波變換可以將信號分解成幾個(gè)頻率級別，這樣可以得到需要的頻級并去除噪聲。因?yàn)榈谝恢鞒煞值姆讲钍亲畲蟮?，所以以第一主成分來調(diào)整每個(gè)子載波，并將其符號添加到每個(gè)子載波的信噪比中，再做加權(quán)平均得到一個(gè)合并的信號。這樣可以使所有子載波融合在一起，得到的子載波信噪比最大，而高的信噪比可以使得噪聲更低，有利于得到清晰的波形并分析波形與不同手勢之間的關(guān)系。

1.3 特征提取

將時(shí)間序列轉(zhuǎn)換為圖像，可以將信號的全局和局部特征都加以考慮，并增加可解釋性?；诖嗽恚捎眠B續(xù)小波變換將時(shí)序數(shù)據(jù)轉(zhuǎn)化為圖像特征再進(jìn)行圖像分類。連續(xù)小波變換公式如式(3) 所示：

其中，x(t)是原時(shí)域信號，ψ(t)是小波基，τ、s分別是平移變換和尺度變換參數(shù)。從式子可以看出，連續(xù)小波變換就是原時(shí)域信號與選定的小波基在不同尺度下變換或者平移變換下的正交值，正交值越大，說明在這個(gè)尺度和平移變換的小波基下原信號占得比重也越大。因?yàn)檫B續(xù)小波變換是選取一個(gè)中心頻率，使用尺度變換得到其他的中心頻率，再使用平移變換得到其他區(qū)間的小波基函數(shù)，然后與原時(shí)域信號中對應(yīng)基函數(shù)區(qū)間的一段相乘再積分，得到原時(shí)域信號這一段含有的頻率，所以使用連續(xù)小波變換生成譜圖后，可以在圖上清楚地辨認(rèn)出原時(shí)域信號的頻率組成成分以及它們各自對應(yīng)的時(shí)間區(qū)間。這里采用連續(xù)小波變換生成譜圖而不使用短時(shí)傅里葉變換，是因?yàn)槎虝r(shí)傅里葉變換的窗口大小不易設(shè)置，窗口太小會(huì)導(dǎo)致窗內(nèi)信號太短、頻率分辨率差，窗口太大會(huì)導(dǎo)致時(shí)間分辨率差，所以這里采用連續(xù)小波變換來生成譜圖作為分類特征。

根據(jù)信號做連續(xù)小波變換后得到的小波系數(shù)生成譜圖，如圖3 所示。左邊是一個(gè)推拉的手勢動(dòng)作，右邊是一個(gè)滑的手勢動(dòng)作。從圖中可以看出兩個(gè)動(dòng)作的不同，左邊明顯由推和拉兩個(gè)手勢片段構(gòu)成，因?yàn)橛袃蓚€(gè)手勢頻段，所以單個(gè)片段的持續(xù)時(shí)間并不長且頻率段較集中，跨度不大；右邊的手勢動(dòng)作只有一個(gè)手勢片段，所以條紋較長，時(shí)間跨越較大，并且跨越的頻段較大，頻率集中的范圍也比推拉動(dòng)作的低。因此，對信號做連續(xù)小波變換生成圖像特征后，可以在時(shí)頻域上分析手勢動(dòng)作，并增加了特征的可解釋性。

1.4 手勢分類

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的表現(xiàn)比之前基于手工特征的圖像分類方法性能更優(yōu)越[13]。因此，利用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對手勢進(jìn)行識別分類，這樣可以增強(qiáng)系統(tǒng)的性能，還可以應(yīng)對一些訓(xùn)練測試環(huán)境不完全相同的情形。雖然深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型在智能無線傳感中已被廣泛應(yīng)用，但仍然存在很難找到足夠訓(xùn)練數(shù)據(jù)的問題。因此，可使用從其他數(shù)據(jù)集訓(xùn)練的模型，再根據(jù)具體的問題進(jìn)行參數(shù)修改和完善，這樣就可以解決數(shù)據(jù)量不足且具有一定的普適性。

圖2 CSI比值前后對比

圖3 推拉動(dòng)作生成譜圖（左）和滑動(dòng)動(dòng)作生成譜圖（右）

這里，采用SqueezeNet[14]網(wǎng)絡(luò)進(jìn)行手勢分類。SqueezeNet是一個(gè)輕量化的網(wǎng)絡(luò)，它在CNN（Convolutional Neural Networks，卷積神經(jīng)網(wǎng)絡(luò)）的基礎(chǔ)上構(gòu)建了一個(gè)新的模塊，這樣可以使其參數(shù)比CNN 的參數(shù)量減少9 倍，還可以在神經(jīng)網(wǎng)絡(luò)中延遲下采樣。前者有利于在保證模型精度的情況下減少參數(shù)數(shù)量，并提高計(jì)算速度；后者有利于在有限的參數(shù)數(shù)量下最大化模型精度。在使用SqueezeNet 時(shí)，因?yàn)橐獙⒕W(wǎng)絡(luò)提取的特征合并為類別概率、損失值和預(yù)測標(biāo)簽的信息，所以要將根據(jù)數(shù)據(jù)集修改參數(shù)后的新層替換原來網(wǎng)絡(luò)中的一些層?；诖嗽?，利用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行分類以達(dá)到識別手勢的目的，在提高了分類準(zhǔn)確率的基礎(chǔ)上，使得手勢識別系統(tǒng)也具有一定的普適性。

2 基于智能無線感知的手勢識別方案性能評估

2.1 數(shù)據(jù)采集

本文在Widar3.0 數(shù)據(jù)集中選取了6 個(gè)基本手勢動(dòng)作，分別是推拉、從上到下掃過、鼓掌、從下到上滑過、畫字母“Z”和畫字母“N”。選取的數(shù)據(jù)是在一個(gè)空蕩的教室中采集，有兩個(gè)志愿者分別做每個(gè)動(dòng)作20 次和一個(gè)志愿者做每個(gè)動(dòng)作10 次，6 個(gè)動(dòng)作一共300 個(gè)樣本。數(shù)據(jù)都是在5.825 Hz 的165 頻道上工作，每秒發(fā)送1 000 個(gè)數(shù)據(jù)包，再使用配備Intel 5300 無線網(wǎng)卡的接收機(jī)和CSI工具獲取原始CSI。

2.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證上述手勢智能無線感知方法的準(zhǔn)確率，使用了2.1 節(jié)中采集的數(shù)據(jù)測試，收集的數(shù)據(jù)90%用于訓(xùn)練，10% 用于測試，手勢識別的準(zhǔn)確率平均在94% 以上。本文采用了Widar3.0 中6 個(gè)手勢動(dòng)作的數(shù)據(jù)集，驗(yàn)證上述方法對手勢識別的準(zhǔn)確率，并與Widar3.0[15]、CARM[16]的實(shí)驗(yàn)結(jié)果進(jìn)行對比，表1 是這幾種方法實(shí)驗(yàn)后的平均準(zhǔn)確率：

表1 多種方法的準(zhǔn)確率

Widar3.0 中采用了六個(gè)接收機(jī)的數(shù)據(jù)，提取多個(gè)角度的多普勒速度，然后從中提取了身體坐標(biāo)系下手勢的速度剖面，最后使用GRU 深度學(xué)習(xí)模型對手勢進(jìn)行分類，復(fù)現(xiàn)后相同的數(shù)據(jù)集手勢識別準(zhǔn)確率平均在90% 左右。CARM 提出了CSI 速度模型，建立CSI 值與人類不同活動(dòng)速度之間的關(guān)系，再量化不同活動(dòng)的速度與活動(dòng)之間的關(guān)系以達(dá)到識別的目的，采用了主成分分析去噪并使用離散小波變換提取特征，最后使用隱馬爾科夫模型識別活動(dòng)，復(fù)現(xiàn)后相同的數(shù)據(jù)集手勢識別準(zhǔn)確率在83% 左右。本文基于小波分析和遷移學(xué)習(xí)的原理設(shè)計(jì)的無線感知手勢識別方法，準(zhǔn)確率比Widar3.0 提高了4% 左右，比CARM 提高了10% 左右。

在本文所提的智能無線感知手勢識別方法中，從特征提取方面，提取了不同于其他手勢識別的系統(tǒng)的特征，將時(shí)序數(shù)據(jù)轉(zhuǎn)化為圖像特征，增加了特征的維度和可解釋性。從準(zhǔn)確率方面上看，該方法對手勢的準(zhǔn)確率平均在94%左右，觀察到第五個(gè)畫“Z”字和第六個(gè)畫“N”字這兩個(gè)手勢的識別容易混淆，可能是這兩個(gè)手勢在手勢片段、頻段范圍以及持續(xù)時(shí)間上都比較相似，所以導(dǎo)致識別精度降低。從普適性方面，該方法只能適用于環(huán)境不變或環(huán)境有稍微改變的情形下，在跨域的情形下，還需要進(jìn)一步研究并改善該方法，比如使用多個(gè)接收機(jī)獲取多個(gè)截面的譜圖，并使用自適應(yīng)加權(quán)圖融合多視圖的聚類方法[17]對譜圖進(jìn)行處理和融合，最后再進(jìn)行手勢識別。

3 結(jié)束語

本文基于小波分析和遷移學(xué)習(xí)的方法原理，使用無線信道狀態(tài)信息設(shè)計(jì)了一個(gè)手勢識別的系統(tǒng)，其中包括線性插值、CSI 求比值、使用信噪比合成子載波的數(shù)據(jù)預(yù)處理和使用連續(xù)小波變換生成圖像作為特征，以及使用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)做手勢分類。同時(shí)，基于現(xiàn)有的手勢數(shù)據(jù)集對上述系統(tǒng)進(jìn)行實(shí)現(xiàn)與驗(yàn)證，平均識別準(zhǔn)確率在94% 左右。接下來，會(huì)更關(guān)注目標(biāo)在不同的位置做相同手勢的問題，可以使用多個(gè)接收器獲得多個(gè)角度的譜圖視角對此問題進(jìn)行更深入的研究。