柳 村，馮秀芳

(太原理工大學(xué) 軟件學(xué)院，山西 晉中 030600)

0 引 言

手勢(shì)識(shí)別作為人機(jī)交互的重要組成部分，具備廣泛的應(yīng)用前景。目前常見(jiàn)的手勢(shì)識(shí)別研究主要分為計(jì)算機(jī)視覺(jué)、無(wú)線(xiàn)信號(hào)和穿戴設(shè)備傳感器3種方向。

基于計(jì)算機(jī)視覺(jué)的研究主要依托于高清攝像頭采集到的視頻或者圖片，利用圖像處理技術(shù)對(duì)手勢(shì)信息進(jìn)行特征提取，達(dá)到手勢(shì)識(shí)別的目的。文獻(xiàn)[1-3]主要使用高清圖像和深度學(xué)習(xí)結(jié)合的方式達(dá)到準(zhǔn)確判斷人體行為的目的。但該研究方法受限于攝像頭的性能，并且易受光照和遮擋物等外在條件的干擾。

基于穿戴設(shè)備傳感器的研究主要依托于專(zhuān)用傳感器道具，并根據(jù)不同行為產(chǎn)生的傳感器變化信息實(shí)現(xiàn)手勢(shì)識(shí)別。文獻(xiàn)[4,5]分別通過(guò)兩種不同的傳感器和特征算法實(shí)現(xiàn)穿戴者的行為檢測(cè)。但該研究方法需要專(zhuān)用道具的支持，存在安裝困難、成本較高等問(wèn)題，無(wú)法在日常生活中實(shí)現(xiàn)大規(guī)模的使用。

基于無(wú)線(xiàn)信號(hào)的研究主要依托于日常生活中常見(jiàn)的Wi-Fi信號(hào)，從網(wǎng)絡(luò)設(shè)備中獲取到包含人體行為的信號(hào)信息，利用信號(hào)波動(dòng)特征進(jìn)行識(shí)別，具有覆蓋范圍廣、實(shí)現(xiàn)成本低的優(yōu)勢(shì)。文獻(xiàn)[6]使用子載波融合和不良數(shù)據(jù)鏈路剔除等方法實(shí)現(xiàn)了人體動(dòng)態(tài)活動(dòng)的識(shí)別；文獻(xiàn)[7]通過(guò)獲取動(dòng)態(tài)信道狀態(tài)信息(channel state information，CSI)分量，提高了識(shí)別的準(zhǔn)確率；文獻(xiàn)[8]通過(guò)提取CSI中的幅度和相位信息，采用改進(jìn)后的支持向量機(jī)對(duì)人體動(dòng)作進(jìn)行分類(lèi)識(shí)別。

針對(duì)當(dāng)前研究存在的缺陷，本文提出一種基于無(wú)線(xiàn)信號(hào)和改進(jìn)TCN的手勢(shì)識(shí)別方法GRT，結(jié)合Widar-3.0[9,10]中的CSI原始數(shù)據(jù)實(shí)現(xiàn)10種手寫(xiě)阿拉伯?dāng)?shù)字手勢(shì)的分類(lèi)識(shí)別，并取得了較為突出的效果。

1 無(wú)線(xiàn)信號(hào)中的手勢(shì)特征

1.1 信道狀態(tài)信息

信道狀態(tài)信息是一種協(xié)議的數(shù)據(jù)格式，用以表示基于正交頻分復(fù)用技術(shù)的無(wú)線(xiàn)網(wǎng)卡從物理層系統(tǒng)頻帶內(nèi)子載波粒度的信道頻率響應(yīng)(channel frequency response，CFR)采樣，是一條通信鏈路上的信道屬性，反映出信號(hào)在傳輸路徑上的信號(hào)延遲、衰減和相移，包含子載波的幅度和相位信息，如式(1)所示

Hk=|Hk|e-j∠Hk

(1)

式中：Hk表示第k個(gè)子載波的CSI數(shù)據(jù)， |Hk| 為第k個(gè)子載波的幅值數(shù)據(jù)，∠Hk為第k個(gè)子載波的相位數(shù)據(jù)[11]。本文主要研究依托于子載波的幅值信息。

1.2 信號(hào)的動(dòng)態(tài)傳播模型

人體的行為活動(dòng)會(huì)對(duì)信號(hào)狀態(tài)產(chǎn)生較大影響。在室內(nèi)環(huán)境中，通信鏈路的射頻信號(hào)會(huì)遭受各種物理因素的干擾，出現(xiàn)反射、衍射以及散射等現(xiàn)象。如圖1所示，當(dāng)信號(hào)傳播碰到人體時(shí)，會(huì)改變信號(hào)的傳播方向，通過(guò)接收和分析此時(shí)信號(hào)傳播的不同狀態(tài)，可以實(shí)現(xiàn)人體不同行為的分類(lèi)及判別。

設(shè)X(f,t) 和Y(f,t) 為發(fā)送信號(hào)和接收信號(hào)在時(shí)刻t時(shí)頻率為f的子載波頻域信息表示，其中H(f,t) 為此時(shí)的CFR[12]，則這兩個(gè)信號(hào)的關(guān)系可以由式(2)表示為

圖1 Wi-Fi信號(hào)動(dòng)態(tài)傳播

Y(f,t)=H(f,t)×X(f,t)

(2)

CSI是由各個(gè)天線(xiàn)對(duì)不同頻率子載波對(duì)應(yīng)的CFR組成，包括靜態(tài)路徑和動(dòng)態(tài)路徑的頻率狀態(tài)響應(yīng)。故當(dāng)人體在Wi-Fi信號(hào)區(qū)域內(nèi)活動(dòng)時(shí)，整體CSI就會(huì)發(fā)生變化，產(chǎn)生的變化信息即為無(wú)線(xiàn)信號(hào)中的手勢(shì)特征。

2 GRT方法設(shè)計(jì)

由于CSI數(shù)據(jù)具有較好的穩(wěn)定性和魯棒性，GRT方法使用Wi-Fi信號(hào)的CSI數(shù)據(jù)對(duì)人體不同的手勢(shì)進(jìn)行識(shí)別，且幅值數(shù)據(jù)相對(duì)于相位數(shù)據(jù)具備更好的特征性，故本文使用CSI數(shù)據(jù)當(dāng)中的幅值信息作為GRT的研究數(shù)據(jù)。

整體流程如圖2所示，核心部分包括數(shù)據(jù)預(yù)處理和特征提取兩個(gè)模塊。

圖2 GRT方法流程

數(shù)據(jù)預(yù)處理階段，對(duì)于原始CSI數(shù)據(jù)當(dāng)中的大量噪聲和干擾信息，使用巴特沃斯低通濾波和離散小波變換對(duì)數(shù)據(jù)進(jìn)行濾波和去噪處理，并在此基礎(chǔ)上進(jìn)行數(shù)據(jù)歸一化，之后將其整理成分別代表不同發(fā)射天線(xiàn)上的子載波集合。特征提取階段，將經(jīng)過(guò)預(yù)處理的CSI分組數(shù)據(jù)以多輸入的網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合搭建好的改進(jìn)TCN進(jìn)行訓(xùn)練，生成有效模型，并統(tǒng)計(jì)訓(xùn)練過(guò)程的損失值和不同手勢(shì)的識(shí)別準(zhǔn)確率。

2.1 CSI數(shù)據(jù)格式

本文所使用的CSI數(shù)據(jù)來(lái)源于Widar-3.0公開(kāi)數(shù)據(jù)集。其中包含了人體在完成0～9這10個(gè)手寫(xiě)阿拉伯?dāng)?shù)字手勢(shì)下產(chǎn)生的CSI原始數(shù)據(jù)。每個(gè)手勢(shì)數(shù)據(jù)文件經(jīng)過(guò)處理之后可以得到一個(gè)復(fù)數(shù)矩陣N×30×3×1，即CSI的幅值信息，其中N代表該手勢(shì)動(dòng)作下產(chǎn)生的CSI數(shù)據(jù)包的數(shù)量，30代表子載波的數(shù)量，3代表發(fā)射天線(xiàn)的數(shù)量，1代表接收天線(xiàn)的數(shù)量。每個(gè)CSI數(shù)據(jù)包均可用矩陣表示，如式(3)所示

(3)

式中：s1n、s2n、s3n分別表示CSI數(shù)據(jù)3條CSI流的第n個(gè)振幅數(shù)據(jù)[8]。人體行為所引起的信號(hào)變化特征主要存在于每一條CSI信號(hào)流當(dāng)中，需要對(duì)原始的CSI數(shù)據(jù)進(jìn)行預(yù)處理，更好地凸顯其中的特征。

2.2 數(shù)據(jù)預(yù)處理

由于Wi-Fi信號(hào)易受環(huán)境干擾，會(huì)使得產(chǎn)生的CSI數(shù)據(jù)出現(xiàn)噪聲過(guò)大、信號(hào)雜亂等問(wèn)題，從而影響之后的分類(lèi)工作。為了便于進(jìn)行特征提取，需要對(duì)CSI原始數(shù)據(jù)進(jìn)行預(yù)處理。

GRT使用低通濾波、數(shù)據(jù)去噪以及歸一化的方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。

2.2.1 低通濾波處理

在本文所研究的數(shù)字手勢(shì)識(shí)別當(dāng)中，人體的主要運(yùn)動(dòng)部位是手指和手臂，故引起的振動(dòng)頻率主要分布在低頻部分，而產(chǎn)生的噪聲信息主要分布于高頻部分。鑒于該特點(diǎn)，使用巴特沃斯濾波器進(jìn)行低通濾波，可以最大程度保證通頻帶內(nèi)頻率響應(yīng)平緩。其具體表示如式(4)所示

(4)

式中： |H(ω)| 表示振幅，ω表示信號(hào)的頻率，n表示濾波階數(shù)，ωc表示截止頻率。該方法在起到消除噪聲干擾的同時(shí)，最大程度保證了低頻部分特征的完整性，從而提升之后特征提取的效果。

但由于巴特沃斯濾波器在阻帶中增益下降的速度較慢，噪聲消除能力有限，導(dǎo)致經(jīng)過(guò)處理了的信號(hào)數(shù)據(jù)仍存在部分高頻噪聲，不能直接用于模型訓(xùn)練。

2.2.2 數(shù)據(jù)去噪處理

鑒于小波變換在時(shí)頻局部化提取特征的顯著性，GRT方法使用離散小波變換對(duì)濾波后數(shù)據(jù)進(jìn)行去噪處理。通過(guò)變換使得基本小波的尺度和平移進(jìn)行離散化，并將信號(hào)分成近似系數(shù)和細(xì)節(jié)系數(shù)。其中近似系數(shù)描述信號(hào)的低尺度，即低頻信息；細(xì)節(jié)系數(shù)描述信號(hào)的高尺度，即高頻信息。小波變換的目的是突出信號(hào)在某一方面的特征，主要的公式如式(5)所示

(5)

式中：a為小波的尺度，τ為小波的平移量，μ為固定參數(shù)。而離散小波變換主要是對(duì)數(shù)據(jù)進(jìn)行拆分重構(gòu)處理，使得信息當(dāng)中某個(gè)頻段的特征凸顯出來(lái)。

由于本文所研究的數(shù)據(jù)特征主要位于低頻部分，因此GRT方法通過(guò)離散小波變換對(duì)數(shù)據(jù)的高頻部分進(jìn)行信號(hào)重構(gòu)，將動(dòng)態(tài)閾值用于細(xì)節(jié)系數(shù)，達(dá)到進(jìn)一步去除噪聲的目的。

圖3為原始CSI幅值數(shù)據(jù)和兩次去噪處理及數(shù)據(jù)歸一化后的CSI幅值數(shù)據(jù)的對(duì)比圖。數(shù)據(jù)歸一化的目的主要是使得數(shù)據(jù)轉(zhuǎn)變?yōu)闃?biāo)準(zhǔn)化的格式，方便之后網(wǎng)絡(luò)的特征提取。

圖3 CSI數(shù)據(jù)預(yù)處理前后對(duì)比

經(jīng)過(guò)對(duì)比可以證實(shí)巴特沃斯濾波器和離散小波變換方法的有效性，保證信號(hào)數(shù)據(jù)變化趨勢(shì)完整的前提下，實(shí)現(xiàn)了噪聲的去除。

2.3 改進(jìn)TCN特征提取

經(jīng)過(guò)上述數(shù)據(jù)預(yù)處理得到的信號(hào)信息為一維數(shù)據(jù)，并且具有較強(qiáng)的時(shí)序性。GRT方法提出一種改進(jìn)的時(shí)間卷積網(wǎng)絡(luò)(temporal convolutional networks，TCN)對(duì)信號(hào)序列數(shù)據(jù)進(jìn)行特征提取。

由于原始TCN存在參數(shù)量隨著網(wǎng)絡(luò)深度增大而大幅增加的問(wèn)題，在這種情況下易導(dǎo)致過(guò)擬合現(xiàn)象的發(fā)生。為了避免這種情況的發(fā)生，更好地實(shí)現(xiàn)特征復(fù)用和特征的深度提取，GRT在TCN的基礎(chǔ)上進(jìn)行改進(jìn)和優(yōu)化。

2.3.1 TCN結(jié)構(gòu)的改進(jìn)

針對(duì)參數(shù)量增大問(wèn)題，GRT方法在TCN當(dāng)中引入密集連接結(jié)構(gòu)進(jìn)行網(wǎng)絡(luò)優(yōu)化。密集連接是一種實(shí)現(xiàn)特征復(fù)用的跨層連接方式。其網(wǎng)絡(luò)結(jié)構(gòu)的輸出可用式(6)表示

Xl=Hl([X0,X1,…,Xl-1])

(6)

式中：l表示對(duì)應(yīng)網(wǎng)絡(luò)的層，X0,X1,…,Xl-1表示對(duì)應(yīng)層的輸出，Hl表示非線(xiàn)性變換過(guò)程，該過(guò)程是一個(gè)組合操作，其中可能包括卷積、批歸一化、池化等過(guò)程。通過(guò)密集連接得到的網(wǎng)絡(luò)每一層輸出都是之前所有層特征拼接并進(jìn)行非線(xiàn)性變換的結(jié)果，使得盡可能保留了之前層的特征信息，實(shí)現(xiàn)了特征復(fù)用，同時(shí)在一定程度上可以規(guī)避TCN網(wǎng)絡(luò)對(duì)于小數(shù)據(jù)集下參數(shù)過(guò)多引起的過(guò)擬合現(xiàn)象。

改進(jìn)后的TCN網(wǎng)絡(luò)如圖4所示，將TCN網(wǎng)絡(luò)當(dāng)中的每個(gè)時(shí)間模塊利用密集連接的方式進(jìn)行改進(jìn)，在減少卷積通道數(shù)量的同時(shí)降低特征維度，達(dá)到利用較小參數(shù)實(shí)現(xiàn)深度特征提取的目的，也在最大程度上避免了過(guò)擬合情況的產(chǎn)生[13]。

圖4 改進(jìn)后的TCN結(jié)構(gòu)

如表1所示，由于更改了網(wǎng)絡(luò)結(jié)構(gòu)，可訓(xùn)練參數(shù)量發(fā)生了下降，使得網(wǎng)絡(luò)訓(xùn)練速度加快，資源消耗減少，更適應(yīng)于對(duì)時(shí)延性能有要求的手勢(shì)識(shí)別。

表1 不同網(wǎng)絡(luò)類(lèi)別的參數(shù)量

2.3.2 時(shí)間模塊的改進(jìn)

如圖5所示，原始TCN當(dāng)中的時(shí)間模塊結(jié)構(gòu)使用了ResNet[14]當(dāng)中的殘差塊，同時(shí)利用因果卷積和擴(kuò)張卷積結(jié)合搭建新的模型塊，形成時(shí)間模塊。之后使用權(quán)重歸一化和Dropout層來(lái)堆疊網(wǎng)絡(luò)規(guī)避過(guò)擬合現(xiàn)象。這樣的結(jié)構(gòu)不僅使得殘差結(jié)果對(duì)數(shù)據(jù)的波動(dòng)更加敏感，而且良好地解決了網(wǎng)絡(luò)退化的問(wèn)題。

圖5 ResNet中的殘差塊

但由于外部結(jié)構(gòu)使用了密集連接跨層結(jié)構(gòu)，時(shí)間模塊內(nèi)部的殘差連接可以去除，在減少參數(shù)量的同時(shí)保證了特征提取效果。同時(shí)為了降低模塊的特征維度，在結(jié)構(gòu)中額外加入一層一維卷積進(jìn)行處理，可以更有效地捕獲特征信息，如圖6所示。

圖6 改進(jìn)后的時(shí)間模塊結(jié)構(gòu)

同時(shí)為了更好地保留歷史信息部分，時(shí)間模塊當(dāng)中繼續(xù)沿用了原始TCN當(dāng)中的因果卷積和空洞卷積設(shè)計(jì)內(nèi)容，對(duì)于具備時(shí)間特征的數(shù)據(jù)或序列有良好的建模能力。

相比于通過(guò)門(mén)控單元存儲(chǔ)信息的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long short-term memory，LSTM)，放棄使用門(mén)控單元，而是通過(guò)因果卷積增加網(wǎng)絡(luò)層數(shù)的方式來(lái)獲取歷史信息并通過(guò)當(dāng)前已知的條件去預(yù)測(cè)結(jié)果，其具體表示如式(7)所示

(7)

式中：x1,x2,…,xt-1代表已知的歷史信息，需要對(duì)當(dāng)前時(shí)刻t下的結(jié)果進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)結(jié)果p(x)。

為了代替門(mén)控單元實(shí)現(xiàn)對(duì)歷史信息的存儲(chǔ)，需要增大網(wǎng)絡(luò)層數(shù)堆疊信息或者選取較大的卷積核增加感受野，這樣不僅使得網(wǎng)絡(luò)的運(yùn)算量突增，而且會(huì)導(dǎo)致梯度消失等問(wèn)題，對(duì)網(wǎng)絡(luò)的訓(xùn)練效果產(chǎn)生影響。擴(kuò)張卷積的引入可以在避免以上問(wèn)題的同時(shí)擴(kuò)大卷積的感受野，使其獲取到更多歷史信息，提升預(yù)測(cè)的準(zhǔn)確率。感受野RF可以用式(8)表示

RF=(K-1)×d+1

(8)

式中：K為濾波器大小，d為膨脹因子系數(shù)，擴(kuò)大感受野需要改變這兩個(gè)參數(shù)的大小。在擴(kuò)張卷積操作中，膨脹因子d會(huì)隨著網(wǎng)絡(luò)深度的增加以指數(shù)方式增長(zhǎng)，引入擴(kuò)張卷積網(wǎng)絡(luò)能用較少的層數(shù)獲得更大的感受野。

并且根據(jù)CSI幅值數(shù)據(jù)特性，將空洞卷積的擴(kuò)張率進(jìn)行了改進(jìn)，由之前隨著時(shí)間模塊的遞進(jìn)式擴(kuò)張方式進(jìn)一步調(diào)整為更適合GRT方法的擴(kuò)張率增長(zhǎng)方式。使得在有限網(wǎng)絡(luò)層數(shù)內(nèi)獲取到更多的歷史信息，在一定程度上提升了對(duì)當(dāng)前時(shí)刻結(jié)果的預(yù)測(cè)的準(zhǔn)確度，也避免了無(wú)用的層數(shù)堆疊。

2.3.3 整體網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

由于上述提出的改進(jìn)方法增大了網(wǎng)絡(luò)深度，在此情況下為了增強(qiáng)網(wǎng)絡(luò)的魯棒性和泛化能力，需要使用較多的數(shù)據(jù)進(jìn)行訓(xùn)練。本文所使用CSI幅值擁有3組相關(guān)信號(hào)數(shù)據(jù)，為了更好地實(shí)現(xiàn)手勢(shì)信號(hào)的深度特征提取且避免過(guò)擬合發(fā)生，GRT方法引入多輸入網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練。

如圖7所示，首先將3組天線(xiàn)對(duì)的CSI幅值數(shù)據(jù)分別通過(guò)改進(jìn)后的TCN進(jìn)行訓(xùn)練后進(jìn)行特征融合，對(duì)融合后的特征進(jìn)行了展平(Flatten)處理，同時(shí)加入了Dropout層來(lái)抑制整體模型過(guò)擬合現(xiàn)象的發(fā)生，最后利用全連接層和Softmax多分類(lèi)進(jìn)行數(shù)據(jù)類(lèi)別的預(yù)測(cè)。

圖7 結(jié)合多輸入的網(wǎng)絡(luò)結(jié)構(gòu)

2.3.4 損失函數(shù)的設(shè)置

本文使用的手勢(shì)信號(hào)標(biāo)簽為阿拉伯?dāng)?shù)字0～9，分別對(duì)應(yīng)10種不同的手勢(shì)，屬于多分類(lèi)訓(xùn)練任務(wù)。為了提升訓(xùn)練效果，對(duì)數(shù)據(jù)集標(biāo)簽使用獨(dú)熱編碼處理。由于改進(jìn)TCN屬于多輸入單輸出型網(wǎng)絡(luò)，訓(xùn)練過(guò)程中在進(jìn)行Softmax回歸處理之后需要使用交叉熵?fù)p失函數(shù)進(jìn)行交叉熵計(jì)算以保持良好的分類(lèi)精度

(9)

式(9)為交叉熵的計(jì)算，其中l(wèi)able(i)為獨(dú)熱編碼后的標(biāo)簽變量，C為分類(lèi)數(shù)，n為訓(xùn)練樣本數(shù)，predict(i)為對(duì)應(yīng)的預(yù)測(cè)結(jié)果向量。利用交叉熵?fù)p失函數(shù)的計(jì)算來(lái)判定實(shí)際的輸出與期望的輸出的接近程度，同時(shí)結(jié)合梯度下降來(lái)不斷進(jìn)行權(quán)重的更新，以此增強(qiáng)模型的準(zhǔn)確率。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

本文所采用數(shù)據(jù)集選取自Widar3.0，其中包含3類(lèi)室內(nèi)場(chǎng)景下10個(gè)手寫(xiě)數(shù)字手勢(shì)的信號(hào)數(shù)據(jù)，分別為阿拉伯?dāng)?shù)字0～9，總計(jì)2000個(gè)CSI信息包。該數(shù)據(jù)集由配置Intel5300網(wǎng)卡的商用Wi-Fi設(shè)備以30 Hz的采樣率持續(xù)接收CSI數(shù)據(jù)分組，發(fā)射端的天線(xiàn)數(shù)量為3根，接收端的天線(xiàn)數(shù)量為1根，在真實(shí)場(chǎng)景下進(jìn)行采集，因此包含場(chǎng)景噪聲等諸多干擾因素，有助于驗(yàn)證GRT方法的魯棒性。

實(shí)驗(yàn)數(shù)據(jù)選取數(shù)據(jù)集中每個(gè)手勢(shì)的80%作為訓(xùn)練樣本，將數(shù)據(jù)集中每個(gè)手勢(shì)剩余的20%作為測(cè)試樣本，使用Adam優(yōu)化算法來(lái)適應(yīng)調(diào)整訓(xùn)練過(guò)程中的學(xué)習(xí)率變化。

本文實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)為手勢(shì)識(shí)別分類(lèi)的準(zhǔn)確率，并使用混淆矩陣進(jìn)行實(shí)驗(yàn)分析。

3.2 實(shí)驗(yàn)環(huán)境

本文所進(jìn)行的主要實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)均依托于Python 3.7下的谷歌深度學(xué)習(xí)框架Tensorflow2.0構(gòu)建。硬件配置見(jiàn)表2。

3.3 實(shí)驗(yàn)結(jié)果

本文所使用的GRT方法對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行預(yù)處理之

表2 本文實(shí)驗(yàn)的硬件配置

后，通過(guò)多輸入的方式將其引入到改進(jìn)TCN網(wǎng)絡(luò)當(dāng)中進(jìn)行訓(xùn)練。測(cè)試樣本數(shù)據(jù)使用同樣的預(yù)處理方法進(jìn)行操作，輸入已訓(xùn)練好的模型當(dāng)中進(jìn)行測(cè)試，并整理實(shí)驗(yàn)結(jié)果得到識(shí)別準(zhǔn)確率。圖8是對(duì)10種手勢(shì)進(jìn)行識(shí)別的混淆矩陣，表示每個(gè)手勢(shì)動(dòng)作被識(shí)別成10個(gè)動(dòng)作的概率。

圖8 手勢(shì)識(shí)別結(jié)果的混淆矩陣/%

從圖8中可以看出每種手勢(shì)識(shí)別的準(zhǔn)確率均為較高水平，平均識(shí)別準(zhǔn)確率達(dá)98.3%，其中手勢(shì)較為復(fù)雜的幾類(lèi)數(shù)字識(shí)別率更高，出現(xiàn)誤判的可能較小，例如手寫(xiě)數(shù)字“8”，由于其手部動(dòng)作較為明顯且完整，對(duì)于整個(gè)信號(hào)區(qū)域內(nèi)的信號(hào)動(dòng)態(tài)傳播影響作用較大，GRT方法基本可以做到準(zhǔn)確識(shí)別。而對(duì)于手部動(dòng)作較為相似的手勢(shì)可能會(huì)出現(xiàn)極少量的誤判情況。

3.4 實(shí)驗(yàn)分析

3.4.1 不同樣本數(shù)量影響

由于訓(xùn)練樣本的CSI數(shù)據(jù)當(dāng)中包含著復(fù)雜的環(huán)境信息和動(dòng)作信息，且深度學(xué)習(xí)的方法具有依賴(lài)大規(guī)模數(shù)據(jù)集的特點(diǎn)，需要從大量的數(shù)據(jù)當(dāng)中提取到特征信息并進(jìn)行分類(lèi)，所以訓(xùn)練樣本的大小也會(huì)對(duì)訓(xùn)練結(jié)果產(chǎn)生一定的影響。本文實(shí)驗(yàn)分別選取每個(gè)動(dòng)作的120個(gè)、140個(gè)、160個(gè)、180個(gè)、200個(gè)樣本進(jìn)行訓(xùn)練并觀察測(cè)試結(jié)果，見(jiàn)表3。

表3 不同訓(xùn)練樣本數(shù)量的影響

由表3可以看出，隨著訓(xùn)練樣本數(shù)量的增加，該模型的手勢(shì)平均識(shí)別精度也在增加。這說(shuō)明樣本數(shù)量是影響實(shí)驗(yàn)結(jié)果的一個(gè)重要因素，在一定范圍內(nèi)增大樣本數(shù)據(jù)的數(shù)量更有利于模型精度的提升，但隨著樣本的數(shù)量增大，引起平均識(shí)別精度提高的速率明顯變小，驗(yàn)證樣本數(shù)量已經(jīng)逐漸滿(mǎn)足了本文所提出網(wǎng)絡(luò)的特征提取需求，識(shí)別精度趨于平穩(wěn)狀態(tài)，過(guò)多的訓(xùn)練樣本反而會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過(guò)慢，影響系統(tǒng)的實(shí)用性。本文實(shí)驗(yàn)選擇的單個(gè)手勢(shì)訓(xùn)練樣本數(shù)為200個(gè)，使得網(wǎng)絡(luò)在訓(xùn)練效率和識(shí)別精度之間達(dá)到平衡狀態(tài)，可以使用較少的資源得到較高的手勢(shì)識(shí)別準(zhǔn)確率。

3.4.2 不同子載波數(shù)量影響

在CSI數(shù)據(jù)當(dāng)中包含的子載波數(shù)量為A×M×N×30，其中A為獲取到的數(shù)據(jù)包個(gè)數(shù)，M為發(fā)送端天線(xiàn)數(shù)，N為接收端天線(xiàn)數(shù)。每根天線(xiàn)上傳輸了固定的30條子載波，子載波的選取數(shù)量也會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生一定的影響。本文實(shí)驗(yàn)選擇每根天線(xiàn)上10條、20條、30條不同的子載波數(shù)量進(jìn)行訓(xùn)練并觀察結(jié)果。

如表4所示，隨著每根天線(xiàn)上選取子載波數(shù)量的增加，該模型的手勢(shì)識(shí)別平均精度也在增加，驗(yàn)證了子載波數(shù)量是影響實(shí)驗(yàn)結(jié)果的一個(gè)重要因素。由于本文所使用實(shí)驗(yàn)器材涉及3組不同的天線(xiàn)對(duì)，每組天線(xiàn)對(duì)上都保留了在無(wú)線(xiàn)信號(hào)環(huán)境下手勢(shì)的特征信息，使用多組數(shù)據(jù)并列輸入的方式會(huì)盡可能保留手勢(shì)動(dòng)作的特征性。相較于不同樣本數(shù)量，不同的子載波數(shù)量對(duì)于模型平均識(shí)別精度的提升更大，由于在較少子載波用于訓(xùn)練的情況下，CSI幅值數(shù)據(jù)所體現(xiàn)出來(lái)的特征性有限，對(duì)于一些動(dòng)作微小的手部動(dòng)作特征無(wú)法提取完全，手勢(shì)識(shí)別的準(zhǔn)確率也較低。

表4 不同子載波數(shù)量的影響

但隨著網(wǎng)絡(luò)輸入的子載波數(shù)量越多，可以提取出更多有效的信息進(jìn)行高精度的識(shí)別。為了達(dá)到識(shí)別的最佳效果，本文選擇每根天線(xiàn)均使用全部的30條子載波進(jìn)行實(shí)驗(yàn)，實(shí)現(xiàn)最優(yōu)識(shí)別結(jié)果。

3.4.3 消融實(shí)驗(yàn)對(duì)比

由于本文所提出的GRT方法當(dāng)中使用了改進(jìn)的TCN網(wǎng)絡(luò)，需要進(jìn)行消融實(shí)驗(yàn)來(lái)確定改進(jìn)模塊的有效性。

實(shí)驗(yàn)主要分為4組進(jìn)行，第一組使用本文提出的完整改進(jìn)TCN結(jié)構(gòu)；第二組使用在第一組的基礎(chǔ)上去除多輸入網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的TCN；第三組使用在原始網(wǎng)絡(luò)基礎(chǔ)上僅保留密集連接改進(jìn)的TCN；第四組使用不進(jìn)行任何改進(jìn)的原始的TCN網(wǎng)絡(luò)。表5為消融實(shí)驗(yàn)的對(duì)比結(jié)果。

通過(guò)表5的對(duì)比結(jié)果可以看出，對(duì)比原始TCN每一步的網(wǎng)絡(luò)改進(jìn)思路都對(duì)平均識(shí)別精度有一定的提升，驗(yàn)證了改進(jìn)TCN的可行性和GRT方法的有效性。

3.4.4 不同方法對(duì)比

為了驗(yàn)證本文提出GRT方法的有效性，在完全相同的

表5 消融實(shí)驗(yàn)對(duì)比結(jié)果

數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境下使用其它文獻(xiàn)方法和部分深度學(xué)習(xí)網(wǎng)絡(luò)與GRT方法進(jìn)行實(shí)驗(yàn)對(duì)比。包括KNN、AFSA-SVM、LSTM、GRU、CNN、TCN這6種方法，分別使用各個(gè)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練并測(cè)試，得到對(duì)比結(jié)果見(jiàn)表6。

表6 不同方法對(duì)比結(jié)果

從表6中可以看出深度學(xué)習(xí)方法的平均識(shí)別精度整體略高于機(jī)器學(xué)習(xí)方法。這是由于深度學(xué)習(xí)可以從大量數(shù)據(jù)當(dāng)中直接獲取到更高等級(jí)的特征，有助于特征提取的進(jìn)行，從而實(shí)現(xiàn)更高精度的分類(lèi)識(shí)別。其它深度學(xué)習(xí)網(wǎng)絡(luò)由于特征提取的單一性和不完整性，均在平均識(shí)別精度上低于GRT方法。實(shí)驗(yàn)結(jié)果表明，GRT方法當(dāng)中的改進(jìn)TCN相對(duì)于其它方法具有更好的識(shí)別效果。

同時(shí)為了進(jìn)一步對(duì)GRT方法進(jìn)行對(duì)比驗(yàn)證，在不同訓(xùn)練樣本數(shù)和不同子載波選取數(shù)兩個(gè)變量下分別對(duì)其它4種不同深度學(xué)習(xí)網(wǎng)絡(luò)的平均識(shí)別精度進(jìn)行統(tǒng)計(jì)，并與GRT方法進(jìn)行對(duì)比，得到的對(duì)比結(jié)果如圖9所示。

圖9 不同方法對(duì)比結(jié)果

GRT方法在不同訓(xùn)練樣本和不同數(shù)量子載波選取條件下精確度均優(yōu)于其它4種網(wǎng)絡(luò)。由于包含了TCN利用了網(wǎng)絡(luò)深度實(shí)現(xiàn)歷史信息的存儲(chǔ)的特點(diǎn)，同時(shí)加入空洞卷積來(lái)代替循環(huán)神經(jīng)網(wǎng)絡(luò)當(dāng)中的輸入門(mén)、遺忘門(mén)和輸出門(mén)，對(duì)比LSTM、GRU和CNN在減少參數(shù)量的同時(shí)增加了網(wǎng)絡(luò)的魯棒性，更好地實(shí)現(xiàn)有效信息的提取。相較TCN，GRT方法通過(guò)融入密集連接的思想，盡可能減少了模型的參數(shù)，加快訓(xùn)練速度的同時(shí)避免了較小數(shù)據(jù)集下過(guò)擬合情況的產(chǎn)生，在準(zhǔn)確率上獲得了較大的提升。GRT方法在模型結(jié)構(gòu)上使用多輸入網(wǎng)絡(luò)的方式對(duì)所有數(shù)據(jù)進(jìn)行處理，摒棄了傳統(tǒng)的主成分分析方法，最大程度上保留了所有信號(hào)的特征信息，相比于選取特定信息進(jìn)行訓(xùn)練在準(zhǔn)確率上有較為顯著的提升。以上對(duì)比結(jié)果表明了GRT方法的有效性和合理性。

4 結(jié)束語(yǔ)

本文提出一種基于無(wú)線(xiàn)信號(hào)和改進(jìn)TCN的手勢(shì)識(shí)別方法GRT。首先使用巴特沃斯低通濾波、離散小波變換和數(shù)據(jù)歸一化對(duì)提取到的CSI幅值數(shù)據(jù)進(jìn)行預(yù)處理，在最大程度上保留信號(hào)特征的同時(shí)去除干擾噪聲；之后構(gòu)建融入密集連接的改進(jìn)TCN網(wǎng)絡(luò)，將處理好的CSI幅值數(shù)據(jù)以天線(xiàn)為單位通過(guò)多輸入網(wǎng)絡(luò)的結(jié)構(gòu)分組輸入到網(wǎng)絡(luò)當(dāng)中進(jìn)行訓(xùn)練，最后實(shí)現(xiàn)對(duì)0～9這10種手寫(xiě)阿拉伯?dāng)?shù)字的手勢(shì)識(shí)別。實(shí)驗(yàn)結(jié)果表明，本文提出方法在普適環(huán)境下平均識(shí)別率達(dá)到98.3%，具有良好的識(shí)別效果,驗(yàn)證了改進(jìn)網(wǎng)絡(luò)的可行性和合理性。

由于無(wú)線(xiàn)信號(hào)的衰退性和不穩(wěn)定性，在不同環(huán)境下特征表現(xiàn)不同，易受到各種人為動(dòng)作的干擾。如何在多人復(fù)雜環(huán)境下實(shí)現(xiàn)高精度的人體行為識(shí)別，減少環(huán)境造成的影響是未來(lái)工作當(dāng)中研究的重點(diǎn)內(nèi)容。