陳紅紅馮丹陽(yáng)黨小超郝占軍喬志強(qiáng)牛 娟

(1.西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，甘肅 蘭州 730070；2.甘肅省物聯(lián)網(wǎng)工程研究中心，甘肅 蘭州 730070)

無(wú)線通訊技術(shù)發(fā)展至今，有不少學(xué)者關(guān)注手勢(shì)識(shí)別，并致力于現(xiàn)實(shí)生活中的應(yīng)用。 目前，無(wú)線通訊技術(shù)對(duì)其在特殊教育領(lǐng)域的應(yīng)用加以關(guān)注[1]。 據(jù)統(tǒng)計(jì)，全球約有15.7 億人聽(tīng)力受損[2]。 在中國(guó)，聾啞人群數(shù)量超2080 萬(wàn)，占全國(guó)總?cè)丝诘?.69%。 手語(yǔ)作為聾啞人的通用語(yǔ)言，對(duì)聽(tīng)力障礙者和語(yǔ)言障礙者來(lái)說(shuō)是交流和學(xué)習(xí)的一種必要手段。 特殊教育中，通過(guò)拼音學(xué)得漢字，最終達(dá)到手語(yǔ)學(xué)習(xí)的目的。同時(shí)，手語(yǔ)作為一種特殊語(yǔ)言，若能將其轉(zhuǎn)化為對(duì)應(yīng)的字符，將很大程度方便聾啞人群和正常聽(tīng)力人群的交流。 由此可見(jiàn)，通過(guò)無(wú)線通訊技術(shù)進(jìn)行手勢(shì)識(shí)別并將其應(yīng)用到特殊人群如聾啞人的手語(yǔ)教學(xué)中，是一種極為有效的教學(xué)方式。

本文提出了一種基于信道狀態(tài)信息(Channel State Information，CSI)的手語(yǔ)手勢(shì)識(shí)別方法——AirG，該方法可有效識(shí)別中國(guó)聾啞人漢語(yǔ)拼音手語(yǔ)手勢(shì)，漢語(yǔ)拼音手語(yǔ)手勢(shì)如圖1 所示。 經(jīng)驗(yàn)證，該方法實(shí)現(xiàn)了對(duì)漢語(yǔ)拼音手語(yǔ)手勢(shì)的感知與識(shí)別且具備良好的魯棒性。

圖1 漢語(yǔ)拼音手語(yǔ)手勢(shì)圖

主要貢獻(xiàn)總結(jié)如下:

①本文提出基于CSI 的AirG 系統(tǒng)可以有效識(shí)別不同環(huán)境下的漢語(yǔ)拼音手語(yǔ)手勢(shì)。 通過(guò)理論和實(shí)驗(yàn)驗(yàn)證利用CSI 進(jìn)行手語(yǔ)手勢(shì)識(shí)別的可行性。

②本文通過(guò)自適應(yīng)算法訓(xùn)練生成新的隱馬爾可夫模型(Hidden Markov Model，HMM)將其作為強(qiáng)分類(lèi)器，避免了對(duì)正確樣本反復(fù)識(shí)別，有效地降低了整體的計(jì)算開(kāi)銷(xiāo)。

③經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證AirG 適用于多種環(huán)境。 實(shí)驗(yàn)結(jié)果表明，AirG 在漢語(yǔ)拼音手語(yǔ)手勢(shì)識(shí)別方面較其他系統(tǒng)而言性能更好。

1 相關(guān)工作

目前，研究人員提出各種用于人類(lèi)手勢(shì)活動(dòng)的感知技術(shù)，主要基于傳感器、計(jì)算機(jī)視覺(jué)、以及無(wú)線設(shè)備。

其中，第一類(lèi)通過(guò)傳感器識(shí)別手勢(shì)，如文獻(xiàn)[3-6]均提出使用配備傳感器的配飾作為數(shù)據(jù)采集設(shè)備捕獲手勢(shì)動(dòng)作，識(shí)別結(jié)果均達(dá)到90%以上。 但基于可穿戴設(shè)備的識(shí)別方法用戶需佩戴專(zhuān)用設(shè)備，影響動(dòng)作描述，且極大地降低了用戶的舒適感。

第二類(lèi)通過(guò)計(jì)算機(jī)視覺(jué)識(shí)別手勢(shì)。 文獻(xiàn)[7-8]的手勢(shì)識(shí)別通過(guò)微軟Kinect 傳感器，其中文獻(xiàn)[8]采用雙重和十倍交叉驗(yàn)證方式，對(duì)阿拉伯?dāng)?shù)字(0 ～9)和英文字母(A ～Z)的識(shí)別率達(dá)91%以上。 但視覺(jué)識(shí)別通常對(duì)照明條件有要求且涉及個(gè)人隱私問(wèn)題，實(shí)際使用中存在局限性。

第三類(lèi)通過(guò)無(wú)線設(shè)備的手勢(shì)識(shí)別方法，可通過(guò)超寬帶雷達(dá)[9]、射頻識(shí)別技術(shù)[10]、接收信號(hào)強(qiáng)度指示或CSI 信號(hào)[11]。 其中射頻識(shí)別技術(shù)和超帶寬雷達(dá)需專(zhuān)用設(shè)備且部署復(fù)雜度高，目前多用接收信號(hào)強(qiáng)度指示或CSI 進(jìn)行手勢(shì)識(shí)別。 如，文獻(xiàn)[12]提出基于信號(hào)接收強(qiáng)度指示的手勢(shì)識(shí)別方法通過(guò)信號(hào)相位差與頻率自帶選擇可識(shí)別25 種手勢(shì)動(dòng)作。 信號(hào)接收強(qiáng)度一定程度上無(wú)法接收來(lái)自不同路徑的電磁波信號(hào)，不適用于室內(nèi)人員手勢(shì)識(shí)識(shí)別；CSI 是電磁波信號(hào)的細(xì)粒度描述，可獲取子載波的幅值、相位等信息，更適用于手勢(shì)識(shí)別，文獻(xiàn)[13-15]均通過(guò)CSI進(jìn)行手勢(shì)識(shí)別。

Li[13]等人提出的WiFinger 系統(tǒng)用于手勢(shì)識(shí)別，通過(guò)k-最近鄰算法并且結(jié)合動(dòng)態(tài)時(shí)間規(guī)整算法，準(zhǔn)確率可達(dá)到90.4%。 Zhang[14]等人提出的Mudra 系統(tǒng)通過(guò)干擾消除技術(shù)，實(shí)現(xiàn)與位置方向無(wú)關(guān)的手勢(shì)動(dòng)作識(shí)別，準(zhǔn)確率達(dá)到96%。 Jiang[15]等人提出的WiGAN 系統(tǒng)，使用生成對(duì)抗網(wǎng)絡(luò)來(lái)提取和生成手勢(shì)特征，將手勢(shì)動(dòng)作的特征融合后通過(guò)支持向量機(jī)(support vector machines，SVM)對(duì)活動(dòng)分類(lèi)，平均識(shí)別準(zhǔn)確率達(dá)95%以上。 但手勢(shì)數(shù)據(jù)達(dá)到一定量級(jí)時(shí)使用支持向量機(jī)進(jìn)行特征提取、手勢(shì)識(shí)別需較大開(kāi)銷(xiāo)。

為了解決計(jì)算開(kāi)銷(xiāo)大，手勢(shì)識(shí)別精度低等問(wèn)題，本文提出基于CSI 的聾啞人手語(yǔ)手勢(shì)識(shí)別方法——AirG。 為了將手勢(shì)數(shù)據(jù)中的突兀值去除采用局部離群因子(Local Outlier Factor，LOF)檢測(cè)算法。 又因手語(yǔ)手勢(shì)動(dòng)作屬于低頻信息，通過(guò)離散小波變換(Discrete Wavelet Transform，DWT)可有效去除環(huán)境中的高頻信息且不丟失數(shù)據(jù)細(xì)節(jié)，經(jīng)預(yù)處理后的波形數(shù)據(jù)通過(guò)主成分分析法(Principal Component Analysis，PCA)篩選最能代表手語(yǔ)手勢(shì)的子載波。 采用數(shù)學(xué)統(tǒng)計(jì)的方法進(jìn)行特征提取，最終將手勢(shì)數(shù)據(jù)輸入Adaboost-HMM 模型得到手勢(shì)識(shí)別結(jié)果。

2 AirG 手勢(shì)識(shí)別方法概述

通過(guò)AirG 進(jìn)行手語(yǔ)手勢(shì)識(shí)別需經(jīng)四個(gè)步驟:手語(yǔ)手勢(shì)數(shù)據(jù)感知、噪聲移除、特征提取和手語(yǔ)手勢(shì)識(shí)別，工作流程如圖2 所示。

圖2 AirG 工作流程圖

2.1 數(shù)據(jù)采集與預(yù)處理

我們使用配置Intel 5300 NIC 的兩臺(tái)筆記本電腦進(jìn)行數(shù)據(jù)采集，其中在IEEE 802.11n Monitor 模式下工作的作為發(fā)射器，另一臺(tái)作為接收器。

多條天線提供了充足的CSI 信息，但不同天線對(duì)手勢(shì)動(dòng)作的敏感程度不同，可通過(guò)方差選取敏感程度高的天線。 經(jīng)篩選得出的天線受多徑效應(yīng)與固有噪聲的影響，數(shù)據(jù)波形中存在尖峰毛刺，為將異常值濾除并保留原來(lái)的信號(hào)，選用LOF 異常檢測(cè)算法去除異常值，如圖3(b)所示。 可表示為式(1):

式中:Nk(X)是點(diǎn)X的k距離鄰域內(nèi)點(diǎn)的總數(shù)，lrdk(X)為點(diǎn)X的局部可達(dá)密度，Y為點(diǎn)X的k距離鄰域內(nèi)的任意一點(diǎn)。

LOFk(X)趨近1 時(shí)，被測(cè)點(diǎn)的鄰域點(diǎn)密度幾乎相等，屬同簇；LOFk(X)越大于1 時(shí)，被認(rèn)為是異常點(diǎn)；若LOFk(X)遠(yuǎn)小于1，則視為密集點(diǎn)。

當(dāng)環(huán)境中存在較多干擾時(shí)，選用DWT 進(jìn)行多徑效應(yīng)移除如圖3(c)。 離散小波變換對(duì)細(xì)粒度的動(dòng)作進(jìn)行多尺度分析，移除高頻噪聲的同時(shí)，保留了手勢(shì)波形的大致特征與數(shù)據(jù)細(xì)節(jié)。 我們采用Symlet5 進(jìn)行信號(hào)分解成近似系數(shù)和多個(gè)細(xì)節(jié)系數(shù)，其中細(xì)節(jié)系數(shù)描述了設(shè)備中隨機(jī)噪聲和CSI 數(shù)據(jù)細(xì)節(jié)。 兩種系數(shù)可表示為式(2):

圖3 手語(yǔ)手勢(shì)與處理圖

式中:為近似系數(shù)，本文采用Symlet5 因此J＝5，為細(xì)節(jié)系數(shù)，X(n)為手勢(shì)數(shù)據(jù)樣本點(diǎn)，n-2 表示二倍降采樣，g為低通濾波器，可濾除高頻信息；h為高通濾波器，保留高頻部分。 對(duì)細(xì)節(jié)參數(shù)采用軟閾值算法，并用逆離散小波變換對(duì)去噪后手勢(shì)波形X′(n)重構(gòu)，表示為式(3):

將噪聲移除后的30 條子載波內(nèi)包含與手勢(shì)動(dòng)作相關(guān)性較小的子載波，因此采用主成分分析算法進(jìn)行降維，選擇出與降維前相似度高的子載波。 首先對(duì)手勢(shì)樣本集X＝{x1，x2，…，xm}求其均值向量其中xi為CSI 的列向量，ˉx表示為式(4):

Y＝{y1，y2，…，ym}為樣本歸一化處理后的樣本集，其中yi＝xi-。 求得重構(gòu)的樣本Y的協(xié)方差矩陣C，可表示為式(5)，其中cov(Xi，Xj)表示樣本協(xié)方差。

該協(xié)方差矩陣C的特征值矩陣為λ＝[λ1，λ2，…，λn]，降序排列后取前k個(gè)特征值，Q＝{q1，q2，…，qk}為特征值所對(duì)應(yīng)向量組成的特征向量矩陣。將特征向量矩陣與原樣本集相乘，得到降維后的矩陣R＝QTX。 最終保留第一主成分將其作為手勢(shì)識(shí)別的CSI 波形，經(jīng)過(guò)PCA 提取子載波結(jié)果如圖4所示。

圖4 主成分分析算法提取子載波

2.2 特征提取

手勢(shì)動(dòng)作描述方式與速度因人而異，此外，某人執(zhí)行同一手勢(shì)動(dòng)作也很難保證波形完全相同。 不同人員執(zhí)行不同手勢(shì)如圖5 所示。 手勢(shì)波形的最大值、最小值易受實(shí)驗(yàn)人員動(dòng)作幅度影響較為明顯，為達(dá)到同一手勢(shì)波形一致性因此不宜作為特征值。 且為了突出不同手勢(shì)之間的差別，需選取多個(gè)特征值，但是過(guò)多的特征值易出現(xiàn)擬合問(wèn)題。 因此本文最終選取特征值:偏度、峰度、標(biāo)準(zhǔn)差、峰峰值。

圖5 不同人員執(zhí)行不同手勢(shì)

偏度，可以描述手語(yǔ)手勢(shì)波形的偏斜程度，且可以表明數(shù)據(jù)的非對(duì)稱程度，同時(shí)可度量數(shù)據(jù)分布的偏斜方向，表示為式(6):

式中:xi為樣本中的數(shù)據(jù)點(diǎn)，表示數(shù)據(jù)點(diǎn)的平均值，n表示數(shù)據(jù)點(diǎn)個(gè)數(shù)。

峰度，可以描述不同手勢(shì)數(shù)據(jù)波形的概率密度分布曲線在平均值處峰值高低的特征數(shù)的描述，表示為式(7):

標(biāo)準(zhǔn)差，是數(shù)據(jù)偏離均值的平方和平均后的方根。 手勢(shì)數(shù)據(jù)集的離散程度可通過(guò)標(biāo)準(zhǔn)差得出，即標(biāo)準(zhǔn)偏差越大，數(shù)據(jù)離散程度大；反之亦然。 可表示為式(8):

峰峰值，可以描述一個(gè)周期內(nèi)手勢(shì)動(dòng)作所產(chǎn)生信號(hào)的波峰與波谷差，表示為式(9):

2.3 識(shí)別模型

Adaboost 是由Freund[16]提出一種迭代方法，即，當(dāng)樣本輸入弱分類(lèi)器后，分類(lèi)結(jié)果呈現(xiàn)出錯(cuò)誤分類(lèi)樣本與正確分類(lèi)樣本。 因此，將樣本權(quán)值重置，按照正樣本權(quán)值降低，負(fù)樣本權(quán)值增大的原則；對(duì)所有樣本權(quán)值更新。 每一輪更新后的樣本作為下一輪分類(lèi)器的輸入，用于訓(xùn)練下一個(gè)弱分類(lèi)器。 當(dāng)?shù)螖?shù)達(dá)到最大，亦或錯(cuò)誤率足夠小，則形成最終的強(qiáng)分類(lèi)器。 Adaboost-HMM 模型原理圖如圖6 所示。

圖6 Adaboost-HMM 模型原理

具體過(guò)程如下:

Step 1:對(duì)樣本X＝(x1，x2，…，xn)中的每一個(gè)樣本點(diǎn)遵循均勻分布原則，初始化權(quán)重為(n＝1，2，…，N)；

Step 2:設(shè)置輪詢數(shù)值為K，對(duì)HMMθ模型進(jìn)行Adaboost 訓(xùn)練；

Step 3:對(duì)HMMθ產(chǎn)生的概率進(jìn)行二值化處理，即hk(xn)→{-1，+1}，(n＝1，2，…，N)。 分類(lèi)器錯(cuò)誤率由此計(jì)算為樣本點(diǎn)總數(shù)，wk為權(quán)重。 當(dāng)錯(cuò)誤率ek＜0.5 時(shí)，新模型有效，否則返回上一步；

Step 4:更新樣本點(diǎn)的權(quán)值分布，表示為式(10):

式中:hx(xn)為二值化結(jié)果，Zk規(guī)范化因子，可將wk的值規(guī)范到(0，1)，αk表示該輪學(xué)習(xí)所得的模型在最終模型中的權(quán)重，ek表示該輪錯(cuò)誤率。

Step 5:經(jīng)過(guò)K次輪詢，最終的分類(lèi)器由K個(gè)HMM 組合而成的。

觀測(cè)狀態(tài)序列為O＝(o1，o2，…，oT)，隱藏狀態(tài)序列為Q＝(q1，q2，…，qT)。 三部分可組成HMMθ(A，B，π)，模型原理如圖7 所示。

圖7 HMM 模型原理

①π＝{πi}＝(P(q1＝si)) (1≤i≤N)是初始狀態(tài)概率；

②A＝{aij} (1 ≤i，j≤N)為狀態(tài)轉(zhuǎn)移概率矩陣；

③B＝{bj(k)} (1≤j≤N，1≤k≤M)為觀測(cè)值概率矩陣。

對(duì)模型初始化θ(0)＝(A(0)，B(0)，π(0))方便訓(xùn)練，使用鮑勃-韋爾奇算法使參數(shù)向訓(xùn)練樣本所在的概率最大化方向調(diào)整，通過(guò)式(11)、式(12)求得參數(shù)模型θ(n+1)＝(A(n+1)，B(n+1)，π(n+1))。

式中:γt(i)表示t時(shí)刻模型處于狀態(tài)θi的概率。ξt(i，j)表示由狀態(tài)θi到狀態(tài)θj的狀態(tài)概率，當(dāng)πi，aij，bj(k)達(dá)到收斂時(shí)，整個(gè)迭代過(guò)程結(jié)束，由更新的模型參數(shù)組成新的HMM。

識(shí)別階段采用前向算法對(duì)樣本分類(lèi)，將待測(cè)樣本通過(guò)訓(xùn)練后的HMM 模型，產(chǎn)生待測(cè)樣本的概率，記做P(O｜θ)，當(dāng)達(dá)到最大值時(shí)即為所識(shí)別的手勢(shì)。

式中:αt(i)表示前t時(shí)刻觀測(cè)序列對(duì)應(yīng)的狀態(tài)概率。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

兩臺(tái)內(nèi)含Intel 5300 NIC 的筆記本電腦作為一對(duì)收發(fā)器，接收端有一根天線，發(fā)射端為三根。 發(fā)包率為1 000 包/s，設(shè)備距地面的垂直高度為1.3 m。實(shí)驗(yàn)環(huán)境分別為辦公樓大廳、會(huì)議室、教室，場(chǎng)景示意圖如圖8 所示。

圖8 不同實(shí)驗(yàn)場(chǎng)景

為減小動(dòng)作完成時(shí)間對(duì)整體識(shí)別率的影響，設(shè)定數(shù)據(jù)采集時(shí)間為10 s。 其中0～3 s 靜止，第4 s 實(shí)驗(yàn)人員進(jìn)行手勢(shì)動(dòng)作描述，動(dòng)作描述需要2 s 左右，第7 s 時(shí)動(dòng)作收回，每個(gè)動(dòng)作重復(fù)10 次。 實(shí)驗(yàn)數(shù)據(jù)70%用于Adaboost-HMM 模型的訓(xùn)練，15%為交叉驗(yàn)證集，15%用作測(cè)試集測(cè)試模型。 實(shí)驗(yàn)人員隨機(jī)選取十名，志愿者的身高體重信息如圖9 所示，斜線表示身體質(zhì)量指數(shù)。

圖9 實(shí)驗(yàn)人員身高體重信息

3.2 不同距離的影響

實(shí)驗(yàn)設(shè)備選用了一對(duì)收發(fā)器。 隨著收發(fā)器之間距離的增加，信號(hào)對(duì)手勢(shì)動(dòng)作的敏感程度降低，當(dāng)間隔距離達(dá)到一定限度時(shí)，手語(yǔ)動(dòng)作對(duì)CSI 流的影響幾乎消失。 手語(yǔ)手勢(shì)的識(shí)別精度隨著接收器距離的增加而降低，因?yàn)檩^弱的信號(hào)很難響應(yīng)手部的移動(dòng)，導(dǎo)致信號(hào)靈敏度降低。 不同距離的識(shí)別率如圖10所示。

由圖10 可見(jiàn)，x軸表示識(shí)別錯(cuò)誤率，累積分布函數(shù)由y軸表示。 當(dāng)設(shè)備間距為1 m 時(shí)識(shí)別性能最佳，且隨著距離的增加手勢(shì)識(shí)別性能表現(xiàn)越差。 結(jié)合現(xiàn)實(shí)生活中的教學(xué)場(chǎng)景，本文選擇實(shí)驗(yàn)設(shè)備間距為2 m。

圖10 不同距離的識(shí)別率

3.4 不同實(shí)驗(yàn)環(huán)境的影響

為了驗(yàn)證AirG 的健壯性，我們?cè)谝延械娜齻€(gè)實(shí)驗(yàn)環(huán)境增加了靜態(tài)干擾和動(dòng)態(tài)干擾。 其中靜態(tài)干擾設(shè)定為:在距離發(fā)射端和接收端水平距離0.5 m 的地方分別放置一把椅子；動(dòng)態(tài)干擾設(shè)定為:在平行于視距路徑距1 m 的地方讓一名實(shí)驗(yàn)人員勻速行走。不同環(huán)境的識(shí)別率如圖11 所示。

圖11 不同環(huán)境的識(shí)別率

實(shí)驗(yàn)結(jié)果顯示，靜態(tài)干擾對(duì)三個(gè)環(huán)境的影響相對(duì)較小，但由于教室內(nèi)已經(jīng)布置較多家具因此識(shí)別精度會(huì)有所下降。 當(dāng)環(huán)境中增加了動(dòng)態(tài)干擾后，由于步態(tài)動(dòng)作幅度較大對(duì)CSI 干擾較為明顯，因此三個(gè)環(huán)境中的手勢(shì)識(shí)別率均有明顯下降但都在可接受范圍內(nèi)。

3.5 不同實(shí)驗(yàn)人員的影響

由于不同人員在完成手語(yǔ)手勢(shì)動(dòng)作時(shí)，動(dòng)作描述方法與用時(shí)有所差異。 為了讓AirG 能夠充分識(shí)別不同人員的手勢(shì)動(dòng)作，我們分別在每個(gè)實(shí)驗(yàn)場(chǎng)景下采集不同人員的手勢(shì)數(shù)據(jù)。 不同實(shí)驗(yàn)人員的識(shí)別率如圖12，可見(jiàn)不同實(shí)驗(yàn)人員的手勢(shì)識(shí)別率有一定的差異，并且通過(guò)實(shí)驗(yàn)得出男女生由于存在固有體型差異，因此女生的識(shí)別結(jié)果相較男生更優(yōu)。

圖12 不同實(shí)驗(yàn)人員的識(shí)別率

具體表現(xiàn)為:身材稍胖的人和手勢(shì)動(dòng)作描述過(guò)快的人手勢(shì)樣本識(shí)別率相對(duì)較低，對(duì)于身材勻稱且手勢(shì)動(dòng)作描述過(guò)程勻速的人員識(shí)別率較高，不同實(shí)驗(yàn)人員的數(shù)據(jù)采集與識(shí)別結(jié)果見(jiàn)表1。 總樣本量共計(jì)18 000次，包括有效采樣與無(wú)效采樣:有效采樣為17 447 次，無(wú)效采樣為553 次。 且對(duì)比試驗(yàn)選用有效樣本數(shù)的15%來(lái)做交叉驗(yàn)證集，驗(yàn)證集個(gè)數(shù)即識(shí)別次數(shù)，最終的識(shí)別率為不同場(chǎng)景下的平均識(shí)別率。 整體來(lái)說(shuō)，不同人員的平均手勢(shì)識(shí)別率都可以達(dá)到85%以上，這表明AirG 對(duì)不同的人員有很強(qiáng)的適應(yīng)能力。

表1 不同人員數(shù)據(jù)采集與識(shí)別結(jié)果統(tǒng)計(jì)表

3.6 不同用手習(xí)慣對(duì)手勢(shì)識(shí)別的影響

由于受遺傳、環(huán)境等多種因素影響，不同人在用手習(xí)慣方面有所差異，為了測(cè)試手勢(shì)識(shí)別方法的魯棒性，我們隨機(jī)選取5 個(gè)手勢(shì)動(dòng)作在三個(gè)場(chǎng)景中完成左利手和右利手的對(duì)比試驗(yàn)。 在三個(gè)不同的實(shí)驗(yàn)場(chǎng)景中，空曠環(huán)境下表現(xiàn)結(jié)果最為良好，其不同用手習(xí)慣的平均識(shí)別率如圖13 所示。

由圖13 可知，AirG 對(duì)隨機(jī)選取的手語(yǔ)手勢(shì)動(dòng)作通過(guò)不同習(xí)慣用手進(jìn)行動(dòng)作描述均取得良好的識(shí)別率。 由此證明系統(tǒng)魯棒性較好。 但由于左手在完成某些動(dòng)作時(shí)，如手勢(shì)“k”，手掌會(huì)遮擋手指動(dòng)作，因此整體而言左手的識(shí)別率較低。

圖13 不同用手習(xí)慣的識(shí)別率

3.7 不同算法的影響

近年來(lái)，針對(duì)手勢(shì)識(shí)別有學(xué)者WiFi 提出了多種識(shí)別方式。 為了充分展示AirG 的高性能，本文就現(xiàn)有的較為先進(jìn)的手勢(shì)識(shí)別方式WiMU[17]、和WiGeR[18]、WiReader[19]進(jìn)行對(duì)比。

WiMU 將各種可能的手勢(shì)組合生成虛擬樣本，任何給定姿勢(shì)提取幅度信息和相位信息，通過(guò)二進(jìn)制矩陣進(jìn)行識(shí)別。 WiGeR 提出了一種基于小波分析和短時(shí)能量的分割方法和開(kāi)窗算法提取手勢(shì)特征，并結(jié)合動(dòng)態(tài)時(shí)間規(guī)劃算法來(lái)識(shí)別手勢(shì)。

數(shù)據(jù)集由十名實(shí)驗(yàn)人員在大廳完成的兩組不同距離下的右手手勢(shì)數(shù)據(jù)組成。 本文選用準(zhǔn)確率對(duì)上述三種方法性能進(jìn)行評(píng)估結(jié)果如表2 所示。

表2 不同算法識(shí)別率表

由表2 可以看出AirG 方法的手勢(shì)識(shí)別準(zhǔn)確率高于其他三種手勢(shì)識(shí)別方法，因此AirG 對(duì)手勢(shì)識(shí)別整體性能更優(yōu)。

3.8 系統(tǒng)性能評(píng)估

我們使用從10 名實(shí)驗(yàn)人員在三個(gè)不同環(huán)境內(nèi)采集到的數(shù)據(jù)集進(jìn)行多組對(duì)比試驗(yàn)進(jìn)行評(píng)估。 空曠大廳的準(zhǔn)確率可以高達(dá)93.6%，會(huì)議室的準(zhǔn)確率可以高達(dá)88.3%，教室的準(zhǔn)確率可以達(dá)到85%。 為了充分描述本文所提手語(yǔ)手勢(shì)識(shí)別方法的準(zhǔn)確率，我們選用對(duì)比實(shí)驗(yàn)結(jié)果中最優(yōu)條件來(lái)評(píng)估該方法對(duì)30 個(gè)手語(yǔ)手勢(shì)的綜合識(shí)別率。 圖14 通過(guò)混淆矩陣描述了30 個(gè)手語(yǔ)手勢(shì)的綜合識(shí)別結(jié)果。 總體來(lái)說(shuō)，各個(gè)手勢(shì)的識(shí)別結(jié)果都良好，但由于手語(yǔ)手勢(shì)存在相似手勢(shì)，如“m”和“n”，又或者“h”和“x”，對(duì)此類(lèi)相似手勢(shì)的誤判率相對(duì)較高。

圖14 不同手語(yǔ)手勢(shì)下的混淆矩陣

4 結(jié)束語(yǔ)

本文提出基于CSI 的手語(yǔ)手勢(shì)識(shí)別方法AirG，結(jié)合現(xiàn)實(shí)生活中的應(yīng)用與環(huán)境因素對(duì)人員手勢(shì)特征的影響，使用LOF 算法進(jìn)行離群值去除，并通過(guò)離散小波變換與PCA 對(duì)采集的手勢(shì)數(shù)據(jù)進(jìn)行降噪與篩選，通過(guò)時(shí)域信息提取不同手勢(shì)的特征。 最終將手勢(shì)數(shù)據(jù)放入Adaboost-HMM 模型進(jìn)行識(shí)別。 經(jīng)過(guò)多種對(duì)比試驗(yàn)驗(yàn)證，并結(jié)合多組對(duì)比試驗(yàn)驗(yàn)證結(jié)果表明AirG對(duì)漢語(yǔ)拼音手語(yǔ)手勢(shì)的平均識(shí)別率為88.98%，其中平均識(shí)別率為各對(duì)比試驗(yàn)下的識(shí)別率平均值。

本文的后續(xù)工作集中在以下幾個(gè)方面:①提高AirG 模型的魯棒性，將其適用于不同環(huán)境中連續(xù)手語(yǔ)手勢(shì)的識(shí)別；②在現(xiàn)有基礎(chǔ)上增加頻域信息的手勢(shì)特征，盡可能全面的描述人員的手勢(shì)特征。