程 康,葉 寧,黃海平,王汝傳

(南京郵電大學(xué) 計算機(jī)學(xué)院,南京 210023)

隨著計算機(jī)科學(xué)技術(shù)的飛速發(fā)展,人們開始探討 人機(jī)共生的可能性,以此提高人類的生活質(zhì)量和工作效率.手勢控制技術(shù)[1]使人與計算機(jī)的交互變得更簡單、自然,用戶可以通過適當(dāng)?shù)氖謩輥砜刂浦車臋C(jī)器,不再局限于鍵盤和鼠標(biāo)輸入、手柄操作,也不僅限于觸摸屏.

目前,手勢控制的方式主要分為視覺、傳感器和無線射頻三大類.基于視覺的手勢控制技術(shù)通過分析攝像頭捕獲到的圖像序列來識別用戶靜態(tài)或動態(tài)手勢,最后利用內(nèi)部硬件集成實(shí)現(xiàn)系統(tǒng)交互[2,3].該方法不足之處在于圖像數(shù)據(jù)量較大,同時基于可見光的識別存在光照不穩(wěn)定、手勢對象彼此遮擋等一系列干擾問題.基于運(yùn)動傳感器的手勢控制技術(shù)利用傳感器采集手勢動作數(shù)據(jù)并提取其關(guān)鍵特征來實(shí)現(xiàn)手勢識別與控制[4].該方法存在功耗和便攜性問題.由于需要額外供電,部分傳感器采用有線連接,不便于某些空間復(fù)雜的交互場景.而無線傳感器需攜帶電池,其電量受限且尺寸不便于佩戴.基于WiFi的手勢控制技術(shù)[5]中需要使用特制的硬件設(shè)備進(jìn)行無線信號的處理,其價格昂貴,不利于普及到日常生活.

本文研究的是基于無線射頻的手勢控制技術(shù),通過提取RFID反向散射通信中標(biāo)簽反射信號的關(guān)鍵特征,構(gòu)造手勢識別模型,最后利用無線藍(lán)牙與機(jī)器人之間的串口通信實(shí)現(xiàn)對機(jī)器人的手勢控制.

1 RFID反向散射通信機(jī)制

1.1 無線通信鏈路

無源RFID標(biāo)簽無需攜帶能進(jìn)行內(nèi)部供電的電池,而是由RFID閱讀器通過天線傳輸?shù)碾姶拍芰抗╇?圖1給出RFID讀寫器和無源標(biāo)簽之間的無線電波傳播的概念圖.讀寫器中的電流通過天線輻射出電磁波,并形成變化的電磁場,接收端標(biāo)簽內(nèi)部線感應(yīng)到變化的電磁場,從而在其線圈內(nèi)部產(chǎn)生電壓.若標(biāo)簽天線通過某種負(fù)載連通,就會產(chǎn)生感應(yīng)電流.另外,標(biāo)簽內(nèi)部芯片調(diào)制后輻射的電磁波能返回到讀寫器的天線中,并產(chǎn)生能被識別的信號,稱為反向散射信號.讀寫器能夠通過識別標(biāo)簽的反向散射信號來獲取必要信息,這就是反向散射通信.

1.2 射頻相位

對于載波頻率為f(Hz)的電磁波,其頻率與波長的關(guān)系為其中c是波速,在空氣中的傳播大小約等于光速(3×108m/s).如圖1所示,信號的傳輸距離為2R.除了距離上的射頻相位偏移之外,讀寫器的發(fā)射電路、標(biāo)簽的反射特性以及讀寫器的接收器電路都將帶來一些額外的相位偏移,分別記為則總的相位偏移可以被表示為:

圖1 RFID反向散射通信機(jī)制

2 系統(tǒng)總體設(shè)計

本文采用動態(tài)手勢識別方案實(shí)現(xiàn)用戶與機(jī)器人的交互應(yīng)用.一旦用戶在天線讀取范圍內(nèi)做出動態(tài)手勢,系統(tǒng)就通過分割提取出標(biāo)簽信號的相位特征段,然后利用DTW算法和kNN算法對時序的特征分段進(jìn)行手勢歸類,從而識別用戶的手勢.最后在此基礎(chǔ)上利用藍(lán)牙設(shè)備與機(jī)器人進(jìn)行串口通信,機(jī)器人在接收串口數(shù)據(jù)指令后執(zhí)行相應(yīng)的動作.圖2為基于RFID反向散射通信的機(jī)器人手勢控制系統(tǒng)原理圖.

2.1 數(shù)據(jù)預(yù)處理

2.1.1 相位周期性消除

由上述可知,讀寫器讀取到的初始相位是周期性函數(shù),其會在每個傳輸循環(huán)節(jié)點(diǎn)跳變,我們稱之為相位突變.如圖3(a)所示,當(dāng)相位值減小到0時,它將跳變?yōu)?這種相位突變嚴(yán)重影響系統(tǒng)對標(biāo)簽位置變化特征的判斷.另一方面,觀察到RFID讀寫器的讀取速率極快,導(dǎo)致兩次連續(xù)采樣點(diǎn)標(biāo)簽位移距離d很小.根據(jù)本系統(tǒng)中標(biāo)簽的運(yùn)動速度,可以假設(shè)由三角形約束得到是讀寫器天線對標(biāo)簽兩次連續(xù)讀取的距離之差.再結(jié)合公式(1)可以計算出兩次連續(xù)相位值之差的約束關(guān)系:

由于k是整數(shù),根據(jù)公式(2)進(jìn)一步可以得到

圖2 基于RFID反向散射通信的機(jī)器人手勢控制系統(tǒng)原理圖

圖3 相位周期性消除前后的數(shù)據(jù)流

2.1.2 平滑處理

由于固有的電路噪聲的影響,即使當(dāng)標(biāo)簽靜止的情況下,測量到的相位值也會在某固定值上下隨機(jī)波動.為了減小隨機(jī)波動對控制系統(tǒng)的影響,需要分析這種隨機(jī)性并采用針對性的濾波手段.我們隨機(jī)采集40個樣本數(shù)據(jù)并將其與標(biāo)準(zhǔn)正態(tài)分布作比較,畫出兩者對比的QQ圖.如圖4所示,QQ圖上點(diǎn)的線性特征驗(yàn)證了樣本數(shù)據(jù)是服從正態(tài)分布的.因此,本文針對這種高斯噪聲,利用窗口大小為10的滑動濾波器對采集到相位值進(jìn)行平滑處理.圖5給出了平滑處理前后的相位流對比,可見噪聲得到了較好的抑制,同時減小了之后數(shù)據(jù)分割與匹配的誤差.

2.2 手勢特征提取與訓(xùn)練

一旦獲得處理后的相位流,我們需要提取有利于本系統(tǒng)手勢識別的數(shù)據(jù)特征.難點(diǎn)主要來自兩個方面:首先,數(shù)據(jù)流不斷快速更新,這給確定每個手勢的開始和結(jié)束時間帶來了較大的難度.另一方面,手勢的數(shù)據(jù)特征容易受到不適當(dāng)?shù)牟僮饕约霸O(shè)備部署的影響從而表現(xiàn)的不穩(wěn)定.本小節(jié)主要介紹了如何進(jìn)行精確高效的手勢分割,并建立完備的手勢特征訓(xùn)練集提高識別的準(zhǔn)確度.

圖4 樣本數(shù)據(jù)與標(biāo)準(zhǔn)正態(tài)分布的QQ圖

圖5 平滑處理前后的數(shù)據(jù)流

2.2.1 基于相對熵的手勢分割

每個動態(tài)手勢對應(yīng)的相位流區(qū)間會出現(xiàn)不同的數(shù)據(jù)波動,因此如何分割出該區(qū)間是手勢特征提取的關(guān)鍵.本文采用相對熵[6]的思想,通過比較不同數(shù)據(jù)窗口的概率分布差異分別計算出相位波動的起始和終止點(diǎn).記系統(tǒng)相位數(shù)據(jù)流為其中N代表讀寫器實(shí)時讀取次數(shù).算法流程如下: 將每w個連續(xù)采集的數(shù)據(jù)分組整合到固定窗口中,窗口尺寸設(shè)置為w; 根據(jù)窗口內(nèi)各相位值的大小進(jìn)行數(shù)據(jù)再分區(qū),并在此基礎(chǔ)上計算窗口內(nèi)相位數(shù)據(jù)的離散概率分布函數(shù); 然后利用相對熵方法比較相鄰窗口內(nèi)數(shù)據(jù)的概率分布差異,假設(shè)兩相鄰窗口和,對應(yīng)離散概率分布函數(shù)分別為P和Q,則P對Q的相對熵計算公式如下:

DKL(P∥Q)表示當(dāng)用概率分布Q來擬合真實(shí)分布P時產(chǎn)生的信息損耗,其值可以衡量兩個概率分布的相似度.

根據(jù)吉布斯不等式[7],可以證明DKL(P∥Q)的非負(fù)性,即DKL(P∥Q)≥0.因此將DKL(P∥Q)與給定的閾值比較,有以下兩種情況:

如果DKL(P∥Q)的值小于給定的閾值,表示兩相鄰窗口和都處于數(shù)據(jù)平穩(wěn)采樣區(qū)間.相反,如果DKL(P∥Q)的值大于等于給定閾值,則表示兩相鄰窗口之間有一個或兩個都在數(shù)據(jù)波動采樣區(qū)間.

最后通過遍歷所有符合DKL(P∥Q)≥ρ的相鄰窗口,確定數(shù)據(jù)波動區(qū)間的邊界采樣序號,提取動態(tài)手勢對應(yīng)數(shù)據(jù)特征.

2.2.2 手勢指紋庫建立

由于個體差異性,用戶執(zhí)行手勢時的數(shù)據(jù)特征也會存在出入.因此,本文通過采集n個志愿者的手勢特征建立完備的手勢指紋庫,從而減小個體差異對識別準(zhǔn)確度的影響.志愿者在指定手勢下做出相應(yīng)動作,系統(tǒng)則立即開始對相位流進(jìn)行數(shù)據(jù)預(yù)處理和相應(yīng)手勢特征提取.

為了確保手勢訓(xùn)練的可靠性,使用離群值檢測[8]的方法從獲取的手勢數(shù)據(jù)集中選擇一些代表性樣本.主要思想是基于對象(點(diǎn)或向量)接近的概念,其反映了向量與其他候選向量的接近程度.也就是說,矢量的接近程度越高,異常值的可能性就越大.假設(shè)手勢j存在n個數(shù)據(jù)分段對于每個數(shù)據(jù)分段,計算它與剩余n–1個數(shù)據(jù)分段的DTW距離(在2.4節(jié)提及)得出接近程度; 分別計算手勢j對應(yīng)的n個分段,得出前個較小接近程度的數(shù)據(jù)段,并記為其中表示待識別手勢的索引號.

2.3 歸一化處理

由于RFID相位數(shù)據(jù)的幅值依賴于標(biāo)簽初始的位置,在系統(tǒng)的實(shí)際部署中會因?yàn)椴僮髡`差導(dǎo)致各數(shù)據(jù)段的幅值差異.比如確定標(biāo)簽初始位置后,相同手勢特征數(shù)據(jù)段會呈現(xiàn)不同的空間性,但其波形變化模式是相同的.因此,在應(yīng)用DTW算法之前將時間序列的數(shù)據(jù)段歸一化處理到相同的范圍值能夠有效地減小匹配誤差.另外,全局標(biāo)準(zhǔn)化方法用于處理具有不同范圍值的傳感器數(shù)據(jù),而本系統(tǒng)中數(shù)據(jù)段相對獨(dú)立,因此采用局部標(biāo)準(zhǔn)化單獨(dú)針對每個模板.具體處理方法如下: 對于一維時間序列或多維時間序列的分量,歸一化處理用下列公式表示:

2.4 手勢識別

在對手勢特征數(shù)據(jù)的提取與歸一化處理后,系統(tǒng)開始進(jìn)入手勢識別模塊,其難點(diǎn)在于如何準(zhǔn)確得到當(dāng)前手勢與指定訓(xùn)練集的匹配得分.由于用戶個體的差異性、脆弱的反向散射鏈路以及多徑效應(yīng)的影響,各數(shù)據(jù)呈現(xiàn)幅度與長度不一的情況,如圖6所示.為了解決這個問題,本文利用DTW算法計算兩個數(shù)據(jù)分段之間的距離作為匹配得分.

圖6 不同用戶執(zhí)行手勢4得到的數(shù)據(jù)分段

DTW是一個時間序列對齊算法,最早應(yīng)用于孤立詞語音識別.它旨在通過迭代扭曲時間軸來對齊兩個特征序列,直到找到兩個序列之間的最佳匹配.假設(shè)兩個離散時間序列記為成對距離矩陣,其中的歐氏距離.我們將序列A的點(diǎn)分配給序列B的點(diǎn)以獲得一條規(guī)整路徑(warping path):則序列A和B之間的規(guī)整路徑v的總花費(fèi)可以用以下公式計算:

在所有可能的規(guī)整路徑中,本文通過動態(tài)規(guī)劃算法和附加約束[9]得到具有最小總成本的最佳對齊路徑.則序列A和B之間的DTW距離DTW(A,B)可由最佳對齊路徑的總花費(fèi)獲得,即:

2.5 機(jī)器人控制

2.5.1 硬件結(jié)構(gòu)與配置

(1) 控制模塊: 四足機(jī)器人裝配12個數(shù)字雙軸舵機(jī),采用LSC-20舵機(jī)控制器實(shí)現(xiàn)高精度、快響應(yīng)的舵機(jī)控制.另外,使用7.4 v鋰電池供電,每個舵機(jī)接口都有過流保護(hù).

(2) 藍(lán)牙模塊: 采用藍(lán)牙4.0版本,遵循LSC系列控制板通信協(xié)議,波特率設(shè)置為9600 bps,工作頻率為2.4 GHz,工作范圍10 m內(nèi).

2.5.2 手勢指令匹配

本文在實(shí)驗(yàn)部署中實(shí)現(xiàn)了6種動態(tài)手勢,圖7給出了機(jī)器人手勢指令匹配的概圖.其中箭頭表示手掌正對讀寫器天線的移動方向,序號表示手掌移動的次序.例如手勢 1表示“前推”,手勢 5表示先“前推”再“左移”,最后“右移”回到天線垂直方向.圖中還給出了手勢j(j=1,…,6)的相位數(shù)據(jù)波形以及相應(yīng)的機(jī)器人指令:前進(jìn)、后退、左移、右移、順時針旋轉(zhuǎn)、停止.

在實(shí)際的操作過程中,當(dāng)用戶手掌處于靜止或緩慢移動狀態(tài)時,機(jī)器人重復(fù)執(zhí)行上一次手勢指令,直到獲取下一次執(zhí)行指令.由于RFID讀寫器極快的讀取率,用戶在執(zhí)行不同手勢指令時幾乎不需要等待系統(tǒng)的緩沖,一定程度提高了系統(tǒng)的靈敏度.

圖7 機(jī)器人手勢指令匹配概圖

3 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)是利用Java語言在配置OSX系統(tǒng)的Mac book pro (處理器: Intel Core i5 2.7 GHz,內(nèi)存: 8 GB)下結(jié)合英頻杰公司提供的讀寫器支持文件[10]完成的.實(shí)驗(yàn)場景如圖8所示,英頻杰R420讀寫器通過以太網(wǎng)與PC端連接,H47標(biāo)簽貼在用戶手背.手勢執(zhí)行區(qū)域距離天線1～2 m,電腦終端利用藍(lán)牙與機(jī)器人進(jìn)行串口通信.

圖8 實(shí)驗(yàn)場景圖

為了驗(yàn)證系統(tǒng)的穩(wěn)定性,實(shí)驗(yàn)邀請10位志愿者執(zhí)行手勢控制系統(tǒng),每位實(shí)驗(yàn)者分別執(zhí)行每個手勢10次.表1列出了機(jī)器人對該100次手勢指令的反饋結(jié)果,其中反饋時延包括手勢執(zhí)行完畢到機(jī)器人正確移動的時間; 識別率為機(jī)器人正確反饋率.可以發(fā)現(xiàn)當(dāng)系統(tǒng)在執(zhí)行前進(jìn)和后退指令時平均反饋時延低于0.74 s,且識別率在89%以上.當(dāng)實(shí)驗(yàn)者操作手勢3和手勢4時,系統(tǒng)的平均反饋時延分別為0.88 s和0.91 s,相應(yīng)的識別率也下降至85%和86%.而對于分段較長的手勢4和手勢5,識別效果得到了改善,分別為89%和87%,平均時延為0.80 s和0.79 s.

系統(tǒng)性能分析:

(1) 不當(dāng)?shù)氖謩莶僮鲗?dǎo)致數(shù)據(jù)分割的效果降低.比如當(dāng)手勢執(zhí)行速度過快或過慢時,會導(dǎo)致一直小于分割閾值等.

(2) 較長的特征分段擁有較多的數(shù)據(jù)量,在增多數(shù)據(jù)孤立點(diǎn)的同時也會增加候選規(guī)整路徑v的長度和條數(shù),從而影響模板匹配的計算效率.

(3) 對于手勢5和手勢6數(shù)據(jù)分段較長的情況,系統(tǒng)在代碼實(shí)現(xiàn)部分采用長度過濾方法(即判斷當(dāng)前分段長度,并與手勢指紋庫內(nèi)指定數(shù)量的數(shù)據(jù)段匹配),有效提高了系統(tǒng)性能.

表1 機(jī)器人對手勢指令反饋結(jié)果

4 總結(jié)與展望

本文主要研究實(shí)現(xiàn)了一種基于無源標(biāo)簽反射信號特征的手勢控制系統(tǒng).該系統(tǒng)利用標(biāo)簽與天線之間的距離與反射信號相位的關(guān)系建立手勢識別模型,從而能夠進(jìn)一步實(shí)現(xiàn)對機(jī)器人的手勢控制.實(shí)驗(yàn)結(jié)果表明,RFID反向散射通信對標(biāo)簽的位置特別敏感,因此對時序數(shù)據(jù)有效分割的基礎(chǔ)上,利用DTW算法以及kNN分類方法能夠準(zhǔn)確識別動態(tài)手勢.如果該系統(tǒng)的方法趨于成熟,將能為人機(jī)共生創(chuàng)造更多的可能.

本研究也存在不足之處,主要包括以下3個方面:

(1) 采用頻率為2.4 GHz藍(lán)牙設(shè)備以及增益為8 dBi的RFID天線,系統(tǒng)的工作區(qū)域有限.

(2) 手勢分割算法效果依賴于用戶執(zhí)行速度和讀寫器的讀取速度.當(dāng)手勢執(zhí)行較慢時,讀寫器獲取的數(shù)據(jù)特征不夠明顯,導(dǎo)致手勢分割的難度增加.

(3) 動態(tài)規(guī)整算法運(yùn)算效率需要進(jìn)一步提高.

對于以上問題,我們將在今后逐步討論完善方案.比如根據(jù)不同用戶來設(shè)置不同的讀寫器工作頻率和窗口大小,提高手勢分割的準(zhǔn)確度.另外,針對動態(tài)規(guī)整算法計算效率低的問題,可以通過建立查詢表存儲部分約束信息,避免計算機(jī)的重復(fù)操作,提高匹配度計算效率.