柴亦聰 梁思雨

【摘? 要】基于視頻到Wi-Fi信號(hào)的手勢(shì)識(shí)別建模主要提出一種從視頻模擬Wi-Fi信號(hào)的方法，將視頻信息與Wi-Fi信號(hào)相結(jié)合，一種新的視頻跨模式的身份識(shí)別系統(tǒng)。它使用一個(gè)或多個(gè)無(wú)線收發(fā)器的Wi-Fi信號(hào)測(cè)量，最后可以識(shí)別手勢(shì)模型。采用基于從視頻恢復(fù)人體3D Mesh的HMR算法及從3D Mesh點(diǎn)源模擬真實(shí)Wi-Fi信號(hào)Born approximation算法，結(jié)合視頻插幀、獲取Wi-Fi CSI信息等Wi-Fi信號(hào)處理技術(shù)，挖掘視頻信息與Wi-Fi信號(hào)之間的內(nèi)在關(guān)系，為后續(xù)手勢(shì)識(shí)別等相關(guān)應(yīng)用提供相應(yīng)技術(shù)支持。

【關(guān)鍵詞】視頻;Wi-Fi，Born逼近;手勢(shì)識(shí)別;HMR

引言

（1）現(xiàn)有技術(shù)和背景。

進(jìn)入21世紀(jì)以來(lái)，人機(jī)交互技術(shù)不斷發(fā)展，手勢(shì)識(shí)別就是其中的代表之一。人體手勢(shì)和活動(dòng)識(shí)別經(jīng)常被用于許多實(shí)際活動(dòng)中。目前基于Wi-Fi的手勢(shì)識(shí)別已經(jīng)有了一定的進(jìn)展，手勢(shì)識(shí)別作為一個(gè)極其重要的研究領(lǐng)域，在世界范圍內(nèi)引起了很大的關(guān)注。根據(jù)手勢(shì)動(dòng)作數(shù)據(jù)采集的渠道不同，主要分為三個(gè)方向：基于傳感器（Sensor-based）的手勢(shì)識(shí)別、基于視覺(jué)（Vision-based）的手勢(shì)識(shí)別和基于Wi-Fi（WIFI-based）的手勢(shì)識(shí)別。基于視覺(jué)（Vision-based）的手勢(shì)識(shí)別利用Running Average方法不斷更新背景，背景減法用于識(shí)別運(yùn)動(dòng)和提取候選區(qū)域，提高了手勢(shì)檢測(cè)和定位的準(zhǔn)確性。

（2）現(xiàn)有技術(shù)的優(yōu)缺點(diǎn)。

然而，基于視覺(jué)的方法很難應(yīng)用于光照不足的環(huán)境，同時(shí)攝像頭太多會(huì)導(dǎo)致用戶隱私的侵犯，使用者的肖像生活環(huán)境也有可能曝光于公眾?；赪i-Fi的手勢(shì)識(shí)別，雖然我們周圍幾乎時(shí)時(shí)刻刻都有無(wú)線電信號(hào)，可以在黑暗中使用，其優(yōu)點(diǎn)是成本低、使用簡(jiǎn)單、可以穿墻等，但缺點(diǎn)也是顯而易見的，識(shí)別精度不高，容易受到使用者身高體型動(dòng)作幅度等影響，而且無(wú)法跨用戶識(shí)別等。

（3）手勢(shì)建模的目的和意義。

基于視頻的Wi-Fi信號(hào)檢測(cè)是人適應(yīng)機(jī)器到機(jī)器不斷適應(yīng)人的過(guò)程。它將視頻和Wi-Fi結(jié)合在一起，保留了二者原有的優(yōu)勢(shì)，并在一定程度上改善了缺點(diǎn)，比如經(jīng)過(guò)視頻前期的手勢(shì)動(dòng)作訓(xùn)練后，用戶的隱私得到了更好的保護(hù)，而且用戶不需要像手勢(shì)Wi-Fi那樣不斷地訓(xùn)練。所以基于視頻的Wi-Fi手勢(shì)識(shí)別技術(shù)的研究對(duì)新一代人機(jī)交互技術(shù)的發(fā)展具有重要的意義，同時(shí)對(duì)人類社會(huì)的發(fā)展具有重要意義。例如，它可以用于智能家居，在家居進(jìn)行手勢(shì)控制，減少對(duì)遠(yuǎn)程控制的依賴，減少對(duì)移動(dòng)設(shè)備的額外成本;它可以用于手語(yǔ)識(shí)別，彌補(bǔ)語(yǔ)音識(shí)別在聾啞人群等的短板情況，提高其生活水平;它是可用于汽車領(lǐng)域的汽車互聯(lián)網(wǎng)，如喚醒汽車系統(tǒng)的不同功能，通過(guò)各種手勢(shì)方便駕駛員的操作，只要有Wi-Fi網(wǎng)絡(luò)覆蓋;可以搭建家庭娛樂(lè)平臺(tái)，豐富家庭生活，比如應(yīng)用到體感游戲中，提高游戲的趣味性和可玩性。

1.視頻到Wi-Fi建模的基本原理

1.1頻道狀態(tài)信息 CSI

Wi-Fi手勢(shì)識(shí)別基礎(chǔ)是借助無(wú)線信道狀態(tài)信息（Channel State Information，CSI）來(lái)進(jìn)行手勢(shì)識(shí)別研究，通過(guò)使用滑動(dòng)平均對(duì)獲取到原始的 CSI 數(shù)據(jù)信息進(jìn)行數(shù)據(jù)平滑處理以濾除存在的高頻信息的干擾。包含多個(gè)子載波振幅和相位信息，有助于我們進(jìn)行細(xì)粒度的手勢(shì)識(shí)別。通過(guò)捕捉微弱的多普勒效應(yīng)變化以及人體在環(huán)境中移動(dòng)導(dǎo)致的Wi-Fi信號(hào)變形實(shí)現(xiàn)的。這里多普勒效應(yīng)的變化是指波源跟接收器的相對(duì)位移變化會(huì)導(dǎo)致波的頻率變化。而人體反射回的Wi-Fi信號(hào)會(huì)被接收器當(dāng)成波源。也就是說(shuō)當(dāng)人體在Wi-Fi的覆蓋中做出某個(gè)動(dòng)作時(shí)，那接收器就能獲取到對(duì)應(yīng)的多普勒效應(yīng)的變化。他們只要將不同手勢(shì)跟不同的多普勒效應(yīng)變化對(duì)應(yīng)起來(lái)就可以了——比如手臂畫個(gè)圈或者各隔空推兩下。

Wi-Fi信號(hào)在傳播過(guò)程中遇到人體時(shí)，會(huì)發(fā)生反射、折射、衍射以及散射受到障礙物或者是地形條件的影響等現(xiàn)象，對(duì)信號(hào)的正常傳播產(chǎn)生擾動(dòng)，通過(guò)分析接收信號(hào)和檢測(cè)信號(hào)變化的特征，感知信號(hào)傳播過(guò)程中所遇到人體的狀態(tài)，以到達(dá)行為識(shí)別的目的。

1.2短時(shí)傅里葉變換（STFT）

手勢(shì)的頻率相對(duì)較低。收集的 CSI 包含高頻分量，影響檢測(cè)的準(zhǔn)確性。我們需要用短時(shí)傅里葉變換對(duì)頻率進(jìn)行優(yōu)化。通過(guò)實(shí)驗(yàn)，我們選擇了短時(shí)傅里葉變換得到信號(hào)的頻譜來(lái)從而獲得最佳性能。信號(hào)的頻譜的應(yīng)用非常廣泛，信號(hào)的壓縮、降噪都可以基于頻譜。然而傅立葉變換有一個(gè)假設(shè)，那就是信號(hào)是平穩(wěn)的，即信號(hào)的統(tǒng)計(jì)特性不隨時(shí)間變化。手勢(shì)頻率信號(hào)不是很平穩(wěn)的信號(hào)，在很長(zhǎng)的一段時(shí)間內(nèi)，有很多信號(hào)會(huì)出現(xiàn)，然后立即消失。如果將這信號(hào)全部進(jìn)行傅立葉變換，就不能反映手勢(shì)隨時(shí)間的變化。

2.手勢(shì)建模的研究?jī)?nèi)容和關(guān)鍵步驟

基于視頻到Wi-Fi的手勢(shì)建模項(xiàng)目主要是提出一種新的視頻跨模式身份識(shí)別系統(tǒng)。它只使用一個(gè)或多個(gè)無(wú)線收發(fā)器的亮度測(cè)量，最后可以識(shí)別手勢(shì)模型。為了實(shí)現(xiàn)這種跨模式識(shí)別功能，模型將給定Wi-Fi測(cè)量的手勢(shì)特征與給定視頻片段的手勢(shì)特征進(jìn)行比較，并推斷出手勢(shì)。

研究?jī)?nèi)容主要是提出主要提出從視頻模擬Wi-Fi信號(hào)的方法，將視頻信息與Wi-Fi信號(hào)相結(jié)合。采用HMR及Born approximation算法，結(jié)合一系列視頻及Wi-Fi信號(hào)處理技術(shù)，挖掘視頻信息與Wi-Fi信號(hào)之間內(nèi)在關(guān)系，為一種新的視頻跨模式的身份識(shí)別系統(tǒng)提供支持。為了實(shí)現(xiàn)這種跨模式識(shí)別功能，模型將給定Wi-Fi測(cè)量的手勢(shì)特征與給定樣本視頻片段的手勢(shì)特征進(jìn)行比較，并推斷出手勢(shì)。在不侵犯隱私的前提下，只要有Wi-Fi網(wǎng)絡(luò)覆蓋，就可以進(jìn)行手勢(shì)識(shí)別。

2.1視頻還原3D網(wǎng)格點(diǎn)

用人的手勢(shì)的樣本錄像片段生成3D網(wǎng)格點(diǎn)。給定一個(gè)人的視頻幀，首先使用the Human Mesh Recovery （HMR） algorithm來(lái)生成密集的3D網(wǎng)格，這包括了很多3D點(diǎn)來(lái)描述人體的外表面。給定一個(gè)人的視頻片段，就可以構(gòu)建每一幀的3D點(diǎn)集。這種集合的序列就可以捕捉到人的手勢(shì)。

由視頻生產(chǎn)模擬Wi-Fi信號(hào)。為了模擬人在Wi-Fi區(qū)域行走的Wi-Fi信號(hào)，使用Born approximation來(lái)建模Wi-Fi反射的人體網(wǎng)格表面。

2.2利用Born approximation從點(diǎn)源模擬信號(hào)的場(chǎng)分布

在真實(shí)的Wi-Fi環(huán)境下，Wi-Fi發(fā)射器位于，接收器位于。為了模擬人在Wi-Fi區(qū)域行走的Wi-Fi信號(hào)，使用Born approximation來(lái)建模Wi-Fi反射的人體網(wǎng)格表面。更確切的說(shuō)，在時(shí)間t模擬的接收到的Wi-Fi信號(hào)可以寫成如下：

這里是從點(diǎn)x到點(diǎn)y的在三維坐標(biāo)系下的格林函數(shù)，并且

這里是歐幾里得范數(shù)，λ是無(wú)線信號(hào)的波長(zhǎng)， 是所有和可見的人體網(wǎng)格點(diǎn)的子集，因?yàn)橹挥羞@些點(diǎn)能夠?qū)⑿盘?hào)反射給。我們?cè)?上應(yīng)用the Hidden Point Removal （HPR） algorithm來(lái)確定

從點(diǎn)反射的信號(hào)強(qiáng)度由兩個(gè)因素決定：所屬的身體部位的表面積和方向。比如，人的軀干比其他部位有更高的反射率因?yàn)樗懈蟮谋砻娣e。這個(gè)因素由體現(xiàn)。人體的朝向確定入射信號(hào)將被反射的方向。一個(gè)完美的反射面將會(huì)在僅從方向反射入射波，這里? ? ? ? ? ? ? ? ? ? ? ?是點(diǎn)在人體上的法線向量。然而人體最好被建模為類準(zhǔn)反射鏡，將信號(hào)以不同的振幅反射到很多方向，最強(qiáng)烈的是方向。從點(diǎn)到的反射波的振幅將相反地與向量和夾角相關(guān)聯(lián)。這種關(guān)聯(lián)可以由Gaussian mask表示：

3.手勢(shì)識(shí)別的實(shí)施方案與模型

3.1手勢(shì)定義

首先，通過(guò)拍攝不同動(dòng)作的手勢(shì)視頻樣本，對(duì)視頻樣本進(jìn)行加工處理。

在系統(tǒng)中定義有意義的手勢(shì)，將15個(gè)不同的動(dòng)作定位為有效手勢(shì)，并確定其動(dòng)作規(guī)范。

共定義15個(gè)有效手勢(shì)，分別為雙手招手，深蹲，直行，左抬手，左半圓，左推手，拿起煙，放下煙，右半圓，右抬手，右推手，右揮手，放大，縮小。

3.2視頻到Wi-Fi的手勢(shì)模型

其次，利用的人類網(wǎng)格恢復(fù)（HMR）算法生成三維網(wǎng)格，其中包含大量描述人體外表面的三維點(diǎn)。給定一個(gè)人的視頻片段，然后為每一幀構(gòu)造一組3D點(diǎn)。生成3D mesh圖像和不同手勢(shì)的人體坐標(biāo)值。用人體行走的樣本錄像片段生成3D網(wǎng)格點(diǎn)。給定一個(gè)人的視頻幀，首先使用the Human Mesh Recovery （HMR） algorithm來(lái)生成密集的3D網(wǎng)格。這包括了很多描述人體的外表面的3D點(diǎn)。給定一個(gè)人的視頻片段，就可以構(gòu)建每一幀的3D點(diǎn)集。這種集合的序列就可以捕捉到人體的步態(tài)。

表示人體在時(shí)間t生成的3D網(wǎng)格點(diǎn)。

然后，提出新的框架和用來(lái)獲取人體基于Wi-Fi CSI幅度信號(hào)的步態(tài)特征的特征集。更準(zhǔn)確地說(shuō)，綜合使用了短時(shí)傅里葉變換和埃爾米特函數(shù)來(lái)生成一個(gè)頻譜，并且提取關(guān)鍵特征。更進(jìn)一步提出一種提取頻譜關(guān)鍵部分的方法和運(yùn)動(dòng)的方向，這使得我們能夠做識(shí)別并且無(wú)需追蹤。

3.3基于Wi-Fi的手勢(shì)模型

一個(gè)人在Wi-Fi覆蓋的區(qū)域行走，一個(gè)Wi-Fi發(fā)射器發(fā)送了一個(gè)無(wú)線信號(hào)，該信號(hào)從人體的不同部位反射，并由Wi-Fi接收器接收。復(fù)基帶接收信號(hào)可以寫作如下：

是復(fù)雜的接收信號(hào)，包括直接路徑和靜態(tài)路徑的影響，是從第m個(gè)身體部位反射的信號(hào)的振幅，是在時(shí)間t=0時(shí)那條路徑的長(zhǎng)度，

是第m個(gè)身體部位在時(shí)間t的速度。

其中是s（t）的直流分量，并且。注意是隨時(shí)間變化的。

3.4基于以測(cè)量Wi-Fi信號(hào)的光譜生成

信號(hào) s（t）是多個(gè)正弦波的總和，其頻率與移動(dòng)人的不同手勢(shì)部位的各自速度線性相關(guān)。因此，評(píng)估信號(hào)s（t）的瞬時(shí)頻率分量可提供有關(guān)手勢(shì)的信息。最后我們使用短時(shí)傅里葉變換。短時(shí)傅里葉變換中，將一個(gè)長(zhǎng)度為的短移動(dòng)窗口應(yīng)用于s（t），并將傅立葉變換應(yīng)用于該移動(dòng)窗口的每個(gè)實(shí)例，以估計(jì)頻率分量，從而產(chǎn)生信號(hào)頻譜圖。更準(zhǔn)確地說(shuō)，公式如下：

盡管STFT提供了有關(guān)不同身體部位的瞬時(shí)速度的有價(jià)值的信息，但文獻(xiàn)已經(jīng)表明，相應(yīng)的時(shí)頻分辨率的折衷會(huì)影響該信息的質(zhì)量。然后，提出多窗口埃爾米特頻譜圖（HS），以提高STFT頻譜圖的濃度。在埃爾米特頻譜圖中，多個(gè)埃爾米特函數(shù)用作時(shí)頻分析的窗口，更準(zhǔn)確地說(shuō)：

這里是第k個(gè)埃爾米特函數(shù)， 是通過(guò)求解：

獲得的加權(quán)系數(shù)。

為了結(jié)合HS的理想濃度特性和STFT檢測(cè)來(lái)自人體不同部位的微小反射的能力，我們建議通過(guò)組合以下兩個(gè)頻譜圖來(lái)生成最終的Wi-Fi頻譜圖：

4.手勢(shì)識(shí)別的的實(shí)驗(yàn)結(jié)果分析

4.1基于MATLAB的實(shí)驗(yàn)分析

MATLAB能夠解決關(guān)于實(shí)驗(yàn)研究計(jì)算中的很多問(wèn)題，首先其操作界面和編程語(yǔ)言自然簡(jiǎn)單，可以對(duì)對(duì)象進(jìn)行動(dòng)態(tài)模擬，便于分析計(jì)算過(guò)程變化，用強(qiáng)大的數(shù)學(xué)公式編程功能和圖形功能將復(fù)雜高深的理論變成可視化的仿真結(jié)果。其次，和MATLAB能夠?qū)⑺胁煌氖謩?shì)動(dòng)作的HMR數(shù)據(jù)進(jìn)行單獨(dú)處理，觀測(cè)不同手勢(shì)下信號(hào)輸出，清楚明了的觀察變量變化帶來(lái)的實(shí)際影響。

我們提出了一種新的方法來(lái)模擬Wi-Fi信號(hào)，該信號(hào)將由一對(duì)收發(fā)器測(cè)量，基于一個(gè)人手勢(shì)動(dòng)作的視頻片段。 更具體地說(shuō)，我們構(gòu)造并提取視頻中的人的三維網(wǎng)格模型，并模擬相應(yīng)的Wi-Fi CSI震級(jí)測(cè)量。也就是說(shuō)，我們隨著時(shí)間的推移傳播這個(gè)網(wǎng)格模型，使用信號(hào)幅度來(lái)生成信號(hào)的光譜圖，然后進(jìn)行短時(shí)傅里葉變換（STFT），最后使用Born approximation在MATLAB中來(lái)模擬相應(yīng)的接收到的Wi-Fi信號(hào)，如果該人在一對(duì)Wi-Fi收發(fā)器附近進(jìn)行手勢(shì)動(dòng)作的演示。

4.2Wi-Fi信號(hào)模擬圖樣

5.結(jié)語(yǔ)

基于視頻到Wi-Fi信號(hào)的手勢(shì)識(shí)別建模主要提出一種從視頻模擬Wi-Fi信號(hào)的方法，將視頻信息與Wi-Fi信號(hào)相結(jié)合，一種新的視頻跨模式的身份識(shí)別系統(tǒng)。它使用一個(gè)或多個(gè)無(wú)線收發(fā)器的Wi-Fi信號(hào)測(cè)量，最后可以識(shí)別手勢(shì)模型。采用基于從視頻恢復(fù)人體3D Mesh的HMR算法及從3D Mesh點(diǎn)源模擬真實(shí)Wi-Fi信號(hào)Born approximation算法，結(jié)合視頻插幀、獲取Wi-Fi CSI信息等Wi-Fi信號(hào)處理技術(shù)，挖掘視頻信息與Wi-Fi信號(hào)之間的內(nèi)在關(guān)系，為后續(xù)手勢(shì)識(shí)別等相關(guān)應(yīng)用提供相應(yīng)技術(shù)支持。

參考文獻(xiàn)

[1]陳鵬展， 羅漫， 李杰. 基于加速度傳感器的連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別[J]. 傳感器與微系統(tǒng)， 2016， 35（01）：39-42.

[2]劉凱. Wi-Fi技術(shù)及其在智能家居中的應(yīng)用研究[J]. 黑龍江科技信息， 2013， 000（030）：167-167.

[3]操文昌. 基于 Wi-Fi 信號(hào)的手勢(shì)識(shí)別研究[D]

[4]邱顯杰. 基于視頻的三維人體運(yùn)動(dòng)捕獲方法研究[D].

作者簡(jiǎn)介：柴亦聰（2001.04-），女，河南南陽(yáng)人，陜西省西安市西北大學(xué) 電子信息科學(xué)與技術(shù)（中外合辦）專業(yè)，本科生。

梁思雨（2001.04-），女，陜西延安人，陜西省西安市西北大學(xué) 電子信息科學(xué)與技術(shù)（中外合辦）專業(yè)，本科生。

西北大學(xué)? ? 陜西西安? ? 710000