蔣留兵，朱柏青，車 俐

（1.桂林電子科技大學信息與通信學院，廣西桂林 541004；2.桂林電子科技大學計算機與信息安全學院，廣西桂林 541004;3.廣西無線寬帶通信與信號處理重點實驗室，廣西桂林 541004）

0 引 言

在高度信息化時代，人機交互技術（Human-Computer Interaction, HCI）［1］已成為了各國大力發(fā)展的對象。手勢識別作為人機交互技術之一，是國內(nèi)外研究者所關注的熱點。目前主要有兩種不同類別手勢識別：與觸摸屏交互的手勢識別與無需觸摸屏的手勢識別。無需觸摸屏手勢識別市場主流是基于光學傳感器、可穿戴設備［2-3］和雷達傳感器［4］，其中雷達的手勢識別相較于前兩者具有不受光照條件影響、不受佩戴設備帶來的不適感、成本較低和不侵犯用戶隱私數(shù)據(jù)等優(yōu)勢。

而在雷達傳感器中毫米波雷達又以質(zhì)量輕、體積小、探測性能穩(wěn)定、穿透煙霧和灰塵的能力強且多普勒頻移較大，距離和速度的測量精度與分辨率較高受到研究者們的青睞。在目前的毫米波雷達手勢研究中，研究者基本采用將距離-多普勒譜圖（Range-Doppler Map, RDM）放入神經(jīng)網(wǎng)絡［5］中提取手勢的運動特征實現(xiàn)手勢識別。在文獻［6］中作者將RDM 和RAM（Range-Angle Map,RAM）相融合，相比僅使用RDM 具有更好的性能。而在現(xiàn)實手勢識別場景下，還包含著較多靜態(tài)干擾和類目標干擾。文獻［7］研究了多人場景下使用FMCW 雷達進行手勢識別，通過辨別感興趣距離對潛在干擾進行消除。而在文獻［8］中研究并提出了一種重用的LSTM（RLSTM）網(wǎng)絡來提取手勢距離和多普勒特征，并用領域閾值檢測方法來過濾干擾信號。在文獻［9］中為了識別兩只手所做手勢，提出了一種基于小波變換、CFAR和FDM算法應用于RDM的干擾抑制。文獻［10］中作者設計了一套完整的目標干擾抑制方法，提出了SIS和DIS算法，并利用膨脹三維網(wǎng)絡（TS-I3D）進行手勢特征提取和分類。在實際應用中，面對類目標干擾，絕大多數(shù)選用目標跟蹤算法實現(xiàn)干擾抑制。常用的跟蹤算法為卡爾曼濾波（Kalman Filter，KF）［11］。而手勢動作多數(shù)屬于非線性動作，所以擴展卡爾曼濾波（Extended Kalman Filter,EKF）［12］和無跡卡爾曼濾波（Unscented Kalman Filter,UKF）［12-13］比KF 更適合處理非線性系統(tǒng)。在文獻［14］中，作者提出對于雷達跟蹤中的非線性數(shù)據(jù)濾波問題，EKF 數(shù)據(jù)圖像精度對于雷達跟蹤數(shù)據(jù)濾波并不理想，而UKF 能夠得到更準確的結(jié)果，可以達到更好的性能。因為非線性函數(shù)的均值和協(xié)方差矩陣可以通過無跡變換更準確地估計出來,并且通過避免計算雅可比矩陣，顯著降低了計算復雜度。

在本文中，將不同手勢對應不同的運動模型，并針對實際情況，對部分運動模型進行改進。將設計好的手勢運動模型利用無跡卡爾曼濾波算法進行軌跡預測，得到與雷達原始數(shù)據(jù)幀數(shù)相同個數(shù)的軌跡信息（距離和多普勒信息）。將預測好的信息放入K最臨近分類器（K-Nearest Neighbor,KNN）中，與原始數(shù)據(jù)中包含的所有信息進行分類，與預測信息分為一類的屬于手勢原始數(shù)據(jù)中目標手勢類，其余為類目標干擾類，并將類目標干擾權重置為零，以達到類目標干擾抑制的效果。最后將干擾抑制后特征譜圖放入CNN［15］進行特征提取實現(xiàn)識別。

1 FMCW雷達信號模型、特征提取及數(shù)據(jù)預處理

在本論文中，采用調(diào)頻連續(xù)波（Frequency Modulated Continuous Wave, FMCW）雷達對目標手勢和類目標物體進行采集。1.1 節(jié)中對FMCW 雷達信號模型進行簡要描述，在1.2 節(jié)中對由中頻信號估計距離和多普勒信息過程進行簡要描述，并在1.3 節(jié)中介紹了針對RD 圖中背景噪聲太大導致目標難以檢測的情況進行原始數(shù)據(jù)預處理的過程。

1.1 FMCW 雷達信號模型

FMCW 雷達發(fā)射出線性調(diào)頻信號，而線性調(diào)頻信號又稱Chirp 信號。發(fā)射Chirp 信號過程中，在實驗場景中遇到目標會產(chǎn)生反射信號被雷達接收天線接收，在雷達內(nèi)部與發(fā)射信號混頻得到中頻信號。在本文中采用的是鋸齒波，如圖1所示。

圖1 FMCW雷達波形圖

在FMCW 雷達中，單個Chirp 發(fā)射信號表達式為

式中，AT為發(fā)射天線的增益，fc為載波中心頻率，K=B/T，代表調(diào)頻斜率，其中B表示信號帶寬，T表示Chirp的持續(xù)時間。于是信號瞬時頻率為

目標反射的回波信號表達式為

式中，AR為接收信號振幅，τ為回波信號時延，fd為多普勒頻移。

在得到回波信號后，我們將發(fā)射信號與其混合后傳遞到低通濾波器，獲得中頻信號，中頻信號表達式為

式中φ(θ)表示相位，AIF表示中頻信號功率。

1.2 距離和多普勒（速度）信息估計

目標距離信息可以根據(jù)回波時延τ和信號速度c由公式（5）得到：

但在實際中回波時延τ非常小導致難以估計，所以經(jīng)常采用中頻信號頻率fIF來估計τ，距離信息可以用公式（6）表達：

面對運動目標，F(xiàn)MCW 雷達的發(fā)射信號與接收信號之間存在著一定的頻率差Δf而這個頻率差就稱為多普勒頻率fd，所以多普勒信息可由公式（7）得到：

式中λ為雷達信號的波長。

在本文中，我們用128幀雷達數(shù)據(jù)完整描述手勢動作，每幀包含128 個Chirp，而每個Chirp 中采樣128 個點，所以一個數(shù)據(jù)會形成一個128×128 的二維矩陣，如圖2 所示。然后分別在快時間維度（距離維度）和慢時間維度（多普勒維度）作快速傅里葉變換（FFT），提取出目標距離和多普勒單元，最后根據(jù)相位差得到RDM。

圖2 距離-多普勒特征提取原理圖

1.3 原始雷達數(shù)據(jù)預處理

在得到RDM 后，我們發(fā)現(xiàn)RDM 上目標周圍存在大量背景噪聲，同時能夠檢測到多個目標，這將使得后續(xù)識別部分難度提升。本文利用單元平均恒虛警率算法（Cell-Averaging Constant False Alarm Rate,CA-CFAR，如圖3 所示）進行背景噪聲濾除和目標檢測。

圖3 CA-CFAR檢測器原理圖

脈沖回波包括檢測單元、保護單元和訓練單元。本文采用的CA-CFAR核心思想就是通過對參考窗內(nèi)采樣數(shù)據(jù)取平均來估計雜波功率，當信號振幅大于雜波功率時，確定有目標。當振幅小于雜波功率時，將其視為噪聲。

2 類目標干擾抑制算法設計流程

在原始數(shù)據(jù)進行預處理之后，原始RDM 中背景噪聲分量已經(jīng)得到了基本抑制與消除，但預處理之后的RDM 中能夠檢測到手勢目標、靜態(tài)類目標和動態(tài)類目標，嚴重影響手勢目標特征提取。為此本文提出一種U-IS 算法（Unscented Kalman Filter-Interference Suppression)，算法主要由UKF 與KNN 組成。U-IS算法具體流程如圖4所示。在2.1節(jié)中介紹了針對不同手勢設計的不同運動模型。在2.2 節(jié)中介紹了跟蹤和估計手勢運動軌跡的基本算法（UKF）。

圖4 U-IS算法流程圖

2.1 手勢運動模型設計

在本文中分別以前推、后拉、左移、右移、順時針旋轉(zhuǎn)和逆時針旋轉(zhuǎn)6 種手勢進行識別。按照運動特性和軌跡來分類，前推和后拉、左移和右移、順時針旋轉(zhuǎn)和逆時針旋轉(zhuǎn)兩兩使用同一種運動模型。

2.1.1 前推、后拉手勢模型

因運動方式簡單，我們將前推和后拉手勢設定為一個等速模型（Constant Velocity, CV）。以雷達為原點建立二維坐標系，目標手勢在y軸上作勻速直線運動，如圖5所示。

圖5 前推和后拉手勢運動模型效果圖

手勢模型的狀態(tài)空間可以由公式（8）表示：

其中Px和vx為零。而轉(zhuǎn)移函數(shù)如公式（9）所示：

2.1.2 左移、右移手勢模型

對于左移和右移，同樣選取CV 等速模型，跟CV1模型建立同類坐標系，目標手勢面對雷達作左右勻速直線運動，如圖6所示。但模型的狀態(tài)空間與前推和后拉的手勢模型狀態(tài)空間有所不同，如公式（10）所示。

圖6 左移和右移手勢運動模型效果圖

4 個狀態(tài)變量依次為手勢對應坐標系中的橫坐標、縱坐標、與x軸夾角（逆時針為正）、速度。狀態(tài)轉(zhuǎn)移方程如公式（11）所示：

2.1.3 順時針和逆時針旋轉(zhuǎn)手勢模型

對于時針手勢，運動模型設計復雜，涉及狀態(tài)變量較多，為解決傳統(tǒng)二維恒定轉(zhuǎn)率和速度模型（Constant Turn Rate and Velocity, CTRV）難以描述運動手勢問題，本文基于CTRV 模型提出了三維恒定轉(zhuǎn)率和速度模型（Three Dimensional CTRV, 3DCTRV）如圖7 所示。此運動模型更加適合時針運動手勢。

圖7 順時針旋轉(zhuǎn)和逆時針旋轉(zhuǎn)運動模型效果圖

設此組手勢動作狀態(tài)空間變量為

7個狀態(tài)變量依次為手勢對應坐標系中的x軸坐標、y軸坐標、z軸坐標、圓周云頂半徑、線速度、轉(zhuǎn)速、角速度。其中勻速圓周運動線速度的大小等于質(zhì)點通過的弧長s與時間t的比值?；￠L公式為

所以弧長對應的弦長公式為

由此可知CTRV模型的狀態(tài)轉(zhuǎn)移方程為

2.2 無跡卡爾曼濾波算法

在本文中，毫米波原始數(shù)據(jù)預處理后采用UKF 對目標手勢動作軌跡信息進行預測和估計，相較傳統(tǒng)KF 算法，UKF 能夠更好地解決現(xiàn)實場景中非線性問題。而相比同樣適用于解決非線性問題的拓展卡爾曼濾波，UKF 與其思想基本相同，但Sigma 點近似非線性轉(zhuǎn)換的效果比線性化更好，也避免了雅可比矩陣的計算，降低了計算的復雜度。圖8 展示了EKF 與UKF 的區(qū)別和UKF 使用Sigma點近似非線性分布的基本原理。

圖8 EKF與UKF區(qū)別、UKF利用Sigma點近似分布

UKF 分為預測階段和測量階段。預測階段操作為無跡變換過程。本文將分別在2.2.1節(jié)和2.2.2節(jié)中詳細介紹預測階段和測量階段。

2.2.1 UKF預測階段

1）計算Sigma 點集：首先對Sigma 點數(shù)量n的選擇取決于實際手勢系統(tǒng)的狀態(tài)維度N。例如左劃手勢包含4種狀態(tài)維度，所以對左劃手勢進行無跡變換需要9個Sigma點。

每個Sigma點的計算公式為

本文根據(jù)公式（17）計算Sigma 點矩陣，其中公式（17）中第一個公式代表的是均值點，本文對于初始均值點選用的是雷達手勢數(shù)據(jù)第一幀包含的維度信息。其余點都是圍繞均值的Sigma 點。λ為比例因子，λ大小代表應該選擇距離均值多遠的Sigma點，Σ代表初始協(xié)方差矩陣。

2）計算Sigma點權重：在選擇出來我們需要的Sigma 點，應該為每個Sigma 點賦上合適的權重。權重的計算公式為

式中k和α影響著Sigma點與均值點距離，λ為擴散函數(shù)，β取值為2 是高斯分布的最佳選擇。本文將k設為1，α設為0.75。

3）計算近似高斯分布均值和協(xié)方差：我們得到了帶有權重和非線性等式轉(zhuǎn)換的Sigma 點，然后可以通過Sigma 點近似新的高斯分布，并計算其均值和協(xié)方差。計算公式如下：

式中μ′表示預測均值，Σ′表示預測協(xié)方差，g表示預測方程即手勢運動模型。實際場景中，包含著許多不確定性，所以Rt代表著過程噪聲。至此，UKF的預測階段介紹完畢。

2.2.2 UKF測量階段

經(jīng)過預測階段，我們得到了預測值均值和協(xié)方差矩陣。當我們得到來自雷達的測量值后（本文選用雷達第二幀包含的維度信息），需要計算出預測值和測量值之間的差值，我們得從預測的狀態(tài)空間轉(zhuǎn)換到測量狀態(tài)空間，依賴公式（22）中h(x)。

式中，Z代表測量空間中Sigma 點集，x則為預測階段得到的Sigma 點矩陣，z?是測量空間均值，S和Q分別代表測量空間協(xié)方差矩陣和噪聲。在FMCW雷達中，h(x)表達如公式（25）所示：

式中，ρ、φ和?分別代表測量目標手勢在手勢坐標系下與雷達距離、目標手勢與x軸夾角以及目標手勢與雷達相對距離變化率。

之后我們需要計算卡爾曼增益K，想要得到卡爾曼增益需要計算預測空間中Sigma 點與測量空間中的Sigma點之間的交叉關聯(lián)矩陣T。公式（26）和（27）給出了T和K的表示式：

最后利用卡爾曼增益得到我們想要的手勢目標下一幀狀態(tài)信息預測：

3 實驗過程及結(jié)果

本文實驗中采用德州儀器公司（Texas Instruments, TI）生產(chǎn)設計的AWR1843 雷達和DCA1000數(shù)據(jù)采集卡（如圖9 所示）采集手勢目標和類目標。設定雷達有1 根發(fā)射天線和4 根接收天線，頻率設置77～81 GHz。選擇6 種手勢：前推、后拉、左移、右移、順時針旋轉(zhuǎn)和逆時針旋轉(zhuǎn)。對雷達參數(shù)配置如表1 所示，針對表1 幀數(shù)選擇，主要考慮本文選取的6 種手勢動作一次運動時間，雷達采集一次數(shù)據(jù)時間取決于采樣周期、采樣點數(shù)、Chirp 數(shù)與幀數(shù)。其中前三項參數(shù)分別與速度和速度分辨率有關，所以我們通過調(diào)整采集幀數(shù)來控制采集時間。若縮小幀數(shù)，會導致雷達無法采集完整手勢動作，而增大參數(shù)會導致手勢數(shù)據(jù)中部分沒有手勢動作，生成的RD 圖不利于識別，降低識別性能。

圖9 AWR1843雷達傳感器和DCA1000數(shù)據(jù)采集卡

表1 雷達參數(shù)配置表

設定目標手勢位置距離雷達0.5 m 左右，在距離雷達1.6 m 左右設置一個來回運動的人作為類目標干擾，實驗場景如圖10 所示。在雷達的檢測范圍內(nèi)，主要可檢測到的目標有目標手勢、采集者的靜止軀干、隨著手勢運動的軀干目標、固定位置的鐵板和在采集者身后運動的目標。

圖10 手勢采集場景

3.1 原始數(shù)據(jù)預處理

本文采用CA-CFAR算法對雷達原始回波數(shù)據(jù)進行預處理，可以有效地去除背景噪聲。

我們以順時針手勢RD 圖為例，預處理的效果如圖11所示。

圖11 原始數(shù)據(jù)預處理前后RDM比較

圖11（a）是原始數(shù)據(jù)經(jīng)過1D-FFT與2D-FFT之后得到的RDM，圖11（b）是在圖10（a）基礎上進行了背景噪聲干擾消除后的RDM。從這兩幅圖比較可以看出，原始RD 圖在檢測到目標周圍散布著大量噪聲，嚴重影響后續(xù)識別操作，經(jīng)過預處理之后的RDM 明顯地消除了背景噪聲，使得RDM 更加直觀。

3.2 U-IS算法抑制類目標干擾

在原始數(shù)據(jù)進行預處理之后，采用U-IS 算法對類目標干擾進行消除。首先利用UKF 算法對128 幀雷達數(shù)據(jù)包含的主要維度信息（距離和速度）逐幀預測。預測結(jié)果如圖12所示。

圖12 UKF對后拉手勢各參數(shù)信息進行估計

圖12（a）是UKF 對后拉手勢距離信息從第1幀到第128 幀的估計數(shù)據(jù)，圖12（b）是UKF 對后拉手勢速度信息從第1 幀到第128 幀的估計數(shù)據(jù)。從圖12 可以看出，UKF 可以對雷達每一幀數(shù)據(jù)進行預測和估計。我們得到經(jīng)過UKF 的預測值并將其與原始數(shù)據(jù)中包含的參數(shù)值放入KNN 中進行比較，將UKF 預測值的標簽設定為手勢目標，將在原始數(shù)據(jù)中與UKF 預測值距離最近的128 個點歸為目標手勢一類，其余數(shù)據(jù)點則為類目標干擾，并將類目標干擾在RDM 中的權重設置為0，效果如圖13所示。

圖13 U-IS算法使用前后RDM比較

圖13（a）是在進行U-IS 干擾抑制算法之前的RDM，圖13（b）是U-IS 干擾抑制算法處理后的RDM，比較兩幅圖可以看出U-IS 算法可以很好抑制RDM中類目標干擾。

3.3 手勢識別性能分析

將本文設計的6 種手勢每種采集150 個數(shù)據(jù)。6 種手勢總樣本數(shù)為900。我們以8∶2 的比例劃分訓練集和測試集進行識別實驗。

為了達到比較手勢識別效果的目的，本文建立了兩個數(shù)據(jù)集，一個是干擾抑制前RDM 數(shù)據(jù)集，另一個是經(jīng)U-IS 抑制算法進行干擾抑制后的RDM 數(shù)據(jù)集。本文采用CNN 網(wǎng)絡，設置學習率為0.000 1，迭代步數(shù)設為250 次。經(jīng)過250 次迭代后，干擾抑制前后的識別準確率和損失值曲線如圖14 所示。

圖14 干擾抑制前后手勢識別準確率與損失值對比

由圖14（a）與（c）的對比可以看出，干擾抑制前的準確率低于干擾抑制后的準確率，且訓練過程中準確率很不穩(wěn)定，波動較大。由圖14（b）與（d）的對比可以看出，干擾抑制后數(shù)據(jù)集的損失值較低且穩(wěn)定。在識別過程中若出現(xiàn)獲取的手勢樣本數(shù)量不能夠完全覆蓋各種手勢情況的問題時，可以對RDM樣本進行數(shù)據(jù)增廣，具體方法有平移、旋轉(zhuǎn)、反轉(zhuǎn)、錯切和組合變換等。通過這些方法將數(shù)據(jù)集擴充到足以覆蓋觀測范圍內(nèi)各種手勢情況，以提高識別性能。

表2 顯示了在相同網(wǎng)絡和不同數(shù)據(jù)集下6 種手勢識別的準確性。由表中可以看出，經(jīng)過U-IS算法處理之后的數(shù)據(jù)集比干擾抑制前數(shù)據(jù)集具有更高識別準確率。干擾抑制后的平均識別準確率達到了98.74%，相較于干擾抑制前的平均識別準確率91.45%有著較大提升。

表2 手勢識別準確率對比

3.4 干擾抑制方法對比分析

通過將本文提出的U-IS 方法與其他論文所提出方法進行比較，進一步驗證所提方法的有效性。所選對比方法為文獻［8］和文獻［9］中所提出，簡要描述如下：

1）小波變換-CFAR-FDM：該方法選擇sym4 母小波作為基函數(shù)，并對RDM 進行了三級多尺度小波分解實現(xiàn)動態(tài)類目標的干擾抑制，再通過CFAR算法與FDM（Frequency-Division Multiplexing）算法的組合對靜態(tài)類目標干擾進行消除。

2）SIS-DIS：作者分別提出了SIS（Static Interference Suppressions）和DIS（Dynamic Interference Suppressions）算法。對于SIS 算法，是對于所有多普勒參數(shù)為零目標在范圍向量進行排序，若前一時刻目標數(shù)量不相等則刪除重復目標以達到靜態(tài)干擾的消除。DIS 算法則是將所有目標按照范圍排列，如果距離最小則記錄多普勒，如果多普勒中正數(shù)大于負數(shù)則記錄成類目標，否則記錄成手勢目標。

將原始數(shù)據(jù)分別按照上述兩種方法進行類目標干擾抑制后，得到的RDM 數(shù)據(jù)集分別放入與本文選擇的同一種網(wǎng)絡CNN 中進行訓練與測試，其結(jié)果對比如表3所示。

表3 不同干擾抑制方法最終識別精度對比

通過表3中數(shù)據(jù)對比分析可知，經(jīng)過使用本文所提出的干擾抑制方法抑制后的數(shù)據(jù)集相較于WT-CFAR-FDM 方法在各個手勢動作的識別準確率上都有一個較大的提升，而相較于SIS-DIS 方法，在前4 種動作上的識別精度相差甚少，而在時針運動軌跡手勢上，由于本文方法為此類易混淆手勢設計了運動模型，所以在順時針與逆時針旋轉(zhuǎn)手勢識別精度上有著顯著提升。

4 結(jié)束語

本文提出了一種基于UKF 的毫米波雷達手勢識別方法。首先通過預處理消除了手勢信號中的背景噪聲與干擾，再通過UKF 對手勢參數(shù)信息進行預測和估計，將預測估計得到的參數(shù)信息與原始參數(shù)信息放入KNN 中進行分類，消除了實驗環(huán)境中的靜態(tài)干擾和動態(tài)干擾。然后利用CNN 網(wǎng)絡提取手勢特征，結(jié)果表明，本論文實驗采用的U-IS干擾抑制算法較無干擾抑制準確率提高7.29%，手勢識別的平均準確率為98.74%。