龔樹鳳，李棋斌，施漢銀，林 超，李 翔

(1.浙江工業(yè)大學(xué)信息學(xué)院，浙江 杭州 310023；2.中國通信服務(wù)浙江慧展科技公司，浙江 杭州 311215)

近年來，隨著神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等人工智能技術(shù)的長足發(fā)展，手勢動作識別技術(shù)已成為無線感知、模式識別、計算機視覺、信號處理等領(lǐng)域的研究熱點之一，在安防監(jiān)控、人機交互、安全駕駛等領(lǐng)域，具有廣闊的市場前景和深遠(yuǎn)的社會應(yīng)用價值。 為此，工業(yè)界和學(xué)術(shù)界對手勢動作識別技術(shù)開展了諸多相關(guān)研究。 現(xiàn)有較為成熟的手勢識別技術(shù)，大多通過可穿戴設(shè)備[1-2]或者光學(xué)圖像[3-5]獲取手勢特征信息來實現(xiàn)手勢識別。 其中，基于可穿戴設(shè)備的手勢識別技術(shù)大多應(yīng)用傳感器或者數(shù)據(jù)手套等進(jìn)行信息獲取，存在著便攜性差且設(shè)備成本較高的問題；而基于光學(xué)圖像的手勢識別技術(shù)大多通過攝像頭來拍攝手勢信息，存在著高功耗問題；此外手勢識別技術(shù)的數(shù)據(jù)以圖像或者視頻的形式進(jìn)行存儲，這種形式容易導(dǎo)致用戶隱私性、安全性等問題，且手勢識別技術(shù)本身在復(fù)雜環(huán)境中信息提取效率較低。 因此，研究一種基于其他傳感器的手勢識別技術(shù)具有非常重大的意義。

近幾年，由于雷達(dá)所具有的高分辨和低功率等特點使其在手勢識別技術(shù)方面得到了越來越廣泛的關(guān)注。 2014 年，Wan 等[6]為智能家居場景的手勢識別應(yīng)用分別設(shè)計了舉手、伸手以及搖頭三種動作，并使用連續(xù)波雷達(dá)獲取手勢的距離、角度以及速度信息；2016 年，TI[7]使用FMCW 雷達(dá)提取手勢的距離與速度信息，使用隱馬爾可夫模型(Hidden Markov Model，HMM)進(jìn)行手勢識別；2017 年，李剛等[8]使用時頻分析方法來提取手勢信號特征，并對四種微手勢進(jìn)行識別。 然而，CW 雷達(dá)只能獲取手勢動作的速度信息，無法獲取距離信息，這影響了手勢識別精度。 2018 年，王俊等[9]提出了一種通過雷達(dá)多普勒信息實現(xiàn)的手勢識別方法；2019 年，王勇等[10]通過研究端到端的多維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提高了微動手勢識別網(wǎng)絡(luò)訓(xùn)練效率，并且還提出了一種基于雷達(dá)的雙流融合網(wǎng)絡(luò)進(jìn)行手勢識別[11]。 2020 年，夏朝陽等[12]利用輕量化卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對雷達(dá)手勢特征圖像的識別。 2021 年，章東平等[13]通過手部關(guān)鍵點及其相互間連接信息來增強手部圖像特征，以提高手勢識別的準(zhǔn)確率；靳標(biāo)等[14]利用串聯(lián)式一維神經(jīng)網(wǎng)絡(luò)(1D-ScNN)對回波數(shù)據(jù)進(jìn)行特征提取并用長短期記憶網(wǎng)絡(luò)進(jìn)行聚合分類識別，取得了很好的識別精度。

雖然上述方法的識別精度高，但是所利用的算法模型普遍具有大數(shù)據(jù)集依賴性和計算復(fù)雜性。 基于深度學(xué)習(xí)的手勢識別是一種數(shù)據(jù)驅(qū)動算法，尚不能有效解決訓(xùn)練數(shù)據(jù)稀缺和計算資源受限等問題。通常來說，高性能的識別網(wǎng)絡(luò)往往需要采用更深層的網(wǎng)絡(luò)結(jié)構(gòu)，模型的參數(shù)規(guī)模越大，所需訓(xùn)練樣本越多帶來計算復(fù)雜度越高，模型的過擬合風(fēng)險也越大?；诶走_(dá)的手勢動作識別鮮有公開數(shù)據(jù)集，大多都是基于自測數(shù)據(jù)或仿真數(shù)據(jù)，并且實驗中在有限時間內(nèi)也難以獲得大量雷達(dá)回波數(shù)據(jù)。 因此，如何在雷達(dá)手勢動作感知中有效借鑒遷移學(xué)習(xí)方法，研究在小樣本數(shù)據(jù)量的基礎(chǔ)上實現(xiàn)對手勢動作識別訓(xùn)練，從而降低計算復(fù)雜度并保持較高的識別率是需要解決的問題之一。

基于上述分析，本文提出了一種基于毫米波雷達(dá)在小樣本場景下的手勢識別方法，首先對手勢的回波信號進(jìn)行預(yù)處理，然后利用二維傅里葉變換得到手勢動作的距離-時間和速度-時間譜圖，最后設(shè)計了雙流融合的原型網(wǎng)絡(luò)進(jìn)行加權(quán)融合來實現(xiàn)手勢識別。 本文采用77 GHz FMCW 雷達(dá)，驗證了本文網(wǎng)絡(luò)在不同樣本數(shù)量下對六類手勢的識別效果，結(jié)果表明所提算法能有效提高手勢識別的準(zhǔn)確率，并且降低了計算復(fù)雜度。

1 系統(tǒng)原理及實驗方法

系統(tǒng)架構(gòu)如圖1 所示，包括雷達(dá)信號采集、數(shù)據(jù)預(yù)處理和手勢識別等部分。 其中，毫米波雷達(dá)發(fā)射器用來發(fā)射雷達(dá)信號，通過數(shù)據(jù)采集卡進(jìn)行不同手勢回波信號的采集并將數(shù)據(jù)傳輸?shù)诫娔X保存并處理。

圖1 手勢識別系統(tǒng)框圖

1.1 數(shù)據(jù)預(yù)處理

1.1.1 中頻信號提取

中頻信號獲取流程如圖2 所示，設(shè)雷達(dá)發(fā)射的鋸齒波信號為:

圖2 中頻信號獲取流程

式中:fT(τ)是發(fā)射信號頻率隨著時間變化的線性函數(shù)，fc是載波頻率，B是帶寬，ATX是發(fā)射信號的幅值，T是信號脈寬。

發(fā)射信號經(jīng)過t0＝的時延和手勢運動使得接收端的頻移可表示為:

在接收端的信號由于時延和多普勒頻移，頻率變?yōu)?

接收信號可表示為:

式中:v是手勢在雷達(dá)徑向的運動速度，R0是在時間t＝0 時手勢與雷達(dá)的距離，c為光速，ARX是接收信號的幅值。

為了獲取發(fā)射信號和接收信號中的頻移和相位差，將發(fā)射信號STX(t)和接收信號SRX(t)輸入到混頻器后得到中頻信號:

由于實際測量中t0非常小，中頻信號頻率可近似為:

1.1.2 基于一維FFT 的距離信息提取

對所獲得的中頻信號進(jìn)行一維傅里葉變換得到信號頻譜，然后通過峰值分析找到頻譜的譜峰位置，得到該中頻信號的頻率:

式中:k為信號調(diào)頻斜率，R為目標(biāo)距離，c為光速，則可以得到:

然后對各個脈沖計算得出的距離進(jìn)行整合，即可得到手勢距離隨時間變化信息。 由于手勢屬于微小的動作，若是參數(shù)設(shè)置不合理，容易產(chǎn)生無法識別的問題，所以還要考慮雷達(dá)的距離分辨力問題。 設(shè)相鄰兩目標(biāo)間隔為ΔR，可以得到:

式中:T為信號脈寬，可以得到距離分辨率為:

本文對50 幀內(nèi)總計6 400 個脈沖做快速傅里葉變換，并對所有脈沖蘊含的距離信息按照時間順序(幀的先后)進(jìn)行整合排列，即可得到手勢距離隨時間的變化信息。 以手勢“后拉”為例，對單支天線采集的復(fù)數(shù)形式回波數(shù)據(jù)以幅值畫圖，其時域圖如圖3所示。 對每幀回波信號做一維FFT，就可得到手勢的距離信息，如圖4 所示。 通過譜峰位置搜索法得到每一幀的譜峰位置，在時間上進(jìn)行拼接整合，最后可以得到手勢動作的距離-時間特征信息，如圖5 所示。

圖3 “后拉”手勢回波信號時域圖

圖4 “后拉”手勢不同幀的距離圖

圖5 “后拉”手勢的距離－時間特征圖

1.1.3 基于二維FFT 的速度信息提取

在一維傅里葉變換中，可以通過對譜峰位置分析得出距離信息。 但是在雷達(dá)實際工作中，由于手勢的運動導(dǎo)致回波信號和發(fā)射信號之間存在頻率差，從而產(chǎn)生多普勒頻率偏移，所以可以通過對多普勒頻率峰值的搜索得出物體的速度信息。

實驗中，雷達(dá)接收到的每一個信號在混頻得到中頻信號后，信號都分為50 幀，每一幀中有128 個chirp，每一個chirp 中共有128 個采樣點，所以每一幀的數(shù)據(jù)構(gòu)成了一個128×128 的矩陣。 當(dāng)人處于靜止?fàn)顟B(tài)時，中頻信號的頻率基本恒定，經(jīng)過一維傅里葉變換得到的距離信息相同，當(dāng)人手勢發(fā)生變化時，信號的頻率隨著手勢的變化而變化。 對同一幀的目標(biāo)進(jìn)行二維傅里葉變換，得到該目標(biāo)的多普勒頻率:

式中:f為chirp 信號中心頻率，可以得到:

將得到的目標(biāo)多普勒頻率的峰值頻率進(jìn)一步處理，得到每一幀數(shù)據(jù)中蘊含的速度-距離信息，如圖6所示；再將多幀數(shù)據(jù)根據(jù)譜峰位置搜索和拼接將每一幀中蘊含的速度信息進(jìn)行整合排列，可以得到手勢的速度隨時間變化信息，手勢“后拉”經(jīng)過二維傅里葉變換和多幀整合后得到的速度-時間特征信息如圖7 所示。

圖6 “后拉”手勢不同幀的距離－速度圖

圖7 “后拉”手勢的速度－時間特征圖

1.1.4 標(biāo)準(zhǔn)化處理

深度學(xué)習(xí)算法的效率不僅取決于網(wǎng)絡(luò)本身參數(shù)，還取決于輸入數(shù)據(jù)樣本的質(zhì)量。 為了能夠更加準(zhǔn)確地識別，本文將得到的圖片進(jìn)行尺寸和像素值標(biāo)準(zhǔn)化。 尺寸標(biāo)準(zhǔn)化是讓每一個樣本數(shù)據(jù)圖像大小相同。 由于絕大多數(shù)深度網(wǎng)絡(luò)都存在全連接層，需要將參數(shù)的數(shù)量與輸入圖像的大小相關(guān)聯(lián)，所以在訓(xùn)練測試以及驗證時，都要輸入同樣大小和格式的圖像數(shù)據(jù)。 而像素值標(biāo)準(zhǔn)化目的是為了將樣本中的像素值統(tǒng)一在灰度范圍[0，255]內(nèi)。 為了能夠讓提取的特征更加顯著，本文將圖像設(shè)置為黑白圖像，采用28×28 的bmp 格式圖像用來作為神經(jīng)網(wǎng)絡(luò)的輸入，其中單個手勢“后拉”的距離-時間特征和速度-時間特征經(jīng)過處理后的圖像如圖8 所示。

圖8 “后拉”手勢歸一化后的特征圖

1.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

1.2.1 算法設(shè)計

本文的網(wǎng)絡(luò)結(jié)構(gòu)主要在原型網(wǎng)絡(luò)[15]算法上進(jìn)行改進(jìn)，主要分為特征提取和距離度量兩個部分。特征提取通過一個卷積神經(jīng)網(wǎng)絡(luò)提取出輸入圖片的特征，然后將其映射到一個空間內(nèi)得到高維特征向量；通過對處于同一標(biāo)簽的樣本進(jìn)行特征向量求平均來計算原型中心向量，然后再計算測試樣本的特征向量，計算兩個向量之間的歐氏距離，將測試樣本分到距離最小的那一類。

具體的算法過程如下:

將包含k類的訓(xùn)練集Sk輸入網(wǎng)絡(luò)中，網(wǎng)絡(luò)通過具有可學(xué)習(xí)參數(shù)φ的映射函數(shù)fφ(x)將樣本映射到映射空間中，得到樣本的特征向量，通過將訓(xùn)練集中同一類的特征向量取平均得到每個類別的原型中心向量Ck，如下式所示:

式中:xi為第i個樣本的特征向量，yi為第i個樣本對應(yīng)的標(biāo)簽。 得到對應(yīng)的原型中心向量后，將輸入的測試集樣本映射到樣本空間內(nèi)，計算它和各個原型之間的歐氏距離，然后和它的真實類別的原型中心距離進(jìn)行比較，得到分到每類的概率q。 計算公式如下:

式中:x為測試集樣本，M為樣本x的真實類別，CM為真實類別的原型中心向量，M′為所有可能的類別，fφ(x)是樣本x的特征向量。 其中距離最小的為最后的分類結(jié)果y。 具體計算公式如下:

根據(jù)測試集的分類結(jié)果來判斷映射函數(shù)的泛化能力，不斷對參數(shù)φ進(jìn)行改進(jìn)，得到最優(yōu)的映射函數(shù)fφ(x)。

1.2.2 網(wǎng)絡(luò)設(shè)計

本文整體的網(wǎng)絡(luò)結(jié)構(gòu)如圖9 所示。 主要由兩路卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，分別由4 個卷積塊構(gòu)成，包括一個二維卷積層、批處理歸一化層、激活函數(shù)層和最大池化層。 這種結(jié)構(gòu)設(shè)計可以降低計算復(fù)雜度，從而縮短運行時間。 每個卷積塊的參數(shù)設(shè)置如表1 所示。 在實現(xiàn)手勢分類的過程中，首先將經(jīng)過預(yù)處理后的距離-時間特征圖和速度-時間圖分別輸入兩路卷積神經(jīng)網(wǎng)絡(luò)中，輸出2 種特征圖的分類結(jié)果，將得到的2 個輸出結(jié)果進(jìn)行加權(quán)融合，融合公式如式(16)所示，然后得出最終的預(yù)測結(jié)果P。

表1 網(wǎng)絡(luò)參數(shù)設(shè)置

圖9 整體網(wǎng)絡(luò)結(jié)構(gòu)圖

式中:W1和W2為權(quán)重系數(shù)，和為1，本文中W1和W2都等于0.5，S1和S2為雙流的兩個輸出結(jié)果。

2 實驗設(shè)計

我們對上述的整個系統(tǒng)進(jìn)行了實驗設(shè)計和結(jié)果測試。

2.1 實驗設(shè)置

本文實驗采用的是TI 公司型號為IWR1443 的毫米波雷達(dá)和DCA1000 數(shù)據(jù)采集卡，如圖10(a)所示。 IWR1443 是工作在77 GHz ～81 GHz 頻段的FMCW 毫米波雷達(dá)，具有3 根天線發(fā)射線性調(diào)頻信號，4 根天線接收回波信號。 混頻器中得到的中頻信號經(jīng)AD 采樣后由DCA1000 采集卡將數(shù)據(jù)傳輸?shù)絇C 端并在CPU 上進(jìn)行解析和預(yù)處理，生成特征圖，然后送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

圖10 實驗設(shè)置

整套雷達(dá)采集設(shè)備放置在房間內(nèi)，每個受試者在雷達(dá)正前方0.3 m ～1.0 m 的范圍內(nèi)完成手勢動作，如圖10(b)所示。 為了采集到完整的手勢信號，還需要對雷達(dá)參數(shù)進(jìn)行一定的配置，表2 給出了雷達(dá)系統(tǒng)的配置參數(shù)。

表2 雷達(dá)參數(shù)設(shè)置

2.2 實驗數(shù)據(jù)集

為了能夠完整地獲取所需的手勢特征信息，需要對信號進(jìn)行多幀積累。 其中，采集手勢特征的幀窗長度如果太短或手勢持續(xù)時間過短，就有可能無法完整捕捉持續(xù)時間長的手勢動作；而如果幀窗長度太長，得到一次手勢特征的時間較長，不利于后續(xù)對手勢動作的實時性研究及應(yīng)用。 為了控制單個樣本規(guī)模并提高回波解析效率，本文在進(jìn)行數(shù)據(jù)集制作時采用的時間基本都維持在了1.5 s 到2.0 s 左右。 手勢動作如圖11 所示。 為了模擬真實情況，注重實際中手勢的變化與多樣性，本文的手勢數(shù)據(jù)由5 名受試者共同采集，每名受試者每個動作采集10次，4 個接收通道則可以采集到40 個樣本，6 個手勢一共采集了1 200 個實際樣本數(shù)據(jù)。 這些樣本構(gòu)成了一個比較小的手勢數(shù)據(jù)集，在每個手勢的200 個手勢樣本中隨機選取100 個樣本作為訓(xùn)練集，其余的按1 ∶1 比例分別作為驗證集和測試集。

圖11 手勢示意圖

3 實驗結(jié)果分析

3.1 網(wǎng)絡(luò)訓(xùn)練

本文所提出的雙流原型網(wǎng)絡(luò)是基于Pytorch 深度學(xué)習(xí)框架，在配置為Intel Core i7-8700 CPU(3.2 GHz)和NVIDIA GeForce RTX 2080Ti GPU 的服務(wù)器上進(jìn)行訓(xùn)練和測試。 采用隨機梯度下降法，初始學(xué)習(xí)率為0.01，每10 次迭代學(xué)習(xí)率減少為原來的一半。 迭代次數(shù)一共35 次，隨著迭代次數(shù)的增加，網(wǎng)絡(luò)的損失函數(shù)變化如圖12 所示，可以看出在20 輪之后的損失值趨于平穩(wěn)。 圖13 展現(xiàn)了多特征網(wǎng)絡(luò)的實驗預(yù)測結(jié)果，橫坐標(biāo)代表預(yù)測值，縱坐標(biāo)代表真實值，可以看出大部分手勢都能夠準(zhǔn)確識別，也證明了網(wǎng)絡(luò)的有效性。 為了進(jìn)一步驗證網(wǎng)絡(luò)的有效性，單支網(wǎng)絡(luò)的單特征手勢識別結(jié)果如表3 所示，可以看出測試中的6 個手勢在單個特征下的平均識別精度也都達(dá)到了90%以上，但比多特征融合的效果要差一些。

表3 手勢識別準(zhǔn)確率 單位:%

圖12 模型損失函數(shù)

圖13 多特征識別混淆矩陣圖(訓(xùn)練集100)

3.2 不同方法實驗結(jié)果比較

為了驗證系統(tǒng)的高識別準(zhǔn)確度，我們與1DscNN[14]，RDA-T[11]，VGG16＿Net[16]等模型進(jìn)行了比較。表4 將不同模型的單個特征和多特征經(jīng)過網(wǎng)絡(luò)訓(xùn)練，比較結(jié)果可知:一方面，相較于單特征識別網(wǎng)絡(luò)，多特征識別網(wǎng)絡(luò)能夠達(dá)到更高的準(zhǔn)確率，說明多特征數(shù)據(jù)集能夠提供更豐富的信息，體現(xiàn)了進(jìn)行雙流融合的優(yōu)越性；另一方面，本文所提的雙流網(wǎng)絡(luò)在每類樣本訓(xùn)練集為100 時準(zhǔn)確率達(dá)到了98.3%，相較于單特征識別網(wǎng)絡(luò)提高了4%～7%，體現(xiàn)了本文所設(shè)計的雙流網(wǎng)絡(luò)結(jié)構(gòu)的可靠性。 通過對單特征識別網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)和優(yōu)化，在保證識別準(zhǔn)確率的基礎(chǔ)上有效降低了使用樣本數(shù)以及單個樣本訓(xùn)練所需時間。 同時，比較同類方法的多特征識別網(wǎng)絡(luò)可知，VGG16-Net[16]、RDA-T[11]等多特征識別網(wǎng)絡(luò)，所需要的樣本大多在1 200 個以上，而1D-ScNN[14]網(wǎng)絡(luò)在訓(xùn)練樣本為4 000 時才能夠達(dá)到96%左右。 本文網(wǎng)絡(luò)不僅在準(zhǔn)確率上優(yōu)于同類方法，而且在樣本數(shù)量上減少了一半，大大降低了訓(xùn)練時間。

表4 不同模型性能比較

3.3 訓(xùn)練集大小對結(jié)果的影響

為了體現(xiàn)所提出的網(wǎng)絡(luò)結(jié)構(gòu)在小樣本下的可靠性，實驗比較了不同訓(xùn)練集大小對測試結(jié)果的影響。如圖14 所示，雖然提高樣本數(shù)量可以提高識別精度，但即使單個手勢樣本數(shù)只有20 個時也能夠達(dá)到95%準(zhǔn)確度，這說明小樣本也依然能夠準(zhǔn)確識別大部分手勢；當(dāng)單個手勢訓(xùn)練樣本為90 以后，識別準(zhǔn)確率基本維持在98%左右，體現(xiàn)了本文小樣本識別方法的有效性，即只需要很少的訓(xùn)練數(shù)據(jù)就能夠準(zhǔn)確進(jìn)行手勢識別，提供了工程應(yīng)用實時性的技術(shù)基礎(chǔ)。

圖14 訓(xùn)練集大小對結(jié)果的影響

4 總結(jié)

本文詳細(xì)介紹了一種基于多通道調(diào)頻連續(xù)波FMCW 毫米波雷達(dá)在小樣本場景下的手勢識別算法。 首先搭建了基于FMCW 雷達(dá)的手勢采集系統(tǒng)，對采集的手勢回波信號利用兩次FFT 及相關(guān)算法提取了手勢動作的距離-時間和多普勒-時間譜圖，進(jìn)一步將其轉(zhuǎn)化為灰度圖像且做歸一化處理；然后設(shè)計了雙流融合的度量學(xué)習(xí)原型網(wǎng)絡(luò)，基于歸一化的灰度手勢譜圖進(jìn)行訓(xùn)練以最終獲得一個預(yù)測模型，實現(xiàn)了6 種手勢識別。 實驗結(jié)果和分析表明，本文提出的方法在訓(xùn)練集個數(shù)為100 時，整體識別精度達(dá)到了98.3%，且提高了運行效率。

手勢識別雖已取得了較多的研究成果，但由于現(xiàn)實生活中的干擾情況很多，實際的應(yīng)用效果仍需進(jìn)一步提高，所以在未來的工作中，我們還將繼續(xù)優(yōu)化算法，以提升系統(tǒng)的抗干擾能力和泛化能力；此外，本文中的手勢識別只針對單個手勢而言，還沒有涉及到實際應(yīng)用時連續(xù)手勢動作或多個手勢動作的識別，因此在未來工作中，我們還將研究手勢分割的問題，以實現(xiàn)連續(xù)手勢動作或多個手勢動作的識別。