趙雅琴 宋雨晴 吳 晗 何勝陽 劉璞秋 吳龍文*

①(哈爾濱工業(yè)大學(xué)電子與信息工程學(xué)院 哈爾濱 150001)

②(中國航天科工集團(tuán)八五一一研究所 南京 211100)

1 引言

手勢識別是一種新型非接觸式的人機(jī)交互方法。非接觸式人機(jī)交互系統(tǒng)如智能家居[1,2]、自動(dòng)駕駛[3]和增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)/虛擬現(xiàn)實(shí)(Virtual Reality, VR)[4]等，都應(yīng)用了手勢識別。具體來說，在智能家居框架[2]中，可以通過手勢控制家庭住宅和工作環(huán)境中的物聯(lián)網(wǎng)設(shè)備，如空調(diào)、電視、洗衣機(jī)、燈光等等。文獻(xiàn)[3]建立了手勢模型，以識別車輛中發(fā)生的司機(jī)和乘客的手勢。文獻(xiàn)[4]提出了一個(gè)基于手勢識別的文本輸入系統(tǒng)，并用于AR和VR設(shè)備。之前的一些手勢識別工作依賴于攝像頭(彩色攝像頭、深度攝像頭等)[5-7]。然而，它存在一系列缺陷，如，對光照條件和天氣敏感，有泄露隱私的風(fēng)險(xiǎn)，視線被阻擋時(shí)無法工作。在這種情況下，雷達(dá)傳感器能很好地解決這些問題。雷達(dá)能夠全天時(shí)、全天候工作，不受光線影響，不會(huì)泄露隱私，能夠穿透阻礙。更重要的是，毫米波頻段的雷達(dá)在捕捉微動(dòng)目標(biāo)方面表現(xiàn)很好。同時(shí)由于其體積小、精度高、保密性強(qiáng)，在近年來受到了廣泛的關(guān)注。目前，用于手勢識別的毫米波雷達(dá)大多采用調(diào)頻連續(xù)波 (Frequency Modulated Continuous Wave, FMCW)技術(shù)和多發(fā)多收 (Multiple Input Multiple Output, MIMO)天線。2016年，Google公司在Soli項(xiàng)目中設(shè)計(jì)了60 GHz頻段、2發(fā)4收天線的FMCW毫米波雷達(dá)芯片，實(shí)現(xiàn)了近距離微動(dòng)手勢識別[8,9]。2022年，Shen等人[10]利用工作頻率為77 GHz、2發(fā)4收天線的雷達(dá)傳感器對10種動(dòng)態(tài)手勢進(jìn)行了特征提取。Zhang等人[11]、Yu等人[12]、Liu等人[13]均采用德州儀器(Texas Instruments,TI)公司的77～81 GHz頻段、3發(fā)4收的IWR1443雷達(dá)，對動(dòng)態(tài)手勢進(jìn)行識別。2021年，Smith等人[14]利用該雷達(dá)對靜態(tài)手勢識別進(jìn)行了探索。但是，上述雷達(dá)的角度分辨率有待提高，無法對動(dòng)態(tài)手勢進(jìn)行很好的3維表征。

在手勢識別的研究中，手勢目標(biāo)的檢測和特征提取是至關(guān)重要的。Gan等人[15]利用FMCW雷達(dá)原理，通過2維快速傅里葉變換(Two-Dimensional Fast Fourier Transform, 2D-FFT)提取出距離-多普勒 (Range-Doppler, RD)譜圖，直接用于手勢識別。2019年，王勇等人[16,17]利用2D-FFT求取手勢的距離和速度，利用多信號分類(MUltiple SIgnal Classification, MUSIC)算法求取角度，在時(shí)間上累積，得到距離-時(shí)間譜圖(Range-Time Map, RTM)、多普勒-時(shí)間譜圖(Doppler-Time Map, DTM)、方位角-時(shí)間譜圖(Azimuth-Time Map, ATM)，充分挖掘動(dòng)態(tài)手勢的空間信息，并將3種譜圖結(jié)合，作為多維數(shù)據(jù)集，得到較好的識別效果。RTM, DTM和ATM目前已經(jīng)成為比較常用的動(dòng)態(tài)手勢特征，在文獻(xiàn)[5,18,19]中均被應(yīng)用。2022年，Liu等人[13]設(shè)計(jì)了名為M-Gesture的毫米波雷達(dá)手勢識別系統(tǒng)，針對RD圖，采用幀差法消除靜態(tài)噪聲，采用恒虛警檢測器 (Constant False AlaRm, CFAR)和聚類方法提取手勢目標(biāo)，然后將目標(biāo)的點(diǎn)數(shù)、距離、速度和方位角作為特征向量，用于手勢識別。俯仰角也是動(dòng)態(tài)手勢的一個(gè)重要特征，但是由于天線數(shù)量和技術(shù)的限制，很少被考慮到。

深度學(xué)習(xí)算法能夠自動(dòng)提取特征，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)對圖像的識別效果較好，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)能循環(huán)提取特征，對時(shí)間序列有很好的識別效果，它們都在手勢識別領(lǐng)域得到廣泛應(yīng)用。Park等人[20]提出了一個(gè)雙平行CNN模型，使用2D-FFT、歸一化和特提取之后的數(shù)據(jù)作為輸入，對5種常見手語進(jìn)行識別，準(zhǔn)確率達(dá)到96.50%。Shen等人[10]提出了一種基于3維CNN的雙通道融合網(wǎng)絡(luò)，一個(gè)通道以距離-多普勒矩陣為輸入，另一通道以方位角-多普勒矩陣為輸入，充分利用了多個(gè)特征的相關(guān)性，對10種動(dòng)態(tài)手勢實(shí)現(xiàn)了98.40%的識別率。Liu等人[5]提出了一種雙流融合可變形殘差網(wǎng)絡(luò)，對6種手勢實(shí)現(xiàn)了97.5%的識別率。Dang等人[21]分別采用ResNet50, DenseNet121, MobileNet,MnasNet和EfficientNet模型，基于新標(biāo)準(zhǔn)數(shù)據(jù)集SHAPE (Static HAnd PosturE)進(jìn)行了手勢識別。可見，目前手勢識別的準(zhǔn)確率還有待提高，手勢的種類還不夠復(fù)雜。為此，本文引入了卷積注意力模塊(Convolutional Block Attention Module,CBAM)，研究[22-24]表明，注意力機(jī)制能有效改善識別精度。

為了解決目前研究中雷達(dá)角度分辨率不夠高、缺乏對俯仰角特征的利用的問題，并實(shí)現(xiàn)高精度的手勢識別，對更多更復(fù)雜的微動(dòng)手勢進(jìn)行表征，本文對基于MIMO毫米波雷達(dá)的高精度手勢識別方法進(jìn)行了研究，采用3D點(diǎn)云、RTM, DTM, ATM和俯仰角-時(shí)間圖 (Elevation-Time Map, ETM)等多種特征，能夠較準(zhǔn)確地檢測出手勢目標(biāo)，具有較強(qiáng)的抗干擾能力，并對12種常用的微動(dòng)手勢進(jìn)行了高精度識別。本文的主要貢獻(xiàn)如下：

(1) 采用4片AWR1243雷達(dá)板級聯(lián)而成的毫米波級聯(lián)(MilliMeter Wave CAScaded, MMWCAS)雷達(dá)采集手勢回波，它具有12發(fā)16收的天線，經(jīng)過數(shù)據(jù)預(yù)處理后，角度分辨率大大提高；

(2) 采用3D點(diǎn)云對手勢進(jìn)行表征，并基于聚類的方法進(jìn)行離群點(diǎn)去除，以更加準(zhǔn)確地檢測手勢目標(biāo)，有較強(qiáng)的抗干擾性；

(3) 提取動(dòng)態(tài)手勢的RTM, DTM, ATM和ETM，并形成混合特征譜圖，與其他研究相比，更加全面，能夠表征更多的復(fù)雜手勢；

(4) 將CBAM與Densenet結(jié)合，形成一個(gè)基于CBAM的手勢識別網(wǎng)絡(luò)，采用混合特征譜圖對12種微動(dòng)手勢進(jìn)行識別，識別準(zhǔn)確率達(dá)到99.03%。該網(wǎng)絡(luò)能夠靈活調(diào)整注意力，實(shí)現(xiàn)了高精度的手勢識別。

2 毫米波雷達(dá)原理

FMCW雷達(dá)發(fā)射線性調(diào)頻信號，其將發(fā)射信號與接收信號經(jīng)過混頻器混頻以獲得中頻(Intermediate Frequency, IF)信號，進(jìn)而對其分析得到回波中物體的距離、速度、角度等信息。人手與雷達(dá)的相對位置示意圖如圖1所示，雷達(dá)豎直擺放在中心O處，操作者在雷達(dá)前方，θE為俯仰角，θA為方位角。

圖1 人手和雷達(dá)的相對位置示意圖

由文獻(xiàn)[25,26]可得，對于周期為T，帶寬為B的線性調(diào)頻信號，一個(gè)chirp內(nèi)雷達(dá)的發(fā)射頻率可以表示為fT(t)=fc+(B/T)·t，對于在距離R處，速度為v的目標(biāo)，中頻信號以TA的采樣間隔經(jīng)過采樣后可以表示為

其中，AIF表示中頻信號幅度，fc表示調(diào)頻信號的起始頻率，為簡化后續(xù)的公式表達(dá)，設(shè)AIF=1。1幀數(shù)據(jù)中包含Nc個(gè)chirp, 2個(gè)chirp的時(shí)間間隔為Tc，1個(gè)chirp內(nèi)的采樣點(diǎn)數(shù)為Nadc。則雷達(dá)數(shù)據(jù)可以表示為

對雷達(dá)數(shù)據(jù)進(jìn)行2D-FFT可得RD圖，計(jì)算過程為

其中，nadc表示距離索引，而nc表示多普勒索引。

3 手勢識別方法

為實(shí)現(xiàn)高精度的手勢識別，對多種微動(dòng)手勢進(jìn)行表征，本文提出了如圖2所示的手勢識別方法。

圖2 本文提出的手勢識別方法示意圖

3.1 最優(yōu)雷達(dá)參數(shù)配置

在綜合考慮距離分辨率、速度分辨率和角度分辨率，同時(shí)保證毫米波雷達(dá)系統(tǒng)有足夠的采集幀率的情況下，對于毫米波雷達(dá)的參數(shù)配置如表1所示。對應(yīng)地，在表1的參數(shù)設(shè)置下，由FMCW雷達(dá)原理[27]計(jì)算出，各項(xiàng)性能指標(biāo)如下：距離分辨率3.75 cm，速度分辨率2.76 cm/s，理論方位角分辨率1.4°，理論俯仰角分辨率16°，采集幀率13.89 fps，采集時(shí)間2016 ms。

表1 毫米波雷達(dá)參數(shù)設(shè)置

3.2 手勢特征提取

對雷達(dá)數(shù)據(jù)進(jìn)行預(yù)處理，針對提取到的手勢目標(biāo)，分別構(gòu)建RTM, DTM, ATM和ETM，再通過混合特征圖譜的構(gòu)建為后續(xù)的深度學(xué)習(xí)準(zhǔn)備好數(shù)據(jù)集。

3.2.1 手勢數(shù)據(jù)預(yù)處理

對于采集的手勢數(shù)據(jù)，首先采用動(dòng)目標(biāo)顯示(Moving Target Indication, MTI)技術(shù)濾除靜目標(biāo)，采用2D-FFT獲取RD圖。接著，基于RD圖進(jìn)行人手目標(biāo)檢測，即檢測出在有效的手勢范圍(本研究是0.2～0.6 m)內(nèi)、能量較大、較集中的一簇點(diǎn)。根據(jù)MIMO原理，12個(gè)發(fā)射天線和16個(gè)接收天線共形成192個(gè)虛擬通道。每個(gè)通道都形成一個(gè)RD圖，對每個(gè)通道的RD圖進(jìn)行上述的目標(biāo)檢測操作。由于每個(gè)接收天線處的信號相位不同，將每個(gè)通道的RD圖按照天線的空間位置重新排列，形成3維信號，第3維就是通道號。接著，先在水平方向的86個(gè)通道上執(zhí)行FFT，即可估計(jì)出方位角，然后在方位角確定的基礎(chǔ)上，在豎直方向上執(zhí)行FFT，即可估計(jì)出俯仰角。對于單個(gè)目標(biāo)點(diǎn)，其與雷達(dá)的距離為R，方位角為θA，俯仰角為θE，則其3D坐標(biāo)如下，x=R·sin(θE)·cos(θA),y=R·sin(θE)·sin(θA),z=R·cos(θE)。

將全部的目標(biāo)點(diǎn)映射到3D坐標(biāo)上，就構(gòu)成了3D點(diǎn)云，效果如圖2所示。接著，采用聚類[28]的方法對3D點(diǎn)云進(jìn)行聚類，找出離群點(diǎn)。最后，把離群點(diǎn)在RD圖、距離譜圖、多普勒譜圖和角度譜圖中對應(yīng)的目標(biāo)點(diǎn)剔除，從而更加準(zhǔn)確地檢測出人手目標(biāo)，獲得更加精準(zhǔn)的距離譜圖、多普勒譜圖和角度譜圖。

3.2.2 特征提取與特征圖譜構(gòu)建

首先針對只包含手勢目標(biāo)的RD圖，分別將其投影到距離軸和速度軸，以得到當(dāng)前幀中手勢目標(biāo)的距離譜和速度譜。然后將距離譜按幀順序進(jìn)行拼接，這樣橫向?yàn)闀r(shí)間軸，縱向?yàn)榫嚯x信息，拼接完所有幀之后，即可得到RTM，提取過程如圖3(a)所示。

為了進(jìn)一步挖掘手勢的微動(dòng)特征、提高DTM的時(shí)間分辨率，本文采用短時(shí)傅里葉變換，將微多普勒的思想融入到DTM的提取中。對于某一RTM信號R(i,j),i=1,2,...,128,j=1,2,...,28，i為向量維，j為幀序號，利用spectrogram函數(shù)對其每幀數(shù)據(jù)進(jìn)行短時(shí)傅里葉操作，信號長度為128，窗長度為64，步長為32，F(xiàn)FT點(diǎn)數(shù)為256，得到256×3的數(shù)據(jù)。將28幀信號拼接起來，即得到微多普勒-時(shí)間譜圖，其大小為256×84。接著，對全部人手目標(biāo)點(diǎn)的DOA估計(jì)結(jié)果進(jìn)行疊加，根據(jù)如圖3(b)所示的流程提取出ATM和ETM。

單特征圖譜只能夠表征運(yùn)動(dòng)手勢的部分信息，因此對圖譜進(jìn)行有效的混合是很有必要的。本文采用縱向拼接的方式進(jìn)行處理，在圖譜混合之前，對數(shù)據(jù)進(jìn)行了歸一化、時(shí)間軸對齊、插值和裁剪等操作。對4種圖譜進(jìn)行拼接形成混合特征圖譜，如圖3(c)所示，準(zhǔn)備好數(shù)據(jù)，以備后續(xù)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練。

3.3 基于CBAM的手勢識別網(wǎng)絡(luò)

為提高整體模型的識別能力，本文提出一種融合CBAM[29]和DenseNet[30]的手勢識別網(wǎng)絡(luò)，其網(wǎng)絡(luò)架構(gòu)如圖4(a)所示，不同顏色的方塊表示不同的網(wǎng)絡(luò)層，箭頭上方的數(shù)字顯示了當(dāng)前輸出特征的尺寸。輸入特征圖的尺寸為1×320×56，1表示圖像是灰度圖，320是向量維，56是時(shí)間維。

圖4 所提手勢識別網(wǎng)絡(luò)的整體結(jié)構(gòu)

該網(wǎng)絡(luò)以DenseNet121為主干網(wǎng)絡(luò)，以混合特征圖譜為輸入，先后經(jīng)過一個(gè)7×7卷積層， 3×3的最大池化層，包含6個(gè)[1×1 conv 3×3 conv]的稠密連接塊 (dense block)[30]，過渡層，包含12個(gè)[1×1 conv 3×3 conv]的稠密連接塊和過渡層。然后通過CBAM在通道和空間兩個(gè)層面進(jìn)行注意力推算，再經(jīng)過一個(gè)包含24個(gè)[1×1 conv 3×3 conv]的稠密連接塊，過渡層，包含16個(gè)[1×1 conv 3×3 conv]的稠密連接塊，全連接層和softmax激活層，得到12維向量，從而得到識別結(jié)果。

CBAM注意力機(jī)制由通道注意力模塊和空間注意力模塊構(gòu)成，兩個(gè)子模塊的運(yùn)算過程如下。通道注意力模塊如圖4 (b)所示。假設(shè)輸入特征圖的通道數(shù)為C，在本文中，C=512，分別采用最大池化層和平均池化層對輸入特征圖進(jìn)行處理，獲得兩個(gè)尺寸為1×1×C的特征向量，可以分別記為Fmax和Favg，然后將它們分別送入一個(gè)共享的多層感知器(Multi-Layer Perceptron, MLP)中進(jìn)行計(jì)算。然后將計(jì)算結(jié)果對應(yīng)相加并且經(jīng)過sigmoid激活層得到權(quán)重系數(shù)Mc。假設(shè)MLP兩層的權(quán)重系數(shù)分別表示為W0,W1，則

通道注意力解決了把網(wǎng)絡(luò)注意力集中在“哪個(gè)通道”的問題，而空間注意力則具體地解決了把網(wǎng)絡(luò)注意力集中在“哪里”的問題，其處理流程圖如圖4(c)所示。假設(shè)輸入特征圖尺寸為C×H×W，其中C=512代表通道數(shù)，H=40代表特征圖高度，W=7代表特征圖寬度，將特征圖分別在通道維度上執(zhí)行最大池化和平均池化，得到兩個(gè)描述子，分別記為F和F，將它們按照通道拼接在一起，使用一個(gè) 7×7卷積核處理，而后經(jīng)過sigmoid激活函數(shù)得到權(quán)重系數(shù)Ms，表達(dá)式為

將輸入特征圖與權(quán)重相乘，即可得到注意力分配之后的特征圖。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文選取了如圖5所示的12種日常生活中常用的手勢，有打勾 (Tick)、畫叉 (Fork)、順時(shí)針畫圓(CW)、逆時(shí)針畫圓 (CCW)、左右揮手 (Wave)、左劃 (Swipe left)、右劃 (Swipe right)、招手(Come)、擺手 (Go)、點(diǎn)擊 (TAP)、握拳 (Palm clench)和張開 (Palm open)。

圖5 12種手勢示意圖

本研究邀請了10名實(shí)驗(yàn)人員(6男4女)參與手勢數(shù)據(jù)采集，操作者在一個(gè)10 m2的房間中，面對毫米波雷達(dá)，距離雷達(dá)平面20～60 cm，每人采集手勢數(shù)量大致相同。最終形成了每種手勢600組樣本，共計(jì)7 200組樣本的手勢數(shù)據(jù)集，其中隨機(jī)抽取70%用于模型訓(xùn)練，剩余30%用于模型測試。

4.2 數(shù)據(jù)預(yù)處理結(jié)果

根據(jù)第3節(jié)的方法對手勢數(shù)據(jù)進(jìn)行處理，由于本文手勢是微動(dòng)的，所以除了“招手”和“擺手”兩個(gè)手勢之外，其他手勢的距離隨時(shí)間變化并不明顯。各種手勢的DTM, ATM和ETM分別如圖6、圖7和圖8所示?？梢钥闯觯M管“握拳”和“張開”兩個(gè)手勢在4種特征譜圖中的表現(xiàn)不夠明顯，但是除此之外，這4種特征譜圖聯(lián)合起來，能對微動(dòng)手勢進(jìn)行很清晰、準(zhǔn)確的表征。

圖6 12種手勢的DTM示例

圖7 12種手勢的ATM示例

圖8 12種手勢的ETM示例

由于采集到的手勢樣本數(shù)量比較有限，對于DenseNet這種深層網(wǎng)絡(luò)來說，這樣的數(shù)據(jù)集規(guī)模仍然較小，因此采用拉伸、旋轉(zhuǎn)、平移、裁剪和高斯模糊等圖像變換的方法對數(shù)據(jù)集進(jìn)行擴(kuò)充，這些變換可以等效為手勢動(dòng)作的誤差，能夠增強(qiáng)模型的魯棒性。

4.3 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)采用Python 3.8, Pytorch 1.12.0環(huán)境，此外，實(shí)驗(yàn)平臺(tái)如表2所示。使用交叉熵?fù)p失函數(shù)和Adam優(yōu)化器，初始網(wǎng)絡(luò)學(xué)習(xí)率設(shè)置為10-4并且使用余弦學(xué)習(xí)率策略進(jìn)行學(xué)習(xí)率調(diào)整。

表2 實(shí)驗(yàn)平臺(tái)

4.4 手勢識別結(jié)果

采用如圖4的手勢識別網(wǎng)絡(luò)，將混合特征譜圖轉(zhuǎn)化為灰度圖，作為輸入，對12種手勢進(jìn)行識別，此外，進(jìn)行了大量實(shí)驗(yàn)，對網(wǎng)絡(luò)的性能進(jìn)行驗(yàn)證。

4.4.1 網(wǎng)絡(luò)訓(xùn)練過程

在迭代過程中，網(wǎng)絡(luò)被逐步優(yōu)化直至收斂，測試集正確率整體穩(wěn)步上升并在一定水平上維持穩(wěn)定。最終得到總體分類正確率99.03%，其混淆矩陣如圖9所示?？梢姡疚奶岢龅氖謩葑R別網(wǎng)絡(luò)效果較好。對于幅度較大的運(yùn)動(dòng)手勢，如“左右揮手”“左劃”“右劃”“招手”“擺手”等，識別率幾乎可以達(dá)到100%。對于只包含手指運(yùn)動(dòng)的手勢，如“打勾”“畫叉”“點(diǎn)擊”，識別效果也較好，準(zhǔn)確率能達(dá)到98%以上。而對于易混淆手勢，如“順時(shí)針畫圓”和“逆時(shí)針畫圓”、“握拳”和“張開”，識別效果不夠理想，僅能達(dá)到96%。

圖9 所提網(wǎng)絡(luò)的混淆矩陣

4.4.2 網(wǎng)絡(luò)性能分析

本文分別采用原始特征圖與數(shù)據(jù)擴(kuò)充后的特征圖，對多種CNN進(jìn)行了實(shí)驗(yàn)，最終的模型識別率統(tǒng)計(jì)如表3所示?？梢?，數(shù)據(jù)擴(kuò)充能有效地提高識別效果。DenseNet121的識別率僅次于DenseNet161，但是其計(jì)算量較小，網(wǎng)絡(luò)參數(shù)個(gè)數(shù)較少，單次迭代用時(shí)60.02 s，模型訓(xùn)練速度更快，模型復(fù)雜度較低。綜合對比，本文選取有著最好的識別效果的DenseNet121。

表3 各種CNN模型進(jìn)行數(shù)據(jù)擴(kuò)充的效果對比

此外，CBAM的位置是由大量實(shí)驗(yàn)確定的。本文將DenseNet121網(wǎng)絡(luò)和CBAM的不同組合方式進(jìn)行試驗(yàn)。DenseNet121含有4個(gè)Dense Block，在不同位置加入CBAM，再采用圖像變換的方法對數(shù)據(jù)集進(jìn)行擴(kuò)充，以混合特征圖譜為輸入數(shù)據(jù)進(jìn)行手勢分類。CBAM模塊的插入情況按照位置采用4位二進(jìn)制碼，比如0011代表在Dense Block3和Dense Block4后插入CBAM，以此類推，不同情況的識別效果如表4所示。

表4 CBAM在DenseNet121不同位置的效果對比(%)

CBAM位置不同，對網(wǎng)絡(luò)模型性能帶來的影響也不同，1 011時(shí)甚至出現(xiàn)了負(fù)優(yōu)化的現(xiàn)象，CBAM位置為0010時(shí)相比原始DenseNet121網(wǎng)絡(luò)可以提升近1%。為了分析造成這種現(xiàn)象的原因，利用Grad-Cam繪制了CBAM插入位置不同的情況下，模型對于某輸入ATM的注意力分布熱圖，如圖10所示，其中紅色部分是對識別結(jié)果貢獻(xiàn)較大的部分。

圖10 注意力分布熱圖

當(dāng)CBAM位置為1 011和0100時(shí)，模型只關(guān)注到了手勢動(dòng)作的結(jié)束階段，在這一階段中，手勢動(dòng)作往往已經(jīng)接近完成，因此不能進(jìn)行很好地表征。當(dāng)CBAM位置為0110和0001時(shí)，模型只關(guān)注到了手勢剛剛開始的部分。當(dāng)CBAM位置為0010時(shí)，模型很好地關(guān)注到了手勢的開始和中間部分。這個(gè)階段中往往存在較大且表征性較強(qiáng)的手勢運(yùn)動(dòng)，因此該階段的手勢特征也更加有效，故而可以獲得更高的模型識別率。綜上，本文提出的手勢識別網(wǎng)絡(luò)將DenseNet和CBAM進(jìn)行了較好的融合，與其他CNN相比，實(shí)現(xiàn)了高精度的手勢識別。

5 結(jié)論

本文提出一種新型的基于MIMO毫米波雷達(dá)的微動(dòng)手勢識別方法，提高了手勢識別效果，實(shí)現(xiàn)了高精度的手勢識別。在現(xiàn)有研究成果的基礎(chǔ)上，采用4片AWR1243雷達(dá)板級聯(lián)而成的MMWCAS雷達(dá)采集手勢回波，構(gòu)建了包含12種手勢，每種手勢600個(gè)樣本的手勢識別數(shù)據(jù)集，為手勢數(shù)據(jù)處理工作提供了有力的數(shù)據(jù)支撐。然后，利用距離-多普勒譜圖和3D點(diǎn)云進(jìn)行目標(biāo)檢測，提取了距離-時(shí)間譜圖、多普勒-時(shí)間譜圖、微多普勒-時(shí)間譜圖、方位角-時(shí)間譜圖和俯仰角-時(shí)間譜圖這5種特征，與其他研究相比，更加全面，能夠準(zhǔn)確表征多種微動(dòng)手勢。最后，提出了基于DenseNet和CBAM的手勢識別網(wǎng)絡(luò)，使用數(shù)據(jù)擴(kuò)充后的混合特征圖譜進(jìn)行手勢分類，實(shí)驗(yàn)表明，本網(wǎng)絡(luò)將注意力放在手勢動(dòng)作的前半段，并且能夠靈活調(diào)整，達(dá)到了99.03%的識別率，實(shí)現(xiàn)了高精度的手勢識別。