陳濤，張法桐，劉子銘

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

手勢(shì)識(shí)別技術(shù)在非接觸式的人機(jī)交互中的應(yīng)用價(jià)值廣泛，可用于智能家居[1-2]、虛擬現(xiàn)實(shí)[3]、智能駕駛[4-5]、游戲控制[6]等多種應(yīng)用場(chǎng)景。FMCW 毫米波雷達(dá)具有硬件成本低，測(cè)距、測(cè)速方案簡(jiǎn)單，抗干擾能力強(qiáng)，可全天候工作且不會(huì)泄露用戶(hù)隱私等優(yōu)點(diǎn)，在手勢(shì)識(shí)別的應(yīng)用上具有可觀(guān)的應(yīng)用前景。

FMCW 毫米波雷達(dá)是一種可以從目標(biāo)回波中估計(jì)目標(biāo)的距離、速度、角度信息的一種傳感器，文獻(xiàn)[7-8]介紹了傳統(tǒng)FMCW 雷達(dá)的調(diào)制波形，討論了FMCW 信號(hào)的混頻和調(diào)制原理?；诤撩撞ɡ走_(dá)的手勢(shì)識(shí)別技術(shù)主要通過(guò)在回波中提取手勢(shì)動(dòng)作的距離、速度甚至角度等信息進(jìn)行估計(jì)后得到特征譜圖，然后將特征譜圖以圖片數(shù)據(jù)集的形式使用支持向量機(jī)(support vector machine,SVM)[9]或者卷積神經(jīng)網(wǎng)絡(luò)[10-16]等分類(lèi)器進(jìn)行識(shí)別。谷歌公司在Soli 項(xiàng)目[10-11]中采用了帶寬高達(dá)7 GHz 的毫米波雷達(dá)對(duì)手勢(shì)識(shí)別進(jìn)行了研究，利用卷積神經(jīng)網(wǎng)絡(luò)將連續(xù)時(shí)刻的距離-多普勒像逐幀特征提取，再利用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)序特征進(jìn)行提取后進(jìn)行手勢(shì)分類(lèi)。文獻(xiàn)[12]利用短時(shí)傅里葉變換(short-time Fourier transform,STFT)對(duì)雷達(dá)回波信號(hào)進(jìn)行時(shí)頻分析，得到多普勒譜，并將多普勒譜圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)實(shí)現(xiàn)了手勢(shì)識(shí)別。文獻(xiàn)[13]通過(guò)對(duì)混頻后的中頻信號(hào)進(jìn)行2 維快速傅里葉變換獲取手勢(shì)的距離多普勒?qǐng)D像，以2 維距離多普勒像構(gòu)建數(shù)據(jù)集，并輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。文獻(xiàn)[14]通過(guò)時(shí)頻分析和多重信號(hào)分類(lèi)方法估計(jì)了手勢(shì)的距離、速度以及角度信息，構(gòu)建了多維參數(shù)輸入的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)估計(jì)的信息進(jìn)行了分類(lèi)；文獻(xiàn)[15]提出了微動(dòng)手勢(shì)的特征提取的最優(yōu)參數(shù)設(shè)置準(zhǔn)則，利用多特征譜圖進(jìn)行了微動(dòng)手勢(shì)識(shí)別。靳標(biāo)等[16]提出了一種串聯(lián)式一維神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別方法，該方法對(duì)雷達(dá)回波直接進(jìn)行卷積池化，通過(guò)1 維Inception 模塊后，利用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)進(jìn)行分類(lèi)。本文在距離多普勒?qǐng)D的基礎(chǔ)上，提取了距離、速度變化的時(shí)序信息并使用全局池化代替扁平層與全連接層構(gòu)建了雙通道的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了手勢(shì)識(shí)別。

1 FMCW 毫米波雷達(dá)原理分析

1.1 雷達(dá)平臺(tái)參數(shù)設(shè)值

本文采用的FMCW 毫米波雷達(dá)設(shè)備為T(mén)I 公司的IWR1642-BOOST 開(kāi)發(fā)板，支持77～81 GHz 的調(diào)頻帶寬，在水平方向具有±60°的視場(chǎng)，支持最多2 個(gè)發(fā)射天線(xiàn)4 個(gè)接收天線(xiàn)。本文僅使用了1 個(gè)發(fā)射天線(xiàn)，僅讀取了1 個(gè)接收天線(xiàn)的數(shù)據(jù)。波形配置圖如圖1 所示。

圖1 毫米波雷達(dá)脈沖配置

從圖1 可以看出，數(shù)模轉(zhuǎn)換器(analog-todigital converter，ADC)會(huì)在上升時(shí)間之內(nèi)的一段時(shí)間內(nèi)進(jìn)行采樣?？梢酝ㄟ^(guò)配置采樣點(diǎn)數(shù)NADC以及采樣率Fs來(lái)計(jì)算采樣時(shí)間TADC：

在采樣時(shí)間確定之后，可以通過(guò)設(shè)置信號(hào)的調(diào)頻斜率K來(lái)得到有效的調(diào)頻帶寬B：

在得到有效調(diào)頻帶寬后可求得距離分辨率dres：

式中c為光速。

FMCW 毫米波雷達(dá)會(huì)發(fā)射M個(gè)圖2 形式的線(xiàn)性調(diào)頻脈沖幀,根據(jù)FMCW 毫米波雷達(dá)測(cè)速原理，可以通過(guò)配置圖1 中的調(diào)頻周期Tc(chirp cycle time)，求得最大測(cè)量速度vmax：

圖2 線(xiàn)性調(diào)頻脈沖幀

式中 λ為載波頻率對(duì)應(yīng)的波長(zhǎng)。

可以通過(guò)配置每幀的調(diào)頻脈沖數(shù)Nchirp來(lái)求得速度分辨率vres：

本文中的雷達(dá)參數(shù)為：調(diào)頻起始頻率f0，77 GHz；調(diào)頻斜率K，66.6 MHz/μs；調(diào)頻周期Tc，160 μs；ADC 采樣率，5 MS/s;ADC 采樣點(diǎn)數(shù)，256；幀數(shù)，64 f;每幀脈沖數(shù)，128。

結(jié)合雷達(dá)參數(shù)配置，根據(jù)式（1）求得距離分辨率：

根據(jù)式（2）求得可觀(guān)測(cè)最大速度：

根據(jù)式（3）求得速度分辨率：

1.2 手勢(shì)成像原理

在一個(gè)調(diào)頻周期內(nèi)，雷達(dá)發(fā)射的FMCW 信號(hào)可以表示為

式中：t為一個(gè)調(diào)頻周期內(nèi)的快時(shí)間索引，AT為發(fā)射信號(hào)振幅，fc為載波中心頻率。

由發(fā)射信號(hào)可以將目標(biāo)場(chǎng)景反射信號(hào)表示為

式中：AR為接收信號(hào)振幅；Δt為信號(hào)飛行時(shí)間，Δt=2R/C；R為目標(biāo)相對(duì)雷達(dá)的徑向距離；K(τ-Δt)為 τ時(shí)刻接收信號(hào)頻率；Δfd為多普勒頻移。

接收機(jī)將目標(biāo)場(chǎng)景反射的回波信號(hào)與發(fā)射信號(hào)進(jìn)行混頻和低通濾波后得到中頻信號(hào)，近似為

式中fIF=KΔt為t時(shí)刻中頻信號(hào)的頻率。所以，得到的中頻信號(hào)的相位可表示為

式中：fcΔt相對(duì)于快時(shí)間來(lái)說(shuō)為一常量，可認(rèn)為是初相；fIF只與調(diào)頻周期內(nèi)對(duì)應(yīng)的快時(shí)間索引有關(guān)，由于Tc很小，通常假定一個(gè)調(diào)頻周期內(nèi)多普勒頻移 Δfd是恒定的，則可通過(guò)對(duì)快時(shí)間域進(jìn)行快速傅里葉變換求得到與目標(biāo)距離相關(guān)的中頻信號(hào)頻率分布；當(dāng)不同調(diào)頻周期的fIF固定時(shí)，即距離相同時(shí)，Δfd僅與調(diào)頻周期之間對(duì)應(yīng)的慢時(shí)間索引有關(guān)，從而在慢時(shí)間域進(jìn)行快速傅里葉變換可以得到與目標(biāo)速度相關(guān)的多普勒頻移分布。

為了實(shí)現(xiàn)上述方法，需要將雷達(dá)回波處理成為一個(gè)矩陣的形式：矩陣的每一列代表快時(shí)間方向上Nadc個(gè)采樣點(diǎn)，每一行代表慢時(shí)間不同的Nchirp個(gè)脈沖信號(hào)的回波在相同快時(shí)間處的值。

以幀為單位處理信號(hào)，可得到M個(gè)Nadc×Nchirp的矩陣。對(duì)每一個(gè)矩陣快時(shí)間維做FFT 即可得到M個(gè)二維距離譜圖，后對(duì)二維距離譜圖進(jìn)行自相關(guān)，抑制背景噪聲。假設(shè)每幀內(nèi)的目標(biāo)距離相同，對(duì)得到的每一個(gè)二維距離譜圖抽取第1 列后，按幀拼接，得到距離-時(shí)間譜。

對(duì)二維距離譜圖，在慢時(shí)間方向做FFT 即可得到距離-多普勒?qǐng)D，將多個(gè)距離多普勒?qǐng)D按行累加后轉(zhuǎn)置得到多個(gè)列向量，將多個(gè)列向量按幀拼接即得到速度-時(shí)間譜圖。

最終得到的手勢(shì)特征圖大小均為64×64。圖3 給出了手勢(shì)動(dòng)作的示意圖以及手勢(shì)動(dòng)作的回波特征圖。本文將雷達(dá)前的人也考慮在內(nèi)，即距離隨時(shí)間變化圖(range-time map，RTM)中距離不變的橫線(xiàn)，以及速度隨時(shí)間變化圖(Doppler-time map，DTM)中速度為0 的橫線(xiàn)。

圖3 7 種手勢(shì)示意及對(duì)應(yīng)的2 種特征圖

2 卷積神經(jīng)網(wǎng)絡(luò)

在利用上述方法得到特征圖后，需要利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，在學(xué)習(xí)前首先需要建立樣本集供神經(jīng)網(wǎng)絡(luò)訓(xùn)練。本文通過(guò)4 名志愿者對(duì)7 種手勢(shì)進(jìn)行樣本集構(gòu)建。每種手勢(shì)200 個(gè)樣本，構(gòu)建了各有1 400 個(gè)樣本的2 個(gè)數(shù)據(jù)集RTM、DTM，在此基礎(chǔ)上構(gòu)建了二維的數(shù)據(jù)集，將其命名為MUL，MUL 中每種手勢(shì)由2 個(gè)特征圖表征。

對(duì)于RTM 和DTM 數(shù)據(jù)集，本文使用了全局平均池化層來(lái)代替扁平層以及全連接層，搭建了3 個(gè)卷積-池化層的單通道卷積神經(jīng)網(wǎng)絡(luò)。本文所使用的單通道卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示。

表1 單通道卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文使用表1 所示的網(wǎng)絡(luò)分別對(duì)由RTM 和DTM 特征圖構(gòu)建的樣本集進(jìn)行了訓(xùn)練。同時(shí)基于表1 網(wǎng)絡(luò)構(gòu)建了雙通道的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)本文構(gòu)建的二維手勢(shì)樣本集MUL 進(jìn)行了訓(xùn)練，進(jìn)而驗(yàn)證雙通道神經(jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練結(jié)果的影響。本文所構(gòu)建的雙通道的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 雙通道卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)平臺(tái)

使用了TI 公司的DCA1000EVM 高速數(shù)據(jù)采集卡獲取毫米波雷達(dá)中頻信號(hào)采樣后的ADC 原始數(shù)據(jù)，并經(jīng)過(guò)千兆網(wǎng)口傳輸?shù)絇C 端(Windows10 64 位操作系統(tǒng)，NVIDIA GeForce GTX 1 050 顯卡)，在Matlab 2020a 中進(jìn)行數(shù)據(jù)處理，建立數(shù)據(jù)集后使用Tensorflow2.1 深度學(xué)習(xí)框架搭建了神經(jīng)網(wǎng)絡(luò)，并使用本文的樣本集對(duì)網(wǎng)絡(luò)進(jìn)行了學(xué)習(xí)分類(lèi)。

3.2 單通道卷積神經(jīng)網(wǎng)絡(luò)驗(yàn)證

在單輸入的網(wǎng)絡(luò)驗(yàn)證中，對(duì)RTM 與DTM 這2 種特征圖的操作相同。每種數(shù)據(jù)集具有1 120個(gè)訓(xùn)練樣本以及280 個(gè)測(cè)試樣本。使用Adam 的優(yōu)化算法，初始學(xué)習(xí)率設(shè)置為0.001，選取了指數(shù)型學(xué)習(xí)率衰減的方法，使學(xué)習(xí)率在100 個(gè)epoch內(nèi)連續(xù)衰減10%，設(shè)置的批尺寸為8。從圖5 中可以看出卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練在測(cè)試集的準(zhǔn)確率隨迭代步數(shù)的變化情況。

圖5 單通道網(wǎng)絡(luò)在RTM 和DTM 中的準(zhǔn)確率對(duì)比

從圖5 中可以看出，卷積神經(jīng)網(wǎng)絡(luò)對(duì)在對(duì)本文建立的樣本集進(jìn)行訓(xùn)練的最終識(shí)別率達(dá)到了95%以上，DTM 數(shù)據(jù)集與RTM 數(shù)據(jù)集的訓(xùn)練結(jié)果近似相同，且2 種數(shù)據(jù)集在進(jìn)行了40 個(gè)epoch后均達(dá)到了收斂。

3.3 雙通道卷積神經(jīng)網(wǎng)絡(luò)驗(yàn)證

雙通道網(wǎng)絡(luò)同樣使用Adam 優(yōu)化算法，初始學(xué)習(xí)率設(shè)置為0.001，選取指數(shù)型學(xué)習(xí)率衰減的方法，使學(xué)習(xí)率在100 個(gè)epoch 內(nèi)連續(xù)衰減10%，設(shè)置批尺寸為8。

測(cè)試集的準(zhǔn)確率隨迭代步數(shù)的變化如圖6 中MUL 所示。

圖6 不同方法訓(xùn)練結(jié)果對(duì)比

從圖6 中可以看出，雙通道的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在測(cè)試集上的準(zhǔn)確率達(dá)到了近99%，相較于單通道神經(jīng)網(wǎng)絡(luò)，最終的識(shí)別率提升了近4%。由于網(wǎng)絡(luò)的優(yōu)化算法、學(xué)習(xí)率、衰減率等沒(méi)有改變，所以2 種網(wǎng)絡(luò)的收斂速度幾乎相同，只是第2 種的網(wǎng)絡(luò)規(guī)模是第1 種的2 倍，所以在網(wǎng)絡(luò)訓(xùn)練時(shí)多輸入網(wǎng)絡(luò)用的時(shí)間是單輸入的2 倍。本文參考搭建了文獻(xiàn)[13]中的單通道的僅兩層卷積層的網(wǎng)絡(luò)模型，并在此基礎(chǔ)上搭建了雙通道網(wǎng)絡(luò)模型，2 種模型在本文數(shù)據(jù)集（單通道對(duì)比模型使用RTM 數(shù)據(jù)集訓(xùn)練）中的訓(xùn)練結(jié)果分別如圖6 中的單通道對(duì)比網(wǎng)絡(luò)及雙通道對(duì)比網(wǎng)絡(luò)所示。

4 結(jié)論

本文的FMCW 雷達(dá)手勢(shì)識(shí)別系統(tǒng)將人體作為參考特征，構(gòu)建了手勢(shì)動(dòng)作的距離-時(shí)間、速度-時(shí)間特征圖，使用全局平均池化層代替扁平層與全連接層的情況下構(gòu)建了雙通道的卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)使用本文構(gòu)建的數(shù)據(jù)集訓(xùn)練，最終在測(cè)試集上達(dá)到了99%的識(shí)別率，相較于單通道的卷積神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練集上的準(zhǔn)確率提高了近4%。通過(guò)與其他方法對(duì)比可以得出：1）網(wǎng)絡(luò)模型對(duì)不同的數(shù)據(jù)集將會(huì)產(chǎn)生不同的結(jié)果；2）卷積層數(shù)增多會(huì)提取到更深層的信息，進(jìn)而在一定條件下得到更好的擬合結(jié)果；3）驗(yàn)證了聯(lián)合多特征的識(shí)別方法優(yōu)于單特征的識(shí)別方法。