文章編號：2096-1472（2024）03-0021-05

DOI：10.19644/j.cnki.issn2096-1472.2024.003.005

摘"要：針對傳統(tǒng)的視覺識別人體動作易受到光照變化、被遮擋和隱私問題等的影響，提出一種基于77 GHz毫米波雷達(dá)識別人體動作的方案。首先，使用77 GHz毫米波雷達(dá)采集人體動作的雷達(dá)回波樣本，處理回波樣本得到微多普勒頻譜圖；其次，首次提出一種新的自適應(yīng)參數(shù)整流線性單元激活函數(shù)，將該激活函數(shù)與Resnet-18網(wǎng)絡(luò)相結(jié)合；最后，將微多普勒頻譜圖數(shù)據(jù)集放入該網(wǎng)絡(luò)訓(xùn)練并分類。實(shí)驗(yàn)結(jié)果表明，該方案對5種人體動作的平均識別準(zhǔn)確率高達(dá)97.56%，較Resnet-PReLU網(wǎng)絡(luò)提高了1.78%，有效地提高了對人體動作的識別精度。

關(guān)鍵詞：毫米波雷達(dá)；人體動作；微多普勒頻譜圖；激活函數(shù)

中圖分類號：TP183""文獻(xiàn)標(biāo)志碼：A

Human Motion Recognition Based on Micro-Doppler Features

LIN Zhiwei¹， LIU Zilong¹， YUAN Yusheng¹， NI Qinwei¹， CAI Zhiming^1，2

（1. School of Electronic， Electrical Engineering and Physics， Fujian University of Technology， Fuzhou 350118， China;

2. National Demonstration Center for Experimental Electronic Information and Electrical Technology Education， Fujian University of Technology， Fuzhou 350118， China）

2211905020@smail.fjut.edu.cn； 2211905025@smail.fjut.edu.cn； 2221908016@smail.fjut.edu.cn；2221905029@smail.fjut.edu.cn； caizm@fjut.edu.cn

Abstract： This paper proposes a solution based on 77 GHz millimeter wave radar to address the impact of lighting changes， being occluded， and privacy issues on traditional visual recognition of human motions. Firstly， the 77 GHz millimeter wave radar is used to collect radar echo samples of human motions， and the echo samples are processed to obtain micro-Doppler spectrograms. Secondly， a new adaptive parameter rectification linear unit activation function that is proposed for the first time is combined with the Resnet-18 network. Finally， the micro-Doppler spectrogram dataset is placed into the network for training and classification. The experimental results show that the average recognition accuracy of this solution for five human moitions is as high as 97.56%， which is 1.78% higher than the Resnet-PReLU network， effectively improving the recognition accuracy of human motions.

Key words： millimeter wave radar; human motions; micro-Doppler spectrogram; activation function

0""引言（Introduction）

人體動作識別可以應(yīng)用在人機(jī)交互、醫(yī)療健康檢測、老年人護(hù)理^［1］等領(lǐng)域。采用攝像頭對人體動作進(jìn)行識別時容易受到光照變化、被遮擋等的影響，并且存在隱私問題，不適合在臥室、洗手間等隱私空間使用?；诤撩撞ɡ走_(dá)的人體動作識別系統(tǒng)解決了攝像頭識別方式的缺陷和識別對象的隱私問題，并且抗干擾能力強(qiáng)。

目前，基于雷達(dá)系統(tǒng)的人體動作識別分類已經(jīng)有大量學(xué)者進(jìn)行了研究。SHRESTHA等^［2］和LI等^［3］使用雙層LSTM（Long Short-Term Memory）結(jié)構(gòu)學(xué)習(xí)FMCW（Frequency Modulated Continuous Wave）信號，用于識別人體不同的動作。蔣留兵等^［4］構(gòu)建了基于LC-KSVD（Label Consistent K-Singular Value Decomposition）字典學(xué)習(xí)的77 GHz雷達(dá)人體動作識別系統(tǒng)，使用特征融合方法提升了動作分類準(zhǔn)確率。

但是，針對人體動作識別^［5］任務(wù)，上述研究仍存在很多問題，例如手動提取特征耗時費(fèi)力、動作識別精度有待提高等。本文通過深度學(xué)習(xí)方法學(xué)習(xí)微多普勒特征^［6-9］，實(shí)現(xiàn)人體動作識別，避免了手動提取特征耗時費(fèi)力的問題。針對識別精度問題，提出了一種新的自適應(yīng)參數(shù)整流線性單元激活函數(shù)，能夠更好地發(fā)揮激活函數(shù)的非線性變換能力，達(dá)到提升網(wǎng)絡(luò)性能的目的。通過實(shí)驗(yàn)證明，本文所提的方案能夠有效地提高人體動作的識別精度。

1""微多普勒頻譜圖（Micro-Doppler spectrograms）

通過毫米波雷達(dá)信號模型采集得到人體動作的雷達(dá)信號，將所得到的雷達(dá)信號通過3D-FFT（Three-Dimensional Fast Fourier Transform）和CA-CFAR（Cell Average-Constant False Alarm Rate）依次生成距離-多普勒熱力圖和距離-角熱力圖，再使用DBSCAN（Density-Based Spatial Clustering of Applications with Noise）聚類算法和短時傅里葉變換方法，構(gòu)建出微多普勒頻譜圖。

1.1""毫米波雷達(dá)信號模型

毫米波雷達(dá)能夠發(fā)射調(diào)頻連續(xù)波，本文采用調(diào)頻連續(xù)波信號，以此形成所接收到的雷達(dá)信號。調(diào)頻連續(xù)波具有穿透力強(qiáng)、精度高、穩(wěn)定性強(qiáng)、抗干擾能力強(qiáng)等優(yōu)點(diǎn)。

可以將毫米波雷達(dá)發(fā)射信號表示如下：

1.2""微多普勒頻譜圖的構(gòu)建

圖1為三維快速傅里葉變換流程圖。如圖1所示，首先處理毫米波雷達(dá)信號的快、慢時間維度的多周期chirp序列和回波信息，其次提取出人體動作的距離與速度信息。在快時間維度處理中，通過距離-FFT對快時間維度的每一幀進(jìn)行處理，提取譜峰橫坐標(biāo)對應(yīng)的頻率求解目標(biāo)的距離。在慢時間維度處理中，通過速度-FFT對同一距離單元進(jìn)行處理，從而提取譜峰橫坐標(biāo)對應(yīng)的多普勒頻率，進(jìn)而得到目標(biāo)的速度。對雷達(dá)回波通過距離-FFT和速度-FFT處理后能夠得到距離-多普勒熱力圖。使用CA-CFAR算法對距離-多普勒熱力圖檢測每一個距離箱的最大多普勒峰值，通過角度-FFT檢測多普勒箱，疊加每個角度-FFT的結(jié)果，從而得到距離-角熱力圖。

圖2為構(gòu)建微多普勒頻譜圖的流程圖。將采集得到的雷達(dá)信號通過3D-FFT和CA-CFAR依次生成距離-多普勒熱力圖和距離-角熱力圖。使用DBSCAN聚類算法確定人體目標(biāo)的中心位置，距離-角熱力圖的人體目標(biāo)雷達(dá)數(shù)據(jù)通過設(shè)置一個邊界框進(jìn)行提取，以此能夠從原始數(shù)據(jù)中剪切有效的人體目標(biāo)數(shù)據(jù)立方體。由于整個回波序列的FFT會丟失時間信息，因此使用短時傅里葉變換獲得時間與頻率的關(guān)系。短時傅里葉變換采用滑動窗口機(jī)制設(shè)定窗口大小和步長，讓窗口在時域信號上滑動，分別計算每個窗口的傅里葉變換，形成不同時間窗口對應(yīng)的頻域信號，把這些不同時間窗口對應(yīng)的頻域信號拼接起來，就能夠得到頻率隨時間變化的關(guān)系，從而構(gòu)建出微多普勒時頻圖，可用于提取人體動作的微多普勒特征。

微多普勒特征的計算公式如下：

其中：x（t）為人體目標(biāo)信號，ω（t）為窗口函數(shù)。

2""改進(jìn)PReLU激活函數(shù)（Improved PReLU activation function）

激活函數(shù)在神經(jīng)網(wǎng)絡(luò)中具有重要作用，主要是為了增加神經(jīng)網(wǎng)絡(luò)模型的非線性。通過改進(jìn)PReLU激活函數(shù)，讓它能夠達(dá)到更好的效果。

2.1""激活函數(shù)

ReLU激活函數(shù)是原ResNet網(wǎng)絡(luò)模型的激活函數(shù)，也是深度學(xué)習(xí)方法常使用到的激活函數(shù)之一。與Sigmoid函數(shù)和tanh函數(shù)相比較，ReLU激活函數(shù)可以有效預(yù)防梯度消失和梯度爆炸。ReLU可以表示如下：

為了提升激活函數(shù)的性能，已經(jīng)研究出了許多關(guān)于ReLU的變種，如LReLU和PReLU等。LReLU與ReLU的不同之處在于能夠?qū)ω?fù)特征應(yīng)用一個較小的、非零的倍增函數(shù)（如0.1），并非強(qiáng)制為0，LReLU的公式如下：

y=max（x，0）+0.1min（x，0）（8）

PReLU是LReLU的變種，可以將其表示如下：

y=max（x，0）+αmin（x，0）（9）

其中，α為可訓(xùn)練的參數(shù)。與LReLU不同的是，PReLU能夠使得特征圖的每一個通道都有該通道的α，因此非線性變換變得高度靈活。

2.2""Resnet-IPReLU網(wǎng)絡(luò)

為了更好地發(fā)揮激活函數(shù)的非線性變換能力，本文提出了新的自適應(yīng)參數(shù)整流線性單元激活函數(shù)IPReLU，并將其搭載在Resnet-18^［10］網(wǎng)絡(luò)模型上。圖3為IPReLU激活函數(shù)的結(jié)構(gòu)。

由圖3可知，與PReLU不同的是，IPReLU增加了一個小型全連接網(wǎng)絡(luò)對負(fù)數(shù)特征的權(quán)重進(jìn)行訓(xùn)練。IPReLU的α由訓(xùn)練輸入的特征圖像的正負(fù)特征值得到，第一步將計算輸入的特征圖得到正特征圖和負(fù)特征圖；第二步分別進(jìn)行全局池化得到正n元向量和負(fù)n元向量，將所得到的正n元向量和負(fù)n元向量通過級聯(lián)后得到2n元向量；第三步把2n元向量通過linear激活函數(shù)激活后得到的結(jié)果進(jìn)行歸一化，歸一化的結(jié)果再通過softmax激活函數(shù)激活，從而得到一個n元權(quán)值向量α。

殘差網(wǎng)絡(luò)的核心思想是通過將當(dāng)前特征層的輸出短路直接連接到后面的特征層，作為后面特征層的一部分輸入，通過不斷的短路連接能夠保證梯度在傳遞的過程中不會消失。殘差網(wǎng)絡(luò)具有比一般網(wǎng)絡(luò)更深的網(wǎng)絡(luò)結(jié)構(gòu)，并且使用Batch Normalization代替Dropout加速訓(xùn)練。目前，常見的殘差網(wǎng)絡(luò)模型有Resnet-18、Resnet-34、Resnet-50等，其中數(shù)字表示該殘差網(wǎng)絡(luò)中有權(quán)重的層數(shù)，如卷積層與全連接層。本文通過將IPReLU與Resnet-18網(wǎng)絡(luò)模型相結(jié)合實(shí)現(xiàn)人體不同動作的分類。圖4為Resnet-IPReLU網(wǎng)絡(luò)模型結(jié)構(gòu)。

3""實(shí)驗(yàn)數(shù)據(jù)集（Experiment dataset）

采用毫米波雷達(dá)采集不同人體動作的雷達(dá)回波，對該雷達(dá)回波通過一系列處理后得到不同人體動作的微多普勒頻譜圖，從而得到實(shí)驗(yàn)所需的數(shù)據(jù)集。

3.1""實(shí)驗(yàn)裝置

采集人體不同動作信號所用到的設(shè)備為TexasInstruments公司研發(fā)的AWR1443BOOST雷達(dá)傳感器模塊和DCA1000EVM數(shù)據(jù)采集適配器模塊。圖5為AWR1443BOOST雷達(dá)傳感器模塊，圖6為DCA1000EVM數(shù)據(jù)采集適配器模塊，表1為毫米波雷達(dá)裝置的參數(shù)。

3.2""數(shù)據(jù)采集

本文實(shí)驗(yàn)在室內(nèi)進(jìn)行，雷達(dá)的扇形掃描平面內(nèi)除實(shí)驗(yàn)?zāi)繕?biāo)外，沒有其他運(yùn)動目標(biāo)。將雷達(dá)設(shè)備放置在距地面高1.5 m處，測試者在雷達(dá)正前方1.4～5 m的范圍內(nèi)做本研究所需的動作。參與本次數(shù)據(jù)采集的志愿者共有10名，年齡在22～25歲范圍內(nèi)，身高在1.58～1.85 m范圍內(nèi)，體重在50～88 kg范圍內(nèi)。

本研究共采集5個動作，分別為跑步、跳繩、走路、仰臥起坐、深蹲。測試者重復(fù)執(zhí)行每種動作30次，共采集1 500組數(shù)據(jù)。采集所得到的1 500組數(shù)據(jù)通過本文“1.2節(jié)”提到的方法構(gòu)建微多普勒頻譜圖，將數(shù)據(jù)以7∶3的比例分別作為實(shí)驗(yàn)所需的訓(xùn)練集和測試集。本文采集不同動作的雷達(dá)信號構(gòu)成的微多普勒頻譜圖如圖7所示，圖7（a）至圖7（e）分別表示跑步、跳繩、走路、仰臥起坐、深蹲動作的微多普勒頻譜圖。

4""實(shí)驗(yàn)結(jié)果及分析（Experimental results and analysis）

網(wǎng)絡(luò)訓(xùn)練使用的硬件平臺是CPU（Intel酷睿i5-12490F，內(nèi)存為32 GB）+GPU（NVIDIA RTX 3060Ti，顯存為8 GB）。本實(shí)驗(yàn)的超參數(shù)設(shè)置如下：batch-size為32，損失函數(shù)為交叉熵?fù)p失，整個網(wǎng)絡(luò)訓(xùn)練的epoch為30。

為了驗(yàn)證本文提出的新的自適應(yīng)參數(shù)整流線性單元激活函數(shù)的改進(jìn)效果，將PReLU激活函數(shù)同樣搭載在Resnet-18網(wǎng)絡(luò)上，對比不同人體動作在兩種網(wǎng)絡(luò)模型上所得到的識別準(zhǔn)確率。

為了驗(yàn)證本文提出的基于77 GHz毫米波雷達(dá)通過改進(jìn)的Resnet-18識別人體動作的方案的可行性，并與特征融合^［4］和主成分分析法提取特征^［5］分別在平均識別準(zhǔn)確率和單個動作識別準(zhǔn)確率上進(jìn)行對比分析。

4.1""對比PReLU和IPReLU

將采集處理得到的微多普勒頻譜圖作為數(shù)據(jù)集分別放入Resnet-IPReLU和Resnet-PReLU網(wǎng)絡(luò)模型中。表2為通過Resnet-PReLU網(wǎng)絡(luò)模型識別不同人體動作準(zhǔn)確率的混淆矩陣，表3為通過Resnet-IPReLU網(wǎng)絡(luò)模型識別不同人體動作準(zhǔn)確率的混淆矩陣。由表2和表3可以看出，Resnet-IPReLU網(wǎng)絡(luò)對跑步、走路、仰臥起坐和深蹲4個動作的識別準(zhǔn)確率明顯高于Resnet-PReLU網(wǎng)絡(luò)，分別提高了1.1%、2.2%、2.2%和3.3%。Resnet-IPReLU網(wǎng)絡(luò)模型的平均識別準(zhǔn)確率高達(dá)97.56%，Resnet-PReLU網(wǎng)絡(luò)模型的平均識別準(zhǔn)確率為95.78%，兩個網(wǎng)絡(luò)模型相對比，Resnet-IPReLU網(wǎng)絡(luò)模型提高了1.78%。由此可以看出，本文提出的新的自適應(yīng)參數(shù)整流線性單元激活函數(shù)訓(xùn)練負(fù)數(shù)特征的權(quán)重能更好地提取微多普勒特征，使得網(wǎng)絡(luò)對于不同人體動作分類具有更強(qiáng)的鑒別能力。

4.2""不同算法對比

為了驗(yàn)證本文提出的方案的可行性及對其進(jìn)行客觀、公正的評價，將本文方案與特征融合和主成分分析法提取特征進(jìn)行對比分析，對比結(jié)果如表4所示。由于每篇文獻(xiàn)的分類算法不同，因此將本研究分類的5個動作與特征融合和主成分分析法提取特征分類的相同動作進(jìn)行對比分析。此外，特征融合和主成分分析法提取特征中未測試的動作以“—”表示。

如表4所示，經(jīng)對比發(fā)現(xiàn)本文方案得到的平均識別準(zhǔn)確率均高于特征融合和主成分分析法提取特征，分別高出4.23%和1.23%。雖然本文方案對走路動作的識別準(zhǔn)確率均低于特征融合和主成分分析法提取特征，但是單個動作的識別率能夠達(dá)到94%以上，能夠較穩(wěn)定且準(zhǔn)確地對單個動作進(jìn)行識別。特征融合和主成分分析法提取特征需要手動提取特征后，再將特征組合，并且使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法對特征進(jìn)行識別分類，特征提取過程耗時費(fèi)力且提取的特征不夠全面。相比之下，本文方案使用的Resnet-IPReLU網(wǎng)絡(luò)模型，不用對特征進(jìn)行手動提取，并且提出新的自適應(yīng)參數(shù)整流線性單元激活函數(shù)使得非線性變換更加靈活，能更好地進(jìn)行人體動作識別分類，說明了本研究提出方案的優(yōu)越性。

5""結(jié)論（Conclusion）

本文提出的基于77 GHz毫米波雷達(dá)識別人體動作的方案通過Resnet-18殘差網(wǎng)絡(luò)提取微多普勒特征，引入一種新的自適應(yīng)參數(shù)整流線性單元激活函數(shù)提高了網(wǎng)絡(luò)對人體動作識別分類的能力。針對人體動作識別問題，本文對激活函數(shù)進(jìn)行改進(jìn)，提出新的自適應(yīng)參數(shù)整流線性單元激活函數(shù)，更好地發(fā)揮激活函數(shù)的非線性變換能力。實(shí)驗(yàn)結(jié)果表明，本文提出的方案對5個不同動作平均識別準(zhǔn)確率高達(dá)97.56%，較Resnet-PReLU網(wǎng)絡(luò)提高了1.78%，證明了本文提出方案的有效性。同時，將其與特征融合和主成分分析法提取特征進(jìn)行了對比分析，其平均識別準(zhǔn)確率均高于對比方案，證明了本文提出方案的可行性。接下來，將嘗試使用其他不同人體動作，并通過提高數(shù)據(jù)集的大小評估本文研究的網(wǎng)絡(luò)模型的性能。

參考文獻(xiàn)（References）

［1］ 元志安，周笑宇，劉心溥，等. 基于RDSNet的毫米波雷達(dá)人體跌倒檢測方法［J］. 雷達(dá)學(xué)報，2021，10（4）：656-664.

［2］ SHRESTHA A，LI H B，LE KERNEC J，et al. Continuous human activity classification from FMCW radar with Bi-LSTM networks［J］. IEEE sensors journal，2020，20（22）：13607-13619.

［3］ LI H B，SHRESTHA A，HEIDARI H，et al. Bi-LSTM network for multimodal continuous human activity recognition and fall detection［J］. IEEE sensors journal，2020，20（3）：1191-1201.

［4］ 蔣留兵，魏光萌，車?yán)? 基于字典學(xué)習(xí)的77 GHz雷達(dá)人體動作識別［J］. 科學(xué)技術(shù)與工程，2020，20（6）：2317-2324.

［5］ BRYAN J D，KWON J，LEE N，et al. Application of ultra-wide band radar for classification of human activities［J］. IET radar，sonar amp; navigation，2012，6（3）：172-179.

［7］ ZHANG L，CHEN Y，LIU S，et al. A matching pursuit-based vehicle wheel parameter extraction method from micro-doppler radar signal［J］. Radioengineering，2021，30（4）：719-728.

［8］ VAN EEDEN W D，DE VILLIERS J P，BERNDT R J，et al. Micro-Doppler radar classification of humans and animals in an operational environment［J］. Expert systems with applications，2018，102：1-11.

［9］ HOU J L，CHEN G，ZHOU Q F，et al. Indoor human detection based on micro-Doppler features in the presence of interference from moving clutter sources［J］. Physical communication，2023，58：102037.

［10］ 楊林順，劉航濤. 基于深度殘差網(wǎng)絡(luò)的煤泥浮選泡沫圖像分類方法研究［J］. 煤炭技術(shù)，2023，42（7）：226-229.

作者簡介：

林志偉（1999-），男，碩士生。研究領(lǐng)域：毫米波雷達(dá)及目標(biāo)檢測。

劉梓?。?999-），男，碩士生。研究領(lǐng)域：毫米波雷達(dá)及目標(biāo)檢測。

袁煜盛（2000-），男，碩士生。研究領(lǐng)域：毫米波雷達(dá)及目標(biāo)檢測。

倪沁瑋（2000-），女，碩士生。研究領(lǐng)域：毫米波雷達(dá)及目標(biāo)檢測。

蔡志明（1977-），男，博士，教授。研究領(lǐng)域：機(jī)器識別與目標(biāo)跟蹤。本文通信作者。

收稿日期：2023-07-26

基金項(xiàng)目：福建理工大學(xué)科研啟動基金（GY-Z21064）