王 勇 王夏莛 馮威威 史治國

（1.浙江大學信息與電子工程學院，浙江杭州 310027；2.浙江省協(xié)同感知與自主無人系統(tǒng)重點實驗室，浙江杭州 310027）

1 引言

近年來，基于毫米波雷達的手勢分類技術已成為智能家居、智能駕駛等領域中的重要應用。與基于視覺的手勢分類方式相比，毫米波雷達具有明顯優(yōu)勢。首先，它不受光照條件的影響，能夠在不同環(huán)境穩(wěn)定工作；其次，由于毫米波雷達不需要圖像信息，它能夠有效保護用戶的隱私。因此，基于毫米波雷達的手勢分類成為當前研究的熱點之一［1］。

在研究中，研究人員利用神經(jīng)網(wǎng)絡來提取雷達的距離多普勒圖（Range-Doppler Image，RDI）特征，已取得顯著的進展［2-3］。通過神經(jīng)網(wǎng)絡的學習和優(yōu)化，RDI特征能夠被準確提取和表達，從而實現(xiàn)手勢分類。Wang 等人［2］使用Soli 雷達收集了一個包含11 類、共2750 個樣本的動態(tài)手勢數(shù)據(jù)集，將RDI 數(shù)據(jù)輸入到深度卷積和循環(huán)神經(jīng)網(wǎng)絡中進行訓練，最終達到了87%的準確率。Ding 等人［3］收集了一個包含500000個樣本的大規(guī)模動態(tài)手勢數(shù)據(jù)集，將復數(shù)形式的RDI 數(shù)據(jù)輸入到RadarNet 神經(jīng)網(wǎng)絡中進行訓練，最終取得99%分類準確率。

深度學習方法在基于雷達的手勢分類任務中取得了顯著的成果，但其依賴于大規(guī)模的數(shù)據(jù)集。然而，雷達數(shù)據(jù)的采集過程費時費力，需要根據(jù)實際場景和目標來配置雷達參數(shù)。此外，雷達領域中的開源數(shù)據(jù)集相對較少。這些因素導致研究人員很難獲得足夠的訓練樣本。而深度神經(jīng)網(wǎng)絡的復雜性使得模型容易出現(xiàn)過擬合問題，這對手勢分類任務的性能產(chǎn)生負面影響［4］。因此，在數(shù)據(jù)樣本不足的情況下，數(shù)據(jù)增強成為了一種有效的技術，通過增加訓練樣本的多樣性和數(shù)量，從而更好訓練深度神經(jīng)網(wǎng)絡模型［5-9］。雷達傳感器的本身特性決定了信號會因使用者和環(huán)境的不同而產(chǎn)生差異，相較于視覺圖像，雷達數(shù)據(jù)的語義信息不夠明顯，且手勢動作的RDI 數(shù)據(jù)以連續(xù)幀的三維形式存在。因此，視覺領域的旋轉(zhuǎn)、翻轉(zhuǎn)、裁剪等數(shù)據(jù)增強方式不適用于RDI數(shù)據(jù)。

在基于雷達的數(shù)據(jù)增強研究上，存在許多較為成熟的方法，可用于改進雷達任務的性能，如生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）［7-9］、變分自編碼器（Variational Autoencoder，VAE）［10-12］、卷積自編碼器（Convolutional Auto-Encoder，CAE）［14］等。Shi等人［9］將GAN引入到微多普勒特征分類，應用于人類運動頻譜圖中，經(jīng)過訓練GAN可以生成許多與原始圖像足夠接近的假圖像，從而豐富數(shù)據(jù)集。Zhu等人［10］提出了VAE 生成模型，該模型將編碼空間視為一個分布，利用神經(jīng)網(wǎng)絡擬合具有獨立分量的后驗正態(tài)分布。針對雷達高分辨率距離剖面數(shù)據(jù)有限的問題，Zhang 等人［12］提出了一種基于變分自編碼器（VAE）的生成模型，以提高分類性能。以上這些方法局限于語義信息豐富的數(shù)據(jù)，但對于本文研究的RDI數(shù)據(jù)而言，由于特征不明顯，削弱了GAN生成有效樣本的能力。相比VAE 需要計算多個分布之間的KL散度［10-13］，訓練過程較為復雜，CAE網(wǎng)絡搭建簡單，同時訓練速度較快。Campbell等人［14］利用CAE對雷達的微多普勒特征進行增強，以實現(xiàn)人類活動分類，證明了CAE 在特征提取方面的優(yōu)異能力。然而，該方法僅限于處理雷達的微多普勒特征，未擴展到雷達的距離多普勒特征RDI數(shù)據(jù)。

為了解決上述問題，本文提出了一種融合注意力模塊的距離多普勒圖自編碼（Range-Doppler Image AutoEncoder with Attention Module，RDI-AEAM）方法，旨在增強毫米波雷達手勢數(shù)據(jù)的RDI 表征。該方法針對RDI 數(shù)據(jù)缺乏語義信息、難以進行標注以及特征不明顯等特點進行了針對性設計，構(gòu)建了一個融入注意力模塊的自編碼網(wǎng)絡。首先，自編碼器用于進行特征提取和數(shù)據(jù)壓縮，從輸入數(shù)據(jù)中學習其分布并提取有用特征，注意力模塊則專注于學習通道和空間維度的特征，以強制模型考慮輸入數(shù)據(jù)中哪些部分需要被優(yōu)先提取，解決特征不明顯的問題。接著，在訓練過程中，預定義了原始數(shù)據(jù)的標簽，采用最小均方誤差損失函數(shù)來衡量生成數(shù)據(jù)的質(zhì)量，當生成的數(shù)據(jù)達到預設的閾值與原始數(shù)據(jù)近似時，將生成的數(shù)據(jù)與預定義標簽相關聯(lián)，而無須額外的后期標注。最后，生成數(shù)據(jù)與原始數(shù)據(jù)一同嵌入到任何網(wǎng)絡結(jié)構(gòu)的訓練，從而提高手勢分類任務的準確率。為了評估所提出增強方法的有效性，本文搭建了一個用于分類手勢的三層卷積神經(jīng)網(wǎng)絡，用于測試增強前后數(shù)據(jù)集的分類性能，在一個自建數(shù)據(jù)集（Phone-HGR）和兩個公開數(shù)據(jù)集（deepSoli 和體感游戲手勢VR-HGR）上分別進行了實驗。在數(shù)據(jù)集劃分上，本文選取原始數(shù)據(jù)集的50%作為測試集且保持不變，其余50%作為數(shù)據(jù)增強的訓練集，用于構(gòu)建新的訓練集。首先，實驗選擇100%的訓練集進行增強，與僅使用原始訓練集進行訓練相比，經(jīng)過數(shù)據(jù)增強后，在自建數(shù)據(jù)集上的準確率提高了0.83%，在公開數(shù)據(jù)集deepSoli 和VR-HGR 上分別提高了0.39%和3.23%，表明該方法提高了手勢判別性能。本文進一步探究了采用更少原始數(shù)據(jù)的增強效果，選擇訓練集的25%進行增強，在三組數(shù)據(jù)集上分別取得1.92%、2.62%和1.56%的提升，驗證了在訓練集數(shù)量減少的情況下，該方法仍能取得不同程度準確率的提升，證明了該數(shù)據(jù)增強方法的有效性。

2 距離多普勒圖

距離多普勒圖（Range-Doppler Image，RDI）由調(diào)頻連續(xù)波雷達獲取。如圖1 所示，通過對接收到的雷達信號進行快速傅里葉變換（FFT），來獲得檢測目標的距離、速度信息。

圖1 RDI計算原理Fig.1 The calculation principle of RDI

（1）距離維-FFT：雷達發(fā)送連續(xù)波雷達信號（如調(diào)頻連續(xù)波信號，chirps），檢測到物體后，信號反射并返回到雷達接收天線，接收到的信號包含了目標的距離和速度信息。為了提取這些信息，接收信號與發(fā)送信號進行混頻處理，得到中頻IF 信號。中頻信號的頻率f和物體與雷達之間距離d的關系如公式（1）所示：

其中，S為線性調(diào)頻信號的斜率，c表示信號速度。通過對IF信號執(zhí)行快速傅里葉變換（1D-FFT），可以提取檢測目標的距離幅度譜。

（2）多普勒維-FFT：根據(jù)公式（2），兩個相鄰調(diào)頻連續(xù)波信號之間存在相位差Δ?，可以表示為：

其中，λ是信號的波長，c是光速，f0表示初始頻率，Tc表示相鄰兩個線性調(diào)頻脈沖的時間間隔?？赏茖繕怂俣葀為：

沿著chirp 維度對距離幅度譜進行FFT 操作（2DFFT），可以獲得相位差Δ?的頻譜圖，通過進一步處理可將相位差轉(zhuǎn)化為目標的速度信息。結(jié)合距離維和速度維的FFT 對原始信號進行處理，即可獲得RDI數(shù)據(jù)。

3 距離多普勒圖自編碼數(shù)據(jù)增強方法

圖2為融入注意力模塊的距離多普勒圖自編碼（RDI-AEAM）數(shù)據(jù)增強方法整體流程。首先，將數(shù)據(jù)輸入到RDI-AEAM 自編碼器中，通過編碼器對數(shù)據(jù)進行特征提取和壓縮，從而學習輸入數(shù)據(jù)的分布并提取有用的特征。然后，通過調(diào)節(jié)網(wǎng)絡參數(shù)使用損失函數(shù)來優(yōu)化自編碼器。訓練過程中，預先定義原始數(shù)據(jù)的標簽，并使用最小均方誤差損失函數(shù)來評估生成數(shù)據(jù)的質(zhì)量。一旦達到設定的損失閾值，認為生成的樣本與原始數(shù)據(jù)近似相同，此時將生成的數(shù)據(jù)與預定義的標簽相關聯(lián)，而無須額外的后期標注，克服了無監(jiān)督訓練標簽標注困難的問題。

圖2 距離多普勒圖自編碼數(shù)據(jù)增強方法整體流程Fig.2 The workflow of RDI autoencoder data augmentation

RDI-AEAM的自編碼部分主要由卷積自編碼器構(gòu)成。卷積自編碼器（CAE）是一種基于卷積神經(jīng)網(wǎng)絡的無監(jiān)督學習方法，由編碼器和解碼器兩部分組成，用于學習輸入數(shù)據(jù)的低維表示，并進行數(shù)據(jù)重構(gòu)［14］。編碼器將輸入數(shù)據(jù)進行編碼，采用卷積層、池化層等操作來提取輸入數(shù)據(jù)的特征，并將其壓縮為一個低維表示，從而提取出最具代表性的特征信息［15］。編碼過程表示為公式（4）：

其中，x為輸入數(shù)據(jù)，we和be分別為編碼器的權重和偏置，?為卷積操作，f為激活函數(shù)，h為編碼后的低維表示。

解碼器通常由多個反卷積層和上采樣層組成，用于將低維表示進行解碼，重構(gòu)成與輸入數(shù)據(jù)相似的形式［16］。解碼過程表示為公式（5）：

其中，wd和bd為解碼器的權重和偏置為解碼器的輸出。

RDI-AEAM 中的自編碼器融入了注意力模塊，具體結(jié)構(gòu)如圖3 所示。編碼器由四個卷積層組成，核函數(shù)的大小分別為5×5、5×5、3×3 和3×3，對應的核函數(shù)數(shù)量依次為32、24、16 和8。解碼器的過程與卷積層相反，它包含四個反卷積層，用于增加數(shù)據(jù)的維度，核函數(shù)的大小分別為3×3、3×3、5×5 和5×5，對應的核函數(shù)數(shù)量依次為8、16、24 和32。為了加快網(wǎng)絡收斂速度，引入了非線性因子克服梯度消失問題，采用ReLU 作為激活函數(shù)，同時使用批歸一化層BatchNorm2d對張量進行批歸一化處理。

圖3 融入注意力模塊自編碼器結(jié)構(gòu)圖Fig.3 Convolutional autoencoder architecture with attention modules

為提高網(wǎng)絡的特征表示能力，本文在編碼器第一層卷積后和解碼器最后一層卷積前添加了卷積注意力模塊（Convolutional Block Attention Module，CBAM）［17］。卷積注意力模塊由通道注意力模塊和空間注意力模塊組成，分別關注空間和通道維度，通過兩次乘法計算賦權得到輸出特征結(jié)果，以幫助模型關注輸入數(shù)據(jù)需要優(yōu)先提取的部分。通道注意力模塊根據(jù)通道重要性加權特征圖，增強特征明顯的通道，抑制特征不明顯的通道［18］。具體而言，通道注意力模塊對輸入的特征層分別經(jīng)過最大池化層MaxPool和平均池化層AvgPool，相加后輸入全連接網(wǎng)絡，經(jīng)過Sigmoid激活函數(shù)得到注意力權重Mc。設輸入特征圖為F∈RH×W×C，權重Mc∈R1×1×C，計算過程如公式（6）：

F′表示處理后輸出的特征圖，計算過程如公式（7）：

其中，?表示通道權重與特征圖相乘。

空間注意力則是對通道注意力進行補充，可以根據(jù)每個空間位置的重要性加權特征圖。考慮到特征圖不同區(qū)域空間位置重要性，輸入特征圖分別經(jīng)過最大池化層MaxPool 和平均池化層AvgPool，得到兩個通道的特征圖，用Concatenate 操作連接，經(jīng)過卷積Conv 處理得到單通道特征圖，最后由Sigmoid 激活處理得到空間注意力權重Ms。設輸入特征圖為F∈RH×W×C，權重為Mc∈R1×1×C，具體計算過程如公式（8）：

其中，f表示卷積處理。

訓練過程中，自編碼器使用梯度下降更新模型，最小化輸入數(shù)據(jù)和解碼器輸出之間的重構(gòu)誤差，從而學習并更新編碼器和解碼器的參數(shù)。損失函數(shù)采用最小均方誤差（Minimum Mean Squared Error，MMSE），表示為公式（9）：

式中，v代表輸入樣本，z代表特征重建輸出，L為重構(gòu)誤差，即輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的差異。

在網(wǎng)絡訓練過程中，使用Adam 優(yōu)化器，初始學習率為0.001，每100 個epoch 以權值0.1 衰減。損失閾值為0.003，達到閾值時認為生成數(shù)據(jù)足夠近似輸入數(shù)據(jù)，此時將生成數(shù)據(jù)與預定義標簽相關聯(lián)，而無須額外的后期標注。經(jīng)過網(wǎng)絡訓練，目標的重建結(jié)果如下圖所示。本文選取了deepSoli 數(shù)據(jù)集［19］中的3 種手勢數(shù)據(jù)，在圖4 展示了原始RDI 和重建RDI。從圖中可以看出，經(jīng)過訓練的RDIAEAM 能夠較好地重建原始RDI，說明網(wǎng)絡具有良好的特征提取能力。

圖4 手勢示意圖及RDI重建前后示意圖Fig.4 Gesture schematic diagram and RDI reconstruction before and after

4 實驗及結(jié)果分析

為了驗證RDI-AEAM 數(shù)據(jù)增強方法的有效性，實驗搭建了一個輕量化的卷積神經(jīng)網(wǎng)絡，主體由三層卷積和一個全連接層組成，用于測試增強前后數(shù)據(jù)集的分類性能。為了證明提出方法的泛化性，在三個數(shù)據(jù)集上分別進行了實驗，數(shù)據(jù)集包含一個自制數(shù)據(jù)集和兩個開源數(shù)據(jù)集。

4.1 數(shù)據(jù)處理及實驗設置

原始的手勢數(shù)據(jù)格式為［幀數(shù)，1024］，為了方便深度學習模型訓練，本文將數(shù)據(jù)轉(zhuǎn)換為［幀數(shù)，32，32］的格式。生成的數(shù)據(jù)保存格式與原始RDI數(shù)據(jù)一致，便于和原始數(shù)據(jù)一同嵌于任何網(wǎng)絡結(jié)構(gòu)的訓練。由于用戶采集手勢的速度不同，導致手勢序列的幀數(shù)存在差異，而深度學習需要規(guī)整的輸入。因此，實驗采用了一種類似于內(nèi)插法的方法，在減少信息損失的前提下，將手勢特征數(shù)據(jù)規(guī)整化為定長的40幀?？紤]到RDI數(shù)據(jù)尺寸較小，最終設計的神經(jīng)網(wǎng)絡結(jié)構(gòu)非常輕量化。如圖5 所示，輸入數(shù)據(jù)共經(jīng)過3 層卷積核大小為3×3 的Conv1 和3 層卷積核大小為2×2 的最大池化層，進行降維和下采樣，接著展開并連接到輸入維度為512 的FC1、輸入維度為128 的FC2，最后使用Softmax 函數(shù)進行歸一化操作，以得到分類結(jié)果。

圖5 手勢分類神經(jīng)網(wǎng)絡模型Fig.5 Neural network model for gesture classification

在數(shù)據(jù)集劃分上，本文選取原始數(shù)據(jù)集的50%作為測試集且保持不變，其余50%作為數(shù)據(jù)增強的訓練集，用于構(gòu)建新的訓練集。實驗選擇交叉熵函數(shù)CrossEntropyLoss 來計算損失，使用Adam 優(yōu)化器，設置初始學習速率為0.005，批大小為8，共60個訓練epoch。此外，考慮到網(wǎng)絡訓練過程中的隨機因素可能會影響結(jié)果，將網(wǎng)絡訓練步驟重復5次，使用平均結(jié)果表示最終性能。

4.2 數(shù)據(jù)集介紹

實驗基于自建數(shù)據(jù)集Phone-HGR、公開數(shù)據(jù)集deepSoli［19］和體感游戲手勢數(shù)據(jù)集［20］進行。

（1）電話手勢（Phone-HGR）：該數(shù)據(jù)集為自建數(shù)據(jù)集，采用英飛凌公司的60 GHz 雷達系統(tǒng)平臺進行采集。對于調(diào)頻連續(xù)波（FMCW）雷達，首先對雷達原始回波信號進行兩次快速傅里葉變換（FFT），生成含距離、多普勒參數(shù)的RDI。共招募8名志愿者進行采集，設定五種基礎手勢類別，具體手勢如圖6 所示，數(shù)據(jù)集包含400 條數(shù)據(jù)，開源地址：https：//gitee.com/xiao_chens_classmates/Radar_Gesture_Data.git。（2）deepSoli數(shù)據(jù)集（deepSoli）：該數(shù)據(jù)集為ETH Zurich 和Google ATAP 團隊開源的手勢數(shù)據(jù)集，涵蓋11 類手勢共2750 條數(shù)據(jù)，在文獻［19］中公開可用。（3）體感游戲手勢（VR-HGR）：該數(shù)據(jù)集由型號為IWR1642 的毫米波雷達設備采集，涵蓋體感游戲中常用的7 種手勢共877 條數(shù)據(jù)樣本，在文獻［20］中公開可用。

圖6 電話手勢Fig.6 Phone gesture

4.3 實驗結(jié)果分析

為了探究增強方法的泛化性，分別對三組數(shù)據(jù)集100%的訓練集進行實驗，與復制的增強方式進行了對比。結(jié)果如下表1 所示，其中，Baseline 為未進行增強的原始訓練集結(jié)果，AE 為使用自編碼器方法的結(jié)果，AEAM 為融入注意力模塊的自編碼器（RDI-AEAM）方法的結(jié)果，COPY為簡單復制方法結(jié)果。定義Δ1、Δ2、Δ3如公式（10）所示：

表1 三種數(shù)據(jù)集數(shù)據(jù)增強結(jié)果Tab.1 Data augmentation results for three datasets

其中，Δ1、Δ2、Δ3 分別表示使用自編碼器方法、復制、融入注意力模塊自編碼方法與未用任何增強方式的Baseline結(jié)果相比提高的準確率。

結(jié)果表明，針對三種數(shù)據(jù)集使用復制樣本的增強方式僅在VR-HGR 數(shù)據(jù)集上實現(xiàn)了提升，而在Phone-HGR 和DeepSoli數(shù)據(jù)集上準確率下降。說明該方法未能顯著提高準確率，在有些情況下還會下降。分析其本質(zhì)原因，當訓練集增加一倍后，在相同的批次大小下會導致采樣相同樣本的概率翻倍。此外，每個樣本的采樣概率也是相等的。這相當于縮小了批次大小，增加了迭代次數(shù)，但并沒有改變原始樣本。因此，準確率無法顯著提高。由于數(shù)據(jù)集規(guī)模相對較小，后續(xù)的實驗結(jié)果證明了簡單復制數(shù)據(jù)會增加過擬合的風險，進一步影響網(wǎng)絡的泛化能力。圖7 展示了deepSoli 數(shù)據(jù)集的損失變化曲線，其中圖（a）為訓練集的損失變化情況，而圖（b）是訓練集增加一倍后的訓練結(jié)果?？梢钥闯鰣D（b）訓練過程在40-60 個epoch 期間loss 不降反升，這表明網(wǎng)絡出現(xiàn)了過擬合問題。因此，簡單地復制數(shù)據(jù)并不能有效提高模型的泛化能力，需要采用其他數(shù)據(jù)增強方法來提高數(shù)據(jù)的多樣性，降低過擬合風險。

圖7 訓練損失趨勢圖Fig.7 Training loss trend

相比于無任何增強操作的準確率結(jié)果Baseline，使用自編碼器方法和RDI-AEAM方法均能夠在三組數(shù)據(jù)集上取得更高的準確率，說明自編碼器數(shù)據(jù)增強方法有助于增加數(shù)據(jù)集的多樣性。如圖8 所示，（a）為deepSoli 原始數(shù)據(jù)經(jīng)過t-SNE（t-distributed Stochastic Neighbor Embedding）［21］降維后的分布，（b）為自編碼器方法生成的數(shù)據(jù)經(jīng)過t-SNE降維后的分布，每種顏色代表一類手勢類型，觀察結(jié)果顯示，在數(shù)據(jù)增強前后，數(shù)據(jù)在不同類別之間具有相似的分布特征，而同一類別內(nèi)的樣本分布存在差異。這表明自編碼器網(wǎng)絡已經(jīng)成功學習到了各類數(shù)據(jù)在高維空間中的特征分布。相比于傳統(tǒng)的自編碼器方法，RDIAEAM在編碼和解碼階段引入了注意力模塊。由于這一改進，網(wǎng)絡訓練過程更快地收斂，具有更高的運行效率。因此，RDI-AEAM 能夠在更短的時間內(nèi)生成大量重建的RDI數(shù)據(jù)。

圖8 數(shù)據(jù)t-SNE降維分布Fig.8 t-SNE dimensionality reduction distribution of data

在Phone-HGR 和deepSoli 數(shù)據(jù)集上，自編碼器方法和RDI-AEAM 方法上均已得到較好結(jié)果，說明這兩種方法具有一定價值，而對于VR-HGR 數(shù)據(jù)集，使用RDI-AEAM 方法達到了更好的效果，特別是使用100%訓練集時，相比于Baseline 的準確率，能夠提升3.23%的效果，其原因是該數(shù)據(jù)集手勢屬于人體動作，手勢范圍和信號強度都較大，因此融入注意力模塊后，能夠提取連續(xù)幀中最具有代表性的特征。這一結(jié)果說明自編碼器方法與RDI-AEAM數(shù)據(jù)增強方法均有效，且適用于不同環(huán)境。

隨后，為了探究采用更少原始數(shù)據(jù)的增強效果，逐次減少訓練集比例，選擇75%到25%的訓練集并重新測試性能。基于三組數(shù)據(jù)集，在數(shù)據(jù)集取原始數(shù)據(jù)集的50%作為測試集且保持不變、其余50%作為數(shù)據(jù)增強的訓練集后，分別取出各組訓練集的75%、50%、25%進行實驗（deepSoli額外進行了占比10%的實驗），與復制的增強方式進行了對比，結(jié)果如下表2、表3、表4所示。

表2 Phone-HGR在不同比例訓練集下的增強結(jié)果Tab.2 Results of data augmentation with different ratios on the Phone-HGR dataset

表3 deepSoli在不同比例訓練集下的增強結(jié)果Tab.3 Results of data augmentation with different ratios on the deepSoli dataset

表4 VR-HGR在不同比例訓練集下的增強結(jié)果Tab.4 Results of data augmentation with different ratios on the VR-HGR dataset

實驗結(jié)果顯示，使用自編碼器方法和RDIAEAM 方法準確率均能得到提升。因此，針對小范圍的訓練集，該兩種方法均能起到增強的作用。在訓練集所占比例分別為75%、50%、25%時，自建數(shù)據(jù)集Phone-HGR 在自編碼器方法下分別取得1.58%、1.33%、1.92%準確率的提升；VR-HGR 數(shù)據(jù)集在RDI-AEAM 下分別取得1.45%、1.60%、1.56%的提升。特別地，對于具有較大樣本數(shù)量的deepSoli數(shù)據(jù)集而言，自編碼器增強方式相較于Baseline分別取得了0.39%、0.51%、0.91%、2.62%、3.60%準確率的提升（當訓練集所占比例分別為100%、75%、50%、25%、10%時），其中，當比例為10%時，取得了3.60%的最高提升幅度。說明原始數(shù)據(jù)量減少的情況下，該數(shù)據(jù)增強方法仍有效，并且在不同比例的情況有不同程度的提升效果。

5 結(jié)論

本文提出了一種融入注意力模塊的距離多普勒圖自編碼（Range-Doppler Image AutoEncoder with Attention Module，RDI-AEAM）方法，針對RDI 數(shù)據(jù)存在缺乏語義信息、難以進行標注以及特征不明顯等問題，進行了針對性設計。RDI-AEAM 結(jié)合了卷積自編碼器網(wǎng)絡和注意力模塊，通過自編碼器進行特征提取和數(shù)據(jù)壓縮，學習輸入數(shù)據(jù)的分布并提取有用特征。結(jié)合注意力模塊，進一步提升特征表達能力，解決了RDI 數(shù)據(jù)特征不明顯的問題。在訓練過程中，預先定義了原始數(shù)據(jù)標簽，基于損失函數(shù)閾值將生成數(shù)據(jù)與預定義標簽相關聯(lián)，而無須額外的后期標注。實驗結(jié)果表明，采用50%的原始數(shù)據(jù)作為訓練集進行數(shù)據(jù)增強后，相比僅使用訓練集的訓練結(jié)果，在自建數(shù)據(jù)集、deepSoli 數(shù)據(jù)集和VR-HGR數(shù)據(jù)集上取得了準確率的提升，分別為0.83%、0.39%和3.23%，提高了手勢判別性能，這驗證了RDI-AEAM 的有效性。此外，進一步探究了采用更少原始數(shù)據(jù)的增強效果，逐次對75%、50%和25%的訓練集進行增強，結(jié)果表明，在訓練集數(shù)量減少的情況下，該數(shù)據(jù)增強方法也能提高分類的準確率。因此，可以認為RDI-AEAM 在RDI 數(shù)據(jù)領域中具有較高的推廣意義。未來的研究可以進一步探索更少數(shù)據(jù)的增強效果，并結(jié)合其他優(yōu)化方法，進一步提升毫米波雷達手勢分類的準確率和魯棒性。