蔣留兵，吳岷洋，車 俐

（1.桂林電子科技大學信息與通信學院，廣西桂林 541004；2.桂林電子科技大學計算機與信息安全學院，廣西桂林 541004）

0 引 言

根據(jù)第七次全國人口普查顯示，2020年我國60 歲及以上人口有2.6 億人，占總?cè)丝诘?8.70%，中國已經(jīng)逐步進入深度老齡化社會［1-2］。老人活動不便，很容易跌倒并且無法依靠自身能力站起來，這給醫(yī)療保健行業(yè)帶來巨大的壓力，需要該行業(yè)在老人發(fā)生跌倒等重大事件時能夠及時做出響應［3］。

目前對于人體動作主要采用基于攝像頭［4-5］和基于穿戴設備兩種方法［6-7］。前者采用圖像處理的技術(shù)而后者則采集人體運動數(shù)據(jù)。很顯然，基于攝像頭的動作識別方法存在侵犯個人隱私，容易受到外界干擾的問題；基于穿戴設備的動作識別方法存在設備容易損壞，穿戴不適等問題。基于雷達的人體動作檢測則能很好地解決上述兩種方法存在的問題。該方法是一種通過雷達向目標發(fā)射電磁波，接收目標回波信號判斷人體動作的主動探測方式。

基于雷達的動作識別方法主要基于深度學習，對雷達信號進行預處理，然后輸入到深度學習網(wǎng)絡中進行訓練和識別。文獻［7］使用UWB 雷達采集代表運動特性隨時間變化的時變距離多普勒圖像（TRDI），采用自動編碼器（CAE）提取特征，輸入到長短記憶網(wǎng)絡（LSTM）中進行識別達到了96.80%的準確率。文獻［8］使用雙向長短記憶網(wǎng)絡（Bi-LSTM），將可穿戴傳感器和雷達數(shù)據(jù)直接的軟特征融合，在連續(xù)活動和跌倒事件方面的準確度提高到大約96%。文獻［9］利用超寬帶雷達提取動作特征生成圖像，然后將圖像輸入到卷積網(wǎng)絡中進行識別，達到了99.2%的準確率。文獻［10］提出基于主成分分析法（PCA）和離散余弦變換（DCT）相結(jié)合的人體動作特征提取方法，并利用改進網(wǎng)格搜索算法優(yōu)化的支持向量機在小樣本數(shù)據(jù)下對人體動作進行識別，最終得到超過96%的識別精度?；谏疃葘W習的雷達動作識別方法主要通過將采集的信號進行預處理，生成相應的特征圖，然后將這些特征圖輸入到深度學習網(wǎng)絡中進行訓練和識別，這就導致了識別速度相比直接對原始信號處理慢一些［11-12］。文獻［11］提出一種新的端到端網(wǎng)絡，直接對收集的FMCW 雷達原始數(shù)據(jù)進行處理，對5 種動作超過90%的識別準確率。文獻［12］提出了一維卷積神經(jīng)網(wǎng)絡（1D-CNNs）和長短記憶網(wǎng)絡（LSTM）組成的深度學習模型直接對原始信號進行處理，在對7種動作達到超過95%的識別精度的同時，訓練參數(shù)少很多，因此識別速度也快很多。目前大部分基于深度學習的雷達動作識別算法只能對單個動作進行識別，通過簡單的信號處理，將原始信號處理成相應的特征圖像，然后輸入到基于分類的深度學習網(wǎng)絡中進行識別。這種情況導致了當一組數(shù)據(jù)中包含多個動作信息的時候算法也只能將其識別為單個動作。

針對上述問題，該文提出一種基于文本識別技術(shù)（OCR）的連續(xù)動作雷達微多普勒特征識別方法。首先對采集的雷達數(shù)據(jù)采用RDM（Range-Doppler Map）向速度維投影的方法逐幀獲取微多普勒時頻圖，然后將處理得到的時頻圖輸入一個特別定制的，由卷積神經(jīng)網(wǎng)絡、inception_resnet、最大池化層和Bi-LSTM的網(wǎng)絡組成，使用聯(lián)結(jié)主義時間分類（CTC）作為損失函數(shù)進行訓練的網(wǎng)絡。實驗結(jié)果表明該方法對步行、跑步、蹲下、站起、跳躍這5 種動作的識別準確率分別高達96.16%，95.34%，88.49%，89.37%，96.72%。對一個時間窗口內(nèi)多個動作的識別也取得了不錯的效果，時間上的識別準確率整體令人滿意。

1 FMCW雷達信號處理

1.1 FMCW 雷達信號模型

FMCW 雷達由一個波形發(fā)生器、一個帶有2個發(fā)射器和4個接收器的天線陣列、一個信號解調(diào)器和一個模數(shù)轉(zhuǎn)換器（ADC）組成。波形發(fā)生器通過發(fā)射Chirp 信號，然后利用低頻濾波器（LPF）得到中頻信號。假設FMCW 雷達發(fā)射調(diào)頻連續(xù)波信號，其發(fā)射信號模型［13］可以表示為

式中，AT表示發(fā)射功率，fc表示Chirp的起始頻率，B表示Chirp 的帶寬，Tc表示Chirp 的持續(xù)時間，φ(t)表示相位噪音。

目標反射回來的是一個有延遲的信號，可以表示為

式中，td=2R(t)/c表示信號在與距離雷達R(t)距離處的目標之間的往返時間，α表示回波損耗系數(shù)。將發(fā)射信號xT(t)和接收信號xR(t)混頻以后再結(jié)合I/Q信號分析，其差拍信號可以表示為

式中AR為接收信號的功率，fb表示為

相位φb(t)則表示為

通常情況下，探測近距離目標的時候，殘留的相位噪聲Δφ(t)可以忽略不計。并且，πBt2d/Tc的數(shù)值也非常小，可以被忽略掉。因此，最終的可以用雷達采樣數(shù)據(jù)矩陣表述差拍信號為

式中，n表示快時間采樣軸上對應的標號，m表示慢時間采樣軸上對應的標號，Tf表示快時間采樣軸上的ADC 采樣時間間隔，Ts表示慢時間采樣軸上的采樣時間間隔。

1.2 微多普勒時頻圖

傳統(tǒng)的短時傅里葉變換（STFT）采用定長窗函數(shù)進行時頻分析，對于連續(xù)的Chirp 信號能夠取得不錯的效果，不過對于沒有連續(xù)Chirp 而是連續(xù)幀（幀內(nèi)Chirp 連續(xù)，幀間的Chirp 不連續(xù)）的信號來說一旦參數(shù)調(diào)整不好就會出現(xiàn)嚴重的功率泄露的情況。為了解決這個問題，使用文獻［14］所提出的RDM投影法獲取微多普勒時頻圖。對單幀的快時間維數(shù)據(jù)加上漢寧窗，然后進行RangeFFT 獲得距離信息，然后再對單幀的慢時間維數(shù)據(jù)加上漢寧窗，進行DopplerFFT 獲得目標的速度信息，最后將零頻率分量搬移至頻率中間，得到最終的RDM（Range-Doppler-Map）。該RDM能夠很好地描述在該幀下人體所有散射點的距離和速度。假設RD(i,j,t)表示t幀下位于RDM 中第ith距離門、jth速度門下的信號功率值。

每幀RDM通過對距離門的投影可以得到目標與雷達的距離變化，如圖1（a）所示，計算公式為

圖1 距離門與RDM投影

通過距離門可以得到目標在運動中距離雷達的最小/最大徑向距離，記錄下對應的距離門標號為imin及imax。提取對應距離內(nèi)的RDM，然后將RDM 向速度方向投影并且進行逐幀積累得到微多普勒時頻圖，如圖1（b）所示，具體公式為

本質(zhì)上，RDM 投影是一個窗口長度，步長都為一幀中慢時間的Chirp 數(shù)（實驗中為128），重疊率為0 的短時傅里葉變化。微多普勒視頻圖的構(gòu)建流程如圖2所示。

圖2 微多普勒圖構(gòu)建流程

德州儀器AWR1843 因為存在幀的概念，即每幀存在若干個Chrip，然后每個Chrip間存在若干個采樣點，這種情況導致了單個幀內(nèi)的Chrip 時間是等長的，然而多個幀之間的Chrip 是不等長的，這種情況就會導致使用短時傅里葉變換出現(xiàn)嚴重的功率泄露的情況，生成的圖像質(zhì)量非常差，嚴重影響深度學習網(wǎng)絡的識別精度。而RDM投影是通過對單個幀的累加得到，沒有涉及到多個幀之間的操作，因此不存在功率泄露的情況，相比于短時傅里葉生成的圖像，質(zhì)量要高很多。

2 基于文本識別的連續(xù)動作識別

一組連續(xù)動作的微多普勒時頻特征如圖3所示，不同動作的微多普勒特征有很大的不同。受到文獻［15］的啟發(fā)，將不同動作的微多普勒特征進行編碼，使用文本識別的思路進行識別。具體來說，是將包含多個動作特征的微多普勒時頻圖輸入到一個由卷積神經(jīng)網(wǎng)絡，inception_resnet 網(wǎng)絡作為主干網(wǎng)絡對時頻圖進行壓縮并提取特征得到一組幀序列，然后使用BLSTM 網(wǎng)絡對每幀進行預測，最后使用CTC［16］將每幀的預測編碼解碼成標簽序列。

圖3 一組連續(xù)動作的微多普勒時頻圖

2.1 網(wǎng)絡結(jié)構(gòu)

本文提出的網(wǎng)絡結(jié)構(gòu)如圖4所示。該網(wǎng)絡要求圖像輸入的高度為256，寬度w不限，通道數(shù)為3，即輸入圖像的尺寸為256×w×3，核心思想是使用卷積神經(jīng)網(wǎng)絡、inception_resnet 提取特征，然后使用最大池化層對圖像進行壓縮，圖像最后會被壓縮成一個如圖5所示，一共由w/16 個1×1×512 維度長方體特征組成的時間序列，然后將該序列輸入到Bi-LSTM 網(wǎng)絡中進行預測。網(wǎng)絡的參數(shù)如表1所示。

圖5 壓縮以后的長方體序列

表1 基于文本識別的網(wǎng)絡框架參數(shù)

2.2 Bi-LSTM

連續(xù)動作的微多普勒特征存在時序的特性，因此運動會被依次順序紀錄下來。傳統(tǒng)的CNN 網(wǎng)絡只能提取微多普勒特征，無法對時序序列進行動態(tài)預測。為了解決這個問題，引入Bi-LSTM 網(wǎng)絡，提取CNN 網(wǎng)絡輸出的特征序列的時間特征，并且對每個時間序列進行預測。簡單地說，Bi-LSTM分別結(jié)合了前向和后向LSTM 網(wǎng)絡還處理兩個方向的時間信息,除了使用過去的信息對現(xiàn)在進行預測以外還能使用將來的信息預測現(xiàn)在。LSTM 是一種特殊的RNN，加入了遺忘門，能夠丟棄過去無用的信息，保留有效的信息，從而緩解梯度消失的問題，其計算模型如下：

式中σ為激活函數(shù)，i(t)為輸入門，f(t)為遺忘門，o(t)為輸出門。Bi-LSTM 由前向和后向LSTM 組成，其模型如下：

2.3 聯(lián)結(jié)主義時間分類

假設一段數(shù)據(jù)時長為9 s，有人可能在3～6 s的時間內(nèi)執(zhí)行了動作，也有人可能在4～9 s 內(nèi)執(zhí)行了動作，不同的人在不同的時間段內(nèi)執(zhí)行了不同時間的動作，因此需要精確標注數(shù)據(jù)是很困難的。為此，使用CTC 算法自動學習時間序列和標簽間的對齊情況，從而避免了精確標注數(shù)據(jù)集，只需要數(shù)據(jù)標注順序正確即可。

如果序列預測為y=(y1,y2,…,yN)，對應的真實標簽為I=(I1,I2,…,IW)，這其中序列長度要大于等于標簽長度（即N≥W）?？紤]到不同的動作間存在過渡（一個動作執(zhí)行完，過一段時間再執(zhí)行下一個動作），過渡的這段時間內(nèi)沒有任何動作，因此需要定義一個blank 作為空白符加入到原始標簽序列中構(gòu)造一個新的標簽序列，即L'=L∪{-}，其中L'為新的標簽序列，L為原始標簽序列。很顯然一個真實的標簽對應的預測輸出有很多，假設一個y預測輸出序列為T=(t1,t2,t3,t4)的數(shù)據(jù)對應的真實標簽序列為label=(l1,l2,l3)，那么其對應的預測有p(π1)=(l1,-,l2,l3)，p(π2)=(l1,l2,-,l3)，p(π4)=(-,l1,l2,l3)等多種可能的路徑。因此在真實標簽為y的情況下，預測標簽為I的概率為

式中π表示Bi-LSTM 的輸出序列，p(π|y)表示路徑的概率。由于各個時間序列間的預測概率是相互獨立的，因此對于任意時刻輸出序列π的概率計算如下：

式中πt∈L'，是在時間t上路徑π下預測的標簽，是在時間t下標簽為πt的概率。損失函數(shù)可以定義為Lctc=-lnp(I|y)，通過對每個步長的每個標簽求導進行梯度更新。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

實驗中所用的毫米波雷達硬件平臺由德州儀器研發(fā)的AWR1843BOOST 雷達傳感器模塊和DCA1000EVM 數(shù)據(jù)采集模塊組成。設置該雷達的起始工作頻率為77 GHz、帶寬為4 GHz,單個Chirp下的采樣點為256，單個幀下有128 個Chirp，單個幀的周期為30 ms。對單個動作和兩個連續(xù)動作采集300 幀及9 s 的數(shù)據(jù)，對3 個連續(xù)動作采集400幀即12 s的數(shù)據(jù)。

實驗中所用數(shù)據(jù)均在室內(nèi)采集，雷達掃描扇面內(nèi)除了單個測試者外沒有其他目標。雷達置于距離地面0.8 m的支架上，測試者在雷達正前方2 m處原地執(zhí)行指定動作。前后共有10名志愿者參與采集數(shù)據(jù)，他們的體重在41～80 kg，身高在1.60～1.80 m，年齡在22～25之間。實驗中總共采集5種動作，分別是步行、跑步、蹲下、站起、跳躍，采集環(huán)境如圖6所示，單個動作的微多普勒時頻圖如圖7所示?？偣膊杉? 600組數(shù)據(jù)，其中單個動作為800組，兩個連續(xù)動作為500組，3個連續(xù)動作為300組。

圖6 實驗環(huán)境

圖7 單個動作的微多普勒時頻圖

深度學習網(wǎng)絡基于TensorFlow2.0 中的keras框架，優(yōu)化函數(shù)為Adam，使用默認學習率，設置批量大小為8。深度學習實驗在一臺配有GPU 為RTX2080Ti（8G顯存），16G內(nèi)存和酷睿i7的服務器上進行。訓練測試數(shù)據(jù)的比例為8∶2。圖像輸入的高度為256，寬度不限，即圖像輸入的尺寸為256×w。實驗中，9 s 的數(shù)據(jù)輸入網(wǎng)絡的寬度為576 像素（w=576,input=256×576×3），輸出為1×36×512，即由36 個1×512 組成的特征序列，每個序列代表大約0.25 s 時長的數(shù)據(jù)；12 s 數(shù)據(jù)輸入網(wǎng)絡的寬度為768 像素（w=768,input=256×768×3），輸出為1×48×512，即由48 個1×512組成的特征序列，每個序列代表大約0.25 s時長的數(shù)據(jù)。

3.2 單個動作的識別

該文所提出的方法既能夠?qū)Χ鄠€連續(xù)的動作進行識別，也能夠?qū)蝹€動作進行識別。圖8為5種動作的混淆矩陣。實驗表明，該方法對5種動作識別的平均準確率高達93.22%，其中對步行、跑步和跳躍的識別準確率分別高達96.16%，95.34%，96.72%。由于蹲下和站起的為多普勒頻率是相反的，同時在蹲下和站起的時候為了保持平衡手臂也會擺動，最終導致蹲下和站起的微多普勒特征比較相似，導致了在識別蹲下和站起這兩個動作時的精度只有88.49%和89.37%。

圖8 5種動作的混淆矩陣

為了能夠進一步驗證該文所提出方法的可能性，將該方法與文獻［7］，文獻［10］和文獻［12］中提出的動作識別方法進行對比。文獻［7］提出了一種時變距離-微多普勒圖（TRDM）的方法，在目標執(zhí)行動作區(qū)間中的數(shù)據(jù)進行距離和速度FFT 得到一組時序的RDM 圖形成數(shù)據(jù)流，然后利用所提出的CAE+LSTM 網(wǎng)絡提取數(shù)據(jù)流的時序特征和像素特征進行識別。文獻［10］首先使用PCA 技術(shù)對原始數(shù)據(jù)降維，然后使用DCT 技術(shù)對降維以后的數(shù)據(jù)進行處理，最后使用一種改進型的SVM 網(wǎng)絡對經(jīng)過PCA 和DCT 處理以后的數(shù)據(jù)進行識別，取得了不錯的效果。文獻［12］將STFT 和深度學習相結(jié)合，直接對經(jīng)過短時傅里葉變換以后的特征矩陣進行處理，使用1D_CNN 網(wǎng)絡和LSTM 提取特征矩陣的信息，從而實現(xiàn)對單個動作的識別。對比效果如表2所示。

表2 本文方法同不同方法的對比

通過表2對比可以得知，本文所提方法同文獻［7］、文獻［10］和文獻［12］所提方法相比，識別精度會稍微低一些。導致這種情況的原因是，CTC決定了不需要單個網(wǎng)絡的輸出序列的識別精度最高，但是需要整個序列組的輸出精度最高，即h(x)=arg maxp(I|y)，其中h(x)為輸出序列，p(I|y)為真實標簽為y的情況下預測標簽為I的概率。

3.3 連續(xù)動作的識別

實驗表明，本文所提方法對單個動作的識別達到了一個較高的準確率。為了進一步衡量本文方法的綜合性能，除了測試對單個動作的識別準確率以外，還需要識別在時間上的準確率（假設一個24 s 的時間段，目標執(zhí)行動作的區(qū)間分別為4～10 s，13～20 s，算法需要知道目標在具體哪幾個時間段內(nèi)執(zhí)行了動作）。由于動作蹲下、站起、跳躍都是一瞬間完成的，因此僅僅對步行、跑步兩個連續(xù)性動作進行測試。實驗中使用長達24 s的數(shù)據(jù)，總共分4個場景，分別是只執(zhí)行單個動作（步行，跑步）和執(zhí)行兩個動作（先步行后跑步，先跑步后步行）。單個動作的示例時間表如圖9所示，目標第一個執(zhí)行動作的窗口時間為5～10 s，第二個執(zhí)行動作的窗口時間為15～24 s。網(wǎng)絡輸出的是一個序列，一個序列代表著一個時間段，也就是說如果一個24 s數(shù)據(jù)的微多普勒時頻圖的寬度為1 536個像素，那么經(jīng)過主干網(wǎng)絡的壓縮以后輸出一個長度為96的時間序列，也就是說一個序列代表0.25 s的時間，在這個窗口時間內(nèi)認為動作是沒有變化的。因此在最終預測的時候也不完全是連續(xù)的時間預測，一旦一個序列預測錯誤就意味著這0.25 s的預測都錯誤，該方法的本質(zhì)上是將連續(xù)的時間分割成時間很短的時間序列，然后對這一段時間序列進行特征提取并且認為這段時間序列內(nèi)只有一個動作。

圖9 單個動作的示例時間表

執(zhí)行兩個動作的示例時間表如圖10所示，目標執(zhí)行第一個動作的窗口時間為4～10 s，總共6 s，執(zhí)行第二個動作的窗口時間為15～21 s，同樣也是6 s。很顯然，該算法在時間上有不錯的識別準確率。對一段時間內(nèi)的兩個動作進行識別時，雖然出現(xiàn)時間上沒有完全對齊，在沒有動作的時間預測執(zhí)行動作的錯誤，但是整體上的預測還是正確的，并且沒有出現(xiàn)預測順序錯誤的情況。出現(xiàn)真實標簽和預測標簽在時間上沒有完全對齊的一個可能性是實驗誤差，在實驗的時候是目標需要在發(fā)出信號以后等待到指定的時間區(qū)間再執(zhí)行動作，因此會出現(xiàn)時間上的誤差，在執(zhí)行完一個動作之后目標沒有完全立正不動，導致還存在一些微多普勒調(diào)制，因此出現(xiàn)誤判的情況。

圖10 兩個動作的示例時間表

4 結(jié)束語

本文提出一種FMCW 雷達基于文本識別技術(shù)的連續(xù)動作識別方法。該方法將不同動作的微多普勒時頻圖的特征抽象成不同的字符，使用文本識別的思路進行識別。首先對原始數(shù)據(jù)進行預處理，使用RDM 投影的方法獲取微多普勒時頻圖，從而避免了雷達幀與幀之間的Chirp 不連續(xù)導致STFT 變換調(diào)參麻煩和功率泄露的問題。然后，將處理得到的微多普勒時頻圖輸入到有卷積神經(jīng)網(wǎng)絡、inception_resnet 和最大池化層組成的主干網(wǎng)絡對圖像進行提取特征和壓縮，將原始輸入尺寸為256×w×3 壓縮成一個由w/16 個1×1×512 維度長方體特征組成的時間序列，然后輸入到兩層Bi-LSTM 網(wǎng)絡對每個序列進行預測。由于一個目標在固定長度的時間窗口內(nèi)執(zhí)行動作的起始時間和結(jié)束時間是不同的，數(shù)據(jù)無法被精確標注，因此最后使用CTC 作為損失函數(shù)，對參數(shù)進行求導。實驗表明，該方法對步行、跑步、蹲下、站起、跳躍這5 種動作的識別準確率分別高達96.16%，95.34%，88.49%，89.37%，96.72%。對一個時間窗口內(nèi)多個動作的識別也取得了不錯的效果，時間上的識別準確率整體令人滿意。由于連續(xù)的動作存在前后的合法性，比如蹲下以后的動作只能是站起，不能是其他動作，因此下一階段打算對該方法進行改進用以判斷連續(xù)動作是否合法。