屈樂樂，張丁元，楊天虹，孫延鵬

(沈陽航空航天大學(xué) 電子信息工程學(xué)院,沈陽 110136)

0 引 言

人體動作識別技術(shù)近年來被廣泛應(yīng)用于醫(yī)療健康、輔助駕駛、安保防護(hù)等領(lǐng)域。目前人體動作識別技術(shù)都是基于攝像機(jī)所拍攝的圖像手段來完成[1-2]，這種方式易受到周圍光線環(huán)境影響，并且在避免隱私侵犯方面是一個比較大的短板。近年來隨著雷達(dá)技術(shù)的不斷發(fā)展，基于雷達(dá)傳感器的人體動作探測受到越來越多的關(guān)注。因?yàn)槔走_(dá)傳感器不易受到周圍光線環(huán)境以及視野因素的影響，并且極大地提高了觀測對象的隱私保護(hù)程度，所以將雷達(dá)傳感器應(yīng)用在人體動作識別領(lǐng)域具有廣泛的應(yīng)用前景[3-4]。

雷達(dá)對人體探測的核心思想在于從雷達(dá)所收集到的回波數(shù)據(jù)中提取不同動作的特征進(jìn)行識別，其中應(yīng)用最為廣泛的是微多普勒特征[5-6]。在此基礎(chǔ)上有研究人員通過提取人體動作回波數(shù)據(jù)的微多普勒時頻譜圖特征實(shí)現(xiàn)了人體動作識別[7-9]，但是僅從微多普勒時頻譜圖提取特征進(jìn)行動作識別時識別結(jié)果準(zhǔn)確率往往達(dá)不到預(yù)期效果。也有研究人員將深度學(xué)習(xí)應(yīng)用于人體動作識別中[10-12]，雖然識別準(zhǔn)確率得到提高，但深度學(xué)習(xí)要求數(shù)據(jù)量巨大，訓(xùn)練時間過長，在面對訓(xùn)練樣本數(shù)量不足時容易產(chǎn)生過擬合。有研究人員提出將微多普勒時頻譜圖像特征結(jié)合雷達(dá)回波數(shù)據(jù)的其他特征組成聯(lián)合特征集進(jìn)行人體動作識別:文獻(xiàn)[13]針對時頻分析結(jié)果提取其有效面積的頻率上下限與功率密度及能量上下包絡(luò)并與距離多普勒軌跡作為動作的聯(lián)合特征進(jìn)行動作識別；文獻(xiàn)[14]提出從微多普勒時頻圖中選取頻率間隙和距離多普勒圖中選取高功率區(qū)域的橫縱寬度比值作為聯(lián)合特征進(jìn)行人體動作識別。但文獻(xiàn)[13-14]都需要基于人工提取預(yù)設(shè)特征得到特征向量進(jìn)行動作識別，過程比較繁瑣。文獻(xiàn)[15]在距離多普勒圖像域提取動態(tài)軌跡進(jìn)行人體動作識別，但由于缺少了最典型的微多普勒特征，因此識別效果不理想。文獻(xiàn)[16]則提出采用微多普勒時頻譜圖和節(jié)奏速度圖分別進(jìn)行特征提取進(jìn)行人體步態(tài)識別，文獻(xiàn)[17]將微多普勒頻譜圖的質(zhì)心、帶寬、熵與奇異值分解后求得的統(tǒng)計(jì)量作為特征進(jìn)行識別，但文獻(xiàn)[16-17]未對目標(biāo)回波數(shù)據(jù)的距離時間圖像和距離多普勒圖像進(jìn)行特征提取，識別準(zhǔn)確率不高。

針對上述問題，本文提出一種基于雙頻段調(diào)頻連續(xù)波(Frequency Modulation Continuous Wave,FMCW)雷達(dá)系統(tǒng)的人體動作識別方法，通過雙頻段FMCW雷達(dá)系統(tǒng)采集多個人體動作回波數(shù)據(jù)實(shí)現(xiàn)人體動作識別。所提方法首先對回波數(shù)據(jù)進(jìn)行預(yù)處理分別得到距離時間、距離多普勒和微多普勒時頻譜圖像，接著運(yùn)用主成分分析(Principal Component Analysis,PCA)對三種圖像分別進(jìn)行降維提取特征，然后對降維后的特征進(jìn)行融合得到特征集，最后利用支持向量機(jī)(Support Vector Machine,SVM)分類器對人體動作進(jìn)行訓(xùn)練和識別。

1 基于雙頻段FMCW雷達(dá)的人體動作識別

基于雙頻段FMCW雷達(dá)的人體動作識別方法主要流程包含回波數(shù)據(jù)預(yù)處理、特征提取與特征融合、分類器訓(xùn)練與測試等，如圖1所示。

圖1 人體動作識別整體流程圖

1.1 回波數(shù)據(jù)預(yù)處理

FMCW雷達(dá)對目標(biāo)回波數(shù)據(jù)進(jìn)行預(yù)處理可以分別得到距離時間圖像、距離多普勒圖像與微多普勒時頻譜圖像。

1.1.1 距離時間圖像

將FMCW雷達(dá)回波數(shù)據(jù)表示為二維矩陣S(n,m)，其中n=0,1,…,N-1，m=0,1,…,M-1，N和M分別是雷達(dá)在一個調(diào)頻周期內(nèi)的采樣點(diǎn)數(shù)和總的調(diào)頻周期個數(shù)。對矩陣S(n,m)的每一列進(jìn)行離散傅里葉變換(Discrete Fourier Transform,DFT)得到

(1)

式中：變量k=0,1,…,N-1包含探測目標(biāo)距離雷達(dá)天線的距離信息。對矩陣R(k,m)進(jìn)行動目標(biāo)顯示濾波預(yù)處理然后取模值得到距離時間圖像，如圖2所示。圖2(a)與圖2(b)分別為K頻段雷達(dá)與C頻段雷達(dá)對應(yīng)行走動作的距離時間圖像，圖像的縱軸為距離軸，圖像的每一列對應(yīng)一維目標(biāo)距離像；圖像的橫軸為時間軸，0～3 s內(nèi)所有的距離像信息都按時間前后排列在該軸上。從圖2中可以清晰地看到被觀測對象與雷達(dá)天線之間的距離隨時間變化的信息。

圖2 距離時間域圖像

1.1.2 距離多普勒圖像

對式(1)中的矩陣R(k,m)的每一行進(jìn)行DFT得到

(2)

式中：變量l=0,1,…,M-1為目標(biāo)的多普勒頻率信息。對矩陣V(k,l)取模值可得到距離多普勒圖像，如圖3所示。圖3(a)與圖3(b)分別為行走動作對應(yīng)的K頻段與C頻段距離多普勒圖像，圖像的縱軸為距離軸，橫軸為多普勒頻率軸。該域圖像反映了目標(biāo)在每個距離單元所對應(yīng)的多普勒頻率信息。

圖3 距離多普勒圖像

1.1.3 微多普勒時頻譜圖像

FMCW雷達(dá)距離分辨率ΔR為

(3)

式中：B為FMCW雷達(dá)的信號帶寬，c0為電磁波在空氣中的傳播速度。對根據(jù)式(1)得到的距離時間圖像中感興趣的距離單元信號進(jìn)行相加得到

(4)

式中：k1與k2為所設(shè)置距離門的最小和最大限制。實(shí)驗(yàn)時人體目標(biāo)距離雷達(dá)的范圍為0～4.5 m，當(dāng)處理K頻段雷達(dá)回波數(shù)據(jù)時，距離分辨率為0.3 m，k1與k2取值分別為0與15；當(dāng)處理C頻段雷達(dá)回波數(shù)據(jù)時，距離分辨率為0.375 m，k1與k2取值分別為0與12。對D(m)進(jìn)行短時傅里葉變換(Short-Time Fourier Transform,STFT)得到

(5)

式中：g(m)為漢明窗函數(shù)；p為窗函數(shù)移動的索引值，窗函數(shù)每次移動時對應(yīng)的數(shù)據(jù)重疊率為95%。根據(jù)T(p,q)可以得到微多普勒時頻譜圖像，如圖4所示。圖4(a)與圖4(b)分別為行走動作的K頻段與C頻段雷達(dá)的微多普勒時頻譜圖像，橫軸單位為時間，該時間所指的是窗函數(shù)g(m)沿著時間軸移動所對應(yīng)的時間，也就是式(5)中的變量p；縱軸表示多普勒頻率，為式(5)中的變量q。

圖4 微多普勒時頻譜圖像

1.2 基于PCA的特征提取與特征融合

PCA不僅可以通過計(jì)算機(jī)自動提取特征，避免人工手動篩選特征導(dǎo)致體征提取不全從而影響識別準(zhǔn)確率，而且計(jì)算量小便于實(shí)時處理。經(jīng)過回波數(shù)據(jù)預(yù)處理后每個人體動作數(shù)據(jù)會對應(yīng)6個不同維度的圖像信息，采用PCA來進(jìn)行特征提取處理。首先利用所有動作的6個不同維度圖像分別構(gòu)建出6個矩陣Xn(n=1,2,3,4,5,6)，矩陣每一行是每個動作樣本對應(yīng)維度圖像矩陣的行向量展開。然后對每個矩陣分別按行進(jìn)行劃分，隨機(jī)抽取一定比例的行向量組成測試數(shù)據(jù)矩陣XnTe，余下的為訓(xùn)練數(shù)據(jù)矩陣XnTr，最后對6個訓(xùn)練數(shù)據(jù)矩陣分別進(jìn)行PCA降維處理，計(jì)算過程如下：

(3)對協(xié)方差矩陣進(jìn)行特征分解，得到特征值與投影特征向量；

(4)對特征值從大到小排序，選取其中最大的K個特征值將其所對應(yīng)的投影特征向量以列向量形式排列到一個矩陣An中；

當(dāng)采用PCA得到降維的訓(xùn)練數(shù)據(jù)特征矩陣后進(jìn)行多維度特征融合，如圖5所示。將K頻段和C頻段FMCW雷達(dá)回波數(shù)據(jù)得到的不同域圖像分別經(jīng)過PCA降維后，選取前30個相關(guān)度最大的維度為降維后特征向量。圖中的黃色部分與藍(lán)色部分分別為根據(jù)K頻段雷達(dá)數(shù)據(jù)與C頻段雷達(dá)數(shù)據(jù)最后所得到的特征向量。之后在特征層將不同頻段雷達(dá)對應(yīng)的降維特征向量組合成新的特征向量，進(jìn)而根據(jù)多個實(shí)驗(yàn)樣本所得特征向量組成特征矩陣。為了保證測試數(shù)據(jù)在PCA中與訓(xùn)練數(shù)據(jù)的PCA投影維度一致，需要將6個測試數(shù)據(jù)矩陣X1Te～X6Te中心化并與之前得到的An對應(yīng)相乘后得到降維之后的特征矩陣YnTe，然后采用圖5所示的方法進(jìn)行特征融合得到特征向量。

圖5 特征融合示意圖

1.3 SVM分類器

經(jīng)過上述步驟得到特征向量后，采用SVM作為分類器進(jìn)行分類，判別函數(shù)為

(6)

式中：D為支持向量個數(shù)；wi與b分別為權(quán)值與偏置；K(x,xi)為核函數(shù)，

(7)

式中：參數(shù)σ=1。采用“一對一”方法進(jìn)行五分類，在訓(xùn)練時對五類特征分別兩兩配對輸入到10個分類器中，每個分類器用于兩類特征分類。在測試過程中將每組測試數(shù)據(jù)對應(yīng)的特征向量分別輸入所有分類器中，綜合所有分類器結(jié)果，取這些結(jié)果中數(shù)目最多的一類為該組數(shù)據(jù)的最終分類結(jié)果。

2 實(shí)測數(shù)據(jù)結(jié)果分析

2.1 實(shí)驗(yàn)場景

實(shí)驗(yàn)采用雙頻段FMCW雷達(dá)系統(tǒng)，該系統(tǒng)包括兩部FMCW雷達(dá)，分別工作于K頻段與C頻段。雙頻段FMCW雷達(dá)系統(tǒng)的具體參數(shù)如表1所示。

表1 雙頻段FMCW雷達(dá)系統(tǒng)參數(shù)

實(shí)驗(yàn)所用雙頻段FMCW雷達(dá)系統(tǒng)如圖6所示，圖中右側(cè)為C頻段雷達(dá)收發(fā)天線，左側(cè)為K頻段雷達(dá)收發(fā)天線，雷達(dá)距離地面高度為0.9 m，收發(fā)天線并列放置并面向同一方向?qū)ν幻^測對象同時進(jìn)行探測。雷達(dá)系統(tǒng)對人體所做不同動作進(jìn)行回波數(shù)據(jù)采集，采集數(shù)據(jù)的對象為3男1女共4人，全部為在校學(xué)生,編號為1～4。每次數(shù)據(jù)收集探測目標(biāo)只有1人。當(dāng)數(shù)據(jù)采集開始時，觀測目標(biāo)對象會從距離雷達(dá)3.2 m處開始活動，動作為5種，分別為蹲起、跳躍、彎腰、行走與坐下，對于每種動作每個對象采集20次，每次采集時間為3 s，記錄總組數(shù)為400組。

圖6 實(shí)驗(yàn)設(shè)備

2.2 單頻段與雙頻段FMCW雷達(dá)系統(tǒng)的識別準(zhǔn)確率

為了檢驗(yàn)雙頻段FMCW雷達(dá)系統(tǒng)對人體動作的識別性能，進(jìn)行了3組試驗(yàn),所用數(shù)據(jù)分別為K頻段FMCW雷達(dá)、C頻段FMCW雷達(dá)與雙頻段FMCW雷達(dá)系統(tǒng)的回波數(shù)據(jù)。每次實(shí)驗(yàn)在每一類動作對應(yīng)的總數(shù)據(jù)樣本中隨機(jī)抽取75%共即300組數(shù)據(jù)用于訓(xùn)練，余下的25%共即100組數(shù)據(jù)進(jìn)行測試。實(shí)驗(yàn)過程采用四折交叉驗(yàn)證方法。

5個動作分別對應(yīng)的距離時間、距離多普勒與微多普勒時頻譜圖像如圖7所示。三組實(shí)驗(yàn)識別結(jié)果的混淆矩陣分別如表2～4所示。

圖7 不同動作對應(yīng)的雙頻段FMCW雷達(dá)距離時間圖像、距離多普勒圖像與微多普勒時頻譜圖像

表2 單一K頻段FMCW雷達(dá)識別混淆矩陣

表4 雙頻段FMCW雷達(dá)識別混淆矩陣

從表2～4可以看出，采用雙頻段FMCW雷達(dá)系統(tǒng)在訓(xùn)練數(shù)據(jù)占總樣本75%的情況下的平均識別準(zhǔn)確率為95.75%，識別效果對比只運(yùn)用單一K頻段(93%)或C頻段FMCW雷達(dá)(92%)有所提高。

為了進(jìn)一步說明雙頻段雷達(dá)系統(tǒng)在人體動作識別中的優(yōu)勢，在訓(xùn)練數(shù)據(jù)占比不同條件下，對利用雙頻段FMCW雷達(dá)系統(tǒng)得到的識別準(zhǔn)確率與單一K頻段和單一C頻段雷達(dá)識別準(zhǔn)確率進(jìn)行對比，結(jié)果如圖8所示。

圖8 單一雷達(dá)與雙頻段雷達(dá)識別準(zhǔn)確率對比圖

從圖8中可以看出，隨著訓(xùn)練數(shù)據(jù)占比越高，訓(xùn)練樣本數(shù)目越多，總體的識別準(zhǔn)確率越高；在訓(xùn)練樣本比例相同情況下，采用雙頻段雷達(dá)的識別結(jié)果優(yōu)于單一頻段雷達(dá)識別結(jié)果。這是因?yàn)榛陔p頻段雷達(dá)探測不同動作得到融合后的聯(lián)合特征比基于單一雷達(dá)回波提取到的特征有更大的區(qū)分度，進(jìn)而實(shí)現(xiàn)更好的識別效果。

2.3 多特征融合識別準(zhǔn)確率對比

為評估多特征融合在人體動作識別中的優(yōu)勢，基于雙頻段FMCW雷達(dá)系統(tǒng)對文獻(xiàn)[7-9]所采用的微多普勒特征、文獻(xiàn)[14]所采用的微多普勒特征與距離多普勒特征組成的聯(lián)合特征作為特征集與本文所提的基于三種特征組成的特征集進(jìn)行識別結(jié)果進(jìn)行對比，如圖9所示。

圖9 單一特征與多特征融合識別準(zhǔn)確率對比圖

從圖9中可以清楚地看出，采用三種不同特征組成的特征集進(jìn)行識別的效果要優(yōu)于其余兩種情況，在訓(xùn)練集占比相同的情況下普遍具有更高的識別正確率。因?yàn)椴煌瑒幼髟诓煌卣骶S度之間所體現(xiàn)出的區(qū)分度不同，綜合三種維度所提取到的特征集比單一維度特征集具有更大的可區(qū)分性，進(jìn)而可以實(shí)現(xiàn)更好的識別效果。

3 結(jié)束語

本文提出了一種雙頻段FMCW雷達(dá)多維特征融合識別方法用于人體動作識別?；趯?shí)測雷達(dá)數(shù)據(jù)處理的結(jié)果表明，采用雙頻段FMCW雷達(dá)從不同維度進(jìn)行特征提取和融合可以提高人體動作識別的準(zhǔn)確率，本文所提的識別方法識別準(zhǔn)確率可達(dá)到96.25%。在下一階段工作中，將對運(yùn)動人體目標(biāo)的連續(xù)性動作識別進(jìn)行研究，進(jìn)一步提高該方法的實(shí)用性。