周 楊，李劍鵬，王知雨，梁慶真

（四川啟?？丝萍加邢薰荆拇?成都 610041）

0 引言

我國已進(jìn)入快速老齡化階段且老年人口基數(shù)大，因跌倒帶來的健康及經(jīng)濟(jì)損失已成為重大的社會(huì)問題[1]。隨著雷達(dá)芯片技術(shù)的進(jìn)步，毫米波雷達(dá)在非接觸式人員跌倒檢測方面表現(xiàn)出巨大應(yīng)用潛力[2]。毫米波雷達(dá)在跌倒檢測領(lǐng)域具有獨(dú)特的優(yōu)勢(shì)，與視頻設(shè)備相比，避免了用戶隱私泄露的風(fēng)險(xiǎn)，與陀螺儀、加速度計(jì)等可穿戴設(shè)備相比，不影響用戶的日常生活，不會(huì)出現(xiàn)忘記佩戴設(shè)備導(dǎo)致設(shè)備失效的情況[3]。

近年來，基于毫米波雷達(dá)的人員跌倒檢測應(yīng)用研究不斷涌現(xiàn)。其中利用毫米波雷達(dá)獲取的多普勒信息作為跌倒檢測特征的研究相對(duì)較多。文獻(xiàn)[4]對(duì)比了多種特征后發(fā)現(xiàn)，基于雷達(dá)多普勒頻譜時(shí)頻圖提取的特征在跌倒檢測性能方面優(yōu)于其他三種特征。文獻(xiàn)[5]構(gòu)建了毫米波雷達(dá)距離多普勒熱圖，并利用卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)從熱圖序列中提取特征向量并輸入分類器用于跌倒檢測。文獻(xiàn)[6]從雷達(dá)目標(biāo)點(diǎn)云中提取多普勒信息作為特征，輸入卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測人員的姿態(tài)（站、坐、走等）。文獻(xiàn)[7]將距離-時(shí)間圖和微多普勒?qǐng)D拼接形成雙域融合圖來加強(qiáng)數(shù)據(jù)域特征表示，使用長短期記憶網(wǎng)絡(luò)提取時(shí)序特征并完成對(duì)跌倒的檢測。文獻(xiàn)[8]同樣基于雷達(dá)獲取的距離-速度和多普勒信息提取特征來實(shí)現(xiàn)人員跌倒檢測。文獻(xiàn)[9]基于毫米波雷達(dá)獲取的目標(biāo)距離和多普勒序列信息，設(shè)計(jì)了數(shù)據(jù)級(jí)、特征級(jí)和決策級(jí)3 種雷達(dá)圖譜深度學(xué)習(xí)融合網(wǎng)絡(luò)，以提高跌倒檢測的性能。上述研究均主要基于多普勒信息提取特征用于跌倒檢測或者動(dòng)作姿態(tài)檢測，但是根據(jù)雷達(dá)原理可知，在同一位置跌倒時(shí)，人員朝不同方向跌倒，其對(duì)應(yīng)的雷達(dá)多普勒信息差異較大，這為構(gòu)建完備的訓(xùn)練數(shù)據(jù)集帶來較大困難。此外，由文獻(xiàn)[10]可知，多普勒測量靈敏度隨著距離的增大而變低，那么，當(dāng)人距離雷達(dá)較遠(yuǎn)時(shí)，跌倒對(duì)應(yīng)的雷達(dá)多普勒信息與非跌倒動(dòng)作對(duì)應(yīng)的多普勒信息差異會(huì)較小。因此，僅僅基于雷達(dá)多普勒信息的跌倒檢測方法存在局限性。

本文提出了一種基于4D 點(diǎn)云和航跡信息的毫米波雷達(dá)人員跌倒檢測方法，利用調(diào)頻連續(xù)波雷達(dá)獲取的人員目標(biāo)點(diǎn)云信息并融合目標(biāo)跟蹤航跡信息作為特征，該特征不僅包含人體的多普勒信息（微動(dòng)信息），同時(shí)包含人體空間位置信息。測試結(jié)果表明，本文方法采用融合特征的效果優(yōu)于上述文獻(xiàn)中利用雷達(dá)多普勒信息特征的跌倒檢測方法。

1 跌倒檢測系統(tǒng)

基于4D 點(diǎn)云的毫米波雷達(dá)跌倒檢測流程如圖1 所示，主要由信號(hào)處理鏈路、點(diǎn)云聚類及航跡信息提取和跌倒檢測模型組成。其中，硬件系統(tǒng)采用德州儀器60 GHz毫米波雷達(dá)IWR6843ISK[11]，距離分辨率0.070 7 m，速度分辨率為0.069 72 m/s，方位角分辨率為15°，俯仰角分辨率為58°；系統(tǒng)處理每幀數(shù)據(jù)的運(yùn)行時(shí)間約為7 ms。跌倒檢測采用的模型為LeNet-5[12]卷積神經(jīng)網(wǎng)絡(luò)，上位機(jī)通過串口與雷達(dá)通信并傳輸模型輸出的跌倒檢測結(jié)果。

圖1 基于4D 點(diǎn)云和航跡的毫米波雷達(dá)跌倒檢測流程圖

該雷達(dá)采用調(diào)頻連續(xù)波體制，并采用MIMO 面陣天線設(shè)計(jì)，能夠提供目標(biāo)的距離、方位角、俯仰角和多普勒速度4 個(gè)維度（4D）的信息[13]。

2 算法流程

對(duì)待測空間發(fā)射電磁波信號(hào)，收到待測空間傳回的回波ADC 數(shù)據(jù)后，對(duì)其做一維傅里葉變換（1D-FFT），變換后的峰值所在的位置即為目標(biāo)所在的距離單元，進(jìn)而由距離分辨率算出目標(biāo)的距離；接著，對(duì)選取的目標(biāo)點(diǎn)進(jìn)行多普勒維的FFT（2D-FFT),算出多普勒頻譜，由頻譜峰值得到目標(biāo)的多普勒速度信息，再經(jīng)過CFAR 算法濾除一些非目標(biāo)干擾，接著，在該距離單元上結(jié)合天線陣列確定的方向?qū)б噶?，生成距離角度熱度圖，然后根據(jù)恒虛警率算法提取出目標(biāo)的方位角所在的單元，再結(jié)合角度分辨率算出目標(biāo)的俯仰角和方位角，至此目標(biāo)點(diǎn)的距離、角度（方位角和俯仰角）以及多普勒速度都已得到，即4D 點(diǎn)云。

在獲得了4D 點(diǎn)云后，首先利用DBSCAN (Densitybased Spatial Clustering of Applications with Noise，具有噪聲的基于密度的聚類方法)[14]對(duì)生成的點(diǎn)云進(jìn)行聚類。DBSCAN 不需要提前知道簇的數(shù)量，且可以對(duì)任意形狀的稠密數(shù)據(jù)集進(jìn)行聚類，對(duì)于沒有太多先驗(yàn)知識(shí)且有噪聲背景的雷達(dá)量測數(shù)據(jù)來說，是個(gè)比較理想的聚類方法。

算法具體步驟如下：

(1) 確定兩個(gè)關(guān)鍵參數(shù)：鄰域半徑ε和最小點(diǎn)數(shù)MinPts。同時(shí)，樣本集為D=(x1,x2,…,xm)。

(2) 任意選取一個(gè)點(diǎn)xj，計(jì)算其他點(diǎn)到xj點(diǎn)距離，找到距離小于ε的點(diǎn)放入xj點(diǎn)的ε-鄰域子集樣本N?(xj)，若子樣本集樣本個(gè)數(shù)滿足|N?(xj)|≥MinPts，則將樣本xj加入核心對(duì)象樣本集合：Ω=Ω∪{xj}，并標(biāo)記為核心點(diǎn)(Core point)，該鄰域子集樣本形成一個(gè)臨時(shí)聚類簇。如果子樣本集樣本個(gè)數(shù)小于MinPts，但是最終落在核心點(diǎn)的鄰域內(nèi)，則將xj點(diǎn)標(biāo)記為邊界點(diǎn)(Border point)；如果xj點(diǎn)既不是核心點(diǎn)也不是邊界點(diǎn)，則將xj點(diǎn)標(biāo)記為噪聲點(diǎn)(Noise point)。

(3) 對(duì)于每一個(gè)核心點(diǎn)檢查，檢查其鄰域子集樣本N?(xj)中的其他的每一個(gè)點(diǎn)是否為核心點(diǎn)，如果是，則將這兩個(gè)核心點(diǎn)對(duì)應(yīng)的臨時(shí)聚類簇合并，得到新的臨時(shí)聚類簇。再重復(fù)此操作，直到當(dāng)前臨時(shí)聚類簇中的所有樣本中的每一個(gè)樣本要么不在核心對(duì)象樣本集合Ω中，要么其密度直達(dá)的點(diǎn)都已經(jīng)在該臨時(shí)聚類簇中，此時(shí)，該臨時(shí)聚類簇成為一個(gè)聚類簇。

(4) 繼續(xù)對(duì)剩余的臨時(shí)聚類簇重復(fù)步驟(3)，直到全部臨時(shí)聚類簇處理完畢。

這種方法不需要指定類的個(gè)數(shù)，依據(jù)點(diǎn)云密度將密度相對(duì)較高的點(diǎn)云區(qū)域連接成不同形狀的類，可以較好地排除密度低的部分噪聲點(diǎn)或者孤立點(diǎn)，提高聚類質(zhì)量。針對(duì)本文通過毫米波雷達(dá)所獲取的單人點(diǎn)云數(shù)據(jù)，可以更好地排除噪聲的干擾。

完成點(diǎn)云聚類之后，需要通過目標(biāo)航跡對(duì)目標(biāo)位置進(jìn)行跟蹤。在上一過程中，首先通過聚類簇來生成新的航跡。簇生成航跡需要滿足以下條件：

(1) 簇沒有和已有航跡產(chǎn)生關(guān)聯(lián)。

(2) 簇中至少有一個(gè)樣本的信噪比(SNR)值不小于航跡生成信噪比(SNR)閾值。

(3) 簇中Doppler 滿足條件的樣本數(shù)不小于閾值n1。

(4) 簇中心位置附近2 m 內(nèi)沒有其他航跡。

如果簇滿足以上條件，則通過該聚類簇生成一條新的航跡，作為目標(biāo)跟蹤的基礎(chǔ)。在目標(biāo)跟蹤過程中，目標(biāo)每一幀要選擇一個(gè)聚類簇與之關(guān)聯(lián)，用來更新目標(biāo)航跡的最新信息。目標(biāo)航跡狀態(tài)矢量s(n)定義在笛卡爾坐標(biāo)非恒定加速度模型是在此時(shí)所處狀態(tài)為：

簇的狀態(tài)矢量u(n)由簇中心點(diǎn)的距離(r)、方位角(θ)和多普勒速度組成:

為了與簇的狀態(tài)匹配，航跡狀態(tài)向量由笛卡爾坐標(biāo)轉(zhuǎn)換為球坐標(biāo)：

在關(guān)聯(lián)之前，先要對(duì)航跡生成一個(gè)波門來確定量測與目標(biāo)的差值可接受范圍，對(duì)于航跡i，與簇狀態(tài)向量u(n),差量可以表示為：

由于測量的不確定性，定義組殘差協(xié)方差矩陣為：

其中，JH(s(n))為雅克比矩陣，可以表示為：

Rm為測量方差對(duì)角矩陣。對(duì)于每個(gè)現(xiàn)有目標(biāo)航跡i以及在n時(shí)刻獲得的所有簇j，定義一個(gè)距離函數(shù)來表示簇和目標(biāo)航跡的差值：

定義最大限制距離G，如滿足，則認(rèn)為該簇屬于波門內(nèi)。再從所有波門內(nèi)的簇中選擇距離最近的簇作為該航跡當(dāng)前幀的關(guān)聯(lián)簇。若沒有簇處于波門內(nèi)，則認(rèn)為該目標(biāo)航跡在當(dāng)幀沒有關(guān)聯(lián)上任何簇。

3 實(shí)驗(yàn)驗(yàn)證

3.1 跌倒檢測系統(tǒng)分析及實(shí)驗(yàn)準(zhǔn)備

進(jìn)行測試實(shí)驗(yàn)時(shí)，所述具體實(shí)驗(yàn)場景如圖2 所示。

圖2 跌倒檢測實(shí)驗(yàn)測試場景圖

所述毫米波雷達(dá)跌倒檢測系統(tǒng)架設(shè)于空曠的室內(nèi)空間（4 m×4 m×3 m），雷達(dá)安裝高度為2.6 m，架設(shè)俯仰角為45o，場景內(nèi)僅限單人測試以保證點(diǎn)云數(shù)據(jù)的準(zhǔn)確性。

為了進(jìn)行在線的跌倒檢測，已采集大量離線數(shù)據(jù)對(duì)所述系統(tǒng)內(nèi)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并將訓(xùn)練好的模型嵌入至硬件。為了評(píng)估所述跌倒檢測系統(tǒng)的性能，測試對(duì)象的行為包含蹲、坐、彎腰、跌倒四類，以驗(yàn)證系統(tǒng)對(duì)跌倒行為的魯棒性。

3.2 不同模型輸入的測試結(jié)果對(duì)比分析

為了驗(yàn)證不同模型輸入對(duì)應(yīng)的模型輸出對(duì)于跌倒檢測準(zhǔn)確性的影響，按照輸入點(diǎn)云的性質(zhì)將模型輸入分為三類：僅聚類點(diǎn)云、僅航跡、聚類點(diǎn)云與航跡合并。其中，僅聚類點(diǎn)云表示以雷達(dá)安裝位置為原點(diǎn)的極坐標(biāo)系下，模型輸入僅包含聚類點(diǎn)堆X原始信息的點(diǎn)云：

其中，N表示點(diǎn)堆中點(diǎn)的個(gè)數(shù)，rN表示所選點(diǎn)組成的距離向量，aN表示所選點(diǎn)組成的方位角向量，eN表示所選點(diǎn)組成的俯仰角向量，vN表示所選點(diǎn)組成的的多普勒向量。

僅航跡表示模型輸入的點(diǎn)云僅包含目標(biāo)的位置信息：

其中，xt,yt,zt表示航跡的三維空間位置坐標(biāo)。

聚類點(diǎn)云與航跡合并的類型將點(diǎn)云的原始信息變換到以雷達(dá)安裝位置為原點(diǎn)的直角坐標(biāo)系下，并擴(kuò)充了航跡的位置信息：

其中，采用側(cè)裝的坐標(biāo)變換表示為：

式中，x表示直角坐標(biāo)系下坐標(biāo)，P(θ)表示基于俯仰角θ的旋轉(zhuǎn)矩陣，R(φ)表示基于方位角φ的旋轉(zhuǎn)矩陣，r表示極坐標(biāo)系下坐標(biāo)，H為安裝高度。

為了驗(yàn)證所述毫米波雷達(dá)跌倒檢測系統(tǒng)的功能，首先對(duì)其進(jìn)行了離線數(shù)據(jù)測試。圖3 所示為某次測試實(shí)驗(yàn)中根據(jù)所采集的數(shù)據(jù)離線測試三種類型的模型輸入對(duì)應(yīng)的跌倒檢測模型輸出結(jié)果。

圖3 基于3D 點(diǎn)云的毫米波雷達(dá)跌倒檢測流程圖

此次離線測試實(shí)驗(yàn)進(jìn)行了4 次跌倒，4 次蹲下，2 次坐下和2 次彎腰，以0.5 作為跌倒模型輸出概率的閾值判斷是否跌倒。

從圖3(a)、圖3(b)可以看出，當(dāng)模型輸入類型分別為僅聚類點(diǎn)云和僅航跡時(shí)，4 次跌倒全部被判斷的同時(shí)，模型將4 次蹲下、1 次坐下和1 次彎腰誤判為跌倒；而從圖3(c)可以看出，當(dāng)模型輸入類型為聚類點(diǎn)云與航跡合并時(shí)，4 次跌倒全部被判斷且只有1 次蹲下和1 次坐下被誤判為跌倒。單次離線測試實(shí)驗(yàn)的結(jié)果表明，聚類點(diǎn)云與航跡合并的模型輸入類型有效降低了干擾動(dòng)作（蹲下、坐下、彎腰）對(duì)跌倒檢測的影響。

為了進(jìn)一步測試毫米波雷達(dá)跌倒檢測系統(tǒng)的實(shí)時(shí)跌倒檢測性能，本文對(duì)10 位身高體重各不相同的受試者進(jìn)行了包含蹲、坐、彎腰、跌倒四類行為的試驗(yàn)，試驗(yàn)時(shí)，每位受試者依次單獨(dú)進(jìn)入測試場景隨機(jī)做出所述四類行為，試驗(yàn)樣本各自類別的具體實(shí)現(xiàn)次數(shù)如表1所示。

表1 測試試驗(yàn)數(shù)據(jù)集

對(duì)三種不同類型的模型輸入分別進(jìn)行了上述測試試驗(yàn)，各自的跌倒檢測結(jié)果如表2 所示。根據(jù)實(shí)時(shí)測試結(jié)果可以看出，聚類點(diǎn)云與航跡合并的輸入類型在相同的卷積神經(jīng)網(wǎng)絡(luò)模型下實(shí)現(xiàn)了81.70%準(zhǔn)確率的跌倒檢測模型輸出，相比于其他兩類模型輸入的模型輸出結(jié)果而言，其在跌倒檢測的誤判和漏判兩個(gè)方面均有明顯優(yōu)勢(shì)?？梢钥闯?，采用數(shù)據(jù)維度更為完備的輸入類型作為模型輸入能夠有效提高模型輸出的準(zhǔn)確性。

表2 跌倒檢測結(jié)果統(tǒng)計(jì)表

4 結(jié)論

本文提出了一種基于4D 點(diǎn)云和航跡信息的毫米波雷達(dá)人員跌倒檢測方法，利用點(diǎn)云的空間信息、時(shí)間信息和微動(dòng)(多普勒)信息全方位地表征人體動(dòng)作特征，同時(shí)結(jié)合跟蹤航跡信息帶來的濾波器效應(yīng)進(jìn)一步抑制環(huán)境雜波的影響，提高了跌倒檢測的準(zhǔn)確性。下一步工作，將在現(xiàn)有基礎(chǔ)上繼續(xù)研究不同分類器模型對(duì)跌倒檢測性能的影響，并提出更優(yōu)的分類器設(shè)計(jì)方法。