何 密 平欽文 戴 然(陸軍軍醫(yī)大學(xué)生物醫(yī)學(xué)工程與影像醫(yī)學(xué)系 重慶 400038)

1 引言

我國是老年人口規(guī)模最大的國家，也將是人口老齡化速度最快的國家。2021年第7次人口普查顯示，60歲及以上人口為26402萬人，占總?cè)丝诘?8.70%，65歲及以上人口為19064萬人，占總?cè)丝诘?3.50%。根據(jù)聯(lián)合國人口預(yù)測，到2037年，我國60歲及以上老年人口將占到總?cè)丝诘?0%以上[1,2]。而隨著年齡的增長，老年人的體質(zhì)衰退，聽力、視力、平衡協(xié)調(diào)能力等方面下降，常常會導(dǎo)致老人突然失去平衡和行動能力而發(fā)生跌倒。據(jù)世界衛(wèi)生組織(World Health Organization,WHO)報道每年65歲以上老人出現(xiàn)跌倒的概率為28%～35%，并隨著年齡增加而逐步提高；且跌倒是79歲以上老人意外傷害死亡最主要的原因之一，經(jīng)歷跌倒的老人比未跌倒過的老人更易死亡，風(fēng)險比值為5.11[3]。研究顯示，老人跌倒后如能得到及時救助，可以有效降低80%的死亡風(fēng)險和26%的長期住院治療風(fēng)險[4]。因此跌倒檢測技術(shù)具有重要的研究意義和社會價值。

根據(jù)不同的工作原理，跌倒檢測系統(tǒng)可分為接觸式(即可穿戴式)和非接觸式(即環(huán)境感知式)兩大類[5–13]。環(huán)境感知式傳感器—雷達(dá)不受光照、聲音、溫度變化的影響，能較好地保護用戶隱私，近年來開始應(yīng)用于人體行為和步態(tài)識別的研究[14]。由于窄帶多普勒雷達(dá)結(jié)構(gòu)簡單、造價低廉，已廣泛應(yīng)用于非接觸式跌倒檢測研究[15–17]。相比窄帶多普勒雷達(dá)，超寬帶(Ultrawideband,UWB)雷達(dá)不僅能夠較好地分辨多普勒速度，還具備良好的距離分辨力，因此能夠給跌倒行為檢測提供更多維度的信息，以提高跌倒識別準(zhǔn)確率[18]。近年來，面向人體行為識別和智慧家居的超寬帶生物雷達(dá)實現(xiàn)了集成化、小型化和量產(chǎn)化，開始應(yīng)用于室內(nèi)跌倒識別的研究中[19,20]。

在早期的雷達(dá)跌倒檢測算法研究中，多采用人工模式提取特征，如從雷達(dá)的距離多普勒譜圖和時間多普勒譜圖中提取多普勒帶寬、步伐頻率、多普勒最大值或最小值及其比值、小波變換系數(shù)、余弦變換系數(shù)、Mel-倒譜、線性預(yù)測編碼系數(shù)等特征[21]，并結(jié)合機器學(xué)習(xí)進行分類[22]。與人工提取特征模式相比，基于數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)方法能自動提取特征，一般能獲得更好的分類效果。但如果將雷達(dá)信號原始數(shù)據(jù)直接輸入深度學(xué)習(xí)網(wǎng)絡(luò)，往往會導(dǎo)致網(wǎng)絡(luò)的結(jié)構(gòu)偏大[23]。因此，目前大多數(shù)研究一般會對雷達(dá)原始數(shù)據(jù)做一些預(yù)處理再輸入深度學(xué)習(xí)網(wǎng)絡(luò)[18]，常用的預(yù)處理方法如小波變換、短時傅里葉變換(Short Time Fourier Transform,STFT)、稀疏自編碼器、主成分分析(Principal Component Analysis,PCA)等。Jokanovi?等人[24]通過連續(xù)波雷達(dá)采集3個受試者117 次跌倒和291次非跌倒數(shù)據(jù)，利用堆疊稀疏自編碼器自動提取雷達(dá)時頻域和距離域信息的特征，再用多元邏輯回歸進行分類，最高的準(zhǔn)確率為97.1%，但對應(yīng)的靈敏度僅為79.0%。Erol等人[25]利用多維PCA自動提取4個受試者的109次跌倒、105次坐下、95次彎腰和76次行走的3D距離-多普勒-時間數(shù)據(jù)的特征，檢測跌倒準(zhǔn)確率可達(dá)96%以上。Wang等人[26]提出了一種用于雷達(dá)微多普勒時序數(shù)據(jù)分類的堆疊式門控循環(huán)單位(Gated Recurrent Units,GRU)網(wǎng)絡(luò)，用于識別人體運動類型，在對整個序列進行分類時，GRU的表現(xiàn)明顯優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)。Taylor等人[27]利用CNN和PCA對數(shù)據(jù)集中198次跌倒和1435次非跌倒的多普勒時間譜圖像進行訓(xùn)練和驗證，準(zhǔn)確率可達(dá)95.3%。Anishchenko等人[28]利用兩個窄帶多普勒雷達(dá)進行跌倒檢測，結(jié)合小波變換和AlexNet網(wǎng)絡(luò)，對5個受試者175次摔倒和175次非摔倒數(shù)據(jù)進行訓(xùn)練和測試，準(zhǔn)確率為99.3%，但數(shù)據(jù)偏少，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，數(shù)據(jù)劃分不互斥。Arab等人[29]利用連續(xù)小波變換預(yù)處理1000例動作(其中跌倒125例)的雷達(dá)正交通道信號，得到去噪尺度圖，將其和原始信號輸入雙通道CNN中進行跌倒檢測，準(zhǔn)確率為96%，但存在類別嚴(yán)重不平衡和數(shù)據(jù)泄露等問題。

從目前的國內(nèi)外研究現(xiàn)狀來看，基于雷達(dá)的非接觸跌倒檢測的樣本量普遍偏少，一般為2～5個受試者的數(shù)據(jù)，且不公開；現(xiàn)有數(shù)據(jù)集的動作類型普遍偏少且場景單一[29]；因此，對于深度學(xué)習(xí)而言，現(xiàn)有數(shù)據(jù)集數(shù)據(jù)往往不足以訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，可能會導(dǎo)致網(wǎng)絡(luò)泛化能力差、通用性能低。以前的研究多采用窄帶多普勒雷達(dá)，導(dǎo)致行為識別精度不夠高。有些研究在網(wǎng)絡(luò)參數(shù)訓(xùn)練時存在數(shù)據(jù)泄露問題，往往將同一人的動作數(shù)據(jù)既用在訓(xùn)練集也用在驗證集，而有些研究沒有測試集，也沒有采用多種場景中的數(shù)據(jù)進行驗證，模型的通用性和泛化能力未得到驗證；Anishchenko等人[28]未對雷達(dá)數(shù)據(jù)做預(yù)處理，導(dǎo)致訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)普遍龐大，不適宜線上實時處理；有些算法僅使用了超寬帶雷達(dá)在某個距離單元的時間多普勒譜信息，同時浪費了距離時間譜和距離多普勒譜的信息，在識別準(zhǔn)確率上還有待提高[20,30]。

因此本文將采用調(diào)頻連續(xù)波(Frequency Modulated Continuous Wave,FMCW)超寬帶雷達(dá)在多個真實的室內(nèi)復(fù)雜場景下采集多名受試者的日常行為和跌倒的回波數(shù)據(jù)，設(shè)計深度學(xué)習(xí)網(wǎng)絡(luò)融合3種圖譜的信息，從而提高跌倒識別的準(zhǔn)確率，網(wǎng)絡(luò)訓(xùn)練、驗證和測試過程中始終保證數(shù)據(jù)的互斥性。本文的整體研究框圖如圖1所示，超寬帶雷達(dá)在場景1下采集的數(shù)據(jù)用于網(wǎng)絡(luò)訓(xùn)練和交叉驗證，場景2下采集的數(shù)據(jù)用于網(wǎng)絡(luò)測試，雷達(dá)采集的回波經(jīng)去斜處理、距離壓縮、動目標(biāo)顯示(Moving Target Indication,MTI)等預(yù)處理，生成包含互補信息的距離時間譜、距離多普勒譜和時間多普勒譜3種圖譜，然后利用輕量級深度學(xué)習(xí)網(wǎng)絡(luò)MobileNet-V3基本結(jié)構(gòu)設(shè)計數(shù)據(jù)級、特征級和決策級3種融合方式下的深度學(xué)習(xí)網(wǎng)絡(luò)，最后給出是否跌倒的判斷。

圖1 深度學(xué)習(xí)融合超寬帶雷達(dá)圖譜檢測跌倒的整體研究框圖Fig.1 Overall research block diagram of deep learning fusing ultrawideband radar spectrograms for fall detection

2 雷達(dá)信號預(yù)處理

本研究中FMCW雷達(dá)發(fā)射和接收的信號為三角波形，如圖2所示。其中紅色線條為發(fā)射波形，藍(lán)色線條為接收波形，T為線性調(diào)頻信號的周期，PRT為脈沖重復(fù)周期，B為雷達(dá)發(fā)射信號的帶寬，fc為雷達(dá)中心頻率。

圖2 FMCW雷達(dá)發(fā)射和接收波形示意圖Fig.2 Schematic diagram of transmitting and receiving waveforms of the FMCW radar

FMCW雷達(dá)對接收回波Sr(t)進行去斜處理，得到差頻信號Sb(t)[31]

其中，?表示共軛轉(zhuǎn)置，St(t)是發(fā)射信號。通過去斜處理，回波信號與發(fā)射信號之間的延時就轉(zhuǎn)換為不同差頻信號的頻率，對應(yīng)目標(biāo)的距離。差頻信號再經(jīng)傅里葉變換，從而得到目標(biāo)的一維距離像，如式(2)所示：

2.1 距離時間譜

一個發(fā)射周期的信號經(jīng)上述處理后得到一個一維距離像，將其離散化，按照距離單元排成行向量，如圖3中的行向量。多個周期的信號經(jīng)相同處理后，可以得到多個一維距離像，按照時間先后排列可形成一個距離時間矩陣RT，如圖3所示，其中行方向為距離單元，列方向為慢時間采樣(采樣率為1/PRT)。距離時間矩陣為

圖3 距離時間矩陣RT的排列示意圖Fig.3 Arrangement diagram of range-time matrix RT

其中，ts是慢時間采樣，R(ts)是慢時間的函數(shù)。

對距離時間矩陣RT先進行MTI處理，抑制靜態(tài)雜波，然后再歸一化，并將歸一化幅值轉(zhuǎn)化為分貝表示，得到距離時間譜RTS，跌倒和行走的RTS分別如圖4所示：

圖4 跌倒和行走的距離時間譜圖Fig.4 Range-time spectrograms of fall and walk

其中，|·|表示取絕對值，max(·)表示求所有元素中的最大值。

2.2 距離多普勒譜

沿距離時間矩陣RT的慢時間方向(列方向)進行Nfft點FFT變換，得到距離多普勒矩陣RD，如圖5所示，行方向為距離單元，列方向為多普勒頻率。對距離多普勒矩陣RD歸一化，并將歸一化幅值轉(zhuǎn)化為分貝表示，得到距離多普勒譜RDS，跌倒和行走的RDS分別如圖6所示。

圖5 距離多普勒矩陣RD的排列示意圖Fig.5 Arrangement diagram of range-Doppler matrix RD

圖6 跌倒和行走的距離多普勒譜圖Fig.6 Range-Doppler spectrograms of fall and walk

2.3 時間多普勒譜

對距離時間矩陣RT的第m個距離單元的時序信號RTm(n)(n=1,2,···,N)，進行時頻分析(如STFT)，可以得到時間多普勒矩陣TD。為了更好地反映運動目標(biāo)特征，采用文獻(xiàn)[30]中的方法選取最優(yōu)距離單元上的信號RTm(n) 進行STFT。

其中，n是慢時間采樣，k是頻率采樣，W(·)是滑窗函數(shù)，K是加窗傅里葉變換的點數(shù)。

同理，對時間多普勒矩陣TD歸一化，并將歸一化幅值轉(zhuǎn)化為分貝表示，得到距離多普勒譜TDS。跌倒和行走的TDS分別如圖7所示。

圖7 跌倒和行走的時間多普勒譜圖Fig.7 Time-Doppler spectrograms of fall and walk

3 基于MobileNet-V3網(wǎng)絡(luò)的數(shù)據(jù)融合

MobileNet-V3是由Google團隊在2019年提出的專注于移動端或者嵌入式設(shè)備中的輕量級CNN網(wǎng)絡(luò)，分為Large和Small兩個版本，網(wǎng)絡(luò)參數(shù)大小分別為5.4 MB和2.5 MB[32]。本文后面提及的MobileNet-V3網(wǎng)絡(luò)特指參數(shù)更小的Small版本。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)

3.1.1 MobileNet-V3網(wǎng)絡(luò)

MobileNet-V3相比CNN，能在準(zhǔn)確率小幅降低的前提下大大減少模型參數(shù)與運算量是因為包含3個重要結(jié)構(gòu)：深度可分離卷積、倒殘差結(jié)構(gòu)和輕量級注意力模塊[32]，如圖8所示。具體包括：(1)深度可分離卷積中一個卷積核只作用一個輸入通道，逐點卷積運算類似標(biāo)準(zhǔn)卷積，使用尺寸為1×1的卷積核擴大輸出特征的通道數(shù)，在提取雷達(dá)圖譜特征時減少了參數(shù)量和計算量。(2)倒殘差結(jié)構(gòu)在特征提取時首先使用標(biāo)準(zhǔn)卷積對特征進行擴維，然后使用深度可分離卷積進一步提取特征且輸出通道維度與標(biāo)準(zhǔn)卷積輸出通道維度一致。倒殘差結(jié)構(gòu)能夠很好地保留雷達(dá)圖譜中的行為動作重要特征信息，且對輸入特征重用，可避免模型在訓(xùn)練時出現(xiàn)梯度消失。(3)輕量級注意力模塊與倒殘差結(jié)構(gòu)相結(jié)合，調(diào)整不同通道的權(quán)重，從而保證模型更加關(guān)注雷達(dá)圖譜中的關(guān)鍵信息。

圖8 MobileNet-V3的核心結(jié)構(gòu)Fig.8 Core structure of MobileNet-V3

此外，MobileNet-V3采用h-swish激活函數(shù)能夠提高網(wǎng)絡(luò)精度[32]，其具體表達(dá)式為

其中，函數(shù)ReLU6 (x)=min(6,max(0,x))。Softmax交叉熵?fù)p失函數(shù)L用于衡量預(yù)測值與實際值之間的相似程度，其具體表達(dá)式為

其中，Ns是用于訓(xùn)練的樣本個數(shù)，pi是網(wǎng)絡(luò)輸出的概率。

3.1.2 數(shù)據(jù)級融合網(wǎng)絡(luò)

數(shù)據(jù)級融合網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計如圖9所示，該網(wǎng)絡(luò)將UWB雷達(dá)的距離時間譜、距離多普勒譜和時間多普勒譜3種圖譜分別讀取成灰度圖像，經(jīng)過統(tǒng)一尺寸變化后，然后將3個圖譜按初始權(quán)重相等的組合方式疊加融合在一起組成3通道數(shù)據(jù)?；跀?shù)據(jù)級融合的網(wǎng)絡(luò)由于結(jié)合了輕量級注意力模塊與倒殘差結(jié)構(gòu)，訓(xùn)練過程中可調(diào)整3種圖譜所在通道的權(quán)重，提高跌倒行為的識別能力。

圖9 數(shù)據(jù)級融合網(wǎng)絡(luò)的結(jié)構(gòu)示意圖Fig.9 Structure diagram of data level fusion network

3.1.3 特征級融合網(wǎng)絡(luò)

特征級融合網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計如圖10所示，共分3個支路，每個支路均采用MobileNet-V3網(wǎng)絡(luò)結(jié)構(gòu)，輸入3種圖譜的灰度圖像，分別提取每種圖譜的特征。在全連接層將3個支路提取的特征拼接作為分類器的輸入，為了防止過擬合，提升網(wǎng)絡(luò)性能，再加入兩級Dropout層和全連接層，最后分類器給出識別結(jié)果。

圖10 特征級融合網(wǎng)絡(luò)的結(jié)構(gòu)示意圖Fig.10 Structure diagram of feature level fusion network

3.1.4 決策級融合網(wǎng)絡(luò)

決策級融合網(wǎng)絡(luò)結(jié)構(gòu)如圖11所示，輸入也為3種圖譜的灰度圖像，分為兩部分：第1部分采用MobileNet-V3網(wǎng)絡(luò)分別對3種圖譜進行特征提取并初步分類，第2部分采用投票機制將分類結(jié)果重新投票得出最終預(yù)測結(jié)果。投票機制采用多數(shù)投票的方式，將得分最高的結(jié)果作為最終預(yù)測結(jié)果。

圖11 決策級融合網(wǎng)絡(luò)的結(jié)構(gòu)示意圖Fig.11 Structure diagram of decision level fusion network

3.2 模型訓(xùn)練及評價

3.2.1 模型訓(xùn)練和測試

為了訓(xùn)練出可靠的網(wǎng)絡(luò)模型，本文采用K折交叉驗證的方法，即每輪訓(xùn)練中選擇場景1中(K–1)/K數(shù)據(jù)作為訓(xùn)練集，1/K的數(shù)據(jù)作為驗證集。另外，為了測試訓(xùn)練模型的泛化能力，本文將場景2下新受試者的數(shù)據(jù)作為測試集，對參數(shù)優(yōu)化后的模型進行測試。

3.2.2 評價指標(biāo)

模型性能評價指標(biāo)主要包括靈敏度(Sensitivity,Se)、特異性(Specificity,Sp)、準(zhǔn)確率(Accuracy,Ac)、精密度(Precision,Pr)和F1-Score，計算公式如下：

其中，P表示真實跌倒的次數(shù)，N表示真實非跌倒的次數(shù)，TP表示判斷正確的跌倒次數(shù)，TN表示判斷正確的非跌倒次數(shù)，F(xiàn)N表示將真實跌倒判斷為非跌倒的次數(shù)，F(xiàn)P表示將真實非跌倒判斷為跌倒的次數(shù)。分別計算模型在交叉驗證集和測試集中上述指標(biāo)的結(jié)果，以評估不同分類模型的效果。

4 實驗設(shè)計和數(shù)據(jù)采集

4.1 雷達(dá)跌倒檢測系統(tǒng)

本實驗采用K波段UWB雷達(dá)探測系統(tǒng)，如圖12所示，工作帶寬設(shè)置為2 GHz，發(fā)射功率為12 dBm，發(fā)射波形為三角波，重復(fù)周期設(shè)置為0.5 ms，對應(yīng)的脈沖重復(fù)頻率為2000 Hz，快時間采樣頻率為500 kHz，天線方位和俯仰波束寬度分別為30°和20°。

圖12 K波段UWB雷達(dá)跌倒檢測系統(tǒng)Fig.12 K band UWB radar fall detection system

4.2 實驗方案設(shè)計

實驗盡可能全方位地考慮現(xiàn)實生活中的跌倒和日常行為動作。日常行為動作包括常見的行走、坐下、躺下、起立、慢速上下樓梯等的動作，其特點是行動速率較慢、速率變化幅度較小且頻率較低，與人體跌倒時速率急速變化區(qū)別較大，比較容易區(qū)分。此外，增加了較為劇烈的日常行為動作，如慢跑、爬行等。跌倒動作包括暈倒、跌倒、滑倒、上下樓梯絆倒等。考慮到現(xiàn)實生活中行為動作發(fā)生位置的隨意性和方向的隨機性，動作數(shù)據(jù)將在距離雷達(dá)不同位置、不同方位上采集。實驗方案通過了陸軍軍醫(yī)大學(xué)倫理委員會批準(zhǔn)(批準(zhǔn)號：AF/sc-03/1.0,2021年)，由于跌倒實驗本身存在一定危險因素，考慮到老人普遍的身體狀況，本實驗中的受試者均為青壯年，且跌倒在提供足夠緩沖的海綿墊上。實驗共收集了36名受試者的數(shù)據(jù)，受試者男女的性別比例為23:13。實驗中統(tǒng)計了受試者的年齡、身高、體重和體質(zhì)指數(shù)(Body Mass Index,BMI)信息，經(jīng)Shapiro-Wilk統(tǒng)計分析，除年齡以外其他參數(shù)均滿足正態(tài)分布。受試者統(tǒng)計信息如下：年齡為Q2(Q1,Q3)=22.0(20.0,24.75)，身高為169.1±8.0 cm，體重為59.9±9.5 kg，BMI為20.8±2.1 kg/m2。

本實驗設(shè)計了常見的20種日常行為動作及10種跌倒動作，部分動作示意圖如圖13所示。為增加樣本的多樣性，受試者每個動作需重復(fù)測量3次，且每次動作受試者可隨意發(fā)揮以增加隨機性。每條數(shù)據(jù)采集的時長至少為5 s，參考文獻(xiàn)[18,33]，目前截取4 s時長的數(shù)據(jù)進行后續(xù)分析。場景1的房間尺寸為640 mm×492 mm×246 mm(長×寬×高)，場景2的房間尺寸為560 mm×247 mm×263 mm(長×寬×高)。為了模擬真實房間場景，兩個房間中隨機擺放了各種辦公桌椅、病床、沙發(fā)、鐵皮文件柜等，如圖14所示。

圖13 實測實驗設(shè)計的日常行為與跌倒部分動作示意圖Fig.13 Schematic diagram of daily behaviors and a part of falls designed in the experiment

圖14 實測實驗多場景示意圖Fig.14 Multi-scene schematic diagram of the experiment

4.3 數(shù)據(jù)集的建立和劃分

本文數(shù)據(jù)庫K-UWB-MSHA-1.0共包含兩個場景下36名受試者共3240例UWB雷達(dá)行為測量數(shù)據(jù)，其中場景1采集的數(shù)據(jù)作為訓(xùn)練集(共2700例來自前30名受試者)，場景2采集的數(shù)據(jù)作為測試集(共540例來自后6名受試者)。附錄提供了數(shù)據(jù)集KUWB-MSHA-1.0的下載和使用說明鏈接。為了提高訓(xùn)練模型的泛化能力，本文對訓(xùn)練集的樣本進行數(shù)據(jù)增強處理，但考慮到雷達(dá)圖譜與自然圖像之間的差異，僅對3種圖譜進行水平和垂直翻轉(zhuǎn)。因此數(shù)據(jù)增強后，5折交叉驗證中訓(xùn)練集和驗證集的樣本數(shù)量分別為6480和1620。

訓(xùn)練集、驗證集和測試集的數(shù)據(jù)劃分遵循互斥原則，即不僅數(shù)據(jù)樣本互斥，而且每個受試者的所有樣本只能劃分至一個數(shù)據(jù)集，從而避免了驗證和測試時的數(shù)據(jù)泄露。

4.4 網(wǎng)絡(luò)運行環(huán)境

深度學(xué)習(xí)網(wǎng)絡(luò)模型訓(xùn)練的工作站采用專業(yè)版Windows10 64位操作系統(tǒng)，配置為Intel Xeon 6核CPU，191 GB運行內(nèi)存，NVIDIA Quadro RTX 6000顯卡。深度學(xué)習(xí)框架采用Pytorch 1.10.1，環(huán)境Python版本為3.7.12，CUDA版本為11.1。

4.5 網(wǎng)絡(luò)參數(shù)

為了公平測試不同網(wǎng)絡(luò)的性能，模型訓(xùn)練階段采用固定的隨機數(shù)種子保證每種網(wǎng)絡(luò)模型劃分時訓(xùn)練集和驗證集一致。此外輸入圖譜的尺寸、訓(xùn)練輪數(shù)、學(xué)習(xí)率等超參數(shù)也保持一致。具體而言，圖譜的輸入尺寸統(tǒng)一設(shè)置為224×224，每種網(wǎng)絡(luò)模型訓(xùn)練輪數(shù)皆為30，學(xué)習(xí)率為0.01，采用Adam優(yōu)化函數(shù)，每輪訓(xùn)練迭代的批樣本數(shù)為256，訓(xùn)練過程中利用GPU加速計算，權(quán)重衰減系數(shù)為10–5。模型訓(xùn)練完成后，利用場景2下的數(shù)據(jù)對模型進行測試。表1分別列出了本文所用到的MobileNet-V3網(wǎng)絡(luò)(以距離時間譜為例)、數(shù)據(jù)級融合網(wǎng)絡(luò)、特征級融合網(wǎng)絡(luò)和決策級融合網(wǎng)絡(luò)的訓(xùn)練耗時，訓(xùn)練好后網(wǎng)絡(luò)模型的大小，以及利用這些網(wǎng)絡(luò)進行單張圖片測試的平均耗時(1000張圖片耗時的平均值)?？梢钥闯?，單個MobileNet-V3網(wǎng)絡(luò)和數(shù)據(jù)級融合網(wǎng)絡(luò)在大小和單張圖片測試耗時基本是一致的。決策級的網(wǎng)絡(luò)最大，約17.7 MB，單張圖片測試需要耗時0.1 s左右，可以做到實時處理。

表1 MobileNet-V3網(wǎng)絡(luò)和融合網(wǎng)絡(luò)的大小及耗時對比Tab.1 Comparison of size and time consumption of MobileNet-V3 network and fusion networks

5 實驗結(jié)果與對比

圖15展示了利用場景1中單個圖譜的數(shù)據(jù)進行5折交叉驗證時準(zhǔn)確率(圖15(a)、圖15(c)和圖15(e))和交叉熵?fù)p失值(圖15(b)、圖15(d)和圖15(f))隨訓(xùn)練輪數(shù)的變化曲線。圖16展示了融合場景1中3種圖譜的數(shù)據(jù)進行5折交叉驗證時準(zhǔn)確率(圖16(a)、圖16(c)和圖16(e))和交叉熵?fù)p失值(圖16(b)、圖16(d)和圖16(f))隨訓(xùn)練輪數(shù)的變化曲線?？梢钥闯?，無論是單種圖譜還是融合方法經(jīng)過30輪的訓(xùn)練，準(zhǔn)確率和交叉熵?fù)p失值均趨于穩(wěn)定。相對于單個圖譜和其他兩種融合方法，特征級融合方法在不同折上性能差異比較大，從而表明該方法對數(shù)據(jù)的依賴較大，容易過擬合。

圖15 僅用單圖譜檢測跌倒的5折交叉驗證的準(zhǔn)確率及交叉熵?fù)p失隨訓(xùn)練輪數(shù)的變化曲線Fig.15 Curves of accuracy and cross entropy loss of 5-fold cross-validation using one kind of spectrograms for fall detection

圖16 融合方法檢測跌倒的5折交叉驗證的準(zhǔn)確率及交叉熵?fù)p失隨訓(xùn)練輪數(shù)的變化曲線Fig.16 Curves of accuracy and cross entropy loss of 5-fold cross-validation using fusion methods for fall detection

表2列出了單種圖譜和融合方法檢測跌倒的5折交叉驗證的平均結(jié)果?？梢钥闯?，單種圖譜中檢測性能最優(yōu)的是距離時間譜，其5折交叉驗證的準(zhǔn)確率為0.9923，其次是時間多普勒譜(準(zhǔn)確率為0.9893)。數(shù)據(jù)融合方法和決策融合方法的檢測性能都比單種圖譜方法的效果有所提升，決策模型在相同條件下檢測效果最佳，其5折交叉驗證的準(zhǔn)確率可達(dá)0.9956。但特征級融合在5折交叉驗證結(jié)果中，平均性能較單種圖譜有所下降，其原因是在某些折上檢測性能變差。

表3列出了僅用單種圖譜和融合方法在場景2的測試結(jié)果?？梢钥闯觯瑑H用距離時間譜的數(shù)據(jù)能夠獲得單種圖譜最高的檢測性能，準(zhǔn)確率為0.9537，但距離多普勒譜的準(zhǔn)確率只有0.9167，說明其泛化能力較差。融合方法中，數(shù)據(jù)級和決策級融合相比于單種圖譜具有更好的預(yù)測性能。在新的場景下，決策級融合的方法具有最高的檢測性能，準(zhǔn)確率可達(dá)0.9778，F(xiàn)1-score可達(dá)0.9659。但特征級融合方法的性能相對于單種圖譜沒有提升，說明其泛化能力差。另外表3與表2的結(jié)果具有一致性。

表2 跌倒檢測5折交叉驗證評價指標(biāo)對比(場景1)Tab.2 Comparison of evaluation indicators for 5-fold cross-validation of fall detection (Scene 1)

表3 不同模型之間跌倒檢測性能的對比(場景2)Tab.3 Comparison of fall detection performance between different models (Scene 2)

圖17分別給出了用單種圖譜和融合方法對場景2的數(shù)據(jù)進行測試時的混淆矩陣。為了驗證不同方法在新場景下對新的受試者數(shù)據(jù)中檢測跌倒的準(zhǔn)確率之間是否存在統(tǒng)計性差異，本文將采用配對設(shè)計4表格資料卡方檢驗(McNemar檢驗)。為此，分別計算需要對比的兩種方法中方法1判斷正確但方法2判斷錯誤的個數(shù)a，方法1判斷錯誤但方法2判斷正確的個數(shù)b。構(gòu)造統(tǒng)計量，χ2=(a ?b)2/(a+b)，則假設(shè)檢驗為

圖17 用場景2數(shù)據(jù)測試各種模型時得到的混淆矩陣Fig.17 Confusion matrix obtained when testing various models using data of Scene 2

按顯著性水平α=0.05拒絕H0。本文的統(tǒng)計分析通過軟件統(tǒng)計產(chǎn)品與服務(wù)解決方案(Statistical Product and Service Solutions,SPSS)實現(xiàn)，結(jié)果表明決策級融合方法優(yōu)于單種圖譜方法(3個P值均<0.001)、數(shù)據(jù)級融合方法(P=0.003)和特征級融合方法(P<0.001)。數(shù)據(jù)級&特征級融合方法與單用距離時間譜(兩個P值均為1.000)和時間多普勒譜(P=0.152,P=0.690)的方法之間沒有顯著性差異，但優(yōu)于單用距離多普勒譜的方法(兩個P值均<0.001)。特征級與數(shù)據(jù)級融合方法之間沒有統(tǒng)計性差異(P=0.367)。

6 結(jié)語

為克服窄帶雷達(dá)獲取動作行為信息有限以及現(xiàn)有數(shù)據(jù)集數(shù)據(jù)量偏少等問題，本研究采用UWB雷達(dá)在2個真實的室內(nèi)復(fù)雜場景下采集36名受試者的日常行為和跌倒的回波數(shù)據(jù)，建立了動作類型豐富、多場景、多受試者的數(shù)據(jù)集，設(shè)計了基于MobileNet-V3的輕量級深度學(xué)習(xí)網(wǎng)絡(luò)融合3種雷達(dá)圖譜的信息以提高跌倒識別的性能。網(wǎng)絡(luò)模型在訓(xùn)練、驗證和測試過程中始終保證數(shù)據(jù)的互斥性，防止了數(shù)據(jù)泄露的問題。采用了多種指標(biāo)衡量比較不同融合模型的效果，并與單種圖譜的識別效果進行了比較。通過統(tǒng)計分析發(fā)現(xiàn)，本文提出的決策級融合方法相對于單種圖譜、數(shù)據(jù)級、特征級融合方法，能夠提高跌倒檢測性能(統(tǒng)計分析表明所有P值不超過0.003)，其5折交叉驗證的準(zhǔn)確率為0.9956，F(xiàn)1-score為0.9933，在新場景下測試的準(zhǔn)確率為0.9778，F(xiàn)1-score可達(dá)0.9659，具有較強的泛化能力。

由于雷達(dá)的型號參數(shù)和觀察角度會影響現(xiàn)有模型的識別性能，因此不同參數(shù)的雷達(dá)需要重新訓(xùn)練網(wǎng)絡(luò)，為了完善數(shù)據(jù)集，今后將增加更多的探測角度(如垂直雷達(dá)視線的角度)。在數(shù)據(jù)處理方面將考慮數(shù)據(jù)流的形式，以真正實現(xiàn)實時跌倒檢測，并進一步分析不同圖譜對于不同動作的識別性能是否存在差異。

附錄

K波段超寬帶雷達(dá)跌倒檢測圖譜數(shù)據(jù)集1.0(K-UWB-FDHA-1.0)依托《雷達(dá)學(xué)報》官方網(wǎng)站發(fā)布(附圖1)，網(wǎng)址為https://radars.ac.cn/web/data/getData?dataType=DatasetinthePaper。

附圖1 K波段超寬帶雷達(dá)跌倒檢測圖譜數(shù)據(jù)集-1.0發(fā)布網(wǎng)頁App.Fig.1 Release webpage of K band UWB radar spectrogram dataset-1.0 for fall detection