程 宇,周 瑞,張子若,羅 悅,張宏旺,王佳昊

(電子科技大學(xué) 信息與軟件工程學(xué)院,成都 610054)

0 引 言

隨著WiFi的廣泛普及,基于WiFi的智能感知研究日益增加,給人們的日常生活帶來便捷與舒適.例如,通過手勢識別進(jìn)行家電控制,可以實(shí)現(xiàn)智能家居等.使用無線信號進(jìn)行室內(nèi)感知,主要通過捕捉人體對室內(nèi)空間無線信號的擾動,結(jié)合感知算法來判斷人體的運(yùn)動規(guī)律和軌跡,以達(dá)到在不侵犯隱私的情況下感知人體的行為.WiFi感知最常用的信號量是信道狀態(tài)信息(Channel State Information,CSI).在環(huán)境不變的情況下,可以達(dá)到很高的識別準(zhǔn)確率.但是當(dāng)環(huán)境發(fā)生變化時,現(xiàn)有感知模型將無法泛化到新環(huán)境中.其原因主要是環(huán)境變化對無線信號傳播影響較大,使得測試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)有較大差別,從而導(dǎo)致原有基于學(xué)習(xí)方法建立的模型無法在新環(huán)境下正常識別.為了解決這個問題,現(xiàn)有方法主要包括兩大類.一類從信號分析出發(fā),通過布置多對收發(fā)器,利用信號處理技術(shù)提取環(huán)境無關(guān)手勢特征[1-3],成本較高;另一類通過遷移學(xué)習(xí)實(shí)現(xiàn)跨域手勢識別[4-6],大多采用半監(jiān)督或無監(jiān)督域適應(yīng)(Domain Adaptation,DA),需要采集新環(huán)境數(shù)據(jù)參與模型訓(xùn)練.但在實(shí)際應(yīng)用中,無法預(yù)先獲得新環(huán)境中的數(shù)據(jù).因此,需要一種無需新環(huán)境數(shù)據(jù),即可自動泛化到新環(huán)境的方法.

為了實(shí)現(xiàn)環(huán)境無關(guān)手勢識別,本文提出了一種基于樣本生成和情景訓(xùn)練的域泛化(Domain Generalization,DG)方法,只需一對收發(fā)器進(jìn)行數(shù)據(jù)采集,能夠使現(xiàn)有模型在只有源域數(shù)據(jù)的情況下,很好地適應(yīng)到新環(huán)境中.該方法采用幅值、相位和多普勒頻譜3種模態(tài)數(shù)據(jù),結(jié)合虛擬數(shù)據(jù)生成擴(kuò)充數(shù)據(jù)量,通過情景訓(xùn)練[7]使模型從時間和空間維度提取環(huán)境無關(guān)手勢特征,從而達(dá)到域泛化的效果.

本文主要貢獻(xiàn)如下:

1)實(shí)現(xiàn)了環(huán)境無關(guān)手勢識別.能夠?qū)⑹謩葑R別模型泛化到新環(huán)境中,而無需目標(biāo)域任何數(shù)據(jù)參與訓(xùn)練.

2)提出一種基于變分自編碼器(Variational auto-encoder,VAE)并能夠同時生成多模態(tài)虛擬數(shù)據(jù)的方法.該方法以幅值為基礎(chǔ),同時生成虛擬的幅值數(shù)據(jù)、相位數(shù)據(jù)和多普勒頻譜數(shù)據(jù).既能緩解數(shù)據(jù)量不足的問題,也能保證3種虛擬數(shù)據(jù)模態(tài)的一致性.

3)采用情景訓(xùn)練方式,通過主特征提取器、主分類器、域特征提取器、域分類器的交叉訓(xùn)練,使得主特征提取器獲得提取域無關(guān)特征的能力,最后通過主分類器進(jìn)行域無關(guān)手勢識別.

4)采用時間空間雙神經(jīng)網(wǎng)絡(luò)作為特征提取器.幅值數(shù)據(jù)輸入時間特征提取器,相位數(shù)據(jù)和多普勒頻譜數(shù)據(jù)輸入空間特征提取器.時間特征提取器采用Conv1D結(jié)構(gòu),空間特征提取器采用ResNet[8]結(jié)構(gòu),分類器采用多層神經(jīng)網(wǎng)絡(luò).

1 相關(guān)工作

解決環(huán)境無關(guān)無線感知,可以基于信號處理進(jìn)行域無關(guān)特征提取.文獻(xiàn)[1]通過分析WiFi信號中的多普勒頻移,量化信號頻率與動作的位置、方向和速度之間的關(guān)系.在此基礎(chǔ)上,設(shè)計(jì)了一套位置無關(guān)手勢識別系統(tǒng).文獻(xiàn)[2]提出了一種位置無關(guān)感知策略,其基本思想是將觀測從傳統(tǒng)的收發(fā)器視角轉(zhuǎn)移到面向手的視角,提取與位置無關(guān)的特征.根據(jù)該策略,設(shè)計(jì)了一種位置無關(guān)特征,稱為運(yùn)動導(dǎo)航原語,并以此為基礎(chǔ)構(gòu)建手勢識別系統(tǒng).文獻(xiàn)[3]提出了一種基于WiFi的零成本跨域手勢識別系統(tǒng)Widar3.0,從無線信號中提取域無關(guān)手勢特征.只需一次訓(xùn)練,就可以適應(yīng)不同的環(huán)境.這類方法通常需要布置多對收發(fā)器.

解決環(huán)境無關(guān)無線感知,也可以基于域適應(yīng)方法.域適應(yīng)屬于遷移學(xué)習(xí),旨在利用源域數(shù)據(jù)解決具有相同任務(wù)的目標(biāo)域?qū)W習(xí)問題.文獻(xiàn)[4]提出的WiAG通過生成目標(biāo)域虛擬樣本來實(shí)現(xiàn)應(yīng)對位置、朝向和環(huán)境動態(tài)變化的手勢識別.文獻(xiàn)[5]通過源域數(shù)據(jù)訓(xùn)練好一個模型,再利用少量目標(biāo)域帶標(biāo)簽數(shù)據(jù)對模型進(jìn)行微調(diào)以達(dá)到跨域效果.文獻(xiàn)[6]利用幅值,通過一個包含特征提取器、類別分類器和域判別器的對抗網(wǎng)絡(luò)來實(shí)現(xiàn)環(huán)境無關(guān)活動識別.這些方法均需要目標(biāo)域數(shù)據(jù)參與訓(xùn)練.

域泛化主要研究如何從若干個具有不同分布的源域數(shù)據(jù)集中學(xué)習(xí)一個泛化模型,使其在未知的目標(biāo)域上取得較好的效果[9].目前對域泛化的研究多集中在圖像識別領(lǐng)域.文獻(xiàn)[7]通過情景訓(xùn)練,提升訓(xùn)練模型的領(lǐng)域魯棒性.文獻(xiàn)[10]利用元學(xué)習(xí)并結(jié)合Wasserstein自編碼器生成大量虛擬數(shù)據(jù)來實(shí)現(xiàn)泛化.文獻(xiàn)[11]利用對抗自編碼器,學(xué)習(xí)一個泛化的隱空間特征表示,并利用最大均值差異(Max mean discrepancy,MMD)對不同域的特征分布進(jìn)行對齊,以提取域無關(guān)特征.

本文采用域泛化方法解決基于WiFi的跨域手勢識別問題.和上述方法的不同在于,相比于基于信號處理的方法,本方法只需要一對收發(fā)器;相比于基于域適應(yīng)的方法,本方法不需要目標(biāo)域數(shù)據(jù).本方法先通過虛擬數(shù)據(jù)生成器,以源域幅值數(shù)據(jù)作為基礎(chǔ)生成大量帶標(biāo)簽多模態(tài)虛擬樣本,再通過域無關(guān)特征提取網(wǎng)絡(luò)和情景訓(xùn)練提取環(huán)境無關(guān)的手勢特征,已獲得對目標(biāo)域數(shù)據(jù)的較高的識別精度.

2 環(huán)境無關(guān)手勢識別方法

本方法的整體框架如圖1所示,包含數(shù)據(jù)采集與預(yù)處理、多模態(tài)虛擬數(shù)據(jù)生成、域無關(guān)特征提取與分類識別3大部分.方法的輸入包含幅值、相位和多普勒頻譜3個模態(tài),以獲得從時間和空間維度描述的關(guān)于手勢的完整信息.為增加數(shù)據(jù)量,同時使得數(shù)據(jù)盡可能包含不同環(huán)境信息,采用數(shù)據(jù)生成器生成虛擬數(shù)據(jù).將幅值作為基礎(chǔ)數(shù)據(jù),在訓(xùn)練階段學(xué)習(xí)同一動作的相位和多普勒頻譜與幅值的對應(yīng)關(guān)系,在生成階段通過向中間特征添加同分布噪聲,解碼生成多模態(tài)虛擬樣本.由單一幅值數(shù)據(jù)生成多模態(tài)數(shù)據(jù)是為了保證生成的多模態(tài)數(shù)據(jù)之間的一致性.特征提取與分類識別由主網(wǎng)絡(luò)和域網(wǎng)絡(luò)組成,通過情景訓(xùn)練提取域無關(guān)特征.主網(wǎng)絡(luò)只有一個,包含主特征提取器和主分類器.每個源域有一個域網(wǎng)絡(luò),各包含一個域特征提取器和一個域分類器.特征提取器從時間和空間維度對三模態(tài)輸入數(shù)據(jù)進(jìn)行特征提取,通過主網(wǎng)絡(luò)和域網(wǎng)絡(luò)的情景訓(xùn)練,使得主網(wǎng)絡(luò)獲得域無關(guān)特征提取能力.在新環(huán)境中測試時,將新環(huán)境作為目標(biāo)域,將其數(shù)據(jù)輸入到主網(wǎng)絡(luò)即可實(shí)現(xiàn)手勢識別.

圖1 總體框架圖Fig.1 Framework of the proposed method

2.1 數(shù)據(jù)采集與預(yù)處理

通過無線設(shè)備采集的CSI數(shù)據(jù)可以表示為:

H=[H1,H2,…,Hi,…,HN]T,i∈[1,N]

(1)

N代表子載波數(shù)量.對于每一條子載波,其數(shù)據(jù)可以表示為:

Hi=|Hi|e(j∠Hi)

(2)

其中,|Hi|表示第i條子載波的幅值,∠Hi表示其相位.無線感知通過捕捉人體對無線信號的擾動,結(jié)合算法分析達(dá)到感知目的.從CSI的數(shù)據(jù)形式看,擾動通過幅值和相位的變化體現(xiàn).此外,手勢動作對信號的擾動,會影響接收信號的頻率,產(chǎn)生多普勒效應(yīng),因此借助多普勒頻譜也可以區(qū)分不同手勢動作.本文結(jié)合幅值、相位和多普勒頻譜進(jìn)行手勢識別.

2.2 多模態(tài)虛擬數(shù)據(jù)生成

只有當(dāng)訓(xùn)練數(shù)據(jù)足夠多且足夠多樣時,神經(jīng)網(wǎng)絡(luò)才能提取到環(huán)境無關(guān)的手勢特征,從而提高模型在新環(huán)境的泛化能力.因此,為增加訓(xùn)練數(shù)據(jù)的多樣性,進(jìn)行虛擬數(shù)據(jù)生成.本文基于變分自編碼器構(gòu)造虛擬數(shù)據(jù)生成器,如圖2所示,包含一個編碼器和3個解碼器,編碼器由二維卷積和全連接神經(jīng)網(wǎng)絡(luò)構(gòu)成,解碼器為二維反卷積結(jié)構(gòu).在訓(xùn)練虛擬數(shù)據(jù)生成器的過程中,使編碼器的輸出特征服從正態(tài)分布,從而在數(shù)據(jù)生成時,向特征層添加同分布噪聲不會改變特征分布,解碼器才可以正常解碼出對應(yīng)的數(shù)據(jù).

圖2 虛擬數(shù)據(jù)生成器結(jié)構(gòu)Fig.2 Structure of virtual data generator

Z=μ+σ⊙

(3)

其中μ為編碼器輸出的均值,σ為編碼器輸出的標(biāo)準(zhǔn)差,～N(0,I)為隨機(jī)產(chǎn)生的正態(tài)分布數(shù).將手勢特征Z輸入到3個解碼器中分別獲得幅值重構(gòu)數(shù)據(jù)相位重構(gòu)數(shù)據(jù)和頻譜重構(gòu)數(shù)據(jù)將重構(gòu)數(shù)據(jù)分別與真實(shí)數(shù)據(jù)進(jìn)行對比計(jì)算重構(gòu)損失,以確保網(wǎng)絡(luò)輸出的重構(gòu)數(shù)據(jù)不斷接近真實(shí)數(shù)據(jù).訓(xùn)練中,虛擬數(shù)據(jù)生成器的總損失函數(shù)定義為:

(4)

KLD=λ·KL[N(μ,σ),N(0,I)]

其中LA為幅值重構(gòu)損失;LP為相位重構(gòu)損失;LS為多普勒頻譜重構(gòu)損失;KLD為KL散度(Kullback-Leibler Divergence),確保中間特征Z不斷接近目標(biāo)正態(tài)分布.

選取幅值作為基礎(chǔ)數(shù)據(jù),是由于其包含豐富的手勢動作引起的信號波動信息.在虛擬數(shù)據(jù)生成器中,編碼器從幅值中提取準(zhǔn)確的手勢信息.3個解碼器則基于編碼器輸出的手勢信息,分別重構(gòu)出對應(yīng)的幅值、相位和多普勒頻譜.通過反向傳播優(yōu)化網(wǎng)絡(luò),確保編碼器和3個解碼器協(xié)同工作.

(5)

本文方法需要生成帶標(biāo)簽的虛擬數(shù)據(jù).如果采用生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)生成帶標(biāo)簽的虛擬數(shù)據(jù),則需要對每種手勢類別訓(xùn)練一個GAN網(wǎng)絡(luò),這樣會導(dǎo)致訓(xùn)練樣本不足,同時難以區(qū)分虛擬數(shù)據(jù)的域.如果采用Cycle-GAN進(jìn)行虛擬數(shù)據(jù)生成,則需要目標(biāo)域數(shù)據(jù),而本文方法在訓(xùn)練階段沒有任何目標(biāo)域數(shù)據(jù).因此本文基于變分自編碼器進(jìn)行虛擬數(shù)據(jù)生成.

2.3 域無關(guān)特征提取與手勢分類識別

2.3.1 基本網(wǎng)絡(luò)結(jié)構(gòu)

手勢識別模型的基本結(jié)構(gòu)如圖3所示,包括由時間空間雙神經(jīng)網(wǎng)絡(luò)構(gòu)成的特征提取器和由全連接神經(jīng)網(wǎng)絡(luò)構(gòu)成的分類器.時間特征提取器是由4層卷積層構(gòu)成的一維卷積神經(jīng)網(wǎng)絡(luò),用于幅值數(shù)據(jù)的特征提取.空間特征提取器則是由ResNet 18[8]構(gòu)成的二維卷積神經(jīng)網(wǎng)絡(luò),用于相位數(shù)據(jù)和頻譜數(shù)據(jù)的特征提取.分類器采用3層全連接神經(jīng)網(wǎng)絡(luò),用于對手勢特征進(jìn)行分類.由于手勢動作具有連貫性,手勢動作對信號的連續(xù)擾動通過幅值的連續(xù)波動呈現(xiàn),因此將幅值作為時序數(shù)據(jù)進(jìn)行特征提取.相位圖反映出的時序性較弱,采用二維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行局部特征提取,并通過多個卷積層的多次卷積得到全局特征.頻譜圖反應(yīng)出的是手勢對信號頻率的影響,在圖中會出現(xiàn)不同位置的高亮區(qū)域,因此也通過二維卷積神經(jīng)網(wǎng)絡(luò)提取特征.手勢識別時,幅值輸入時間特征提取器,相位和頻譜數(shù)據(jù)輸入空間特征提取器,再將三者的特征進(jìn)行融合,將融合特征輸入到分類器進(jìn)行手勢識別.

圖3 基本網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Basic network structure

2.3.2 情景訓(xùn)練

為了能夠提取域無關(guān)手勢特征,采用情景訓(xùn)練方式[7].首先構(gòu)建主網(wǎng)絡(luò)和域網(wǎng)絡(luò),情景訓(xùn)練時,將域網(wǎng)絡(luò)特征提取器提取到的特征輸入到主網(wǎng)絡(luò)分類器進(jìn)行識別,將主網(wǎng)絡(luò)特征提取器提取到的特征輸入到域網(wǎng)絡(luò)分類器識別.通過訓(xùn)練過程提升主網(wǎng)絡(luò)的泛化性.整個訓(xùn)練過程分為兩步:訓(xùn)練域網(wǎng)絡(luò)和訓(xùn)練主網(wǎng)絡(luò).

1)訓(xùn)練域網(wǎng)絡(luò)

(6)

將相位和頻譜分別輸入到空間特征提取器,得到對應(yīng)輸出:

(7)

(8)

其中TExt_i和SExt_i分別代表第i個域網(wǎng)絡(luò)的時間特征提取器和空間特征提取器.獲取到3個模態(tài)的特征后,對它們進(jìn)行融合,得到融合特征:

(9)

將融合特征輸入到對應(yīng)域網(wǎng)絡(luò)分類器得到分類結(jié)果:

(10)

域網(wǎng)絡(luò)的目標(biāo)函數(shù)定義為:

(11)

其中CR(·)代表交叉熵?fù)p失函數(shù).循環(huán)遍歷全部源域,依次對每個域網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

2)訓(xùn)練主網(wǎng)絡(luò)

(12)

圖4 主網(wǎng)絡(luò)訓(xùn)練過程Fig.4 Main network training process

再將源域數(shù)據(jù)輸入到對應(yīng)的域網(wǎng)絡(luò)特征提取器進(jìn)行特征提取,將該特征輸入到主網(wǎng)絡(luò)分類器進(jìn)行分類,計(jì)算損失:

(13)

以及將主網(wǎng)絡(luò)特征提取器提取的特征輸入到對應(yīng)的域網(wǎng)絡(luò)分類器進(jìn)行分類,并計(jì)算損失:

(14)

在主網(wǎng)絡(luò)訓(xùn)練中,域網(wǎng)絡(luò)的參數(shù)已固定,反向傳播優(yōu)化網(wǎng)絡(luò)參數(shù)時,只優(yōu)化主網(wǎng)絡(luò)參數(shù).主網(wǎng)絡(luò)訓(xùn)練的目標(biāo)函數(shù)為:

(15)

本文方法融合多模態(tài)虛擬數(shù)據(jù)生成和域無關(guān)特征提取實(shí)現(xiàn)域泛化.方法中使用到的情景訓(xùn)練為元學(xué)習(xí)的一種[9],其學(xué)習(xí)策略的目的是增加模型的域魯棒性.其它元學(xué)習(xí)策略,如小樣本學(xué)習(xí),基于學(xué)習(xí)任務(wù),在每個訓(xùn)練批次選取部分源域作為模擬目標(biāo)域進(jìn)行學(xué)習(xí),經(jīng)過不斷迭代提升模型學(xué)習(xí)能力,讓模型學(xué)會學(xué)習(xí).本文解決的問題為域泛化問題,如何利用現(xiàn)有源域數(shù)據(jù)訓(xùn)練出具備魯棒性的網(wǎng)絡(luò)模型尤為重要,因此情景訓(xùn)練更為合適.

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)設(shè)置

為了評估本文方法,將兩臺裝有Intel WiFi Link 5300網(wǎng)卡的筆記本電腦分別作為發(fā)射器和接收器,采樣頻率設(shè)置為1000Hz,接收器和發(fā)射器均包含3根天線,共9條數(shù)據(jù)鏈路,每條數(shù)據(jù)鏈路包含30維數(shù)據(jù),采集到的數(shù)據(jù)為270維CSI數(shù)據(jù).由于每個手勢的持續(xù)時間不一樣,需要將手勢數(shù)據(jù)進(jìn)行統(tǒng)一,得到的幅值和相位數(shù)據(jù)維度均為(200,270),多普勒頻譜的數(shù)據(jù)維度為(200,200).手勢識別實(shí)驗(yàn)在4個房間進(jìn)行,如圖5所示.房間1大小為5米×5米,發(fā)射器和接收器的距離為1.6米;房間2大小為6米×8米,發(fā)射器和接收器的距離為2米;房間3大小為11.4米×6.8米,發(fā)射器和接收器的距離為2米;房間4大小為7.6米×5.8米,發(fā)射器和接收器的距離為2米.每個場景中6人參與實(shí)驗(yàn),手勢包括6個字母:L、O、V、S、W、Z,每個手勢重復(fù)20次.

圖5 實(shí)驗(yàn)場景Fig.5 Experimental scenes

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 用戶無關(guān)手勢識別

分別在4個房間進(jìn)行了兩組實(shí)驗(yàn).第1組用5人數(shù)據(jù)作為源域,另外1人作為新用戶.依次將每人作為新用戶進(jìn)行測試,實(shí)驗(yàn)結(jié)果如圖6(a)所示.以房間進(jìn)行分組,在每個房間內(nèi)進(jìn)行新用戶手勢識別,每組里面的6根柱子為依次將每人作為新用戶的識別準(zhǔn)確率.平均識別精度達(dá)到83.3%.第2組實(shí)驗(yàn)選擇4人的數(shù)據(jù)作為源域,另外2人作為新用戶.實(shí)驗(yàn)中選取3組新用戶組合進(jìn)行測試,分別為P1-P2、P3-P4和P5-P6,實(shí)驗(yàn)結(jié)果如圖6(b)所示.以房間進(jìn)行分組,每組里面的3根柱子為依次選取P1-P2,P3-P4和P5-P6作為新用戶的識別準(zhǔn)確率.平均識別精度達(dá)到80.6%.實(shí)驗(yàn)中,新用戶數(shù)據(jù)完全沒有參與訓(xùn)練,僅僅作為測試使用.

圖6 手勢識別結(jié)果Fig.6 Gesture recognition result set

3.2.2 房間無關(guān)手勢識別

選取4個房間中的3個作為源域,另外 1個房間作為新環(huán)境.每個房間均包含6個人的完整手勢數(shù)據(jù).依次選取每個房間作為新環(huán)境,得到4組識別結(jié)果,平均達(dá)到81.7%的識別準(zhǔn)確率,如圖6(c)所示,每根柱子表示以當(dāng)前房間作為新環(huán)境,其他房間作為源域的手勢識別準(zhǔn)確率.

3.2.3 用戶房間均無關(guān)手勢識別

選取3個房間和5人作為源域,另外1個房間和另外1人作為目標(biāo)域.實(shí)驗(yàn)分別抽取P1、P3、P5和房間1、房間2、房間3、房間4進(jìn)行組合作為目標(biāo)域,平均識別精度為80.6%,如圖6(d)所示,第一根柱子表示用戶1在房間1作為目標(biāo)域,用戶2-6在房間2-4作為源域的精度,以此類推.

3.3 與業(yè)界方法對比

為證明本文方法的有效性,進(jìn)行3組對比實(shí)驗(yàn).對比方法分別為直接測試、CsiGAN和OneFi.CsiGAN[12]使用半監(jiān)督生成對抗網(wǎng)絡(luò)進(jìn)行手勢識別,通過目標(biāo)域少量帶標(biāo)簽數(shù)據(jù)和部分無標(biāo)簽數(shù)據(jù)生成大量虛擬數(shù)據(jù),訓(xùn)練出魯棒的分類網(wǎng)絡(luò).OneFi[13]基于多普勒頻譜,結(jié)合虛擬數(shù)據(jù)生成提出一個one-shot識別框架.由于本文方法不需要目標(biāo)域數(shù)據(jù),因此在其他方法對比實(shí)驗(yàn)中,均沒有使用目標(biāo)域數(shù)據(jù).圖6(e)為選取房間2和房間4,進(jìn)行新用戶手勢識別對比分析.每組結(jié)果里,每根柱子為不同方法依次選取用戶1到用戶6作為新用戶的識別準(zhǔn)確率的均值.圖6(f)為選取房間2和房間4,進(jìn)行新房間手勢識別的對比分析,每根柱子表示不同方法選取當(dāng)前房間作為新環(huán)境,其他3個房間作為源域的識別準(zhǔn)確率.

本文識別準(zhǔn)確率高于CsiGAN和OneFi的原因在于:本文方法是基于多模態(tài)的域泛化方法,而CsiGAN和OneFi提出的則是域適應(yīng)方法,需要目標(biāo)域數(shù)據(jù)參與模型訓(xùn)練,在不提供目標(biāo)域數(shù)據(jù)的情況下,很難泛化到新域上.

3.4 方法分析

3.4.1 源域數(shù)量

為驗(yàn)證源域數(shù)量對實(shí)驗(yàn)結(jié)果的影響,本文在房間2進(jìn)行用戶無關(guān)實(shí)驗(yàn).依次選取5、4、3、2、1個人的數(shù)據(jù)作為源域,其余1、2、3、4、5個人作為新用戶.5組實(shí)驗(yàn)的識別準(zhǔn)確率分別為84.6%、83%、79%、68%、41.75%,其中每個結(jié)果均為多次實(shí)驗(yàn)結(jié)果的平均值.實(shí)驗(yàn)結(jié)果表明,源域數(shù)量越多,新用戶的識別結(jié)果越好,但訓(xùn)練代價越大.

3.4.2 基于幅值的多模態(tài)虛擬數(shù)據(jù)生成

為驗(yàn)證基于幅值生成多模態(tài)虛擬數(shù)據(jù)的方法,本文對比了基于各個模態(tài)分別生成虛擬數(shù)據(jù)的方法.將幅值、相位和多普勒頻譜分別進(jìn)行虛擬數(shù)據(jù)生成,在房間2和房間4的新用戶手勢識別準(zhǔn)確率分別為73.8%和76.5%,明顯低于基于幅值的多模態(tài)虛擬生成器.如果不進(jìn)行虛擬數(shù)據(jù)生成,僅使用域無關(guān)特征提取與分類識別,在房間2的新用戶手勢識別準(zhǔn)確率為77.6%,低于采用虛擬數(shù)據(jù)生成的識別精度.

3.4.3 網(wǎng)絡(luò)結(jié)構(gòu)分析

本文時間特征提取器采用Conv1D.為驗(yàn)證其有效性,將其替換為LSTM和BLSTM進(jìn)行對比實(shí)驗(yàn).采用LSTM作為時間特征提取器,在房間4的新用戶手勢識別準(zhǔn)確率為86.1%,略低于Conv1D的86.9%.采用BLSTM作為時間特征提取器,在房間2的新用戶手勢識別準(zhǔn)確率為84.48%,略低于Conv1D的84.6%.因此本文選擇Conv1D.本文空間特征提取器采用ResNet18.為驗(yàn)證其有效性,將其替換為CNN進(jìn)行對比實(shí)驗(yàn).采用CNN作為空間特征提取器,在房間2的新用戶手勢識別準(zhǔn)確率為81.2%,訓(xùn)練時間19分鐘,測試時間0.16秒.采用ResNet18作為空間特征提取器,準(zhǔn)確率為84.6%,訓(xùn)練時間40分鐘,測試時間0.19秒.ResNet為預(yù)訓(xùn)練模型,具備更強(qiáng)的參數(shù)學(xué)習(xí)能力,因此泛化效果更優(yōu).本文算法運(yùn)行在服務(wù)器上,采用ResNet的較長訓(xùn)練時間對于實(shí)際應(yīng)用沒有負(fù)擔(dān),而測試時間與CNN基本一致,因此在保證精度和測試實(shí)時性的情況下,采用ResNet結(jié)構(gòu).

4 結(jié) 論

為解決基于WiFi的手勢識別對用戶和環(huán)境的依賴,本文采用包含幅值、相位和多普勒頻譜的多模態(tài)數(shù)據(jù),通過多模態(tài)虛擬數(shù)據(jù)生成擴(kuò)充數(shù)據(jù)集,通過情景訓(xùn)練提取出域無關(guān)手勢特征,從而實(shí)現(xiàn)環(huán)境無關(guān)手勢識別.為了使現(xiàn)有數(shù)據(jù)集盡可能包含不同環(huán)境和用戶的信息,本文提出以幅值作為基礎(chǔ)數(shù)據(jù),基于變分自編碼器生成虛擬幅值、虛擬相位和虛擬頻譜,以保持生成數(shù)據(jù)的一致性,并擴(kuò)充數(shù)據(jù)集.采用雙神經(jīng)網(wǎng)絡(luò)特征提取器從時間和空間兩個維度提取手勢特征,通過構(gòu)建主網(wǎng)絡(luò)和域網(wǎng)絡(luò)進(jìn)行情景訓(xùn)練,使得主網(wǎng)絡(luò)能夠提取出域無關(guān)特征,實(shí)現(xiàn)在目標(biāo)域無數(shù)據(jù)的情況下,主網(wǎng)絡(luò)仍能精確識別出手勢,即能夠泛化到新用戶和新環(huán)境中.實(shí)驗(yàn)表明,本方法對新用戶的平均手勢識別準(zhǔn)確率達(dá)到83.3%,對新房間的平均手勢識別準(zhǔn)確率達(dá)到81.7%,對新房間新用戶的平均手勢識別準(zhǔn)確率達(dá)到80.6%.,超過業(yè)界現(xiàn)有水平.