葉彩仙，胥立軍

1.廣州新華學(xué)院 信息與智能工程學(xué)院，廣東東莞 523133 2.廣州新華學(xué)院 人工智能與數(shù)據(jù)科學(xué)系，廣東東莞 523133

0 引言

一般來(lái)說(shuō)，人體行為識(shí)別技術(shù)主要利用所設(shè)計(jì)的采集程序，在不斷變化的背景環(huán)境下進(jìn)行周期的人體行為數(shù)據(jù)獲取并及時(shí)作出分類處理，利用多維算法來(lái)完成最終的復(fù)雜行為主動(dòng)識(shí)別。針對(duì)于特定用戶人體復(fù)雜行為的識(shí)別是一項(xiàng)十分繁瑣的工作，過(guò)程中不僅要對(duì)采集獲取的數(shù)據(jù)進(jìn)行分類化處理，還需要篩選、剔除不合理信息，以確保后續(xù)識(shí)別結(jié)果的可靠性與真實(shí)性。此外，對(duì)于復(fù)雜行為的主動(dòng)識(shí)別，要根據(jù)用戶的特征及習(xí)慣來(lái)解析，這也是一個(gè)十分復(fù)雜的過(guò)程，較難把控。

當(dāng)前的用戶人體復(fù)雜行為主動(dòng)識(shí)別算法多為目標(biāo)采集與智能算法結(jié)合，參考文獻(xiàn)[1]和文獻(xiàn)[2]的設(shè)定傳統(tǒng)改進(jìn)MobileNet V1 用戶人體復(fù)雜行為主動(dòng)識(shí)別方法、傳統(tǒng)Conv-Involution 用戶人體復(fù)雜行為主動(dòng)識(shí)別方法，這一類主動(dòng)識(shí)別算法雖然能夠?qū)崿F(xiàn)預(yù)期的識(shí)別任務(wù)與目標(biāo)，但是缺乏針對(duì)性與具體性，面對(duì)不同的識(shí)別對(duì)象時(shí)，難以進(jìn)行精準(zhǔn)特征定位與解析，導(dǎo)致最終的識(shí)別結(jié)果出現(xiàn)不可控的誤差。文獻(xiàn)[3]提出了一種基于梅爾頻率倒譜系數(shù)（Mel-frequency Cepstral Coefficients，MFCC）特征的Wi-Fi 信道狀態(tài)信息人體行為識(shí)別方法，這種方法過(guò)于依賴外部硬件設(shè)備，一旦硬件受限，識(shí)別的F1-score 數(shù)值較低，導(dǎo)致最終識(shí)別結(jié)果不理想。

為解決以上方法存在的問(wèn)題，提出對(duì)基于多可穿戴式傳感器數(shù)據(jù)融合的用戶人體復(fù)雜行為主動(dòng)識(shí)別方法的設(shè)計(jì)與驗(yàn)證研究。多可穿戴式傳感器數(shù)據(jù)融合主要指的是通過(guò)智能手環(huán)、陀螺儀、加速度計(jì)等傳感裝置進(jìn)行范圍之內(nèi)用戶行為數(shù)據(jù)的采集，例如：心率、多巴胺、眼球追蹤停留時(shí)間、位置等，將融合后的數(shù)據(jù)與主動(dòng)識(shí)別工作相結(jié)合，一定程度上能夠強(qiáng)化識(shí)別的精準(zhǔn)度及可靠性，為后續(xù)相關(guān)技術(shù)的發(fā)展與完善奠定基礎(chǔ)[4]。

1 基于多可穿戴式傳感器的用戶指標(biāo)數(shù)據(jù)采集

在主動(dòng)識(shí)別用戶人體復(fù)雜行為前，需要通過(guò)傳感器[5-7]采集用戶人體的指標(biāo)數(shù)據(jù)。該步驟采用多個(gè)可穿戴式傳感器采集數(shù)據(jù)，包括心率傳感器、運(yùn)動(dòng)傳感器、全球定位系統(tǒng)（Global Positioning System，GPS）傳感器、智能手環(huán)、陀螺儀等[8-9]，將其佩戴在用戶身上，在傳感器上設(shè)置節(jié)點(diǎn)，通過(guò)部署的節(jié)點(diǎn)進(jìn)行多可穿戴式傳感器的關(guān)聯(lián)搭接，采集用戶可識(shí)別數(shù)據(jù)。采集的數(shù)據(jù)包括用戶生理、生化和行為指標(biāo)數(shù)據(jù)，后續(xù)研究中融合多個(gè)傳感器采集的數(shù)據(jù)，為主動(dòng)識(shí)別用戶人體復(fù)雜行為奠定基礎(chǔ)。用戶的生理指標(biāo)數(shù)據(jù)是人體本能做出的反應(yīng)數(shù)據(jù)；用戶生化指標(biāo)數(shù)據(jù)是生理行為的一種延伸，是基于生理反應(yīng)所形成的指標(biāo)數(shù)據(jù)；用戶行為指標(biāo)數(shù)據(jù)是用戶最終的外在動(dòng)機(jī)表現(xiàn)。通過(guò)多個(gè)可穿戴式傳感器采集這些數(shù)據(jù)，是因?yàn)樯?生化-行為實(shí)際上是一個(gè)循環(huán)性的過(guò)程，包含了用戶人體在執(zhí)行行為時(shí)的大多數(shù)信息，通過(guò)多個(gè)可穿戴式傳感器采集信息范圍較廣，可以在一定程度上提高行為識(shí)別準(zhǔn)確性。具體采集過(guò)程如下：

首先，在接入系統(tǒng)中布設(shè)一定數(shù)量的監(jiān)測(cè)傳感節(jié)點(diǎn)，這些監(jiān)測(cè)節(jié)點(diǎn)均為可穿戴式傳感器，傳感器之間互相關(guān)聯(lián)，形成全覆蓋性的數(shù)據(jù)識(shí)別結(jié)構(gòu)?；诙鄠€(gè)可穿戴式傳感器，設(shè)計(jì)用戶生理-生化-行為指標(biāo)數(shù)據(jù)采集流程，如圖1 所示。

根據(jù)圖1，通過(guò)多個(gè)可穿戴式傳感器完成用戶生理-生化-行為指標(biāo)數(shù)據(jù)采集。設(shè)定多個(gè)可穿戴式傳感器的數(shù)量為n，第i個(gè)可穿戴式傳感器采集的原始數(shù)據(jù)為(t)，則歸一化處理采集的數(shù)據(jù)，獲得采集后的用戶生理-生化-行為指標(biāo)數(shù)據(jù)，公式為：

式中，(t)max表示可穿戴式傳感器采集的原始數(shù)據(jù)最大值；(t)min表示原始數(shù)據(jù)最小值。通過(guò)多個(gè)可穿戴式傳感器采集了用戶生理-生化-行為指標(biāo)數(shù)據(jù)，為后續(xù)數(shù)據(jù)融合的對(duì)象。

2 多可穿戴式傳感器數(shù)據(jù)融合的復(fù)雜行為主動(dòng)識(shí)別方法

2.2 多傳感器數(shù)據(jù)融合的虛擬場(chǎng)景構(gòu)建

虛擬現(xiàn)實(shí)（Virtual Reality，VR）是常見的輔助性技術(shù)，該技術(shù)應(yīng)用于用戶復(fù)雜行為主動(dòng)識(shí)別工作處理。本文引入該技術(shù)，為用戶人體復(fù)雜行為主動(dòng)識(shí)別奠定基礎(chǔ)。首先，基于上述章節(jié)，通過(guò)多個(gè)可穿戴式傳感器采集的用戶生理-生化-行為指標(biāo)數(shù)據(jù)，設(shè)計(jì)多維復(fù)雜行為主動(dòng)識(shí)別的虛擬現(xiàn)實(shí)場(chǎng)景，結(jié)合實(shí)際的主動(dòng)識(shí)別范圍進(jìn)行基礎(chǔ)場(chǎng)景控制指標(biāo)與參數(shù)的設(shè)置，如表1 所示。

表1 用戶行為主動(dòng)識(shí)別虛擬現(xiàn)實(shí)場(chǎng)景指標(biāo)表

根據(jù)表1 完成對(duì)用戶行為主動(dòng)識(shí)別虛擬現(xiàn)實(shí)場(chǎng)景指標(biāo)的設(shè)定，明確可穿戴式傳感器的實(shí)際覆蓋范圍，具體如公式（2）所示：

式中，W表示多可穿戴式傳感器的實(shí)際覆蓋范圍；B表示定向傳感次數(shù)；N為常數(shù)，表示求和上限；o表示轉(zhuǎn)換比；U表示可控傳感距離；χ表示重復(fù)傳感區(qū)域；F表示描述范圍。

在明確覆蓋范圍后，需要計(jì)算可穿戴式傳感器允許出現(xiàn)的最大傳感差值，具體如公式（3）所示：

式中，E表示最大傳感差值；Ψ表示可識(shí)別范圍；?(表示主動(dòng)識(shí)別次數(shù)；l表示可控識(shí)別均值。

在可穿戴式傳感器覆蓋范圍之內(nèi)，并且在傳感誤差允許下，結(jié)合三維圖形技術(shù)和多媒體技術(shù)，劃分基礎(chǔ)場(chǎng)景，并進(jìn)行關(guān)聯(lián)設(shè)定，將區(qū)塊性的用戶關(guān)聯(lián)，進(jìn)行全覆蓋虛擬轉(zhuǎn)換控制。結(jié)合VR 中的仿真技術(shù)和伺服技術(shù)，設(shè)計(jì)虛擬場(chǎng)景的功能執(zhí)行單元，具體如圖2所示。

根據(jù)圖2 完成對(duì)虛擬場(chǎng)景功能執(zhí)行單元的設(shè)計(jì)與驗(yàn)證應(yīng)用。基于VR 虛擬顯示基礎(chǔ)，在各個(gè)執(zhí)行單元中增設(shè)監(jiān)測(cè)程序，并與初始部署的節(jié)點(diǎn)進(jìn)行搭接關(guān)聯(lián)，融合多個(gè)可穿戴式傳感器數(shù)據(jù)采集的用戶生理-生化-行為指標(biāo)數(shù)據(jù)，公式為：

式中，wi表示多個(gè)可穿戴式傳感器的融合權(quán)值；ε表示覆蓋范圍閾值；ε'表示傳感誤差閾值。

通過(guò)對(duì)各個(gè)可穿戴式傳感器采集數(shù)據(jù)進(jìn)行加權(quán)平均，根據(jù)不同傳感器的重要性給予不同權(quán)重，得到一個(gè)綜合的融合結(jié)果。

通過(guò)多媒體技術(shù)，結(jié)合融合處理后的可穿戴式傳感器采集的用戶生理-生化-行為指標(biāo)數(shù)據(jù)，輸入CNN 網(wǎng)絡(luò)，得到基于虛擬現(xiàn)實(shí)的用戶運(yùn)動(dòng)行為場(chǎng)景，公式為：

通過(guò)公式（5）完成基于虛擬現(xiàn)實(shí)的場(chǎng)景構(gòu)建，為后續(xù)的主動(dòng)識(shí)別處理奠定基礎(chǔ)環(huán)境。

2.3 復(fù)雜行為主動(dòng)識(shí)別方法設(shè)計(jì)

通過(guò)上述章節(jié)構(gòu)建了虛擬現(xiàn)實(shí)場(chǎng)景，當(dāng)用戶的行為在該場(chǎng)景中發(fā)生變化后，虛擬識(shí)別點(diǎn)會(huì)自動(dòng)將數(shù)據(jù)傳輸?shù)娇纱┐魇絺鞲衅?，通過(guò)融合該傳感器獲取的數(shù)據(jù)后，獲取用戶行為與預(yù)定數(shù)據(jù)相似度，通過(guò)相似度獲取有效數(shù)據(jù)，剔除部分冗余數(shù)據(jù)，具體如公式（6）所示：

式中，δ表示單元融合基準(zhǔn)值；L表示融合次數(shù)；c表示關(guān)聯(lián)融合均值；d表示主動(dòng)識(shí)別差；e表示錯(cuò)誤識(shí)別次數(shù)。

依據(jù)得出的用戶復(fù)雜行為數(shù)據(jù)相似度，篩選當(dāng)前可穿戴式傳感器識(shí)別的數(shù)據(jù)信息，便于使用者隨時(shí)查看所屬的數(shù)據(jù)，這樣的方式會(huì)形成一個(gè)用戶復(fù)雜行為主動(dòng)識(shí)別序列，具體如圖3 所示。

根據(jù)圖3 完成主動(dòng)識(shí)別序列參數(shù)的設(shè)定，計(jì)算公式為：

式中，φ表示融合相似度閾值。

依據(jù)上述獲取的主動(dòng)識(shí)別序列參數(shù)，對(duì)用戶復(fù)雜行為變化進(jìn)行追蹤性的識(shí)別處理[10-11]：

首先，主動(dòng)提取用戶復(fù)雜行為的可識(shí)別特征點(diǎn)，在提取過(guò)程中，為了提高識(shí)別的準(zhǔn)確性，引入自相關(guān)系數(shù)，公式為：

基于上述自相關(guān)系數(shù)，主動(dòng)提取可識(shí)別特征點(diǎn)，公式為：

式中，σ表示標(biāo)準(zhǔn)差。

在確定可識(shí)別特征點(diǎn)后，引入循環(huán)神經(jīng)網(wǎng)絡(luò)，通過(guò)該網(wǎng)絡(luò)實(shí)現(xiàn)用戶人體復(fù)雜行為主動(dòng)識(shí)別，隱藏狀態(tài)的計(jì)算公式為：

式中，W(·)表示權(quán)重矩陣；θ表示偏置向量。

在確定循環(huán)神經(jīng)網(wǎng)絡(luò)隱藏狀態(tài)后，獲取全連接層的計(jì)算公式：

式中，W'表示連接全連接層與隱藏狀態(tài)的權(quán)重矩陣。

使用Softmax 函數(shù)主動(dòng)分類用戶復(fù)雜行為，主動(dòng)識(shí)別用戶人體復(fù)雜行為，公式為：

至此，通過(guò)多個(gè)可穿戴式傳感器采集用戶的生理-生化-行為指標(biāo)數(shù)據(jù)，融合采集的數(shù)據(jù)，根據(jù)融合后的數(shù)據(jù)構(gòu)建了虛擬現(xiàn)實(shí)場(chǎng)景，基于構(gòu)建的場(chǎng)景，結(jié)合融合相似度、自相關(guān)系數(shù)和循環(huán)神經(jīng)網(wǎng)絡(luò)算法，主動(dòng)識(shí)別用戶人體復(fù)雜行為。

3 實(shí)驗(yàn)分析

分析與驗(yàn)證基于多可穿戴式傳感器數(shù)據(jù)融合的用戶人體復(fù)雜行為主動(dòng)識(shí)別方法應(yīng)用效果?？紤]到最終測(cè)試結(jié)果的真實(shí)性與可靠性，采用對(duì)比的方式展開分析。對(duì)比文獻(xiàn)設(shè)定為改進(jìn)MobileNet V1 用戶人體復(fù)雜行為主動(dòng)識(shí)別測(cè)試組、Conv-Involution 用戶人體復(fù)雜行為主動(dòng)識(shí)別測(cè)試組，以及此次所設(shè)計(jì)的多可穿戴式傳感器數(shù)據(jù)融合用戶人體復(fù)雜行為主動(dòng)識(shí)別測(cè)試組。根據(jù)當(dāng)前識(shí)別需求及標(biāo)準(zhǔn)的變化，對(duì)最終得出的識(shí)別結(jié)果進(jìn)行比照研究。

3.1 實(shí)驗(yàn)準(zhǔn)備

針對(duì)用戶人體復(fù)雜行為主動(dòng)識(shí)別的測(cè)試需求，進(jìn)行基礎(chǔ)環(huán)境的搭建。當(dāng)前可以先采用Sgdm 優(yōu)化器進(jìn)行初始網(wǎng)絡(luò)的接入處理，設(shè)置最小批的識(shí)別處理大小為18，最大迭代次數(shù)控制在60，初始學(xué)習(xí)識(shí)別率為3.2，識(shí)別丟棄率為12.35%。針對(duì)當(dāng)前測(cè)試的系統(tǒng)，隨機(jī)選定3 000 名青少年用戶進(jìn)行測(cè)試，并將其劃分為5 個(gè)小組，人數(shù)分別為200 人、400 人、600 人、800 人和1 000 人。

在當(dāng)前的程序中設(shè)計(jì)一個(gè)多維動(dòng)態(tài)的數(shù)據(jù)集，選定可穿戴式的智能手環(huán)作為測(cè)試的主要輔助工具，在數(shù)據(jù)集中導(dǎo)入101 個(gè)動(dòng)作類別作為主動(dòng)識(shí)別的參數(shù)對(duì)象，接下來(lái)，基于實(shí)際的識(shí)別要求，進(jìn)行測(cè)試控制參數(shù)的設(shè)置，如表2 所示。

表2 人體行為主動(dòng)識(shí)別測(cè)試控制參數(shù)設(shè)定表

結(jié)合表2，實(shí)現(xiàn)對(duì)人體行為主動(dòng)識(shí)別測(cè)試控制項(xiàng)目的設(shè)定。以此為基礎(chǔ)，利用可穿戴式傳感器采集的數(shù)據(jù)進(jìn)行用戶行為特征值的計(jì)算。結(jié)合當(dāng)前的測(cè)試，將該數(shù)值作為實(shí)際的限制測(cè)試標(biāo)準(zhǔn)，識(shí)別測(cè)定用戶人體復(fù)雜行為。

3.2 實(shí)驗(yàn)過(guò)程及結(jié)果分析

在上述搭建的測(cè)試環(huán)境中，結(jié)合多可穿戴式傳感器數(shù)據(jù)融合原理，對(duì)選定的30 名用戶的人體復(fù)雜行為主動(dòng)識(shí)別方法進(jìn)行測(cè)試與分析。首先，設(shè)置6 個(gè)基礎(chǔ)的測(cè)試周期，每一個(gè)周期針對(duì)選定的用戶進(jìn)行一次主動(dòng)識(shí)別，并記錄下獲取的信息，利用智能手環(huán)對(duì)用戶的身體狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，獲取對(duì)應(yīng)的數(shù)據(jù)、信息，匯總整合之后，待后續(xù)的應(yīng)用解析；接下來(lái)，在各個(gè)周期之內(nèi)，通過(guò)系統(tǒng)下達(dá)指令，選擇指定的動(dòng)作組為參照標(biāo)準(zhǔn)，并進(jìn)行可控主動(dòng)識(shí)別，智能手環(huán)在進(jìn)行動(dòng)作主動(dòng)識(shí)別的過(guò)程中還會(huì)對(duì)識(shí)別的耗時(shí)進(jìn)行記錄，計(jì)算出主動(dòng)識(shí)別的平均耗時(shí)，如公式（13）所示：

式中，B表示定向范圍；J表示識(shí)別均值差；Q表示識(shí)別精度。結(jié)合當(dāng)前的測(cè)試，完成對(duì)結(jié)果的分析，具體如圖4 所示。

根據(jù)圖4 完成對(duì)測(cè)試結(jié)果的分析。對(duì)比于傳統(tǒng)的改進(jìn)MobileNet V1 方法、Conv-Involution 方法測(cè)試組，本文設(shè)計(jì)的人體復(fù)雜行為主動(dòng)識(shí)別測(cè)試組最終得出的主動(dòng)識(shí)別的平均耗時(shí)被較好地控制在0.2 s 以下，說(shuō)明在可穿戴式傳感器數(shù)據(jù)融合原理的輔助下，所設(shè)計(jì)的針對(duì)復(fù)雜人體行為的主動(dòng)識(shí)別方法更為高效、精準(zhǔn)，誤差可控，具有實(shí)際的應(yīng)用價(jià)值。

在上述實(shí)驗(yàn)分析的基礎(chǔ)上，為了進(jìn)一步分析該方法的識(shí)別性能，以F1-score 作為評(píng)估指標(biāo)，其計(jì)算公式為：

式中，P0、P1分別表示識(shí)別準(zhǔn)確率和召回率。

通過(guò)公式計(jì)算出F1-score 數(shù)值，該數(shù)值越大越好。實(shí)驗(yàn)結(jié)果如表3 所示。

表3 不同方法的F1-score 結(jié)果

根據(jù)表3 數(shù)據(jù)可知，3 種方法的F1-score 數(shù)據(jù)均在0.900 以上。通過(guò)對(duì)比可知，在測(cè)試人數(shù)達(dá)到30 人時(shí)，傳統(tǒng)改進(jìn)MobileNet V1 識(shí)別測(cè)試組的F1-score 數(shù)值為0.915，傳統(tǒng)Conv-Involution 主動(dòng)識(shí)別測(cè)試組的F1-score 數(shù)值為0.939，基于多可穿戴式傳感器數(shù)據(jù)融合的識(shí)別組的F1-score 數(shù)值為0.986，本文方法的F1-score 數(shù)值最高，比對(duì)比方法提高了0.040 以上。因此，該方法具備更高的識(shí)別準(zhǔn)確性。

4 結(jié)束語(yǔ)

綜合上述分析，本文設(shè)計(jì)的基于多可穿戴式傳感器數(shù)據(jù)融合的用戶人體復(fù)雜行為主動(dòng)識(shí)別方法在初始的行為主動(dòng)識(shí)別覆蓋范圍較小，且在各個(gè)領(lǐng)域受到一定限制的情況下，面對(duì)不同的傳感器數(shù)據(jù)，利用多可穿戴式傳感器進(jìn)行數(shù)據(jù)的采集與融合可進(jìn)一步擴(kuò)大主動(dòng)識(shí)別的范圍。與此同時(shí)，結(jié)合多模態(tài)數(shù)據(jù)融合、概率推理和深度學(xué)習(xí)等原理，不斷完善、優(yōu)化當(dāng)前的主動(dòng)識(shí)別方法。針對(duì)人體復(fù)雜行為識(shí)別的雙向特征，形成與之匹配的識(shí)別機(jī)制，可進(jìn)一步提升整體的識(shí)別效率和準(zhǔn)確性，其識(shí)別平均耗時(shí)低于0.2 s，并且F1-score 數(shù)值達(dá)到0.986，驗(yàn)證了其具備一定的可行性和有效性，為后期關(guān)聯(lián)技術(shù)的發(fā)展提供參考依據(jù)和理論借鑒。