張博文,周麗麗

(黑龍江省科學(xué)院智能制造研究所，黑龍江 哈爾濱 150090)

1 引言

人機(jī)交互接口與人機(jī)系統(tǒng)一直是科學(xué)發(fā)展的主要研究方向之一，通過(guò)人機(jī)交互接口能夠廣泛的實(shí)現(xiàn)多場(chǎng)景下人機(jī)智能協(xié)作與智能輔助，帶來(lái)較大社會(huì)效益。作為計(jì)算機(jī)科學(xué)、人體運(yùn)動(dòng)學(xué)、生理學(xué)等多學(xué)科研究的交合點(diǎn)，人機(jī)系統(tǒng)涉及各個(gè)層面研究的理解與綜合。其中，對(duì)于人體運(yùn)動(dòng)的意圖感知和預(yù)測(cè)是實(shí)現(xiàn)高效人機(jī)系統(tǒng)協(xié)調(diào)控制、高校耦合的核心基礎(chǔ)與根本保障。在人體機(jī)能康復(fù)與居家養(yǎng)老保健的場(chǎng)景下，進(jìn)行有效的康復(fù)水平判斷、標(biāo)準(zhǔn)制定與積極的康復(fù)保健方案需要對(duì)人體運(yùn)動(dòng)意圖進(jìn)行精確的判斷與指標(biāo)的量化。雖然近年來(lái)針對(duì)運(yùn)動(dòng)理解與運(yùn)動(dòng)意圖感知的技術(shù)取得了很大的進(jìn)展，但依然在個(gè)體適配、復(fù)雜場(chǎng)景等問(wèn)題上難以保證實(shí)用性與穩(wěn)定性。

在人體意圖感知方面，運(yùn)動(dòng)意圖的感知與理解需要從生理結(jié)構(gòu)的角度出發(fā)，提取多維的生物運(yùn)動(dòng)特征，并進(jìn)行高效的耦合分析。因此，對(duì)多模態(tài)生物數(shù)據(jù)的提取與分析策略的優(yōu)化是影響康復(fù)與保健場(chǎng)景下的關(guān)鍵因素。人體生理參數(shù)及其衍生的肌肉-骨骼模型需要根據(jù)解剖與測(cè)量進(jìn)行分別建模并合成，然而對(duì)于實(shí)時(shí)與普適的應(yīng)用場(chǎng)景亟需一種能夠保證靈活性的量化方式，在基于多模態(tài)的人體生理數(shù)據(jù)獲取基礎(chǔ)上，對(duì)人體生理結(jié)構(gòu)特性分析構(gòu)建肌肉-骨骼模型能夠有效解決這一問(wèn)題，并提供豐富的時(shí)空特征進(jìn)行人體運(yùn)動(dòng)意圖的感知與預(yù)測(cè)[1]。

2 基于視覺(jué)的手勢(shì)識(shí)別與體勢(shì)識(shí)別

生物體的動(dòng)作姿態(tài)識(shí)別的研究，經(jīng)歷多個(gè)階段的衍生與發(fā)展，大體上可以歸為兩種方式，一種是基于模板匹配幾何法，通過(guò)人為干預(yù)以及多維度建模的方式來(lái)搭建生物體各部件模型的靜態(tài)生物體圖像，運(yùn)用生成的靜態(tài)生物圖像再構(gòu)建空間模型，把每個(gè)部件之間的關(guān)系展現(xiàn)出來(lái)，這種幾何匹配算法是比較傳統(tǒng)的體資檢測(cè)算法。經(jīng)過(guò)算法的優(yōu)化與提升，人們更加注重算法特性，使特征方程描述的更加精細(xì)。然而面對(duì)更加復(fù)雜的應(yīng)用場(chǎng)景與應(yīng)用需求，需要針對(duì)需求狀態(tài)與用戶狀態(tài)進(jìn)行已知技術(shù)的進(jìn)一步優(yōu)化，故提出級(jí)聯(lián)式動(dòng)態(tài)行為感知技術(shù)與可分離并行卷積神經(jīng)網(wǎng)絡(luò)。

隨著人工智能的飛速發(fā)展，機(jī)器視覺(jué)技術(shù)與生物體運(yùn)動(dòng)行為識(shí)別技術(shù)在人類生產(chǎn)活動(dòng)中得到了廣泛應(yīng)用與發(fā)展，智慧醫(yī)療、智慧交通、運(yùn)動(dòng)訓(xùn)練、智能家居等領(lǐng)域都有這廣闊的發(fā)展空間，但是視覺(jué)識(shí)別的數(shù)據(jù)采集、生物動(dòng)態(tài)差異化方面方法依然存在一些問(wèn)題，如在復(fù)雜環(huán)境下光線的缺失對(duì)視覺(jué)識(shí)別來(lái)說(shuō)是一個(gè)很嚴(yán)重的干擾因素，其次在數(shù)據(jù)采集過(guò)程中，拍攝角度的差異同樣影響最終測(cè)算結(jié)果。而且不同生物體的運(yùn)動(dòng)方式會(huì)有很大的不同，為了解決以上問(wèn)題，提出一種級(jí)聯(lián)式的動(dòng)態(tài)行為感知方法，通過(guò)多級(jí)網(wǎng)絡(luò)模型的串并聯(lián)結(jié)構(gòu)，有效的提升了感知的性能。

基于視覺(jué)的圖像處理首先需要進(jìn)行特征處理，為了能夠降低特征提取的復(fù)雜度，提升運(yùn)算性能，通過(guò)多種特征融合的方式進(jìn)行特征提取。在特征提取的過(guò)程中，通過(guò)多個(gè)網(wǎng)絡(luò)提取不同維度的特征并優(yōu)化空間誤差，在不影響精度的情況下大大提升了運(yùn)算效率。在特征提取的環(huán)節(jié)，使用了多級(jí)卷積神經(jīng)網(wǎng)絡(luò)。首先通過(guò)SSD進(jìn)行目標(biāo)識(shí)別，可在大尺度情況下迅速定位目標(biāo)感興趣區(qū)域。SSD網(wǎng)絡(luò)使用積分層VGG16 作為底層網(wǎng)絡(luò)特征的直接交互式映射，以預(yù)測(cè)多目標(biāo)類別和周長(zhǎng)。采用單點(diǎn)多幀檢測(cè)方法避免了快速R-CNN 中的候選區(qū)域法，在檢測(cè)精度和實(shí)時(shí)性上達(dá)到了平衡。SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 SSD網(wǎng)絡(luò)框架

在此基礎(chǔ)上，由于目標(biāo)區(qū)域的尺度與感知場(chǎng)景大部分集中在圖像中心區(qū)域，針對(duì)性的對(duì)SSD 的錨框進(jìn)行優(yōu)化，在不損失精度的情況下，進(jìn)一步地優(yōu)化了處理流程。提取目標(biāo)感興趣區(qū)域后，使用ResNet進(jìn)行特征點(diǎn)圖像坐標(biāo)回歸，由于感興趣區(qū)域的尺寸較小，并且特征比較集中，可以進(jìn)行快速的熱力圖建立并回歸到特征點(diǎn)的坐標(biāo)。進(jìn)一步使用傳統(tǒng)的統(tǒng)計(jì)學(xué)特征可修正偏差，可以在優(yōu)于同類方法幾十倍速度的情況下，完成像素誤差的結(jié)果輸出[2]。

通過(guò)雙目相機(jī)進(jìn)行特征點(diǎn)空間重建。三維空間點(diǎn)P在相機(jī)的成像圖如下圖所示。根據(jù)相似三角形原理，有以下關(guān)系：

因此，當(dāng)已知三維空間上任意一點(diǎn)在不同圖像上的視差，再根據(jù)相機(jī)的參數(shù)，就可以知道該點(diǎn)的三維坐標(biāo)。如圖2所示。

圖2 空間成像原理

通過(guò)多通道的LSTM網(wǎng)絡(luò)對(duì)人體各個(gè)關(guān)節(jié)點(diǎn)進(jìn)行時(shí)序信息提取，能夠?qū)θ我獾奶卣魍瓿蓵r(shí)空連續(xù)性的動(dòng)作分析。根據(jù)不同特征點(diǎn)形成的運(yùn)動(dòng)模式進(jìn)行平面的線性分類，可有效完成行為感知。

3 基于肌電信號(hào)(EMG)的運(yùn)動(dòng)意圖模式識(shí)別

在人體肌肉中表達(dá)的各種生物電現(xiàn)象大多是基于細(xì)胞的基本電現(xiàn)象（靜息電位與刺激動(dòng)作電位）。靜息時(shí)，細(xì)胞膜內(nèi)外的電位差為靜息電位。靜止電位通常是穩(wěn)定的直流電流。當(dāng)不刺激細(xì)胞時(shí)，靜息電位值保持在穩(wěn)定范圍內(nèi)。從生理上講，細(xì)胞膜兩側(cè)靜止時(shí)的內(nèi)負(fù)電位和外正電位狀態(tài)稱為膜極化狀態(tài)。當(dāng)細(xì)胞受到刺激時(shí)，細(xì)胞膜的極化狀態(tài)會(huì)發(fā)生變化。當(dāng)細(xì)胞膜內(nèi)外的狀態(tài)恢復(fù)到靜默極化狀態(tài)時(shí)，稱為復(fù)極[3]。作用電位是由于受激膜的去極化引起的，當(dāng)膜的去極化達(dá)到一定的臨界值時(shí)，膜對(duì)鈉、鉀離子的滲透性發(fā)生快速可逆的變化。導(dǎo)致膜內(nèi)外張力差劇烈重復(fù)變化。直到增加的膜通透性消失，膜的靜息電位才得以恢復(fù)。

人類肌肉的收縮活動(dòng)由神經(jīng)系統(tǒng)控制。中樞神經(jīng)系統(tǒng)向運(yùn)動(dòng)神經(jīng)的外周分支發(fā)送動(dòng)作電位。神經(jīng)肌肉接觸類似于突觸（結(jié)構(gòu)上包括突觸前膜、突觸后膜和突觸間隙）。突觸后膜是肌肉細(xì)胞中與軸突膜，即運(yùn)動(dòng)終板相對(duì)應(yīng)的部分。在運(yùn)動(dòng)終板上有一個(gè)乙酰膽堿受體，可以與乙酰膽堿特異性結(jié)合。刺激通過(guò)化學(xué)遞質(zhì)乙酰膽堿和終板膜電位的變化傳遞到神經(jīng)肌肉復(fù)合物。肌電圖（EMG）信號(hào)是人腦向肌肉發(fā)送的運(yùn)動(dòng)指令的電化學(xué)表達(dá)[4]。肌電信號(hào)是疊加在皮膚表面刺激上的肌電信號(hào)的綜合效應(yīng)。肌電圖信號(hào)應(yīng)先于肌肉收縮或放松，并部分反映神經(jīng)肌肉活動(dòng)。圖3是肌電信號(hào)產(chǎn)生機(jī)制的示意圖。

圖3 肌電信號(hào)產(chǎn)生機(jī)理

為了連續(xù)評(píng)估運(yùn)動(dòng)意圖參數(shù)，在提取肌電信號(hào)的特性后，將參數(shù)輸入希爾肌力模型[5-6]，并根據(jù)模型度，下肢研究主要用于預(yù)測(cè)膝蓋的角度。與關(guān)節(jié)力矩的評(píng)估相比，角度預(yù)測(cè)更易于測(cè)量和驗(yàn)證。肌電信號(hào)的魯棒特性預(yù)測(cè)模型的建立尚未完全成熟，該技術(shù)的發(fā)展將極大地改善外骨骼和動(dòng)態(tài)假肢的用戶體驗(yàn)。從定性研究中的意向感知角度出發(fā)，通過(guò)傳統(tǒng)的模式分類意向識(shí)別解決了一致性控制模式變化的問(wèn)題，減少了用戶與外骨骼之間的反饋力，提高了外骨骼的輔助效果。

4 EMG信號(hào)的預(yù)處理與特征提取

鑒于肌電信號(hào)幅值低的特性，在檢測(cè)過(guò)程中容易受到噪聲的影響。因此需要進(jìn)行噪聲處理，來(lái)使得肌電信號(hào)不受影響避免信號(hào)損失。我們根據(jù)高頻噪聲與低頻噪聲的不同頻帶，采用濾波算法對(duì)采集信號(hào)進(jìn)行兩次濾波，以保證信號(hào)質(zhì)量。低頻噪聲包括肌電感應(yīng)電極和皮膚之間的微小運(yùn)動(dòng)引起的偽軌跡，高頻噪聲包括電磁設(shè)備噪聲和實(shí)驗(yàn)環(huán)境中的工頻干擾。通過(guò)肌電檢測(cè)設(shè)備的硬件濾波可以在一定程度上降低噪聲對(duì)采集信號(hào)的影響。

根據(jù)肌電信號(hào)的不同特征，可分為時(shí)域、頻域和時(shí)頻域。時(shí)域特征函數(shù)是基于信號(hào)幅度提取時(shí)間窗口中的絕對(duì)均值和方差得到的函數(shù)；頻域特征函數(shù)是通過(guò)快速傅里葉變換從肌電信號(hào)頻譜中提取中頻和平均功率頻率所得到的函數(shù)。時(shí)頻特性函數(shù)則是通過(guò)小波變換、小波包變換或短時(shí)傅立葉變換獲得的。肌電信號(hào)的不同特性可以結(jié)合起來(lái)形成模式識(shí)別的直接向量。與早期只提取單一信號(hào)特征作為分類模型的輸入相比，多類型肌電特征不僅可以提高分類精度，還可以與其他類型的信號(hào)特征融合。同時(shí)，也保證了最終結(jié)果的準(zhǔn)確性與平穩(wěn)性。

5 結(jié)束語(yǔ)

綜上所述，本文簡(jiǎn)要闡述了人體運(yùn)動(dòng)意圖感知與預(yù)測(cè)的關(guān)鍵問(wèn)題研究，擬從生物特征信號(hào)處理角度入手，對(duì)多模態(tài)的生物數(shù)據(jù)進(jìn)行建模分析，通過(guò)EMG肌信號(hào)的實(shí)時(shí)、準(zhǔn)確的人體運(yùn)動(dòng)意圖識(shí)別技術(shù)，對(duì)差異化運(yùn)動(dòng)生物圖像進(jìn)行優(yōu)化，為進(jìn)一步研發(fā)人工智能型裝備提供扎實(shí)可行的理論依據(jù)。