董 為 石永軍 林瑋琪

(哈爾濱工業(yè)大學機器人技術與系統(tǒng)國家重點實驗室, 哈爾濱 150001)

1 引言

隨著人類航天技術的不斷發(fā)展,航天員出艙進行深空探測作業(yè)的次數(shù)會逐漸增多[1]。 在未來的航天活動中,航天員需要攜帶更多的科學儀器,穿越復雜的地形地貌,應對多種復雜惡劣的太空環(huán)境,這對航天員的運動能力提出了新的挑戰(zhàn)[2]。

運動能力是航天員艙外作業(yè)重要保障。 當前的航天服具備生命安全保障和作業(yè)能力保障兩大類功能,它們在具體實現(xiàn)上存在相互制約關系。其中,壓力服的應用使其活動功效被明顯削弱,實際表現(xiàn)為運動阻力增大、動作范圍受限、靈活性變差等[3]。

近年來,穿戴式智能機電技術的興起為這一問題提供了新的解決思路[4]。 以輔助穿戴者運動為目標的穿戴式智能機電系統(tǒng)也稱為穿戴式助力系統(tǒng),融合了機電一體化、傳感技術、人工智能、人機工程多學科的技術,能夠增強穿戴者的負載、機動、感知、防護等能力,幫助航天員提高在各種工作環(huán)境下的工作效率[5]。

穿戴式助力系統(tǒng)的研究內容主要包括具備人機相容性的結構設計、面向人機交互的控制算法研究和基于人體信號的運動意圖感知三大方向[6]。 3 個方向的研究相輔相成,各國研究人員的相關成果也各有側重,Ding 等[7]團隊采用鮑登線等柔性單元實現(xiàn)了助力系統(tǒng)的柔性動力傳遞,極大地增加了人機系統(tǒng)的相容性;Xiloyannis 等[8]根據(jù)人體肘關節(jié)屈曲角度和助力電機回轉角度間的關系建立起了對應的運動學模型,進而提出了肘關節(jié)重力補償算法;Lessard 等[9]參考了康復治療中的鏡像療法,在穿戴者一側手臂的大臂和前臂處布置慣性測量單元,為另一側手臂的助力提供參考輸入。

在人體運動意圖感知方面,常用的方法為借助助力系統(tǒng)上搭載的各類傳感設備采集穿戴者當前的生理、運動信號,將采集到的信號通過特定算法處理后,建立起信號與運動間的映射關系,并由此辨識出穿戴者當前的運動意圖,辨識的快速和準確與否,直接決定了助力系統(tǒng)的助力效果,是穿戴式助力系統(tǒng)研究內容的重要環(huán)節(jié)[10-11]。 在運動信號的選取上,表面肌電信號應用的最為廣泛,代表性成果為Kawamoto 等[12]推出的HAL-5 型外骨骼機器人;Varghese 等[13]基于人體肩關節(jié)的逆運動學模型,借助神經(jīng)網(wǎng)絡技術,利用圖像捕捉的方法預測人體肩關節(jié)的運動意圖;Wang 等[14]推出的MINDWALKER 則采用了非侵入式腦電信號作為助力系統(tǒng)的參考輸入信號;黃海等[15]研制的HEXO 外骨骼則通過采集人機間的交互力來辨識人體的運動意圖。

從實際應用的角度來看,表面肌電信號對皮膚表面質量要求較高且易受環(huán)境電磁干擾,圖像捕捉技術由于其外置傳感器的特性故其使用場地受到限制[16],腦電信號受限于人腦的復雜性難以辨識出精確的運動動作,人機交互力信號從產(chǎn)生原理上已滯后于人體的運動,在快速性上有一定的欠缺[17]。

針對上述問題,本文提出了一種基于肌聲信號的人體運動意圖辨識算法。 肌聲信號是由對應肌肉的振動產(chǎn)生,利用慣性測量單元采集后進行濾波與特征提取,最后利用機器學習的方法建立關節(jié)力矩與肌聲信號間的映射關系,從而實現(xiàn)人體運動意圖的辨識,最終通過試驗驗證算法的有效性。

2 肌聲信號的采集與處理

肌聲信號(Mechanomyogram,MMG),又稱肌音信號、肌動信號,是肌肉軸向收縮時相互間的滑動摩擦產(chǎn)生的一種壓力波。 在人體皮膚表面采集到的肌聲信號是由多個肌纖維的不同步機械活動產(chǎn)生的復合信號,其中蘊含了參與本次運動的肌纖維的數(shù)目及其振動的振幅、頻率等信息[6]。

肌聲信號在肌力估計方面的應用已被證實具有可行性[18],且肌聲信號相較于表面肌電信號,對傳感器的要求較低,普通的加速度計即可勝任,信號的機械振動特性使得信號對傳感器的安裝位置較不敏感,偏離肌腹處[19]安裝也可有較好的采集效果。 總的來看,肌聲信號具有設備成本低、對擺放位置和皮膚表面條件的需求低、抗干擾性強等優(yōu)勢,是理想的人體運動意圖辨識算法輸入信號。

為獲取肌聲信號對應的肢體動作,本文采用九軸慣性測量單元(Inertial Measurement Unit,IMU)作為肌聲信號的采集設備,以右臂肘關節(jié)屈曲伸展運動為例,試驗選取了一名25 歲男性志愿者,無神經(jīng)肌肉疾病史,將IMU 置于其右臂肱橈肌處,如圖1 所示。

圖1 肌聲信號采樣示意圖Fig.1 Mechanomyogram sampling

為簡化數(shù)據(jù)處理,同時不丟失可能的有效信息,對IMU 的三軸加速度計數(shù)據(jù)依照式 (1)進行降維。

式中,ACCx,ACCy,ACCz分別為IMU 的x,y和z軸加速度計讀數(shù),ACC為降維后的原始肌聲信號。 令受試者右臂肘關節(jié)勻速完成一次屈曲伸展運動,采集到的原始肌聲信號如圖2 所示。

圖2 右臂肘關節(jié)屈伸運動原始肌聲信號Fig.2 Raw mechanomyogram of flexion and extension movement of elbow joint of right arm

可以看出,合成后的原始肌聲信號里,蘊含著由傳感器引入的高頻白噪聲和由肢體運動及重力加速度引起的低頻運動偽跡,這些不必要的干擾將會嚴重影響肌聲信號的采集效果,需要設計相應的濾波器,在濾除高頻噪聲及運動偽跡的同時盡可能保留更多的肌聲信號。

需要濾除的噪聲主要分布在高頻和低頻段,由于不同關節(jié)不同肌肉震動的頻率特性各有特點,常用的帶通濾波器難以滿足通用性的需求;傳統(tǒng)的以傅里葉分析為基礎的頻域處理方法常用于處理有較強規(guī)律性的平穩(wěn)信號,面對類似肌聲信號的隨機非平穩(wěn)信號則表現(xiàn)不佳。 針對上述問題,出于提高所設計濾波器的跨肌肉適應性的考慮,本文選擇希爾伯特-黃變換(Hilbert-Huang Transform,HHT)對肌聲信號進行分析。

HHT 變換主要由經(jīng)驗模態(tài)分解(Empirical Mode Decomposition,EMD)和希爾伯特變換兩部分組成。 EMD 算法基于原始信號自身的局部時間尺度,能夠將信號按頻率高低分解為有限階本征模態(tài)函數(shù)(Intrinsic Mode Functions,IMFs)和一個殘差。 通過分析各個IMF,能夠分辨出其中有高頻白噪聲和運動偽跡所主導的IMF 并將其剔除,將剩余的IMF 重新組合便可得到濾除噪聲后的相對純凈的肌聲信號。

以圖2 所示的原始肌聲信號為例,對其進行EMD 分解,分解共獲得了9 階IMF 和1 階殘差,分解結果如圖3 所示。

圖3 原始肌聲信號EMD 分解結果Fig.3 EMD decomposition results of raw mechanomyogram

對于隨機白噪聲,其隨機性導致其各個時刻間的信號關聯(lián)性較弱,及其自相關函數(shù)近似于零點附近的脈沖函數(shù)[20],為找出由噪聲主導的IMF,引入自相關概念,自相關函數(shù)定義見式 (2)。

白噪聲主要存在于高頻段,故對分解出的前4 階IMF 進行自相關求解并進行歸一化處理,求解結果如圖4 所示。 可以看出,第1 階IMF 的自相關函數(shù)曲線符合白噪聲的特點,將其視作噪聲主導的IMF 剔除。

圖4 前四階IMF 自相關函數(shù)曲線Fig.4 Autocorrelation function of the first 4 IMFs

完成高頻段噪聲的濾波后,還需要進行低頻噪聲的辨識與濾除,參考文獻[18]、[20]的研究成果,對于大多數(shù)被噪聲污染的信號,其主要能量集中在低頻段,越往高頻段,其含有的能量越少,一定存在某階IMF,使得該階分量之后的IMF 為信號主導模態(tài),該階分量前的IMF 為噪聲主導模態(tài)。

基于上述結論,做出如下變動:假設運動偽跡為求解的目標信號,肌聲信號為高頻噪聲,則噪聲與信號間一定會有一階IMF 將兩類模態(tài)區(qū)分開,引入IMF 的能量公式用于求解各階IMF 的能量,能量公式如式 (3)所示。

式中,IMFi(j)表示第i階IMF 的第j個信號值,n表示所包含信號值的總個數(shù)。

根據(jù)式 (3),求解出各階IMF 所蘊含的能量,求解結果如圖5 所示。 可以看出,第6 階IMF之后的信號蘊含的能量較其他階IMF 有顯著的上升,故將第6 階之后的IMF 視作由運動偽跡及重力加速度主導的IMF 并加以剔除,則至此完成了對原始肌聲信號的高頻和低頻噪聲的濾波,剩余的IMF2～IMF5 即為濾波后的肌聲信號。

圖5 各階IMF 的能量曲線Fig.5 Energy curve of all IMFs

將剩余的IMF2～IMF5 重組,獲得濾波后的肌聲信號,與濾波前的肌聲信號和對應右臂肘關節(jié)屈曲伸展運動的歐拉角對比如圖6 所示。

由圖6 可以看出,濾波后的肱橈肌肌聲信號與對應肘關節(jié)的屈曲伸展運動間有十分清晰的對應關系,可將其用作人體運動意圖辨識的輸入信號。

圖6 濾波前后肌聲信號對比Fig.6 Mechanomyogram before and after filtering

3 肌聲信號特征提取與關節(jié)力矩辨識

3.1 關節(jié)力矩信號的采集

人體的關節(jié)運動由對應的肌肉收縮產(chǎn)生,骨骼肌收縮使得肌腱拉動骨骼令關節(jié)產(chǎn)生運動,在一定程度上,可以通過辨識人體相應關節(jié)的關節(jié)力矩來表征人體的運動意圖。

肌聲信號與人體運動間有明確的對應關系,故可以通過設計算法建立起肌聲信號與關節(jié)力矩間的映射關系來進行人體運動意圖的辨識,以肘關節(jié)信號采集為例,搭建數(shù)據(jù)采集平臺,如圖7所示。

圖7 肘關節(jié)數(shù)據(jù)采集Fig.7 Elbow data collection

人體肌肉收縮力難以通過非侵入的方式進行測量,且侵入式測量設備成本較高且易對受試者造成傷害。 針對此問題,本文設計了如式 (4)所示的矢狀面下基于六維力傳感器的關節(jié)力矩計算模型,模型示意圖見圖8。

圖8 關節(jié)力矩計算模型Fig.8 Joint torque calculation model

式中,A為人體前臂當前姿態(tài)向量,由綁縛于其上的IMU 測得,Fx、Fy、Fz為六維力傳感器的x、y、z三軸讀數(shù),F為六維力傳感器三軸讀數(shù)的向量和,L為人體前臂長度。

基于關節(jié)力矩計算模型,采集受試者左臂肘關節(jié)力矩與左臂肱橈肌肌聲信號,如圖9 所示。

圖9 左臂肱橈肌肌聲信號與肘關節(jié)力矩對比Fig.9 Mechanomyogram of left brachioradialis andleft elbow torques

由圖可知,肱橈肌肌聲信號與肘關節(jié)關節(jié)力矩存在明顯的對應關系,肘關節(jié)向屈曲方向出力時,肱橈肌肌聲信號幅值較大;肘關節(jié)向伸展方向出力時,肱橈肌肌聲信號幅值較小,因此可以僅使用肱橈肌處的肌聲信號來估計肘關節(jié)的關節(jié)力矩。

3.2 肌聲信號的特征提取

肌聲信號是一種連續(xù)的時序信號,對其進行適當?shù)奶卣髦堤崛√幚?既可簡化運動意圖識別算法,又可避免信息處理過程中有效信息的丟失。

通常認為人體主要通過2 種方式調節(jié)肌肉出力的大小:①通過調節(jié)當前參與出力的肌纖維數(shù)量,參與收縮的肌纖維數(shù)量越多,肌肉力量越大;②通過調整肌纖維的收縮頻率來調節(jié)肌肉力量,肌纖維連續(xù)受到刺激后產(chǎn)生的收縮將會疊加,使收縮產(chǎn)生的肌肉力進一步增強。

基于上述原理,可以推導出如下結論:肌肉力量會伴隨著肌纖維振動幅度和振動頻率而變化,由此可以從時域、頻域2 個角度對肌聲信號展開分析,提取肌聲信號的特征值。

由圖9 可知,肌聲信號的幅值與關節(jié)力矩間的相關關系角位明顯,故以表征數(shù)據(jù)幅值有效值的均方根(Root Mean Square,RMS)作為肌聲信號的時域特征,計算方法如式 (5)所示。

式中,Xi為第i個信號幅值,N表示采樣個數(shù)。

頻域方面,選取平均功率頻率(Mean Power Frequency, MPF)作為頻域特征值。 對采集到的肌聲信號EMD 濾波后,進行希爾伯特變換并沿時間積分,即可獲得表征信號頻域與信號蘊含能量之間關系的希爾伯特邊際譜,如圖10 所示。

圖10 希爾伯特邊際譜Fig.10 Hilbert marginal spectrum

獲得希爾伯特邊際譜后,便可得知信號頻率與信號能量間的對應關系,通過式 (6)即可計算出當前肌聲信號的平均功率頻率MPF。

式中,E為信號能量,f為信號頻率。

肌肉力量可通過改變參與收縮的肌纖維數(shù)量來調節(jié),即肌聲信號中蘊含著參與工作的肌纖維的數(shù)量信息,故本文額外引入樣本熵(Sample Entropy, SampEn)作為非線性方面的特征值,即通過度量信號中產(chǎn)生新模式的概率的大小來表征肌聲信號中活躍的肌纖維數(shù)量。

此外,考慮到肌聲信號在時間上的連續(xù)性,為了減少信息提取過程中的損失,同時兼顧系統(tǒng)計算能力,引入如圖11 所示的滑窗法處理肌聲信號,并設定窗口長度為500 ms,步進長度為50 ms。

圖11 滑窗法示意圖Fig.11 Sliding window algorithm

3.3 基于機器學習的關節(jié)力矩辨識

受人體脂肪厚度,人體肌肉疲勞程度的影響,肌聲信號與人體關節(jié)力矩間復雜的非線性關系難以利用傳統(tǒng)的回歸方法精確表述,故本文采用機器學習的方法,利用大量的測試數(shù)據(jù)來擬合肌聲信號與關節(jié)力矩間真實的映射關系。

本文所述算法面向穿戴式助力設備,作為經(jīng)典的人機交互系統(tǒng),其助力安全性永遠是應該優(yōu)先考慮的事項,故選擇隨機森林回歸模型作為關節(jié)力矩辨識的基礎算法。

隨機森林回歸是一種屬于裝袋類型的繼承算法,如圖12 所示,模型由多棵分類回歸樹構成,每一棵回歸樹之間相互獨立,互不影響,模型最終的輸出由森林內的每一棵樹共同決定。

圖12 隨機森林回歸模型Fig.12 Random forest regression model

隨機森林回歸模型具備極高的穩(wěn)定性,只有在半數(shù)以上的回歸樹都做出錯誤預測的情況下,模型的輸出才會嚴重偏離真實值。

4 試驗與結果

4.1 受試者

征集3 名22～27 歲的男性志愿者,均身體健康,無神經(jīng)及肌肉相關疾病史。

4.2 方法

1)模型訓練與驗證。 從中選擇2 名受試者在如圖7 所示的采集平臺上分別完成左臂肘關節(jié)的屈曲伸展運動關節(jié)力矩及肌聲信號特征值采集。 共采集到150 000 組樣本數(shù)據(jù),依據(jù)交叉驗證的思想,抽取其中10 000 組數(shù)據(jù)作為驗證集,其余數(shù)據(jù)作為訓練集。 設定隨機森林回歸模型的子回歸樹數(shù)量為10,最小葉大小為1。

2)關節(jié)力矩辨識。 為驗證本文所述算法的有效性,設計了關節(jié)力矩辨識試驗。 3 位志愿者中,志愿者1 和志愿者2 參與了關節(jié)力矩辨識算法的訓練數(shù)據(jù)集采集,志愿者3 未參與。參與訓練集采集的志愿者的數(shù)據(jù)作為實驗的試驗組,將未參與采集的志愿者的數(shù)據(jù)作為試驗的對照組。

試驗以志愿者的肘關節(jié)運動為試驗目標動作,試驗數(shù)據(jù)由上位機直接采集并實時計算,設定測力平臺六維力傳感器的采樣頻率為200 Hz,控制系統(tǒng)關節(jié)力矩辨識頻率為5 Hz。

試驗開始前的24 小時內,志愿者被告知不要進行高強度的運動以避免肌肉的生理狀態(tài)受到影響。 試驗進行過程中,志愿者被要求以近似正弦波的出力方式對六維測力平臺施加外力,施力的大小和頻率則不做特殊要求。 每位志愿者需完成4 組實驗數(shù)據(jù)的采集,每次數(shù)據(jù)采集至少持續(xù)30 s。 為防止肌肉疲勞產(chǎn)生的強直現(xiàn)象干擾試驗結果,2 次試驗間志愿者充分休息。

4.3 實驗結果

1)模型訓練與驗證。 使用訓練集離線訓練出模型參數(shù)后,基于驗證集對該模型的準確性進行評估,其交叉驗證結果如圖13 所示。 從中可以看出,通過力傳感器測量和計算得到的關節(jié)力矩真實值,與通過模型獲取的關節(jié)力矩預測值之間存在的差異較小。 說明離線訓練效果達到了較好的水平,可用于后續(xù)的關節(jié)力矩辨識實驗。

圖13 交叉驗證結果Fig.13 Results of cross validation

2)關節(jié)力矩辨識。 志愿者1 和志愿者2 的關節(jié)力矩辨識結果如圖14 所示。 以力矩辨識結果的均方根差值(RMSE)和決定系數(shù)(R2)作為辨識效果的評價指標。 前者代表預測值和實際值之差的樣本標準差;后者反映了回歸關系在多大程度上可以解釋因變量的變化,較高的值表明回歸模型可以產(chǎn)生更好的預測結果。 可分別由式(7)和(8)計算。

圖14 志愿者1 和志愿者2 的關節(jié)力矩辨識結果Fig.14 Recognition results of volunteer 1 and volunteer 2

式中,y^t,yt,分別表示力矩的預測值、實際值和平均值。

由實驗采集的數(shù)據(jù)可得,志愿者1 關節(jié)力矩辨識結果的均方根差值為1.981 2,決定系數(shù)為0.953 2;志愿者2 關節(jié)力矩辨識結果的均方根差值為1.700 8,決定系數(shù)為0.862 0。

作為本次實驗的對照組,志愿者3 的關節(jié)力矩辨識效果如圖15 所示。

圖15 志愿者3 的關節(jié)力矩辨識結果Fig.15 Recognition result of volunteer 3

志愿者3 的關節(jié)力矩辨識效果整體不太理想,均方根差值為3.426 1,決定系數(shù)為0.682 4。究其原因,不同志愿者間的體脂含量不同,脂肪對肌聲信號傳遞起到的濾波作用不可忽視;且志愿者間的肌肉活性也各有差異,導致肌聲信號存在個體差異。

綜合來看,本文提出的基于肌聲信號的人體關節(jié)力矩辨識技術在一定限度內有著良好的辨識效果。 由于不同人個體間的差異較大,該算法并不具備通用性,這種非通用性也能夠類比到同一穿戴者的不同肌肉上,人體不同肌肉表現(xiàn)出的生理差異也十分顯著,需要對每塊目標肌肉單獨采樣,算法整體實現(xiàn)過程較為繁瑣,有較大的改進空間。

5 結論

本研究主要是采集肌聲信號和關節(jié)力矩來構成數(shù)據(jù)集,并離線訓練隨機森林回歸模型從而建立其映射關系。 在驗證算法有效性后,接下來便可以將訓練好的模型導入助力裝備的控制系統(tǒng)中進行力矩在線估計。 以肘關節(jié)屈伸動作為例說明了該算法的實施過程。 對于其他動作的力矩辨識,在流程上是類似的,但測量肌聲信號的目標肌肉不同,故需要相應地單獨訓練模型參數(shù)。

1)提出了基于關節(jié)運動對應肌肉的肌聲信號采集、濾波及特征提取方法,實現(xiàn)了人體運動意圖信號的提取與分析。

2)提出了基于機器學習技術的肌肉肌聲信號與人體關節(jié)力矩的映射方法,利用隨機森林回歸模型辨識人體關節(jié)運動的關節(jié)力矩,辨識決定系數(shù)可達0.9532,從而實現(xiàn)人體運動意圖的辨識。