陳江城,張小棟

(西安交通大學(xué)現(xiàn)代設(shè)計(jì)及轉(zhuǎn)子軸承系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室,710049,西安)

?

人體下肢行走關(guān)節(jié)連續(xù)運(yùn)動表面肌電解碼方法

陳江城,張小棟

(西安交通大學(xué)現(xiàn)代設(shè)計(jì)及轉(zhuǎn)子軸承系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室,710049,西安)

為實(shí)現(xiàn)人體下肢步態(tài)動作的連續(xù)識別,提出了一種利用表面肌電信號進(jìn)行下肢關(guān)節(jié)運(yùn)動角度連續(xù)解碼的方法。首先利用光學(xué)運(yùn)動捕捉實(shí)現(xiàn)下肢關(guān)節(jié)運(yùn)動角度的計(jì)算,然后采集下肢運(yùn)動相關(guān)主力肌肉的表面肌電信號并提取其活動強(qiáng)度信息;在此基礎(chǔ)上,基于受限玻爾茲曼機(jī)構(gòu)建深度自動編碼器(DAE),實(shí)現(xiàn)多路表面肌電信號強(qiáng)度時(shí)間序列的低維空間編碼和最優(yōu)特征提取;最后,利用BP神經(jīng)網(wǎng)絡(luò)建立特征量與關(guān)節(jié)矢狀面運(yùn)動角度之間的非線性回歸模型。實(shí)驗(yàn)結(jié)果表明:該方法提取的信號特征信息優(yōu)于傳統(tǒng)的主量分析方法,采用提出的模型能夠更精確地估計(jì)下肢關(guān)節(jié)連續(xù)運(yùn)動角度,其估計(jì)值與真實(shí)值的均方誤差較傳統(tǒng)方法降低25%～35%。研究結(jié)果為人機(jī)交互接口技術(shù)的開發(fā)、實(shí)現(xiàn)下肢可穿戴智能裝備的生物電連續(xù)控制、提高人機(jī)運(yùn)動平穩(wěn)性奠定了基礎(chǔ)。

表面肌電信號;連續(xù)運(yùn)動識別;玻爾茲曼機(jī);深度自動編碼器;BP神經(jīng)網(wǎng)絡(luò)

新一代具有強(qiáng)大交互能力的人機(jī)合作智能裝備是目前機(jī)器人領(lǐng)域研究的熱點(diǎn),如康復(fù)訓(xùn)練機(jī)器人、助力助行外骨骼機(jī)器人及智能假肢等[1-3]。隨著生物信息技術(shù)的發(fā)展,通過腦電、肌電等生物電信號來實(shí)現(xiàn)人與協(xié)同對象和外界環(huán)境的交流,將生物電蘊(yùn)含的人體運(yùn)動信息作用于機(jī)器人,是人機(jī)交互實(shí)現(xiàn)的新途徑。表面肌電信號(sEMG)是從肌肉表面通過電極記錄的生物電信號,蘊(yùn)含了豐富的肌肉活動與肢體運(yùn)動信息,具有采集技術(shù)成熟、時(shí)間分辨率高、記錄無創(chuàng)等優(yōu)點(diǎn),是現(xiàn)代人機(jī)交互接口技術(shù)中最常用的生物電信號。

近年來,國內(nèi)外已有不少關(guān)于利用表面肌電信號進(jìn)行肢體運(yùn)動信息解碼的研究,包括運(yùn)動狀態(tài)辨識和運(yùn)動量連續(xù)解碼。對于運(yùn)動狀態(tài)的辨識,過去研究重點(diǎn)多集中在表面肌電信號的特征提取、表達(dá)以及多模式分類算法的改進(jìn)上[4-7]。由于基于分類模型只能對有限的離散動作進(jìn)行辨識,識別結(jié)果僅作為機(jī)器人運(yùn)動模式切換的控制信號,影響人機(jī)運(yùn)動的平穩(wěn)性和協(xié)調(diào)性。相比之下,表面肌電信號的運(yùn)動量連續(xù)解碼能夠彌補(bǔ)這一不足。

目前,采用生物力學(xué)建模[8]、神經(jīng)網(wǎng)絡(luò)[9-11]和高階多項(xiàng)式擬合[12]等方法構(gòu)建表面肌電信號與運(yùn)動量之間的函數(shù)模型。生物力學(xué)建模方法從肌骨系統(tǒng)運(yùn)動機(jī)理出發(fā),建立表面肌電信號與關(guān)節(jié)運(yùn)動量之間的關(guān)系,過程復(fù)雜,實(shí)用性降低。因此,通過神經(jīng)網(wǎng)絡(luò)回歸方法建立表面肌電信號與運(yùn)動量之間的映射關(guān)系就顯得簡單快捷。然而,在利用神經(jīng)網(wǎng)絡(luò)進(jìn)行模型回歸之前,如何從復(fù)雜的、多通道的表面肌電信號中提取連續(xù)的、魯棒的和無冗余信息的信號特征是問題關(guān)鍵。對于多路表面肌電信號的處理,現(xiàn)有方法多采用主分量分析(PCA)獲得表面肌電信號的最優(yōu)特征表達(dá)[10,12]。由于PCA是一種基于線性子空間映射的降維方法,不能夠發(fā)掘隱藏在高維空間中的非線性結(jié)構(gòu),因此對于隨機(jī)性高且具有強(qiáng)非線性特性的表面肌電信號存在局限。

本文以人體下肢行走關(guān)節(jié)角度連續(xù)識別為目標(biāo),在對人體下肢運(yùn)動捕捉和關(guān)節(jié)角度計(jì)算方法研究的基礎(chǔ)上,同步獲取關(guān)節(jié)角度信息和主力肌肉表面肌電信號,并構(gòu)造深度自動編碼網(wǎng)絡(luò)(DAE)進(jìn)行多路表面肌電信號的非線性降維和特征提取,最終建立表面肌電信號特征與關(guān)節(jié)運(yùn)動角度之間的BP網(wǎng)絡(luò)回歸模型。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的正確性和可靠性。

1 人體下肢運(yùn)動捕捉與關(guān)節(jié)角度計(jì)算

人體下肢運(yùn)動系統(tǒng)具有關(guān)節(jié)隱蔽、自由度多及不存在固定基座的特點(diǎn),增加了關(guān)節(jié)運(yùn)動信息準(zhǔn)確捕捉的難度。目前對于人體運(yùn)動信息的捕捉和分析,主要有視覺方式和非視覺方式兩種[13],相比而言,視覺方式可以采集更準(zhǔn)確和豐富的信息。本節(jié)給出一種基于光學(xué)捕捉的關(guān)節(jié)運(yùn)動角度計(jì)算方法,基本過程如圖1所示。

圖1 人體下肢關(guān)節(jié)運(yùn)動計(jì)算過程

1.1 關(guān)節(jié)中心的確定與局部坐標(biāo)系的建立

從機(jī)構(gòu)學(xué)角度看,人體下肢系統(tǒng)包括骨盆、大腿、小腿和足4個(gè)肢體節(jié)段,由髖、膝和踝關(guān)節(jié)連接,為了準(zhǔn)確描述肢體節(jié)段的姿態(tài)及相對關(guān)系,除世界坐標(biāo)系外,需要建立各自的局部坐標(biāo)系。利用光學(xué)運(yùn)動捕捉系統(tǒng)記錄16個(gè)體表關(guān)鍵標(biāo)記點(diǎn)在世界坐標(biāo)系下的三維運(yùn)動軌跡,標(biāo)記點(diǎn)布置與世界坐標(biāo)設(shè)置如圖2所示,其中x軸方向指向人體正前方,z軸豎直向上,兩者構(gòu)成平面為矢狀面,而x軸與y軸構(gòu)成水平面,y軸與z軸構(gòu)成額狀面。

(1)基于標(biāo)記點(diǎn)的位置坐標(biāo)確定髖、膝和踝關(guān)節(jié)中心點(diǎn)的位置坐標(biāo)(以肢體左側(cè)為例)。對于膝關(guān)節(jié)和踝關(guān)節(jié),以關(guān)節(jié)內(nèi)外側(cè)標(biāo)記點(diǎn)的中點(diǎn)作為關(guān)節(jié)中心,即

pkjc=(p5+p6)/2

(1)

pajc=(p7+p8)/2

(2)

式中:pkjc為膝關(guān)節(jié)中心位置矢量;pajc為踝關(guān)節(jié)中心位置矢量。對于髖關(guān)節(jié)中心位置矢量phjc,首先以兩髂前上棘的中心為基準(zhǔn)點(diǎn),建立骨盆坐標(biāo)系,其坐標(biāo)軸單位矢量定義如下

j4=(p1-p2)/|p1-p2|

(3)

(4)

i4=j4×k4

(5)

式中:psacrum=(p3+p4)/2。然后,根據(jù)文獻(xiàn)[14]給出的線性回歸方程確定髖關(guān)節(jié)中心在骨盆坐標(biāo)系中的位置,方程如下

(6)

式中:ld表示骨盆深度,為兩髂前上棘中點(diǎn)與兩髂后上棘中點(diǎn)之間的距離;lw表示骨盆寬度,為兩髂前上棘之間的距離。最后,通過坐標(biāo)變換將髖關(guān)節(jié)中心從骨盆坐標(biāo)轉(zhuǎn)換至世界坐標(biāo)系下表示。

(2)利用關(guān)節(jié)中心位置坐標(biāo)和標(biāo)記點(diǎn)位置坐標(biāo)確定大腿、小腿和足的局部參考坐標(biāo)系,所有坐標(biāo)系原點(diǎn)位于質(zhì)心位置。以大腿為例,其局部坐標(biāo)系單位矢量為

k3=(phjc-pkjc)/|phjc-pkjc|

(7)

(8)

j3=k3×i3

(9)

1.2 矢狀面關(guān)節(jié)旋轉(zhuǎn)角度計(jì)算

根據(jù)解剖學(xué)分析,下肢所有關(guān)節(jié)可視為球關(guān)節(jié),包括3個(gè)自由度,分別為矢狀面的屈、伸,水平面的內(nèi)收、外展和額狀面的內(nèi)旋、外旋,它們是繞空間轉(zhuǎn)動副轉(zhuǎn)動的三維分量,相互聯(lián)系協(xié)調(diào)?？紤]下肢行走過程中主要是矢狀面運(yùn)動,而且一般下肢可穿戴機(jī)電設(shè)備都將髖、膝兩個(gè)關(guān)節(jié)的矢狀面作為主動驅(qū)動自由度,如瑞士的LOKOMAT下肢康復(fù)訓(xùn)練機(jī)器人、荷蘭的LOPES下肢康復(fù)訓(xùn)練機(jī)器人和日本的HAL助力助行外骨骼機(jī)器人等[1,3]。因此,本文重點(diǎn)討論髖、膝兩關(guān)節(jié)屈、伸角度的識別,結(jié)果作為機(jī)器人關(guān)節(jié)驅(qū)動的信息源,實(shí)現(xiàn)機(jī)器人與其使用者的運(yùn)動同步。

針對1.1小節(jié)建立的局部坐標(biāo)系,定義髖關(guān)節(jié)屈、伸角θhip為k3在骨盆坐標(biāo)系矢狀面的投影與豎直軸的夾角,定義膝關(guān)節(jié)屈、伸角θknee為k2在大腿坐標(biāo)系矢狀面的投影與豎直軸的夾角,計(jì)算公式為

(10)

(11)

2 表面肌電信號的運(yùn)動連續(xù)解碼

2.1 表面肌電信號的采集與活躍強(qiáng)度的提取

根據(jù)人體生理學(xué)知識,選定肌肉表皮測量位置,利用表面差分電極同步采集行走過程中股直肌、股外側(cè)肌、股內(nèi)側(cè)肌、股二頭肌、半膜肌、腓腸肌外側(cè)、腓腸肌內(nèi)側(cè)、比目魚肌、脛骨前肌、脛骨長肌10塊主力肌肉的表面肌電信號。

原始表面肌電信號存在噪聲干擾,包括設(shè)備固有噪聲、工頻干擾和移動偽跡噪聲等。首先利用零滯后的四階巴特沃斯濾波器對其進(jìn)行帶通濾波,通頻帶為20～500 Hz,同時(shí)進(jìn)行50 Hz工頻陷波,在降噪和偽跡消除的基礎(chǔ)上,對信號進(jìn)行全波整流和低通濾波,得到肌電活躍強(qiáng)度,截止頻率為4 Hz。最后,以運(yùn)動軌跡采集頻率對信號進(jìn)行重采樣和歸一化處理,得到的表面肌電信號強(qiáng)度時(shí)間序列可表示為Xp,q,其中q表示表面肌電信號通道數(shù),p表示采樣點(diǎn)數(shù)。

2.2 基于DAE的特征降維

特征的選擇對模型的學(xué)習(xí)效率和估計(jì)準(zhǔn)確性的影響毋庸置疑。文獻(xiàn)[4]指出,如果表面肌電信號特征選取得不恰當(dāng),會造成信息冗余,另外肌肉活動之間存在一定的相關(guān)性,也存在冗余信息。文獻(xiàn)[15]提出了一種通過訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和數(shù)據(jù)降維的深度學(xué)習(xí)方法,其主要思想是對原始數(shù)據(jù)進(jìn)行逐層編碼,再逐層解碼進(jìn)行數(shù)據(jù)重構(gòu),當(dāng)重構(gòu)數(shù)據(jù)與原始數(shù)據(jù)吻合時(shí),那么中間低維空間數(shù)據(jù)相當(dāng)于保留了原始數(shù)據(jù)的全部信息,實(shí)現(xiàn)了特征提取和數(shù)據(jù)降維。相比于PCA方法,深度學(xué)習(xí)屬于非線性變換,通過多層學(xué)習(xí)能夠獲得更加本質(zhì)的特征[16]。本節(jié)給出一種基于受限玻爾茲曼機(jī)(RBM)的DAE網(wǎng)絡(luò),實(shí)現(xiàn)多路表面肌電信號強(qiáng)度序列的低維編碼,網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖3所示。

(a)單向預(yù)訓(xùn)練網(wǎng)絡(luò) (b)雙向?qū)ΨQ網(wǎng)絡(luò)圖3 基于受限玻爾茲曼機(jī)的DAE網(wǎng)絡(luò)

DAE網(wǎng)絡(luò)由多個(gè)RBM疊加形成,網(wǎng)絡(luò)的構(gòu)建與學(xué)習(xí)可以分為兩個(gè)步驟:一是通過逐層無監(jiān)督貪婪學(xué)習(xí)獲得網(wǎng)絡(luò)的初始參數(shù),稱為網(wǎng)絡(luò)預(yù)學(xué)習(xí);二是由初學(xué)網(wǎng)絡(luò)參數(shù)構(gòu)造對稱結(jié)構(gòu)的雙向DAE網(wǎng)絡(luò),利用誤差反向傳播的方法對網(wǎng)絡(luò)參數(shù)進(jìn)行有監(jiān)督的學(xué)習(xí),稱為細(xì)調(diào)。網(wǎng)絡(luò)參數(shù)預(yù)學(xué)習(xí)解決了傳統(tǒng)誤差反向傳播來訓(xùn)練深度網(wǎng)絡(luò)時(shí)容易陷入局部最優(yōu)或者產(chǎn)生梯度彌散的問題[15]。誤差反向傳播方法較為成熟,下面重點(diǎn)論述網(wǎng)絡(luò)的預(yù)學(xué)習(xí)過程,即RBM學(xué)習(xí)方法。

RBM是一類具有兩層結(jié)構(gòu),層內(nèi)無連接、層間全連接的能量模型,且每個(gè)神經(jīng)元只有0或1兩種狀態(tài),如圖4所示。圖中h、w和v分別代表隱藏層單元狀態(tài)向量、連接權(quán)值向量和可見層狀態(tài)向量。RBM在給定一組狀態(tài)(v,h)后,都有一個(gè)標(biāo)量形式的能量與之對應(yīng),其能量函數(shù)為

Eδ(v,h)=-aTv-bTh-hTwv

(12)

圖4 受限玻爾茲曼機(jī)模型

式中:δ=(w,a,b)表示RBM模型參數(shù),其中a和b分別為可見層和隱藏層單元的偏置向量。根據(jù)能量函數(shù)定義狀態(tài)(v,h)的聯(lián)合概率分布函數(shù)為

(13)

對于實(shí)際問題,我們更關(guān)心的是觀測數(shù)據(jù)v的概率分布Pδ(v),即似然函數(shù),具體定義如下

(14)

實(shí)質(zhì)上,RBM學(xué)習(xí)的任務(wù)是求出參數(shù)δ,使模型定義的概率分布與觀測數(shù)據(jù)的概率分布一致。參數(shù)δ可以通過最大化RBM在給定樣本下定義的對數(shù)似然函數(shù)lnPδ(v)得到,利用隨機(jī)梯度上升法,參數(shù)調(diào)整規(guī)則如下[17]

(15)

式中:〈·〉data和〈·〉Recon分別表示關(guān)于條件概率分布Pδ(h|v)和聯(lián)合概率分布Pδ(v,h)的數(shù)學(xué)期望。

由于聯(lián)合概率分布難以獲得,通常采用吉普斯采樣計(jì)算其近似值,其過程為:首先初始化可見層,然后用條件概率Pδ(h|v)計(jì)算隱藏層,再根據(jù)條件概率Pδ(v|h)計(jì)算可見層,如此循環(huán)交替采樣k次,可以得到滿足RBM定義的聯(lián)合概率分布樣本,最終求得期望。另外,文獻(xiàn)[15]提出了RBM的對比分散度快速學(xué)習(xí)算法,將可見層初始化為樣本值,僅進(jìn)行一次吉普斯采樣就能獲得很好的效果。在上述采樣過程中,需要用到的兩個(gè)條件分布概率計(jì)算公式為

(16)

(17)

式中:f(·)為sigmoid激活函數(shù)。

根據(jù)上述RBM學(xué)習(xí)方法,以原始表面肌電信號強(qiáng)度時(shí)間序列Xp,q初始化RBM-1的可見層,如圖3a所示,通過對比分散度快速學(xué)習(xí)算法進(jìn)行訓(xùn)練,然后以RBM-1的輸出初始化RBM-2的可見層并進(jìn)行RBM-2的訓(xùn)練,依次類推進(jìn)行逐層單獨(dú)訓(xùn)練,完成DAE所有網(wǎng)絡(luò)參數(shù)的預(yù)學(xué)習(xí)。在此基礎(chǔ)上,構(gòu)造對稱結(jié)構(gòu)的DAE網(wǎng)絡(luò),如圖3b所示,利用誤差反向傳播的方法對網(wǎng)絡(luò)參數(shù)進(jìn)行細(xì)調(diào),使重構(gòu)誤差最小化[15],即使原始表面肌電信號強(qiáng)度時(shí)間序列Xp,q與重構(gòu)信號XRp,q之間的誤差最小。最后獲得網(wǎng)絡(luò)中間層的低維編碼Yp,nm,作為原始信號的最優(yōu)特征矢量。

2.3 基于BP網(wǎng)絡(luò)的關(guān)節(jié)角度估計(jì)

為確定表面肌電信號特征與關(guān)節(jié)角度之間的關(guān)系模型,建立3層BP神經(jīng)網(wǎng)絡(luò)模型,中間層和輸出層分別采用正切S型函數(shù)和線性函數(shù),如圖5所示。

圖5 BP網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)圖5可知,BP網(wǎng)絡(luò)的輸出可以表示為

(18)

式中:y=[y1,y2,…,yl]為表面肌電信號特征構(gòu)成的輸入矢量,且l=nm,表示特征維數(shù);θ=[θhip,θknee]為髖關(guān)節(jié)和膝關(guān)節(jié)估計(jì)角度;Win和Wout分別為隱藏層和輸出層的權(quán)值矩陣;bin和bout分別為隱藏層和輸出層的偏置矩陣。在構(gòu)建神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)中,輸入神經(jīng)元和輸出神經(jīng)元個(gè)數(shù)已經(jīng)確定,而隱藏層神經(jīng)元數(shù)目采用經(jīng)驗(yàn)公式確定

t=(l+2)1/2+10

(19)

式中:2表示輸出層個(gè)數(shù)。確定神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)之后,以深度自動編碼網(wǎng)絡(luò)得到的表面肌電信號最優(yōu)低維特征值和對應(yīng)的關(guān)節(jié)角度為訓(xùn)練樣本,采用誤差反饋和快速梯度下降方法對網(wǎng)絡(luò)的權(quán)值和偏置進(jìn)行學(xué)習(xí)。

3 實(shí)驗(yàn)驗(yàn)證

選取4名健康男性對象A、B、C和D(平均年齡為(29±5.5)歲,平均身高為(172±4.3)cm,平均體重為(63.9±5.0)kg)進(jìn)行步態(tài)數(shù)據(jù)采集,包括標(biāo)記點(diǎn)運(yùn)動軌跡和動態(tài)表面肌電信號。實(shí)驗(yàn)中,測試者被要求在Vicon光學(xué)運(yùn)動捕捉系統(tǒng)工作空間中以不同速度行走(約0.8、1.0和1.2 m/s),12臺T40 MX高精度攝像機(jī)以120 Hz的頻率采集16個(gè)標(biāo)記點(diǎn)在世界坐標(biāo)系下的位置坐標(biāo),配合第三方測試系統(tǒng)(16通道無線生理信號記錄儀)同步采集右側(cè)大腿10塊主力肌肉的動態(tài)表面肌電信號,分別對應(yīng)1～10個(gè)通道,每種步速下得到4組實(shí)驗(yàn)數(shù)據(jù)。實(shí)驗(yàn)裝置與測試場景見文獻(xiàn)[18]。

首先,對所有原始數(shù)據(jù)進(jìn)行預(yù)處理,包括表面肌電信號活躍度的提取和利用標(biāo)記點(diǎn)運(yùn)動軌跡計(jì)算關(guān)節(jié)角度。圖6給出測試者A某次行走3 s的關(guān)節(jié)運(yùn)動角度,包括了超過兩個(gè)步態(tài)周期的運(yùn)動,其軌跡曲線變化規(guī)律與文獻(xiàn)[19]給出的步態(tài)數(shù)據(jù)一致,證明了關(guān)節(jié)角度計(jì)算方法的正確性。在數(shù)據(jù)預(yù)處理的基礎(chǔ)上,將所有實(shí)驗(yàn)數(shù)據(jù)分成訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)兩部分,即每個(gè)部分?jǐn)?shù)據(jù)都包括不同速度行走下的2組實(shí)驗(yàn)數(shù)據(jù),分別用于DAE網(wǎng)絡(luò)和BP網(wǎng)絡(luò)的學(xué)習(xí)與測試。

圖6 對象A在某次實(shí)驗(yàn)下的關(guān)節(jié)連續(xù)運(yùn)動角度

圖7 DAE網(wǎng)絡(luò)編碼原始信號與重構(gòu)信號對比

其次,構(gòu)造一個(gè)中間層個(gè)數(shù)為3的9層DAE網(wǎng)絡(luò),其中n1、n2、n3、n4和n5分別為10、18、12、6和3,利用訓(xùn)練數(shù)據(jù)中的表面肌電信號的活躍度信號進(jìn)行網(wǎng)絡(luò)的學(xué)習(xí),并將學(xué)習(xí)后的DAE對測試數(shù)據(jù)中的表面肌電信號活躍度進(jìn)行自動編碼,圖7給出了對象A在1.2 m/s行走時(shí)肌電強(qiáng)度數(shù)據(jù)的DAE網(wǎng)絡(luò)編碼結(jié)果。對原始數(shù)據(jù)和重構(gòu)數(shù)據(jù)進(jìn)行比較,兩者之間的均方根誤差為0.225,即經(jīng)過DAE網(wǎng)絡(luò)的多層映射后,其重構(gòu)信號保留了原始信號的完好信息。圖8給出了通過DAE網(wǎng)絡(luò)和PCA方法得到的低維序列,其中PCA的3個(gè)主分量占全部分量的86.7%。由圖8可以看出,由DAE網(wǎng)絡(luò)提取的低維特征信息比PCA方法提取的低維特征信息穩(wěn)定性更好,尤其是PCA方法得到的第3個(gè)分量,其周期性已經(jīng)變得很差,這勢必影響模型的估計(jì)精度。另外,為了說明各分量之間的相位關(guān)系,圖中均以第一維分量中的波峰時(shí)刻為參考點(diǎn)標(biāo)記其余兩個(gè)分量的對應(yīng)時(shí)刻,可以看出,通過DAE網(wǎng)絡(luò)提取的三維特征序列之間的相位關(guān)系穩(wěn)定,優(yōu)于PCA方法得到的結(jié)果。

(a)DAE網(wǎng)絡(luò)降維輸出

(b)PCA方法降維輸出圖8 多路表面肌電信號低維編碼序列

最后,通過訓(xùn)練好的DAE網(wǎng)絡(luò)對所有實(shí)驗(yàn)下多路表面肌電信號進(jìn)行低維編碼,同時(shí)利用訓(xùn)練數(shù)據(jù)對BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。圖9給出了BP網(wǎng)絡(luò)模型訓(xùn)練過程中輸出的均方誤差(η)曲線,由圖可知,BP網(wǎng)絡(luò)快速收斂并穩(wěn)定,而且利用DAE數(shù)據(jù)進(jìn)行訓(xùn)練時(shí),BP網(wǎng)絡(luò)獲得了較高的收斂精度。訓(xùn)練結(jié)束后,利用測試數(shù)據(jù)進(jìn)行角度估計(jì),圖10給出了對象A在1.2 m/s行走速度時(shí)的關(guān)節(jié)角度估計(jì)結(jié)果,圖中同時(shí)給出了通過PCA降維數(shù)據(jù)進(jìn)行角度估計(jì)的結(jié)果。從圖中可以看出,采用DAE方法獲得的表面肌電信號低維特征進(jìn)行角度估計(jì)能夠獲得更好的效果,尤其是對于變化趨勢復(fù)雜的膝關(guān)節(jié),其估計(jì)精度更為明顯。此外,利用所有對象的測試結(jié)果,計(jì)算模型的估計(jì)性能指標(biāo),如表1所示,具體指標(biāo)包括均方根誤差η和線性相關(guān)系數(shù)r。通過比較可以看出,通過DAE方法得到的表面肌電信號最優(yōu)特征作為估計(jì)模型輸入,模型的估計(jì)值與真實(shí)值之間的均方誤差較PCA方法降低了約25%～35%,線性相關(guān)系數(shù)也更高。

圖9 BP網(wǎng)絡(luò)訓(xùn)練過程中輸出的均方誤差曲線

圖10 對象A在1.2 m/s行走速度時(shí)的關(guān)節(jié)角度估計(jì)結(jié)果

θDAEη/radrPCAη/radrθhip008±001094±005011±002089±007θknee009±001097±004014±002095±004

4 結(jié) 論

本文在利用光學(xué)運(yùn)動捕捉下肢步態(tài)運(yùn)動關(guān)節(jié)角度的基礎(chǔ)上,利用多路表面肌電信號實(shí)現(xiàn)下肢行走時(shí)關(guān)節(jié)連續(xù)運(yùn)動角度的解碼。本文方法特點(diǎn)在于,針對表面肌電信號非線性特點(diǎn),提出了一種基于RBM架構(gòu)的DAE網(wǎng)絡(luò)及其訓(xùn)練方法,實(shí)現(xiàn)了多路表面肌電信號的低維編碼和最優(yōu)特征提取,為BP回歸模型提供優(yōu)良的輸入數(shù)據(jù)。人體下肢行走時(shí)關(guān)節(jié)連續(xù)運(yùn)動角度的實(shí)驗(yàn)結(jié)果證明,與傳統(tǒng)的PCA線性降維方法相比,DAE網(wǎng)絡(luò)對多路表面肌電信號進(jìn)行多層的非線性映射后,提取的低維特征信息更為全面和穩(wěn)定,大大提高了BP回歸模型對關(guān)節(jié)運(yùn)動量的估計(jì)精度,統(tǒng)計(jì)結(jié)果顯示模型的估計(jì)值與真實(shí)值之間的均方誤差降低了25%～35%。需要指出的是,本文方法所用的關(guān)節(jié)運(yùn)動角度估計(jì)模型是通過神經(jīng)網(wǎng)絡(luò)回歸得到的,文中只針對下肢行走這一特定運(yùn)動任務(wù)下的關(guān)節(jié)角度進(jìn)行估計(jì),若要使模型能夠適用于更寬的運(yùn)動任務(wù),只需收集各種運(yùn)動下的表面肌電信號樣本數(shù)據(jù)進(jìn)行模型的訓(xùn)練。

[2] 楊啟志, 曹電鋒, 趙金海. 上肢康復(fù)機(jī)器人研究現(xiàn)狀的分析 [J]. 機(jī)器人, 2013, 35(5): 630-640. YANG Qizhi, CAO Dianfeng, ZHAO Jinhai. Analysis on state of the art of upper limb rehabilitation robots [J]. Robot, 2013, 35(5): 630-640.

[3] SANKAI Y. HAL: hybrid assistive limb based on cybernics [M]∥Robotics Research. Berlin, Germany: Springer, 2011: 25-34.

[4] PHINYOMARK A, PHUKPATTARANONT P, LIMSAKUL C. Feature reduction and selection for EMG signal classification [J]. Expert Systems with Applications, 2012, 39(8): 7420-7431.

[5] PHINYOMARK A, QUAINE F, CHARBONNIER S, et al. Feature extraction of the first difference of EMG time series for EMG pattern recognition [J]. Computer Methods and Programs in Biomedicine, 2014, 117(2): 247-256.

[6] TSAI A C, LUH J J, LIN T T. A novel STFT-ranking feature of multi-channel EMG for motion pattern recognition [J]. Expert Systems with Applications, 2015, 42(7): 3327-3341.

[7] LAUER R, SMITH B, BETZ R. Application of a neuro-fuzzy network for gait event detection using electromyography in the child with cerebral palsy [J]. IEEE Transactions on Biomedical Engineering, 2005, 52(9): 1532-1540.

[8] DING Q C, XIONG A B, ZHAO X G, et al. A novel EMG-driven state space model for the estimation of continuous joint movements [C]∥IEEE International Conference on Systems, Man, and Cybernetics. Piscataway, USA: IEEE, 2011: 2891-2897.

[9] ZHANG F, LI P F, HOU Z G, et al. sEMG-based continuous estimation of joint angles of human legs by using BP neural network [J]. Neurocomputing, 2012, 78(1): 139-148.

[10]戴虹, 錢晉武, 張震, 等. GRNN在肌電估計(jì)踝關(guān)節(jié)運(yùn)動中的應(yīng)用 [J]. 儀器儀表學(xué)報(bào), 2013, 34(4): 845-852. DAI Hong, QIAN Jinwu, ZHANG Zhen, et al. Application of GRNN in ankle movement prediction based on surface electromyography [J]. Chinese Journal of Scientific Instrument, 2013, 34(4): 845-852.

[11]AUNG Y M, AL-JUMAILY A. sEMG based ANN for shoulder angle prediction [J]. Procedia Engineering, 2012, 41: 1009-1015.

[12]丁其川, 趙新剛, 韓建達(dá). 基于肌電信號的上肢多關(guān)節(jié)連續(xù)運(yùn)動估計(jì) [J]. 機(jī)器人, 2014, 36(4): 469-476. DING Qichuan, ZHAO Xingang, HAN Jianda. EMG-based estimation for multi-joint continuous movement of human upper limb [J]. Robot, 2014, 36(4): 469-476.

[13]田國會, 尹建芹, 韓旭, 等. 一種基于關(guān)節(jié)點(diǎn)信息的人體行為識別新方法 [J]. 機(jī)器人, 2014, 36(3): 285-292. TIAN Guohui, YIN Jianqin, HAN Xu, et al. A novel human activity recognition method using joint points information [J]. Robot, 2014, 36(3): 285-292.

[14]HARRINGTON M E, ZAVATSKY A B, LAWSON S E, et al. Prediction of the hip joint centre in adults, children, and patients with cerebral palsy based on magnetic resonance imaging [J]. Journal of Biomechanics, 2007, 40(3): 595-602.

[15]HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 313: 504-507.

[16]余凱, 賈磊, 陳雨強(qiáng), 等. 深度學(xué)習(xí)的昨天、今天和明天 [J]. 計(jì)算機(jī)研究與發(fā)展, 2013, 50(9): 1799-1804. YU Kai, JIA Lei, CHEN Yuqiang, et al. Deep learning: yesterday, today, and tomorrow [J]. Journal of Computer Research and Development, 2013, 50(9): 1799-1804.

[17]張春霞, 姬楠楠, 王冠偉. 受限波爾茲曼機(jī) [J]. 工程數(shù)學(xué)學(xué)報(bào), 2015, 32(2): 159-173. ZHANG Chunxia, JI Nannan, WANG Guanwei. Restricted Boltzmann machines [J]. Chinese Journal of Engineering Mathematics, 2015, 32(2): 159-173.

[18]陳江城, 張小棟, 李睿, 等. 利用表面肌電信號的下肢動態(tài)關(guān)節(jié)力矩預(yù)測模型 [J]. 西安交通大學(xué)學(xué)報(bào), 2015, 49(12): 33-36. CHEN Jiangcheng, ZHANG Xiaodong, LI Rui, et al. Prediction model for dynamic joint torque of lower limb with surface EMG [J]. Journal of Xi’an Jiaotong University, 2015, 49(12): 33-36.

[19]TD C, SN G, DJ E, et al. A six degrees-of-freedom marker set for gait analysis: repeatability and comparison with a modified Helen Hayes set [J]. Gait & Posture, 2009, 30(2): 173-180.

(編輯 杜秀杰)

Surface Electromyography Decoding for Continuous Movement of Human Lower Limb During Walking

CHEN Jiangcheng,ZHANG Xiaodong

(Key Laboratory of Education Ministry for Modern Design & Rotor-Bearing System,Xi’an Jiaotong University, Xi’an 710049, China)

To estimate the continuous movement of human lower limb during walking, a regression model which relates the surface electromyography (EMG) and the movement variables of the lower limb joints is constructed. The joint movement angles of lower limb are calculated accurately based on optical motion capture system, then the surface EMG signals are sampled from the main muscles directly concerned with the lower limb motion; the muscle activities are extracted, and a deep auto-encoder (DAE) network with restricted Boltzmann machines (RBM) is realized, by which the multi-channel processed surface EMG signals are encoded in low dimensional space and the optimal features are extracted. The nonlinear model mapping the EMG features to sagittal surface movement angles is established with back propagation (BP) neural network. Extensive experiments indicate that the features extracted with the deep auto-encoder (DAE) network are outperformed principal components analysis (PCA); the movement angles of lower limb joints can be estimated continuously and precisely with the regression models and the mean square error (MSE) between the estimated values and real values is reduced by 25%-35% compared with the traditional method. The proposed strategy is expected to develop human-machine interaction interface technology for the achievement of continuous bioelectric control and the improvement of motion stability between human and machine, especially for lower limb wearable intelligent equipment.

surface electromyography; continuous motion recognition; restricted Boltzmann machines; deep auto-encoder; back propagation network

2015-10-19。 作者簡介:陳江城(1987—),男,博士生;張小棟(通信作者),男,教授,博士生導(dǎo)師。 基金項(xiàng)目:國家自然科學(xué)基金重大研究計(jì)劃資助項(xiàng)目(91420301)。

時(shí)間:2016-03-11

10.7652/xjtuxb201606010

TP242

A

0253-987X(2016)06-0061-07

網(wǎng)絡(luò)出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20160311.1721.010.html