高云園,孟 明,羅志增,佘青山
(杭州電子科技大學(xué)自動(dòng)化學(xué)院智能控制與機(jī)器人研究所,杭州 310018)
佩戴假肢是截肢者康復(fù)的重要方式,膝上下肢假肢適用于缺失膝關(guān)節(jié)的大腿截肢者,相比于傳統(tǒng)機(jī)械式假肢,智能膝上假肢由于可以利用患者下肢動(dòng)作時(shí)的信息實(shí)時(shí)控制假肢,目前越來(lái)越受到重視。人體下肢運(yùn)動(dòng)過程變化復(fù)雜,除了行走這一基本運(yùn)動(dòng)模式外,常見的下肢運(yùn)動(dòng)還包括上下臺(tái)階、起坐等多種模式。要使智能假肢具有對(duì)各種運(yùn)動(dòng)模式的適應(yīng)能力,多模式識(shí)別算法是非常關(guān)鍵的。另一方面,下肢在進(jìn)行多模式運(yùn)動(dòng)時(shí),伴隨著髖關(guān)節(jié)、膝關(guān)節(jié)和踝關(guān)節(jié)的協(xié)調(diào)運(yùn)動(dòng),可以表示為一系列的狀態(tài)變化,因此,為了更好的對(duì)智能假肢進(jìn)行分析和控制,多模式下的步態(tài)識(shí)別也是必要的。有效的下肢假肢多模式多步態(tài)識(shí)別不僅可以為開發(fā)智能假肢解決關(guān)鍵的技術(shù)難題,對(duì)下肢受損患者的康復(fù)評(píng)價(jià)也有很好的參考價(jià)值。
在現(xiàn)有的智能膝上假肢中,主要通過采集假肢腿部與膝關(guān)節(jié)的角度和角速度[1-2]、足底壓力[3]、踝關(guān)節(jié)處力[4]等這些運(yùn)動(dòng)力學(xué)信息來(lái)獲取下肢姿態(tài)、狀態(tài)等運(yùn)動(dòng)參數(shù),再采用有限狀態(tài)自動(dòng)機(jī)[5]、匹配預(yù)設(shè)曲線[6]等方法進(jìn)行運(yùn)動(dòng)模式識(shí)別和控制。除了以上運(yùn)動(dòng)學(xué)信息外,肌電信號(hào)在運(yùn)動(dòng)醫(yī)學(xué)、康復(fù)醫(yī)療等研究領(lǐng)域也經(jīng)常作為一種重要的運(yùn)動(dòng)生物力學(xué)信息源[7]。利用肌電信號(hào)可以在殘疾人意圖進(jìn)行動(dòng)作或無(wú)法完整動(dòng)作時(shí),獲取動(dòng)作意愿,這是傳統(tǒng)方法中僅采集姿態(tài)、速度等運(yùn)動(dòng)學(xué)信息無(wú)法達(dá)到的。目前,肌電假肢的研究主要集中在肌電假手上,利用肌電信號(hào)對(duì)上肢的多運(yùn)動(dòng)模式進(jìn)行識(shí)別和控制[8-9]。而下肢的運(yùn)動(dòng)模式涉及的肌肉更多,增加了下肢假肢肌電信號(hào)獲取和處理的難度。有些學(xué)者利用肌電信號(hào)實(shí)現(xiàn)對(duì)下肢殘肢動(dòng)作的分析和識(shí)別[10-11]。Jin等利用多組下肢肌電信號(hào)對(duì)快慢速、上下樓梯等路況進(jìn)行辨識(shí)[12]。研究表明肌電信號(hào)體現(xiàn)了患者自主下肢運(yùn)動(dòng)控制的預(yù)測(cè)性[13],下肢姿態(tài)、地面接觸狀態(tài)和運(yùn)動(dòng)速度等運(yùn)動(dòng)信息是對(duì)下肢假肢動(dòng)作狀態(tài)的確認(rèn),兩類信號(hào)從不同角度體現(xiàn)了下肢運(yùn)動(dòng)狀態(tài),為下肢假肢的智能控制提供了重要信息。
本文針對(duì)人體下肢的行走、上下臺(tái)階、起坐等多種日常運(yùn)動(dòng)模式,通過對(duì)肌電信號(hào)、肢體姿態(tài)與足底壓力等多源運(yùn)動(dòng)信息的獲取和處理,分析不同運(yùn)動(dòng)狀態(tài)與各運(yùn)動(dòng)力學(xué)量之間的關(guān)系,實(shí)現(xiàn)下肢假肢的多模式多步態(tài)識(shí)別。
人體下肢運(yùn)動(dòng)是兩側(cè)腿共同協(xié)調(diào)進(jìn)行的,從多種運(yùn)動(dòng)模式和步態(tài)識(shí)別的角度出發(fā),本文拾取大腿上的多路肌電信號(hào)、大小腿姿態(tài)信號(hào)和足底壓力信號(hào),綜合地獲取下肢的多源運(yùn)動(dòng)信息,構(gòu)建下肢運(yùn)動(dòng)信息獲取系統(tǒng)。
肌電信號(hào)(EMG)是一種伴隨肌肉活動(dòng)的生物電信號(hào),蘊(yùn)涵了肌肉活動(dòng)的各種信息。為了獲取有效肢體運(yùn)動(dòng)信息,首先要選擇適當(dāng)?shù)募∪?,作為肌電拾取電極的粘貼位置。通過大量實(shí)驗(yàn),選用了股內(nèi)側(cè)肌、半腱肌、闊筋膜張肌與長(zhǎng)收肌這四塊肌肉。這些肌肉分布在大腿的不同區(qū)域,在位置和信號(hào)區(qū)分度上都具有典型性。課題組采用安全、非侵入肌肉的皮膚表面電極來(lái)拾取表面肌電信號(hào),選用由Noraxon公司研制的MyoTrace 400肌電信號(hào)采集儀來(lái)拾取信號(hào),該儀器可以同時(shí)采集四路表面肌電信號(hào)。
足底與地面的接觸狀態(tài)以及其相互作用力是描述下肢運(yùn)動(dòng)狀態(tài)的重要信息。課題組選擇柔軟的壓阻敏感材料制作足底壓力傳感器,如圖1所示。為了進(jìn)行運(yùn)動(dòng)狀態(tài)的有效分析,我們?cè)谧愀妥阒簠^(qū)域分別布置了三個(gè)力傳感器,自行研發(fā)的壓力鞋如圖2所示,能測(cè)出人體運(yùn)動(dòng)時(shí)足跟和足趾區(qū)域的壓力變化。
圖1 壓阻薄膜傳感器的外形
圖2 安裝薄膜壓力傳感器的壓力鞋
課題組選擇大腿、小腿的傾角以及膝關(guān)節(jié)屈伸角度,作為下肢運(yùn)動(dòng)狀態(tài)的重要參數(shù)。選用瑞士XSens公司生產(chǎn)的Mtx姿態(tài)跟蹤儀作為傾角傳感器,通過在大腿和小腿上分別放置Mtx姿態(tài)跟蹤儀來(lái)實(shí)現(xiàn)對(duì)大腿、小腿與地面的傾斜度的測(cè)量,進(jìn)而推算膝關(guān)節(jié)角度信息。安裝位置如圖3所示。
圖3 下肢姿態(tài)和膝關(guān)節(jié)角度測(cè)量
由于下肢表面肌電信號(hào)在識(shí)別下肢運(yùn)動(dòng)模式時(shí)有優(yōu)勢(shì),并對(duì)模式間的變化帶有一定的預(yù)測(cè)性,足底壓力和腿部角度信息及其變化可以方便的識(shí)別運(yùn)動(dòng)模式下的具體步態(tài),考慮到同步識(shí)別多模式多步態(tài)的難度較大、準(zhǔn)確性不高,本文針對(duì)常見的幾種運(yùn)動(dòng)模式,利用多源運(yùn)動(dòng)信息的不同特點(diǎn),先利用下肢表面肌電信號(hào)識(shí)別下肢假肢的運(yùn)動(dòng)模式,再根據(jù)足底壓力和腿部角度信息對(duì)運(yùn)動(dòng)模式中的不同步態(tài)進(jìn)行分析,從而實(shí)現(xiàn)下肢假肢的多模式多步態(tài)識(shí)別。
隱馬爾可夫模型HMM(Hidden Markov Model,HMM)是一種廣泛應(yīng)用的時(shí)序變化性信號(hào)統(tǒng)計(jì)模型,可以很好地描述動(dòng)態(tài)過程和適應(yīng)動(dòng)態(tài)過程中的變化。由于肌電信號(hào)與運(yùn)動(dòng)狀態(tài)具有HMM中觀察值和隱含狀態(tài)的特性,因此本文利用HMM對(duì)下肢肌電信號(hào)進(jìn)行多模式識(shí)別。
(1)HMM基本理論
HMM是一個(gè)二重隨機(jī)過程模型,其中一個(gè)是Markov鏈,它描述了狀態(tài)間的統(tǒng)計(jì)對(duì)應(yīng)關(guān)系;另一個(gè)則描述了狀態(tài)和觀察值間的統(tǒng)計(jì)對(duì)應(yīng)關(guān)系。其中狀態(tài)間轉(zhuǎn)移的隨機(jī)過程是隱含的,可觀察到的是各狀態(tài)產(chǎn)生的觀察值,因此稱為“隱”馬爾可夫模型。圖4體現(xiàn)了Markov鏈的狀態(tài)轉(zhuǎn)移和狀態(tài)與觀察值之間的關(guān)系。
圖4 HMM Markov鏈與觀察值序列
(2)特征提取
小波包分解利用小波分解濾波器在各個(gè)尺度上對(duì)每個(gè)子帶進(jìn)行再分解,以二叉樹方式將信號(hào)分解為等頻寬帶的子空間。小波包變換在信號(hào)處理中得到了廣泛的應(yīng)用。
設(shè)s(t)是一個(gè)有限能量信號(hào),對(duì)信號(hào)s(t)進(jìn)行w層分解后,得到2w個(gè)子空間,其中第n(n=1,2,…,2w)個(gè)子空間的信號(hào)可由以下公式重構(gòu)
其中ψj,k(t)是尺度因子為j,平移因子為k的小波函數(shù),Dj,nk是小波系數(shù)。由于小波函數(shù)是相互正交的,所以,該子空間重構(gòu)信號(hào)的能量表示為:
將信號(hào)進(jìn)行歸一化處理,可以得到第n個(gè)子頻帶空間信號(hào)能量在整個(gè)信號(hào)能量中的概率分布為:
該能量分布概率也稱為相對(duì)小波包能量,它反映了信號(hào)在各頻帶中的能量分布情況。本文以此作為下肢肌電信號(hào)的特征。
(3)多模式HMM建立與識(shí)別
人體下肢運(yùn)動(dòng)是一個(gè)周期重復(fù)的運(yùn)動(dòng),可細(xì)分為多個(gè)狀態(tài);同時(shí),肌電信號(hào)具有人體神經(jīng)肌肉運(yùn)動(dòng)所固有的隨機(jī)性,一個(gè)動(dòng)作不同人或不同時(shí)刻做產(chǎn)生的信號(hào)都會(huì)變化。因此,HMM這種時(shí)序變化性信號(hào)處理概率模型,非常適合于對(duì)下肢運(yùn)動(dòng)信號(hào)的描述。針對(duì)不同的運(yùn)動(dòng)模式,我們建立了多個(gè)運(yùn)動(dòng)模式HMM,在每個(gè)HMM中設(shè)定不同的狀態(tài)過程來(lái)描述一個(gè)運(yùn)動(dòng)周期,其結(jié)構(gòu)為無(wú)跳轉(zhuǎn)左至右型,如圖5所示,用5個(gè)狀態(tài)構(gòu)成行走模式HMM結(jié)構(gòu)。
圖5 5狀態(tài)行走模式HMM結(jié)構(gòu)
針對(duì)下肢運(yùn)動(dòng)中,每種模式的各個(gè)狀態(tài)時(shí)間所占比例變化比較小的特點(diǎn),本論文采用一種簡(jiǎn)化改進(jìn)的Baum-Welch算法來(lái)估計(jì)HMM參數(shù)。由于各狀態(tài)時(shí)間比例變化小,表示HMM中各狀態(tài)間的轉(zhuǎn)移概率基本不變,于是采用各個(gè)狀態(tài)的特征個(gè)數(shù)來(lái)計(jì)算轉(zhuǎn)移概率
其中Xij為觀察序列中狀態(tài)i轉(zhuǎn)移到狀態(tài)j的次數(shù)。
觀察概率密度函數(shù)的參數(shù)采用迭代EM算法來(lái)重估。在利用HMM進(jìn)行識(shí)別時(shí),對(duì)當(dāng)前的數(shù)據(jù)段提取特征,輸入到每個(gè)運(yùn)動(dòng)模式對(duì)應(yīng)的已訓(xùn)練好的HMM中,結(jié)合前一時(shí)刻各HMM的輸出概率,由Viterbi算法計(jì)算當(dāng)前的HMM輸出概率,輸出概率值最大的模型所對(duì)應(yīng)的運(yùn)動(dòng)模式就是運(yùn)動(dòng)模式識(shí)別結(jié)果。
人體下肢的動(dòng)作包含多種運(yùn)動(dòng)模式,運(yùn)動(dòng)模式還可以細(xì)分為一系列的狀態(tài)變化,如支撐、擺動(dòng),因此,為便于智能下肢假肢的分析和控制,在模式分類的基礎(chǔ)上,還需要對(duì)每個(gè)運(yùn)動(dòng)模式下的步態(tài)進(jìn)行分析。
以行走為例,一個(gè)完整的循環(huán)周期稱為一個(gè)跨步。如圖6所示,以右腿作為參考,本文將行走模式細(xì)分為支撐前期、支撐中期、支撐后期、擺動(dòng)前期和擺動(dòng)后期這5個(gè)步態(tài)。類似的,人體上、下臺(tái)階模式劃分為抬腿和著地兩個(gè)狀態(tài),站起和坐下則劃分為開始、中期和完成三個(gè)狀態(tài)。
圖6 行走時(shí)一個(gè)步態(tài)周期內(nèi)的步相變化過程
(1)特征提取
對(duì)人體行走時(shí)大小腿和膝關(guān)節(jié)的角度信息進(jìn)行分析。如圖7所示,角度的變化有很好的區(qū)分性和規(guī)律性,可以作為步態(tài)識(shí)別的重要信息。因此選擇大腿、小腿和膝關(guān)節(jié)的角度作為腿部姿態(tài)特征。
圖7 腿部角度信號(hào)與步態(tài)狀態(tài)劃分
圖8為行走時(shí)連續(xù)四個(gè)步態(tài)周期內(nèi)所采集的足底壓力,其中由于穿戴假肢導(dǎo)致的重心偏移,足底前內(nèi)側(cè)與地面接觸減少,其壓力信號(hào)出現(xiàn)時(shí)間變短,但內(nèi)側(cè)足底壓力正常,不影響狀態(tài)的識(shí)別。
圖8 行走時(shí)足底壓力信號(hào)
針對(duì)足底壓力信號(hào)的特點(diǎn),利用閾值方法對(duì)信號(hào)進(jìn)行分析,通過實(shí)驗(yàn)和數(shù)據(jù)分析,設(shè)閾值Up為0.8 V。令當(dāng)前足底壓力信號(hào)為U(i),則經(jīng)閾值處理后該信號(hào)的特征值U'(i)為:
(2)步態(tài)識(shí)別
大小腿、膝關(guān)節(jié)角度和足底壓力信息在運(yùn)動(dòng)周期中體現(xiàn)出很好的確定性和規(guī)律性,因此在步態(tài)識(shí)別中采用模糊分類對(duì)不同步態(tài)進(jìn)行劃分。先對(duì)下肢運(yùn)動(dòng)信息在不同運(yùn)動(dòng)模式不同步態(tài)下的模糊規(guī)則進(jìn)行研究,根據(jù)經(jīng)驗(yàn)和實(shí)驗(yàn)結(jié)果我們得到如下結(jié)論,如表1所示是下肢在行走、上下樓梯、起坐模式下大小腿、膝關(guān)節(jié)角度和足底壓力信號(hào)的變化規(guī)則?;诒?的模糊規(guī)則,實(shí)現(xiàn)下肢運(yùn)動(dòng)步態(tài)的識(shí)別。
表1 下肢運(yùn)動(dòng)信息的變化規(guī)則
起坐模式下運(yùn)動(dòng)信息變化規(guī)則起坐模式 大、小腿角度信息 大、小腿角度信息下的步態(tài)(站起模式)(坐下模式)開始 大腿角度下降 大腿角度增大到一定閾值 到一定閾值中期 大、小腿加速度 大、小腿加速度信號(hào)交叉 信號(hào)交叉完成 大腿角度下降 大腿角度增大到一定閾值 到一定閾值
為了驗(yàn)證方法的有效性,本文采用健康測(cè)試者佩戴智能假肢樣機(jī)的方式,進(jìn)行了行走、上下階梯、起立、坐下等多種下肢假肢運(yùn)動(dòng)實(shí)驗(yàn)。如圖9所示,假肢運(yùn)動(dòng)實(shí)驗(yàn)分別在專門的步行平臺(tái)和階梯平臺(tái)上進(jìn)行。
圖9 智能假肢樣機(jī)與佩戴實(shí)驗(yàn)
肌電信號(hào)采集頻率是1 kHz,由于從肌肉收縮到假肢執(zhí)行相應(yīng)動(dòng)作之間的延遲時(shí)間一般為200 ms~300 ms[14],肌電信號(hào)數(shù)據(jù)的分割長(zhǎng)度取為 256,采用滑動(dòng)窗口的方式,每次滑動(dòng)128個(gè)數(shù)據(jù)。腿部角度信號(hào)和足底壓力信號(hào)采樣頻率是50 Hz。
行走模式中,步速約為3 km/h,上、下階梯模式分別采用健側(cè)腿先上帶動(dòng)假肢跟隨和假肢先下健側(cè)腿跟隨的方式連續(xù)上、下三級(jí)階梯,站起和坐下模式是由站立開始坐在凳子上,然后再站起來(lái)。實(shí)驗(yàn)結(jié)果如表2所示,其中多模式分類準(zhǔn)確率實(shí)現(xiàn)100%,步態(tài)識(shí)別的準(zhǔn)確率均達(dá)到95%以上。由實(shí)驗(yàn)結(jié)果可見,步行模式的步態(tài)識(shí)別率還不能達(dá)到100%。主要是由于行走模式的步態(tài)劃分比較復(fù)雜,識(shí)別錯(cuò)誤主要發(fā)生在步態(tài)轉(zhuǎn)移的時(shí)刻。圖10是在行走、下上樓梯和起坐模式下的步態(tài)識(shí)別結(jié)果,表明本文的方法可以準(zhǔn)確的對(duì)下肢假肢多模式運(yùn)動(dòng)進(jìn)行步態(tài)狀態(tài)識(shí)別。
表2 下肢多種運(yùn)動(dòng)模式下的步態(tài)識(shí)別結(jié)果
將本文多種運(yùn)動(dòng)信息融合的識(shí)別結(jié)果與直接利用肌電信號(hào)的識(shí)別結(jié)果[15]進(jìn)行比較,肌電信號(hào)的多模式多步態(tài)的平均識(shí)別率是91.85%,本文基于多源運(yùn)動(dòng)信息的多模式多步態(tài)識(shí)別結(jié)果與之相比有更高的準(zhǔn)確性和可靠性。
本文利用下肢多源運(yùn)動(dòng)信息,根據(jù)信號(hào)不同的特點(diǎn),采用了先分模式后分步態(tài)的策略,實(shí)現(xiàn)了下肢假肢不同模式不同步態(tài)的識(shí)別。下肢多模式識(shí)別準(zhǔn)確率達(dá)100%,上下樓梯和起坐模式下的步態(tài)識(shí)別率能達(dá)到100%,步行模式的步態(tài)識(shí)別率也在95%以上。有效的多模式多步態(tài)識(shí)別方法可以為智能膝上假肢的開發(fā)和應(yīng)用提供重要的支持。
[1]Milica Djuric.Automatic Recognition of Gait Phases from Accelerations of Leg Segments[C]//9th Symposium on Neural Network Applications in Electrical Engineering,25 - 27 Sept.2008:121-124.
[2]Jasiewicz J M,Allum J H J,Middleton J W,et al.Gait Event Detection Using Linear Accelerometers or Angular Velocity Transducers in Able-Bodied and Spinal-Cord Injured Individuals[J].Gait& Posture,2006,24(4):502-509.
[3]王嵐,張今瑜,王勁松.人體步態(tài)相位檢測(cè)實(shí)驗(yàn)研究[J].傳感器與微系統(tǒng),2006,25(5):42-44.
[4]金德聞,王人成.人工智能假肢[J].中國(guó)臨床康復(fù),2002,20(6):2994-2995.
[5]Zlatnik D,Steiner B,Schweitzer G.Finite-State Control of a Trans-Femoral(TF)Prosthesis[J].IEEE Transactions on Control Systems Technology,2002,10(3):408-420.
[6]Carlson J D,Matthis W,Toscano J R.Smart Prosthetics Based on Magnetorheological Fluids[C]//Proceedings of SPIE,2001,4332:308-316.
[7]Scott R N,Parker P A.Myoelectric Prostheses:State of the Art[J].Journal of Medical Engineering & Technology,1988,12(4):143-151.
[8]羅志增,趙鵬飛.非線性PCA在表面肌電信號(hào)特征提取中的應(yīng)用[J].傳感技術(shù)學(xué)報(bào),2007,20(10):2164-2168.
[9]高劍,羅志增.支持向量機(jī)在肌電信號(hào)模式識(shí)別中的應(yīng)用[J].傳感技術(shù)學(xué)報(bào),2007,20(2):336-369.
[10]王喜太,王強(qiáng),張曉玉,等.基于肌電傳感器的下肢殘肢康復(fù)訓(xùn)練模式識(shí)別的研究[J].中國(guó)康復(fù)理論與實(shí)踐,2009,15(1):90-92.
[11]He Huang,Todd A Kuiken,Robert D Lipschutz.A Strategy for Identifying Locomotion Modes Using Surface Electromyography[J].IEEE Transactions on Biomedical Engineering,2009,56(1):1.
[12]Jin D,Yang J,Zhang R,et al.Terrain Identification for Prosthetic Knees Based on Electromyographic Signal Features[J].Tsinghua Science and Technology,2006,11(1):74-79.
[13]郭欣,楊鵬,王志宇.肌電信號(hào)控制下肢假肢的機(jī)理[J].中南工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2003,34(s2):31-33.
[14]OSKOEI M A,HU H S.Support Vector Machine-Based Classification Scheme for Myoelectric Control Applied to Upper Limb[J].IEEE Transactions on Biomedical Engineering,2008,55(8):1956-1965.
[15]Meng M,She Q S,Gao Y Y,et al.EMG Signals Based Gait Phases Recognition Using Hidden Markov Models[C]//Proceeding of the 2010 IEEE International Conference on Information and Automation,2010:852-856.