，

(1.上海理工大學(xué) 醫(yī)療器械與食品學(xué)院，上海 200093; 2.上海健康醫(yī)學(xué)院 醫(yī)療器械學(xué)院，上海 201318)

0 引言

人體生物電信號(hào)是人在生理、心理、情緒、思維和運(yùn)動(dòng)及與外部環(huán)境信息交互時(shí)各部位器官、組織、細(xì)胞及其神經(jīng)元集群所產(chǎn)生電活動(dòng)的時(shí)間與空間綜合疊加結(jié)果，含有豐富的思維意念、感知信息、動(dòng)作意向、運(yùn)動(dòng)功能等人體信息，被廣泛關(guān)注的生物電信號(hào)有腦電、肌電、眼電等[1-3]。表面肌電(surface electromyography, sEMG)信號(hào)是由活躍運(yùn)動(dòng)單元激發(fā)的動(dòng)作電位序列沿肌纖維傳播，傳導(dǎo)至皮膚表面，并通過電極從表面皮膚傳導(dǎo)并且記錄下來的一種時(shí)間序列信號(hào)[4]。它蘊(yùn)含信息豐富并且與肌肉活動(dòng)和運(yùn)動(dòng)狀態(tài)有很大的關(guān)聯(lián)，它可以用來預(yù)測(cè)運(yùn)動(dòng)意圖和肌肉功能狀態(tài)，sEMG信號(hào)非常微弱，其幅值在0.01～10 mV，主要能量集中在10～500 Hz[5]。人機(jī)接口(Human-Computer Interface, HCI)是在人體和計(jì)算機(jī)或其它電子設(shè)備之間建立不依賴于常規(guī)信息交互操作方式的全新人機(jī)信息交流與控制技術(shù)。通過sEMG判斷人體動(dòng)作類型并轉(zhuǎn)換成設(shè)備輸入指令，成為一種新穎的人機(jī)接口，即肌電-計(jì)算機(jī)接口。sEMG采集技術(shù)相對(duì)成熟，因其無創(chuàng)性、實(shí)時(shí)性和操作簡(jiǎn)便等特性而被廣泛應(yīng)用于肌肉生物電信號(hào)的檢測(cè)，成為肌電-計(jì)算機(jī)接口的首選[6]。sEMG廣泛應(yīng)用于智能假肢控制、康復(fù)治療等領(lǐng)域[7-8]，近幾年發(fā)展到用于手語手勢(shì)識(shí)別、游戲控制和可穿戴設(shè)備中[9]。

虛擬廚房場(chǎng)景有很強(qiáng)的沉浸感和真實(shí)感，更加貼近于真實(shí)生活場(chǎng)景，能為使用者增加很多樂趣。本文利用虛擬廚房與肌電-計(jì)算機(jī)接口相結(jié)合，利用人體表面肌電信號(hào)通過采集，無線傳輸至上位機(jī)，通過自主開發(fā)的訓(xùn)練控制系統(tǒng)，可以實(shí)現(xiàn)對(duì)sEMG信號(hào)的實(shí)時(shí)采集、波形顯示、特征提取、訓(xùn)練、存儲(chǔ)、實(shí)時(shí)識(shí)別動(dòng)作并控制虛擬廚房。不用通過鼠標(biāo)或鍵盤等交互設(shè)備完成與虛擬廚房中的動(dòng)作交互，后續(xù)可用于運(yùn)動(dòng)功能障礙患者，對(duì)其進(jìn)行肌肉康復(fù)訓(xùn)練。

1 系統(tǒng)架構(gòu)

系統(tǒng)整體框架如圖1所示，整個(gè)系統(tǒng)主要有肌電采集模塊、軟件控制模塊和虛擬現(xiàn)實(shí)環(huán)境模塊三個(gè)部分構(gòu)成。肌電采集模塊利用DELSYS公司生產(chǎn)的便攜式無線表面肌電采集系統(tǒng)對(duì)使用者進(jìn)行手臂表面肌電信號(hào)采集，電極與接收器之間所有數(shù)據(jù)均通過無線傳輸。軟件控制模塊又包括實(shí)時(shí)肌電信號(hào)的檢測(cè)與分割，特征值提取，分類識(shí)別以及生成控制指令四部分。虛擬現(xiàn)實(shí)環(huán)境模塊則根據(jù)分類控制模塊提供的指令驅(qū)動(dòng)虛擬廚房完成不同動(dòng)作，反饋給使用者，從而實(shí)現(xiàn)整個(gè)系統(tǒng)的交互。

圖1 系統(tǒng)整體框架

2 系統(tǒng)設(shè)計(jì)

2.1 肌電采集系統(tǒng)

肌電信號(hào)檢測(cè)采用的是DELSYS公司生產(chǎn)的便攜式無線表面肌電采集系統(tǒng)，電極與接收器之間所有數(shù)據(jù)均通過無線傳輸。每個(gè)DELSYS肌電電極由線型差分電極、前置電壓放大器(增益40～80 dB)和20～500 Hz的帶通濾波器組成。該采集系統(tǒng)傳感器采用內(nèi)置電極，電極間距離小，任何情況下間距都固定為10 mm，保證實(shí)驗(yàn)重復(fù)的準(zhǔn)確性，能有效防止肌肉肌電信號(hào)的干擾。

2.2 活動(dòng)段檢測(cè)與分割

活動(dòng)段檢測(cè)利用均方值與移動(dòng)平均窗相結(jié)合算法[10]，將采集得到的原始sEMG信號(hào)序列sEMGk(i)按照公式(1)進(jìn)行平方，得到瞬時(shí)平均能量序列sEMGM，i為當(dāng)前sEMG信號(hào)序列標(biāo)號(hào)：

sEMGM(i)=[sEMGk(i)]2

(1)

取一個(gè)固定窗長(zhǎng)為N(N可以調(diào)整)的移動(dòng)窗，對(duì)瞬時(shí)平均能量按照公式(2)計(jì)算窗長(zhǎng)的能量平均值sEMGma(i)：

(2)

將上式中移動(dòng)平均后能量信號(hào)序列與固定閾值TH對(duì)比，判斷動(dòng)作信號(hào)。保留大于閾值的信號(hào)點(diǎn)，把低于閾值的信號(hào)點(diǎn)置零，以判斷動(dòng)作活動(dòng)段的起始點(diǎn)和終止點(diǎn)。其判別方法如公式(3)：

(3)

信號(hào)分割變化如圖2所示，其中sEMG為原始信號(hào)，Ema為瞬時(shí)能量，將瞬時(shí)能量最大值記為Emax，sEMGrec為分割后信號(hào)。利用其瞬時(shí)能量和移動(dòng)平均窗可以有效地區(qū)分活動(dòng)段和非活動(dòng)段信號(hào)包絡(luò)和強(qiáng)度信息，實(shí)現(xiàn)活動(dòng)段檢測(cè)與分割。本實(shí)驗(yàn)中選取該段時(shí)間序列信號(hào)瞬時(shí)最大能量的2%為閾值TH[11]。

圖2 信號(hào)分割變化

2.3 特征提取方法

自回歸模型(Autoregressive model, AR)是用自身做回歸變量的過程，即利用前期若干時(shí)刻的隨機(jī)變量的線性組合來描述以后某時(shí)刻隨機(jī)變量的線性回歸模型，它是時(shí)間序列中的一種常見形式。AR模型如下：

(4)

其中：sEMG(k)是當(dāng)前sEMG的采樣值，w(k)是輸入噪聲激勵(lì)值，p是模型的階次，而am是模型的第m個(gè)系數(shù)，此參數(shù)可以作為特征用于表面肌電信號(hào)的分類。AR模型階次p為3～6時(shí)，運(yùn)算量相對(duì)較小，并且得到的特征值對(duì)sEMG信號(hào)分類識(shí)別效果最好，本文中選取AR模型的階數(shù)為4[12]。

頻域分析的信號(hào)段的頻譜需要具有一致性和平穩(wěn)性，而表面肌電信號(hào)是一種典型的非平穩(wěn)信號(hào)，因此不提取其頻域特征。時(shí)頻域分析方法則是將時(shí)域與頻域分析結(jié)合起來，既可以描述頻率在信號(hào)內(nèi)的強(qiáng)度，也能體現(xiàn)信號(hào)在時(shí)域的信息[13]。小波理論的思想源自于傅里葉變換，它既能提供信號(hào)序列的全部信息，又能提供某一局部時(shí)段內(nèi)信號(hào)變化程度的信息，進(jìn)行任意細(xì)節(jié)上的信號(hào)分析，這一特性特別適用于處理肌電信號(hào)一類的突變信號(hào)[14]。

離散小波變換公式如下：

(5)

小波系數(shù)表達(dá)式如下：

dj,k=[g(t),ψj,k(t)]

(6)

其中：g(t)為時(shí)序信號(hào)，φ(t)為尺度函數(shù)，ψ(t)為小波函數(shù)。針對(duì)肌電信號(hào)非常微弱、易受干擾的非平穩(wěn)隨機(jī)特性，利用離散小波變換對(duì)原始肌電信號(hào)進(jìn)行多尺度分解。sym小波函數(shù)系是一種近似對(duì)稱的小波函數(shù)，它是對(duì)db函數(shù)的一種改進(jìn)[15]。本文選取了分類較好的正交sym3小波基函數(shù)對(duì)肌電信號(hào)進(jìn)行3層尺度分解，并提取各級(jí)小波系數(shù)的奇異值作為特征矢量。

2.4 分類器

支持向量機(jī)(Support Vector Machine，SVM)基本模型定義為特征空間上的間隔最大的線性分類器，其學(xué)習(xí)策略便是間隔最大化，最終可轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問題的求解[16]。假定存在一個(gè)輸入特征空間到k維空間的映射：

x∈Rl→Rk

(7)

這些都可以用一個(gè)超平面分類，即計(jì)算出最優(yōu)超平面(w,w0)即可根據(jù)上式符號(hào)的正負(fù)分類，即：

(8)

線性判別分析(Linear Discriminant Analysis, LDA)基本思想是將高維模式樣本投影到最佳判別矢量空間，壓縮特征空間維數(shù)，保證樣本投影空間中有最大的類間間距和最小的類內(nèi)間距，即有最佳的可分離性[17]。其判別準(zhǔn)則表達(dá)式為：

(9)

其中：Sb代表類內(nèi)散度矩陣，Sw代表類間散度矩陣，w為投影向量。

2.5 控制系統(tǒng)界面設(shè)計(jì)

虛擬廚房控制界面是在MATLAB平臺(tái)下，利用圖形用戶界面 (Graphical User Interface, GUI)設(shè)計(jì)。如圖3所示為交互界面示意圖，該界面主要分為四個(gè)模塊：(1)按鍵控制部分：控制實(shí)時(shí)sEMG信號(hào)的接收與虛擬廚房的啟動(dòng)以及特征提取、動(dòng)作分類和動(dòng)作控制；(2)實(shí)時(shí)sEMG信號(hào)波形顯示區(qū)域：實(shí)時(shí)顯示當(dāng)前采集到的原始肌電信號(hào)波形；(3)特征提取結(jié)果顯示區(qū)域：顯示肌電信號(hào)數(shù)據(jù)特征值分布情況以及特征值；(4)信號(hào)識(shí)別結(jié)果顯示區(qū)：顯示當(dāng)前所做動(dòng)作分類識(shí)別結(jié)果。

虛擬廚房動(dòng)作控制界面工作過程：該部分控制使用者與虛擬廚房的實(shí)時(shí)交互?？刂平缑姘存I操作簡(jiǎn)易方便，需要啟動(dòng)虛擬廚房時(shí)只需在“控制”面板中按下“啟動(dòng)廚房”按鍵即可啟動(dòng)虛擬廚房。開始采集和存儲(chǔ)原始sEMG信號(hào)時(shí)只需在“控制”面板中選擇“開始接收”并按下按鈕，然后做相應(yīng)的手勢(shì)動(dòng)作即可實(shí)時(shí)采集并存儲(chǔ)該手勢(shì)的原始sEMG信號(hào)。進(jìn)行手勢(shì)動(dòng)作sEMG信號(hào)特征提取時(shí)需要在“控制”面板中選擇“特征提取”按鈕并按下，系統(tǒng)就會(huì)開始提取相關(guān)動(dòng)作sEMG信號(hào)特征數(shù)據(jù)，并將特征值以及特征分布情況顯示在圖3中“特征值”和“特征空間分布”區(qū)域內(nèi)。然后點(diǎn)擊“開始訓(xùn)練”按鈕，利用獲取的手勢(shì)動(dòng)作特征作為訓(xùn)練樣本進(jìn)行分類器模型訓(xùn)練。最后，利用訓(xùn)練好的分類模型對(duì)采集的sEMG信號(hào)進(jìn)行分類，此時(shí)需點(diǎn)擊“動(dòng)作控制”按鍵，系統(tǒng)會(huì)對(duì)已采集的sEMG進(jìn)行活動(dòng)段檢測(cè)與分割，提取有用的活動(dòng)段，進(jìn)行動(dòng)作識(shí)別，然后將識(shí)別結(jié)果作為虛擬廚房動(dòng)作控制指令對(duì)其進(jìn)行動(dòng)作控制。

圖3 虛擬廚房控制系統(tǒng)界面

2.6 系統(tǒng)參數(shù)設(shè)置

系統(tǒng)參數(shù)設(shè)置如表1所示，系統(tǒng)參數(shù)設(shè)置成功后利用該系統(tǒng)進(jìn)行虛擬廚房動(dòng)作控制實(shí)驗(yàn)。

表1 系統(tǒng)設(shè)計(jì)參數(shù)表

3 虛擬廚房動(dòng)作控制實(shí)驗(yàn)及結(jié)果

本系統(tǒng)分別對(duì)4名被試者進(jìn)行離線肌電信號(hào)采集以及在線實(shí)時(shí)控制測(cè)試。其中男性2位，女性2位。年齡在21～25歲之間。在最近的6個(gè)月內(nèi)前臂沒有發(fā)生過扭傷等影響運(yùn)動(dòng)功能的傷病，沒有運(yùn)動(dòng)神經(jīng)類疾病。在實(shí)驗(yàn)人員指導(dǎo)下，被試者理解實(shí)驗(yàn)過程，愿意參加試驗(yàn)。由于所采集的握拳、展拳、屈腕、伸腕4種動(dòng)作動(dòng)力源與尺側(cè)腕伸肌、尺側(cè)腕屈肌有關(guān)，所以將兩個(gè)肌電傳感器分別放置并固定在受試者尺側(cè)腕伸肌和尺側(cè)腕屈肌位置，作為通道1和通道2，進(jìn)行雙通道表面肌電信號(hào)采集[18-19]。

3.1 標(biāo)準(zhǔn)動(dòng)作實(shí)驗(yàn)結(jié)果與分析

首先對(duì)4名被試者分別進(jìn)行放松以及曲腕、伸腕、握拳、伸掌4種動(dòng)作的sEMG信號(hào)采集，采集每名被試者不同動(dòng)作各50組，分別提取絕對(duì)值均值、標(biāo)準(zhǔn)差、均方根三個(gè)時(shí)域特征，并對(duì)每種特征的50組特征值取平均值和標(biāo)準(zhǔn)差，通道1數(shù)據(jù)結(jié)果如表2所示。

表2 4種動(dòng)作時(shí)域特征的平均值和標(biāo)準(zhǔn)差

通過數(shù)據(jù)對(duì)比，不同動(dòng)作絕對(duì)值均值特征差異最大，對(duì)應(yīng)的標(biāo)準(zhǔn)差相對(duì)較小，聚類性比較好，可用于動(dòng)作分類。幅值絕對(duì)值均值可以在時(shí)間維度上反映肌電信號(hào)振幅變化特征，在一定程度上反映了動(dòng)作程度。

利用sym3母小波對(duì)肌電信號(hào)序列進(jìn)行小波3層分解，獲得低頻分量a3與第一、二、三級(jí)高頻分量d1、d2、d3。計(jì)算不同頻段系數(shù)矩陣奇異值。對(duì)通道1中每種動(dòng)作50組數(shù)據(jù)得到小波系數(shù)奇異值取平均值,結(jié)果如表3所示。

表3 4種動(dòng)作小波系數(shù)奇異值特征值

通過對(duì)表3分析，可以發(fā)現(xiàn)4種動(dòng)作不同頻段小波系數(shù)奇異值均有差異，但低頻分量a3以及第三級(jí)高頻分量d3差異最明顯。因此，可以將d3和a3奇異值聯(lián)合作為特征向量，對(duì)肌電信號(hào)進(jìn)行動(dòng)作模式表征。

利用4種動(dòng)作的不同特征值進(jìn)行動(dòng)作分類，然后將3種特征值進(jìn)行融合，再重復(fù)上述步驟，得到結(jié)果如表4所示。

表4 不同特征的識(shí)別果(%)

通過對(duì)表4中分類識(shí)別結(jié)果分析，使用單一特征進(jìn)行識(shí)別時(shí)MAV和小波系數(shù)奇異值特征值平均識(shí)別率只有75%，AR系數(shù)平均識(shí)別率僅為37.5%。但將識(shí)別率較高的MAV和小波系數(shù)奇異值進(jìn)行特征融合后進(jìn)行分類，識(shí)別率可以達(dá)到94.5%，動(dòng)作識(shí)別效果得到很大提升。將MAV、小波系數(shù)奇異值、AR系數(shù)3種特征值融合，在分類器中進(jìn)行識(shí)別，得到分類結(jié)果并未得到改善?？紤]到該算法要用于虛擬廚房系統(tǒng)的實(shí)時(shí)識(shí)別，需要計(jì)算量盡量減小，因此舍去效果不明顯的AR系數(shù)特征值。最終，采用MAV與小波系數(shù)奇異值融合作為特征值，4種動(dòng)作特征值空間分布如圖4，從三維空間分布可以明顯看出不同動(dòng)作的特征值具有很強(qiáng)聚類性，可用于分類。

圖4 4種動(dòng)作特征值空間分布圖

利用上述提取到的融合特征向量在LDA分類器中進(jìn)行模型訓(xùn)練和分類，得到不同動(dòng)作識(shí)別率結(jié)果與SVM對(duì)比。如圖5所示，不同動(dòng)作SVM分類器識(shí)別率均高于LDA分類器。因此，該系統(tǒng)選取SVM作為分類識(shí)別分類器。

圖5 兩種分類器識(shí)別率對(duì)比

3.2 sEMG對(duì)虛擬廚房動(dòng)作實(shí)時(shí)控制結(jié)果與分析

利用MAV和小波變換進(jìn)行特征提取，將兩通道特征值再次進(jìn)行特征融合，變成六維特征值，并利用四名被試者肌電數(shù)據(jù)分別進(jìn)行分類器模型訓(xùn)練。其中握拳控制虛擬廚房中開門動(dòng)作，屈腕控制擦桌子動(dòng)作，伸掌控制切菜動(dòng)作，伸腕控制開油煙機(jī)動(dòng)作。然后分別對(duì)四名被試者進(jìn)行實(shí)時(shí)控制測(cè)試，實(shí)驗(yàn)場(chǎng)景如圖6所示，廚房界面及動(dòng)作時(shí)實(shí)時(shí)肌電信號(hào)如圖7。通過雙通道肌電信號(hào)采集，該系統(tǒng)能有效識(shí)別出4種動(dòng)作的實(shí)時(shí)肌電信號(hào)，平均識(shí)別結(jié)果如圖8，其中開門識(shí)別率為87.5%，擦桌子識(shí)別率為91.25%，切菜識(shí)別率為93.75%，開油煙機(jī)識(shí)別率為88.75%。4種動(dòng)作平均識(shí)別率為90.31%，可對(duì)虛擬廚房動(dòng)作進(jìn)行實(shí)時(shí)控制。

圖6 雙通道實(shí)時(shí)控制測(cè)試圖

圖7 廚房動(dòng)作與對(duì)應(yīng)肌電信號(hào)

圖8 4種動(dòng)作平均識(shí)別率對(duì)比

4 結(jié)束語

本文研究并實(shí)現(xiàn)了利用手臂肌肉表面肌電信號(hào)對(duì)虛擬現(xiàn)實(shí)場(chǎng)景中廚房相關(guān)動(dòng)作進(jìn)行實(shí)時(shí)控制。通過對(duì)手臂尺側(cè)腕伸肌和尺側(cè)腕屈肌位置握拳、伸掌、屈腕、伸腕4種動(dòng)作肌電信號(hào)采集和分割，選取時(shí)域特征MAV和4階AR模型系數(shù)以及時(shí)頻特征小波系數(shù)奇異值作為特征值。通過對(duì)比，MAV與a3,d3層小波系數(shù)奇異值特征融合后分類效果最佳，離線分類正確率可達(dá)94.5%。利用以上兩種特征提取方式分別與LDA分類器和SVM分類器結(jié)合，經(jīng)過對(duì)比，最終將SVM分類器用于系統(tǒng)中，對(duì)實(shí)時(shí)肌電信號(hào)動(dòng)作識(shí)別。最終實(shí)現(xiàn)了雙通道肌電信號(hào)對(duì)4種虛擬廚房動(dòng)作的控制，平均識(shí)別率為90.31%。該系統(tǒng)可用于需要進(jìn)行肌肉康復(fù)訓(xùn)練的患者，通過完成在廚房中做菜的過程來完成康復(fù)訓(xùn)練。這不僅為患者增加樂趣，而且虛擬廚房場(chǎng)景有很強(qiáng)的沉浸感，更加貼近于真實(shí)生活場(chǎng)景，能使患者積極參加訓(xùn)練，更加有利于康復(fù)。