張發(fā)輝， 楊大勇, 劉 婷

(1.南昌大學(xué) 機(jī)電工程學(xué)院，江西 南昌 330031；2.南昌大學(xué) 信息工程學(xué)院，江西 南昌 330031)

0 引 言

人機(jī)交互中的一個(gè)重要組成部分就是手勢(shì)識(shí)別，無論在游戲，智能家居甚至是手術(shù)室等都有廣泛應(yīng)用。手勢(shì)識(shí)別的方法主要分為兩類：基于視覺的手勢(shì)識(shí)別和基于傳感器的手勢(shì)識(shí)別?；谝曈X的手勢(shì)識(shí)別的方法主要是利用Kinect獲取深度圖像和骨骼信息來識(shí)別手勢(shì)[1]，但 Kinect 在使用過程中，易受到光線強(qiáng)度、障礙物的遮擋等環(huán)境因素的影響，未能得到廣泛應(yīng)用。近年來，隨著科技水平的飛速發(fā)展，基于肌電(electromyographic,EMG)信號(hào)的手勢(shì)識(shí)別開始成為研究熱點(diǎn)[2～3]。EMG信號(hào)是肌肉收縮時(shí)多個(gè)活躍運(yùn)動(dòng)單元發(fā)出的動(dòng)作電位序列，它能夠直接反映人體的運(yùn)動(dòng)意圖，可以對(duì)大量的手勢(shì)進(jìn)行判斷，而且EMG信號(hào)受環(huán)境因素影響較小，具有很好的研究?jī)r(jià)值和應(yīng)用前景。

目前，基于EMG信號(hào)實(shí)現(xiàn)手勢(shì)動(dòng)作識(shí)別的研究有很多， Naik G R等人通過采集到的手臂EMG信號(hào)，并提取信號(hào)的分維數(shù)特征，用支持向量機(jī)(support vector machine,SVM)等方法進(jìn)行手部運(yùn)動(dòng)模式的分類，實(shí)現(xiàn)了較高的識(shí)別率[4]。張啟忠等人提出了的球均值 Lyapunov 指數(shù)計(jì)算的方法對(duì)EMG信號(hào)提取特征，并利用SVM作為分類器，對(duì)手部四類動(dòng)作進(jìn)行分類，準(zhǔn)確率達(dá)到96 %[5]。中國(guó)科學(xué)技術(shù)大學(xué)的陳香等人在基于EMG信號(hào)的手語識(shí)別方面做了深入研究，通過引入加速度傳感器采集手臂的加速度，將EMG信號(hào)和加速度信號(hào)融合，可以有效識(shí)別出多種中文詞匯，且正確率較高[6,7]。

為了進(jìn)一步提高手勢(shì)識(shí)別的準(zhǔn)確率，本文提出一種將手指關(guān)節(jié)的姿態(tài)信號(hào)與EMG信號(hào)融合來判別手勢(shì)動(dòng)作的方法。

1 手勢(shì)識(shí)別

由于EMG信號(hào)是一種微弱的生物電信號(hào)，且在完成手指動(dòng)作過程中肌肉的參與并不活躍，背景噪聲較大，且皮膚出汗肌肉疲勞等因素對(duì)其幅值有著嚴(yán)重影響。因此，僅依據(jù)EMG信號(hào)很難準(zhǔn)確地識(shí)別出手部動(dòng)作。本文將表面肌電(surface electro myo graphic,sEMG)信號(hào)和手指關(guān)節(jié)的姿態(tài)信號(hào)融合，以提高手部動(dòng)作識(shí)別精度。由于采集到的EMG信號(hào)和姿態(tài)信號(hào)都是關(guān)于連續(xù)時(shí)間序列信號(hào)，不能直接作為模式分類器的輸入。必須對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的預(yù)處理，數(shù)據(jù)分割即活動(dòng)段提取，并將活動(dòng)段的數(shù)據(jù)提取特征用作分類器識(shí)別動(dòng)作的依據(jù)。

1.1 活動(dòng)段檢測(cè)

sEMG的幅值直接反映肌肉的活躍程度，幅值越大，則說明肌肉的收縮強(qiáng)度越大，當(dāng)EMG信號(hào)幅值發(fā)生明顯變化且增強(qiáng)時(shí)，說明手部有動(dòng)作，如圖1所示，其中,標(biāo)記區(qū)間的EMG信號(hào)對(duì)應(yīng)一類有效動(dòng)作，標(biāo)記點(diǎn)1為動(dòng)作起點(diǎn)，標(biāo)記點(diǎn)2為動(dòng)作終點(diǎn)。

圖1 有效動(dòng)作sEMG信號(hào)

目前對(duì)sEMG信號(hào)活動(dòng)段檢測(cè)的方法主要有滑動(dòng)平均能量法，短時(shí)傅立葉法，基于熵的理論法等[8]。sEMG信號(hào)是一種非穩(wěn)定的隨機(jī)信號(hào)，其數(shù)值在短時(shí)間內(nèi)存在較大的波動(dòng)性，本文選用滑動(dòng)平均法可以有效地減弱短時(shí)間的隨機(jī)波動(dòng)對(duì)EMG信號(hào)整體趨勢(shì)的影響。結(jié)合能量閾值的設(shè)定判別手部動(dòng)作的起始位置，從而提取有效動(dòng)作所對(duì)應(yīng)的sEMG信號(hào)段。

窗口平均能量E計(jì)算公式

(1)

式中N為滑動(dòng)窗口的寬度，即采樣點(diǎn)數(shù)，xi為該窗體內(nèi)第i個(gè)采樣點(diǎn)的EMG信號(hào)值。

滑動(dòng)窗口的寬度N不宜太大，否則會(huì)降低信號(hào)提取的準(zhǔn)確性；也不宜太小，否則無法有效過濾短時(shí)間波動(dòng)對(duì)信號(hào)走勢(shì)的影響，本文將N設(shè)為200，步長(zhǎng)設(shè)為1。調(diào)整閾值T為

T=m0+b×m1

(2)

式中m0為EMG信號(hào)的背景噪聲，即手部無動(dòng)作時(shí)窗口能量的平均值。m1為執(zhí)行某類動(dòng)作時(shí)的窗口平均能量的最大值。系數(shù)b用于調(diào)整閾值T的性能，經(jīng)過前期的實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證，將其設(shè)為2 %可以得到最佳的活動(dòng)段分割閾值[9]。若某一時(shí)刻t滑動(dòng)窗內(nèi)信號(hào)的平均能量值首次大于閾值T且持續(xù)一定的時(shí)間，則認(rèn)為時(shí)刻t是某一動(dòng)作的起始點(diǎn)；同理若某一時(shí)刻t滑動(dòng)窗內(nèi)信號(hào)的平均能量值首次小于閾值T且持續(xù)一定的時(shí)間，則認(rèn)為時(shí)刻t是動(dòng)作的結(jié)束點(diǎn)。

1.2 提取特征

目前用于EMG信號(hào)特征提取的方法主要有基于時(shí)域和頻域的特征提取方法，其中時(shí)域特征提取主要是對(duì)時(shí)域信號(hào)進(jìn)行分析，提取信號(hào)的幅值特征，該方法的算法結(jié)構(gòu)簡(jiǎn)單，運(yùn)算復(fù)雜度較低，能夠?qū)崿F(xiàn)對(duì)EMG信號(hào)的實(shí)時(shí)分析。本文選用絕對(duì)值均值[10]對(duì)sEMG信號(hào)進(jìn)行特征提取，其計(jì)算公式如下

(3)

式中N為活動(dòng)段長(zhǎng)度，即活動(dòng)段樣本點(diǎn)個(gè)數(shù)；Si為該活動(dòng)段內(nèi)第i個(gè)樣本點(diǎn)的sEMG信號(hào)的數(shù)值；k為sEMG信號(hào)的采樣通道。

姿態(tài)信號(hào)同樣需要進(jìn)行特征提取。在處理姿態(tài)信號(hào)中的角度信息時(shí)，需要考慮手指在空間位置上的起始狀態(tài)，為實(shí)現(xiàn)連續(xù)動(dòng)作的手勢(shì)識(shí)別，本文將活動(dòng)段的第一組姿態(tài)信號(hào)作為該活動(dòng)段的參考基準(zhǔn)。針對(duì)角度信號(hào)本文采用標(biāo)準(zhǔn)差(standard deviation,SD)作為該活動(dòng)段的特征值，標(biāo)準(zhǔn)差可以有效地表征一組數(shù)據(jù)的離散程度，一定程度上可以反映手指在運(yùn)動(dòng)過程中的角度行程。這些簡(jiǎn)單的特性將在決策樹中作為分類器的輸入

(4)

2 SVM分類器

SVM[11]的基本思想是在高維空間中尋找能夠?qū)崿F(xiàn)線性可分的最優(yōu)超平面，多個(gè)超平面將空間劃分成多個(gè)區(qū)域，每個(gè)類對(duì)應(yīng)一個(gè)區(qū)域，在保證分類精度的前提下，盡可能使超平面兩側(cè)的空白區(qū)域最大化[12]。

設(shè)給定線性可分的訓(xùn)練樣本集為(xi,yi),i=1,2,…,n.xi∈Rd,yi∈{-1,1}為分類標(biāo)簽號(hào)。線性判別函數(shù)的一般形式為

g(x)=w·x+b

(5)

分類面方程為

w·x+b=0

(6)

由式(5)和式(6)可知，此時(shí)滿足條件：|g(x)|=1的樣本點(diǎn)離分類面最近。構(gòu)造最優(yōu)平面時(shí)，應(yīng)使分類間隔2/‖w‖達(dá)到最大值，即求‖w‖最小值，而要求分類面將所有樣本正確分類，則需滿足

yi[(w·xi)+b]-1≥ξi,i=1,2,…，n

(7)

因此，滿足上述條件且使‖w‖最小的分類面就是最優(yōu)分類面。其中,使式(7)中等號(hào)成立的那些樣本稱作支持向量。因?yàn)樗鼈冎瘟俗顑?yōu)分類面。這樣求最優(yōu)分類面就成為在條件(2～7)約束下，求函數(shù)φ(w)的最小值

(8)

式中C為懲罰因子，是大于0的實(shí)常數(shù)，是平衡分類器容錯(cuò)能力和經(jīng)驗(yàn)風(fēng)險(xiǎn)的參數(shù)。ξi松弛變量即允許分類出現(xiàn)錯(cuò)誤。

在此引入Lagrange函數(shù)

(9)

式中αi≥0為L(zhǎng)agrange系數(shù)。通過分別對(duì)w和b求偏微分并令它們等于0，最后可得最優(yōu)解

(10)

即最優(yōu)分類面的權(quán)系數(shù)向量是訓(xùn)練樣本向量的線性組合。根據(jù)Kuhn-Tucker條件，這個(gè)優(yōu)化問題的解須滿足

αi(yi(w·xi+b)-1-ξi)=0

(11)

求解后得到最優(yōu)分類函數(shù)為

(12)

對(duì)于非線性的樣本數(shù)據(jù)，需要將輸入x通過φ(x)映射到一個(gè)高維的特征空間，在這個(gè)高維空間中存在線性的分類規(guī)則，可以構(gòu)造線性的最優(yōu)分類超平面。用內(nèi)積函數(shù)K(x,xi)=φ(x)φ(xi)替代最優(yōu)分類面中的點(diǎn)積，就相當(dāng)于將原特征空間變換到了另一新的特征空間，此時(shí)相應(yīng)的分類函數(shù)式(13)變?yōu)?/p>

(13)

利用K(x,xi)即核函數(shù)將輸入空間映射到一個(gè)高維空間，本文核函數(shù)選用徑向基核函數(shù)

K(x,xi)=exp(‖x-xi‖2/2σ2)

(14)

本文采用一對(duì)一的構(gòu)造方式，組合多個(gè)二值分類器來實(shí)現(xiàn)多類分類器的構(gòu)造，如圖2所示。

圖2 “一對(duì)一”方式構(gòu)建的多類分類器

3 實(shí)驗(yàn)和結(jié)果

3.1 實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)選用Thalmic Labs公司研發(fā)的MYO肌電手環(huán)采集手臂的肌電信號(hào)，該手環(huán)由8個(gè)EMG傳感器組成，可同步采集8組EMG信號(hào)，采樣頻率為200 Hz。內(nèi)置藍(lán)牙模塊，可將采集到的數(shù)據(jù)通過無線的方式發(fā)送至上位機(jī)，通過相應(yīng)的配套軟件實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)顯示并保存。

手指姿態(tài)信號(hào)由實(shí)驗(yàn)室自制的簡(jiǎn)易數(shù)據(jù)手套采集，將3個(gè)姿態(tài)傳感器固定在橡膠手套表面，分別采集大拇指、食指以及中指的姿態(tài)信息。利用STM32單片機(jī)完成姿態(tài)解析，并通過串口上傳至上位機(jī)。為簡(jiǎn)化后續(xù)數(shù)據(jù)處理，采樣頻率同設(shè)為200 Hz。該傳感器可采集三軸加速度和三軸角度等數(shù)據(jù)，本實(shí)驗(yàn)選用三軸角度信息，作為判別手勢(shì)的參考因素。

3.2 實(shí)驗(yàn)過程

實(shí)驗(yàn)對(duì)象為3名健康男性，年齡均在23～25周歲右利手，無任何神經(jīng)肌肉系統(tǒng)疾病史。MYO EMG手環(huán)的佩戴位置直接影響到采集的肌電信號(hào)質(zhì)量，經(jīng)前期多次實(shí)驗(yàn)顯示，選取肘關(guān)節(jié)下方約5 cm處效果最佳，并在實(shí)驗(yàn)前用醫(yī)用酒精對(duì)佩戴位置進(jìn)行擦拭，除去灰塵角質(zhì)皮等。受試者均以舒適的姿態(tài)保持坐立，在合適的位置佩戴好手環(huán)并穿戴好數(shù)據(jù)手套(如圖3所示)，將手臂平放在桌面上采集約60 s無動(dòng)作時(shí)的EMG信號(hào)，用于活動(dòng)段檢測(cè)。隨后要求受試者依次完成“握拳”、“豎拇指”、“剪刀手”、“OK”四類手指動(dòng)作，所有動(dòng)作均以手部半握狀態(tài)為起始姿勢(shì)。每組動(dòng)作要求重復(fù)80次，為避免肌肉疲勞對(duì)EMG信號(hào)的影響，每重復(fù)20次休息5～10 min。在實(shí)驗(yàn)中，盡量保證手部動(dòng)作的具有一定平穩(wěn)性，保持執(zhí)行動(dòng)作的力度和速度適中。

圖3 數(shù)據(jù)采集系統(tǒng)

3.3 實(shí)驗(yàn)結(jié)果與分析

采集到的多通道sEMG信號(hào)首先要進(jìn)行活動(dòng)段檢測(cè)，以確定手勢(shì)動(dòng)作所對(duì)應(yīng)信號(hào)段的起點(diǎn)和終點(diǎn)，并求出每組活動(dòng)段的肌電信號(hào)特征值。圖4為受試者在某個(gè)時(shí)間段依次完成實(shí)驗(yàn)中定義的四類手勢(shì)動(dòng)作時(shí)，采集到的8通道sEMG信號(hào)及最后的活動(dòng)段檢測(cè)結(jié)果。圖中橫軸為樣本序列點(diǎn)數(shù)，縱軸為EMG信號(hào)的幅度，由上至下CH1～CH8依次是8個(gè)EMG傳感器測(cè)得的手臂sEMG信號(hào)，底部的Energy是8個(gè)通道的EMG信號(hào)滑動(dòng)平均能量的平均值。找出執(zhí)行動(dòng)作過程中，Energy的最大值m1，并結(jié)合實(shí)驗(yàn)前期測(cè)得的手部無動(dòng)作時(shí)窗口能量平均值m0，確定能量閾值T的大小，從而提取出手勢(shì)動(dòng)作的活動(dòng)段。圖5為運(yùn)動(dòng)過程中3組姿態(tài)傳感器采集的3維角度信息。

圖4 EMG信號(hào)活動(dòng)段檢測(cè)

圖5 姿態(tài)傳感器3維角度信號(hào)

提取檢測(cè)出來的活動(dòng)段數(shù)據(jù)，并對(duì)該部分?jǐn)?shù)據(jù)進(jìn)行特征提取，即分別利用式(3)和式(4)計(jì)算出EMG信號(hào)活動(dòng)段的MAV和3維角度信號(hào)活動(dòng)段的SD。表1和表2分別為多組手部動(dòng)作的EMG信號(hào)和角度信號(hào)的特征值均值。分別用數(shù)字標(biāo)簽1,2,3,4代表握拳、豎拇指、剪刀手和OK4類手勢(shì)。將這些特征值作為分類模型的輸入，四類動(dòng)作對(duì)應(yīng)的手勢(shì)標(biāo)簽作為模型輸出，用于訓(xùn)練手勢(shì)分類器。

表1 手部動(dòng)作對(duì)應(yīng)的肌電信號(hào)特征值均值表 μV

表2 手部動(dòng)作對(duì)應(yīng)的姿態(tài)信號(hào)3維角度特征值均值表 (°)

分類器選用徑向基核函數(shù)作為核函數(shù)，待定參數(shù)為C，γ=1/2σ2，ε，其中,ε控制分類器的容錯(cuò)能力，直接影響泛化能力和支持向量個(gè)數(shù)。本文取ε=0.01，懲罰參數(shù)C和核函數(shù)參數(shù)γ分別取2和1。在每組動(dòng)作對(duì)應(yīng)的特征數(shù)據(jù)中隨機(jī)抽取60 %的樣本作為分類器的訓(xùn)練集合，剩余樣本作為檢測(cè)驗(yàn)證該方法的可行性。通過訓(xùn)練好的分類模型對(duì)剩余40 %樣本進(jìn)行分類識(shí)別?；趕EMG信號(hào)的手勢(shì)識(shí)別結(jié)果如圖6(a)所示，正確率約為94.8 %?；趕EMG信號(hào)和姿態(tài)信號(hào)融合的手勢(shì)識(shí)別結(jié)果如圖6(b)和表3所示，整體正確率達(dá)到99.3 %，識(shí)別率提高約4.5 %。表3為四類手勢(shì)識(shí)別結(jié)果的混淆矩陣，斜對(duì)角線上的數(shù)據(jù)表示正確識(shí)別手勢(shì)的樣本個(gè)數(shù)，每列數(shù)據(jù)的總和表示識(shí)別為該類別樣本的數(shù)目；每行則表示了樣本的真實(shí)歸屬類別。結(jié)果顯示該方法可以有效識(shí)別握拳、豎拇指、剪刀手和OK四類動(dòng)作，且除“剪刀手”手勢(shì)外，其余識(shí)別率均達(dá)到100 %。

圖6 二種方法的手勢(shì)識(shí)別結(jié)果

真實(shí)類預(yù)測(cè)類握拳豎拇指剪刀手OK識(shí)別率/%握拳34000100豎拇指03400100剪刀手0033197OK00034100手勢(shì)整體識(shí)別率:99.3%

4 結(jié) 論

實(shí)驗(yàn)表明：將sEMG信號(hào)和姿態(tài)信號(hào)融合，并以“一對(duì)一”方式構(gòu)建的二叉樹型SVM多類分類模型作為分類器的方法可以有效識(shí)別手部動(dòng)作。且該方法實(shí)時(shí)性強(qiáng)，使用便捷，可實(shí)現(xiàn)連續(xù)手勢(shì)實(shí)時(shí)在線識(shí)別，具有一定的應(yīng)用前景。