鮑 磊,羅志增,席旭剛,李文國

(杭州電子科技大學(xué)機(jī)器人研究所,杭州 310018)

根據(jù)所用傳感器的類型,手勢識(shí)別可分為基于計(jì)算機(jī)視覺和基于運(yùn)動(dòng)測量這兩種主流方法[1]。計(jì)算機(jī)視覺存在遮擋,采用數(shù)據(jù)手套盡管解決了視覺遮擋問題,但一定程度上限制了使用者手指的靈活性,且硬件裝置復(fù)雜[2],這兩種手勢動(dòng)作感知方法己無法滿足人們對人機(jī)交互可靠性和便捷性的進(jìn)一步要求。由于肌電采集傳感器的微型化,基于表面肌電信號(surface Electromyography,sEMG)的手勢識(shí)別技術(shù)由于其自然的交互方式引起研究者的關(guān)注,成為手勢識(shí)別領(lǐng)域中的研究熱點(diǎn)之一[3]。

sEMG信號是肌肉活動(dòng)產(chǎn)生的非平穩(wěn)生物電信號,從手臂關(guān)聯(lián)肌肉采集的sEMG信號可以反映手腕、手指的精細(xì)動(dòng)作,文獻(xiàn)[4]將源分離和基于模型的技術(shù)相結(jié)合,以減少sEMG傳感器的數(shù)量,對截肢患者對11種手部姿勢中的五指屈伸想象動(dòng)作進(jìn)行分類,準(zhǔn)確率達(dá)到90%以上;文獻(xiàn)[5]建立了一個(gè)雙通道sEMG信號模式識(shí)別系統(tǒng)應(yīng)用于假肢控制,對握拳、伸食指、伸拇指和伸四指四種手勢取得94%識(shí)別率;上述成果均關(guān)注于手部精細(xì)動(dòng)作,獲得了良好的識(shí)別率,但復(fù)雜手勢動(dòng)作涉及手臂和手部兩部分姿勢的動(dòng)態(tài)變化過程,如手語手勢動(dòng)作,需要同步識(shí)別手臂和手部的聯(lián)動(dòng)。李云等人針對30個(gè)中國手語字母提出一套基于sEMG識(shí)別的手語手勢動(dòng)作規(guī)范方案[6],使基于sEMG的手勢識(shí)別率有所改善,這種改善是基于特定用戶的手勢識(shí)別率,而關(guān)鍵的用戶無關(guān)識(shí)別率并不高,反映出使用單一sEMG信息源進(jìn)行識(shí)別時(shí),手部姿態(tài)的區(qū)分性并不理想。如果將加速度傳感器用于手勢中手臂部分姿勢的動(dòng)態(tài)變化識(shí)別,則具有特別的優(yōu)勢。謝仁強(qiáng)等利用加速度信號對上、下、左、右、右上、左下、左上、右下8個(gè)基本手勢及由多個(gè)基本手勢組成的復(fù)合手勢取得97.3%的平均準(zhǔn)確率[7];同樣,文獻(xiàn)[8]對加速度信號使用動(dòng)態(tài)時(shí)間規(guī)整算法識(shí)別橫、豎、畫圓、打鉤、畫叉等5種手勢,平均識(shí)別率在97%以上。顯然文獻(xiàn)[7-8]成果可以很好地識(shí)別手臂運(yùn)動(dòng)軌跡,但無法識(shí)別腕、指的精細(xì)動(dòng)作。盡管目前也有將sEMG與ACC信號結(jié)合進(jìn)行手勢識(shí)別的研究,但多為相對簡單的自定義動(dòng)態(tài)手勢[1,9],限制了其使用范圍。

本研究以中國手語手勢為研究對象,利用固定于小臂前端背部的加速度計(jì)ACC捕捉復(fù)雜動(dòng)態(tài)手勢中手臂部分的運(yùn)動(dòng)信息,記錄手勢全局信息;選擇性放置的多路sEMG信號則捕捉手腕、手指等精細(xì)動(dòng)作,記錄手勢細(xì)節(jié)特征,結(jié)合ACC和sEMG形成優(yōu)勢互補(bǔ),提高復(fù)雜動(dòng)態(tài)手勢識(shí)別的性能。在信號處理方法上,則將一個(gè)完整手勢分割為三個(gè)特征區(qū)段,對不同區(qū)段的ACC提取反映手臂宏觀運(yùn)動(dòng)的平均波形長度MWL、絕對值均值特征MAV,并融合反映指、腕精細(xì)動(dòng)作sEMG樣本熵特征組成特征向量,選擇SVM分類器完成識(shí)別。

圖1 手勢識(shí)別框架圖

1 手勢識(shí)別算法

利用表面肌電sEMG和加速度ACC進(jìn)行動(dòng)態(tài)手勢識(shí)別的框架如圖1所示,包括sEMG和ACC信號采集、活動(dòng)段和特征區(qū)段分割、特征選擇、分類識(shí)別四個(gè)部分。

1.1 實(shí)驗(yàn)數(shù)據(jù)采集

本文設(shè)計(jì)的實(shí)驗(yàn)中,采集儀器使用DELSYS Trigno無線sEMG信號采集系統(tǒng),用于采集與指、腕動(dòng)作密切相關(guān)的拇指伸肌、指總伸肌、橈側(cè)腕伸肌與尺側(cè)腕屈肌四路sEMG信號,其位置如圖2(a)所示,其中橈側(cè)腕伸肌與尺側(cè)腕屈肌主要與腕部動(dòng)作相關(guān),拇指伸肌和指總伸肌則與手指動(dòng)作相關(guān)。為了捕捉到更能體現(xiàn)手臂揮動(dòng)幅度和軌跡的ACC信號,將ACC傳感器設(shè)置在靠近手腕的背部固定,見圖2(b)CH5位置,用于采集復(fù)雜動(dòng)態(tài)手勢中手臂揮動(dòng)的信息。表面肌電信號采集頻率為2 000 Hz,加速度信號采集頻率為150 Hz。

圖2 信號采集位置與傳感器分布

本文以中國手語中“你,好,大家,可以,說話,加油”等6個(gè)手勢動(dòng)作為動(dòng)態(tài)手勢識(shí)別對象。對4名(年齡為23～25歲,三男一女)均為右利手且未患有任何神經(jīng)肌肉系統(tǒng)或關(guān)節(jié)疾病的健康人進(jìn)行手勢實(shí)驗(yàn)的數(shù)據(jù)采集。信號采集時(shí),受試者坐在穩(wěn)固、高度合適的椅子上,手臂自然搭于膝蓋,靜息狀態(tài)時(shí)ACC和sEMG無輸出。實(shí)驗(yàn)過程要求受試者執(zhí)行上述6種中國手語中的手勢動(dòng)作,每種動(dòng)作執(zhí)行80次,每次執(zhí)行時(shí)間盡可能相同。每次手勢動(dòng)作的數(shù)據(jù)采集以一個(gè)完整手勢執(zhí)行完畢為限,執(zhí)行后回復(fù)原位,以便執(zhí)行下一個(gè)完整的手勢動(dòng)作。

1.2 動(dòng)態(tài)手勢的區(qū)段分割

圖3為手語“你”的手勢動(dòng)作圖及其手勢信息采集界面。圖4為“你”的ACC信號,其中,圖(a)為X、Y、Z三軸ACC信號,圖(b)為三軸ACC信號之和SUMACC,SUMACC與虛線框交點(diǎn)為手勢起點(diǎn)A、止點(diǎn)D;A、D兩點(diǎn)表示手臂揮動(dòng)時(shí)ACC的起止點(diǎn),動(dòng)態(tài)手勢活動(dòng)段A-D通過信號的差分并比較閾值后確定。

圖3 手語“你”的手勢動(dòng)作

圖4 手語“你”的ACC信號

圖5為“你”的sEMG信號,sEMG1-sEMG4為四路肌電信號,SUMsEMG為四路sEMG信號之和,SUMsEMG與虛線框交點(diǎn)為sEMG活動(dòng)段的起點(diǎn)B、止點(diǎn)C,B、C兩點(diǎn)表示腕、指活動(dòng)時(shí)sEMG的起止點(diǎn),包含于ACC的起止點(diǎn)A、D之內(nèi),活動(dòng)段B-C通過信號的移動(dòng)平均并比較閾值后確定。

在動(dòng)態(tài)手勢各特征區(qū)段的檢出和劃分中,基于ACC的信息劃分選用的是差分閾值法,基于sEMG信息的劃分是移動(dòng)平均閾值法,在文中統(tǒng)稱為閾值法區(qū)段劃分。

A-D,B-C確定之后,本文將一個(gè)完整動(dòng)態(tài)手勢分割為三個(gè)區(qū)段:起始段A-B、主特征段B-C和收尾段C-D,如圖6所示。B-C是主特征段,該區(qū)段對應(yīng)指、腕執(zhí)行動(dòng)作時(shí)sEMG的起止點(diǎn)。

圖5 手語“你”的sEMG信號

圖6 手語“你”的SUMsEMG+SUMACC信號

特征提取前,需對所采集的sEMG與ACC進(jìn)行動(dòng)態(tài)手勢活動(dòng)段提取,因此起止點(diǎn)的判斷尤為重要。采用基于閾值的方法確定ACC的活動(dòng)段起止點(diǎn)A、D與sEMG的活動(dòng)段起止點(diǎn)B、C,其中B、C在邏輯上包含于A、D之中。

ACC起止點(diǎn)判斷:將三軸ACC信號求和得到SUMACC,其信號幅值圖如圖4所示。手勢動(dòng)作前后ACC較為平穩(wěn)或無輸出,手勢執(zhí)行中ACC變化劇烈,通對SUMACC取后向差分并移動(dòng)平均可反映劇烈程度:

(1)

式中:m為窗口長度,m=5,asum(i)為SUMACC幅值。

設(shè)置閾值th1,若從A點(diǎn)開始A(n)大于th1則視A點(diǎn)為起始點(diǎn),若從D點(diǎn)開始A(n)小于th1則視D點(diǎn)為終止點(diǎn)。th1取值方法可由式(2)確定:

th1=ασ

(2)

式中:σ為手勢執(zhí)行前SUMACC信號的標(biāo)準(zhǔn)差,α為增益系數(shù),α=2。

sEMG起止點(diǎn)B、C的判斷:將四通道sEMG求和得到SUMsEMG,其信號幅值圖如圖5所示。肌肉激活伴隨sEMG的能量變化,對SUMsEMG的絕對值進(jìn)行移動(dòng)平均處理以反映sEMG的能量:

(3)

式中:w為窗口寬度,w=30,l為步長,l=16,ssum(i)為SUMsEMG幅值。

設(shè)置閾值th2,若S(k)大于th2,則視為發(fā)生肌肉激活,將該段視為活動(dòng)段,若S(k)小于th2,則忽略該節(jié)段。th2取值方法可由式(4)確定:

th2=μ+βσ

(4)

式中:μ為靜息狀態(tài)下SUMsEMG均值,σ為標(biāo)準(zhǔn)差,β為增益系數(shù),此處取值為1.5,如需活動(dòng)段檢測更加可靠,可適當(dāng)取大如1.8。

1.3 特征選擇

樣本熵是一種用于度量時(shí)間序列復(fù)雜性的信號特征,很適合對sEMG等生理信號的復(fù)雜性表達(dá)[10],樣本熵用于衡量時(shí)間序列中產(chǎn)生新模式概率的大小,樣本熵值越大,表示時(shí)間序列中產(chǎn)生新模式的概率越大,序列的復(fù)雜度也更高,這一性特性恰好表達(dá)了動(dòng)態(tài)手勢變化過程中按時(shí)間序列的腕和指等動(dòng)作的變化及多樣性。

設(shè)sEMG采集信號的時(shí)間序列為x(i)(i=1,2,…,N,N為采樣點(diǎn)數(shù)),計(jì)算其樣本熵的步驟如下:

①將序列按順序組成m維矢量:

Xm(i)=[x(i),x(i+1),…,x(i+m-1)]

(5)

式中:i=1,2,…,N-m。

②定義矢量Xm(i)和Xm(j)之間的距離為兩個(gè)矢量對應(yīng)元素差值中最大的一個(gè):

(6)

式中:i,j=1,2,…,N-m,且i≠j。

(7)

(8)

⑤將序列按順序組成m+1維矢量,重復(fù)步驟①～步驟④得到Bm+1(r).

⑥序列的樣本熵為:

(9)

⑦實(shí)際應(yīng)用中,由于序列長度有限,因此采樣點(diǎn)數(shù)為N的序列樣本熵的估計(jì)值為:

(10)

絕對值均值(Mean Absolute Value,MAV)是一個(gè)算法簡單、物理意義明確的特征信息,適合總體層面的特征表達(dá),用于本文ACC信號的分段信息描述是一個(gè)既簡單又有效的特征。ACC的波形長度(Waveform Length,WL)[11]作為另一個(gè)總體特征,可用來表示信號的波形復(fù)雜度。在具體處理方面,為排除數(shù)據(jù)長度的影響,在原有波形長度基礎(chǔ)上提出平均波形長度特征(Mean Waveform Length,MWL),它更能反映ACC信號的變化規(guī)律。

(11)

式中:a(i)為ACC采集信號的時(shí)間序列,i=1,2,…,L,L為采樣點(diǎn)數(shù)。

一個(gè)復(fù)雜的動(dòng)態(tài)手勢,若以活動(dòng)段(AD)作為一個(gè)整體考慮提取其特征,往往會(huì)埋沒手勢的細(xì)節(jié),難以反映手勢執(zhí)行過程的詳細(xì)信息。本文將復(fù)雜動(dòng)態(tài)手勢分解為三個(gè)相對獨(dú)立的區(qū)段:起始段、主特征段和收尾段,如圖6的AB、BC、CD三個(gè)區(qū)間。根據(jù)ACC和sEMG信號的特點(diǎn),有針對性地選擇其分區(qū)段特征,能更好地將動(dòng)態(tài)手勢的宏觀信息和微觀細(xì)節(jié)特征有機(jī)地結(jié)合起來。

一個(gè)動(dòng)態(tài)手勢不同區(qū)段的特征提取方法如下:

①在起始段A-B,僅有ACC為活動(dòng)狀態(tài),sEMG是靜息的,它反映了ACC在手勢起始過程的宏觀信息,對起始段A-B的ACC選取MAV作為其特征。

②在收尾段C-D,僅有ACC為活動(dòng)狀態(tài),sEMG是靜息的,它反映了ACC在手勢終止過程的宏觀信息,對收尾段C-D的ACC也選取MAV作為其特征。

③B-C區(qū)間是主特征段,包括sEMG與ACC雙重信息,sEMG信號蘊(yùn)含了指、腕在動(dòng)態(tài)手勢執(zhí)行過程中的細(xì)節(jié)信息,期間有ACC的相對變化并伴隨sEMG的豐富信息,兩者的信息融合對手勢的識(shí)別起到了決定性作用。對ACC提取MAV與MWL特征;同時(shí)對sEMG則提取描述信號復(fù)雜度的SampEn特征以體現(xiàn)手勢的細(xì)節(jié)變化。

綜上,針對動(dòng)態(tài)手勢采集的傳感信號ACC、sEMG,提取的全部特征有:SampEnBC-sEMG、MWLBC-ACC、MAVBC-ACC、MAVAB-ACC、MAVCD-ACC,其中第一下標(biāo)表示區(qū)段,第二下標(biāo)是傳感信號。用特征組合方法進(jìn)行特征融合,構(gòu)造特征向量用于分類器識(shí)別。

1.4 分類器

支持向量機(jī)(Support Vector Machine,SVM)的主要思想是建立一個(gè)分類超平面作為決策面,使不同類之間的隔離邊緣被最大化,從而實(shí)現(xiàn)分類[12]。

SVM算法最初是為二值分類設(shè)計(jì),處理多類問題時(shí)需要構(gòu)造多類分類器,構(gòu)造多類分類器主要有兩類:一類是直接法,直接法修改目標(biāo)函數(shù),將多個(gè)分類面參數(shù)求解合并到一個(gè)最優(yōu)化問題中,通過求解最優(yōu)化問題實(shí)現(xiàn)多分類,該方法計(jì)算復(fù)雜度高,實(shí)現(xiàn)困難。另一類是間接法,組合多個(gè)二分類器來實(shí)現(xiàn)多分類器的構(gòu)造,主要方法有一對多(one-versus-rest)和一對一(one-versus-one)兩種[13]。由于一對多方法分類精度相對較低,本文采用一對一法構(gòu)造SVM分類器。以3分類為例,在任意兩類間設(shè)計(jì)SVM:SVM1,2,SVM1,3,SVM2,3,對測試樣本A分類時(shí),3個(gè)SVM分別對A進(jìn)行分類投票,得票最多的即為A的類別,如圖7所示。因此,n分類問題需設(shè)計(jì)[n(n-1)]/2個(gè)SVM,對一個(gè)未知樣本分類時(shí),得票最多的類別即為該未知樣本的類別。

圖7 一對一SVM識(shí)別原理

2 實(shí)驗(yàn)分析

2.1 特征提取分析

BC區(qū)間是主特征段,sEMG與ACC的信息融合對手勢識(shí)別起決定性作用,本文在此重點(diǎn)分析主特征段特征的一些特點(diǎn)。以受試者1為例,圖8為MAVBC-ACC的特征散點(diǎn)圖,圖9為MWLBC-ACC特征散點(diǎn)圖,可知ACC信號受外界干擾小,整體具有較好的可分性,這是因?yàn)椴煌终Z揮動(dòng)軌跡通常具有較明顯的差別,但是“好”與“你”的ACC特征具有重疊現(xiàn)象,尤其是MWLBC-ACC特征,這是因?yàn)樗鼈冊趫?zhí)行中具有相同的抬臂動(dòng)作,運(yùn)動(dòng)軌跡具有一定的相似性,因此對運(yùn)動(dòng)軌跡大致相似的手勢,如采用單一ACC信號,在動(dòng)態(tài)手勢區(qū)分上的不確定性就顯現(xiàn)出來了,此時(shí)需要進(jìn)一步能反映指、腕精細(xì)動(dòng)作的sEMG信息作為補(bǔ)充;另一方面,不同的受試者做同樣的動(dòng)作也會(huì)存在細(xì)微差異,甚至同一受試者在做同一動(dòng)作時(shí)也會(huì)有所區(qū)別。

圖8 受試者1的三軸ACC信號MAV特征

圖9 受試者1的ACC信號MWL特征

取受試者1執(zhí)行“你”,“好”時(shí)拇指伸肌的肌電信號sEMGBC,加窗口長度N,求出SampEn,然后每移動(dòng)1個(gè)數(shù)據(jù)點(diǎn)就求出該窗的SampEn,進(jìn)行比較,此處取N=200。

由圖10和圖11可見:SampEn可以反映肌電信號特征,肌電信號從靜息狀態(tài)到激活再到靜息狀態(tài),SampEn的變化顯著,呈現(xiàn)不同的規(guī)律性。而且“你”與“好”肌肉激活段的SampEnBC-sEMG變化規(guī)律不同,表明SampEn特征的選擇能支持腕和指的精細(xì)動(dòng)作區(qū)分。

圖10 “你”的sEMG與SampEn

圖11 “好”的sEMG與SampEn

2.2 分類識(shí)別

為探究表面肌電與加速度傳感在手勢識(shí)別中各自優(yōu)勢,將不同特征組合構(gòu)造成特征向量用于識(shí)別率的對比分析,如表1所示。

表1 不同特征組成的特征向量

上述特征均使用SVM進(jìn)行分類,從每名受試者的樣本數(shù)據(jù)中,取50組樣本作為訓(xùn)練集,其余30組樣本作為測試集進(jìn)行交叉驗(yàn)證,識(shí)別結(jié)果如表2所示。

表2為四名受試者采用不同信號組成特征向量的平均正確識(shí)別率,融合sEMG與ACC的F3特征向量對所有受試者識(shí)別率均是最高,其中受試者4可獲得最高91.2%的識(shí)別率。

表2 不同特征向量平均正確識(shí)別率 單位:%

3 結(jié)論

本文提出一種融合sEMG和ACC的復(fù)雜動(dòng)態(tài)手勢識(shí)別方法,用閾值法將復(fù)雜動(dòng)態(tài)手勢分割形成起始段、主特征段和收尾段,根據(jù)不同區(qū)段的特點(diǎn),有針對性地對ACC提取MAVAB-ACC、MAVCD-ACC、MWLBC-ACC、和MAVBC-ACC特征,對sEMG提取SampEnBC-sEMG特征,構(gòu)造特征向量F3,使用SVM對6種中國手語手勢進(jìn)行分類。實(shí)驗(yàn)結(jié)果顯示最高可達(dá)91.2%的識(shí)別率,表明以全局傳感信號ACC和體現(xiàn)腕部和手指變化的多路sEMG信號相結(jié)合的動(dòng)態(tài)手勢方法能夠很好地選擇手勢的有效特征,對復(fù)雜動(dòng)態(tài)手勢的識(shí)別效果良好。進(jìn)一步的研究工作將拓展手語中動(dòng)態(tài)手勢的種類,構(gòu)成常用手語的識(shí)別體系和方法。