李建興,沈亮,蔡聰,楊睿寧,羅堪
(福建工程學(xué)院電子電氣與物理學(xué)院,福建 福州 350117)
表面肌電信號(hào)(surface electromyography,sEMG)被廣泛應(yīng)用于人機(jī)接口的研究[1-2]。但是,目前采用特征工程方法[3-4]對(duì)手勢(shì)識(shí)別準(zhǔn)確率偏低。其原因可能是人工不恰當(dāng)?shù)奶卣髟O(shè)計(jì)不僅對(duì)模型毫無(wú)幫助,甚至降低模型性能[5]。
近年來(lái),隨著計(jì)算機(jī)算力的提高,深度學(xué)習(xí)在許多模式識(shí)別應(yīng)用中取得了較好的效果[6-7]。深度學(xué)習(xí)方法在解決肌電識(shí)別率、普適性等問(wèn)題上比傳統(tǒng)方法取得了更好的效果[8]。如:Duan等[9]用小波神經(jīng)網(wǎng)絡(luò)識(shí)別3路表面肌電信號(hào),6個(gè)手部動(dòng)作平均分類(lèi)準(zhǔn)確率為94.67%;孫光民等[10]對(duì)結(jié)合雙譜變換和概率神經(jīng)網(wǎng)絡(luò)(PNN)對(duì)3種手部動(dòng)作分類(lèi)的平均準(zhǔn)確率達(dá)95.48%。
受卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)特征提取能夠提升復(fù)雜動(dòng)作肌電信號(hào)識(shí)別準(zhǔn)確率的啟發(fā),本文提出結(jié)合改進(jìn)頻率小波切片變換和卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)肌電識(shí)別方法。由于改進(jìn)頻率切片小波變換具有在時(shí)頻域上增強(qiáng)信號(hào)時(shí)頻成分的優(yōu)點(diǎn),因此將對(duì)采集的肌電信號(hào)直接識(shí)別轉(zhuǎn)化為對(duì)肌電信號(hào)時(shí)頻譜圖的模式識(shí)別;考慮深度卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別中高準(zhǔn)確率,設(shè)計(jì)一個(gè)18層深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)手放松、手握緊、腕外翻、腕下旋、手張開(kāi)、腕內(nèi)翻和腕上旋7種手勢(shì)動(dòng)作預(yù)測(cè)。最后,通過(guò)實(shí)驗(yàn)驗(yàn)證提出方法的有效性。
傳統(tǒng)表面肌電信號(hào)分類(lèi)框架和本文提出的分類(lèi)框架如圖1所示,其中(a)為傳統(tǒng)方法框架,(b)為本文提出的方法框架。兩者均包含了3個(gè)步驟:表面肌電信號(hào)的采集、特征提取以及分類(lèi)。本文提出的新框架與傳統(tǒng)方法不同之處在于:(1)無(wú)需傳統(tǒng)的方法中煩瑣的數(shù)據(jù)預(yù)處理;(2)采用卷積神經(jīng)網(wǎng)絡(luò)從MFSWT時(shí)頻譜圖中自動(dòng)提取特征,無(wú)需傳統(tǒng)的人工提取特征步驟;(3)采用MFSWT生成時(shí)頻譜圖并結(jié)合深度學(xué)習(xí)方法進(jìn)行手勢(shì)動(dòng)作預(yù)測(cè),提高分類(lèi)準(zhǔn)確率。
圖1 提出框架和傳統(tǒng)方法對(duì)比Fig.1 Comparison of the proposed system framework and traditional method
本文采用自建表面肌電信號(hào)數(shù)據(jù)方式開(kāi)展研究。8通道手臂表面肌電信號(hào)由ADS1299采集模塊以500 Hz采樣率采集并存儲(chǔ)。數(shù)據(jù)采集使用的測(cè)量電極為銀-氯化銀電極。電極使用前需用酒精清潔手臂皮膚表面。實(shí)驗(yàn)中信號(hào)采集電極布置位置如圖2所示。要求受試者前臂平行于地面,手掌朝上,以肘、腕關(guān)節(jié)為參考點(diǎn)將手臂做3等分,記距離肘關(guān)節(jié)1/3處為N。在N點(diǎn)確定的等分位置處,選擇手臂中線(xiàn)順時(shí)針?lè)较?等分布置負(fù)電極;之后在近腕關(guān)節(jié)距離N點(diǎn)3.5 cm處布置正電極,記為P。尺骨莖突處無(wú)肌肉,在信號(hào)采集中將其設(shè)置為參考電極,記為R。以上描述解剖特征點(diǎn)和標(biāo)記點(diǎn)均在圖2(a)、(b)中標(biāo)出。
(a) 電極布置示意圖 (b) 手臂電極布置位置規(guī)劃俯/仰視圖 (c) 電極粘貼完成后手臂俯/仰視圖
本實(shí)驗(yàn)總共有5名志愿者(4名男性、1名女性)參與,對(duì)每名志愿者分別采集2組含有7種手勢(shì)動(dòng)作的表面肌電信號(hào),其中一組作為訓(xùn)練數(shù)據(jù)集,另一組作為測(cè)試數(shù)據(jù)集。圖3中給出了7種動(dòng)作的示例,具體為手放松、手握緊、腕外翻、腕下旋、手張開(kāi)、腕內(nèi)翻和腕上旋。每組數(shù)據(jù)包含4輪7種手勢(shì)動(dòng)作循環(huán)。
圖3 7種手勢(shì)動(dòng)作示例Fig.3 The examples of seven hand gestures
最后,采集到的8通道表面肌電信號(hào)數(shù)據(jù)用260 ms(130個(gè)采樣點(diǎn))滑動(dòng)窗和10 ms(5個(gè)采樣點(diǎn))增量窗進(jìn)行分割處理,處理過(guò)程如圖4所示。分割后信號(hào)離線(xiàn)存儲(chǔ)用于模型的訓(xùn)練和測(cè)試。信號(hào)采集實(shí)驗(yàn)共收集到133 000個(gè)有效樣本,7類(lèi)動(dòng)作樣本數(shù)量均衡,總樣本中66 500個(gè)樣本用于模型訓(xùn)練,另外66 500個(gè)樣本用于模型測(cè)試。
圖4 肌電信號(hào)滑動(dòng)分割示意圖Fig.4 A example of sEMG segmentation with sliding window
利用卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上具有高準(zhǔn)確率的優(yōu)點(diǎn),本文采用改進(jìn)頻率切片小波變換[11](modified frequency slice wavelet transform,MFSWT)將表面肌電信號(hào)在時(shí)間-頻率域上展開(kāi)。變換能夠?qū)⒁痪S時(shí)序信號(hào)按時(shí)間和頻率展開(kāi)到二維平面,并通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)時(shí)頻譜圖中信號(hào)和手勢(shì)動(dòng)作對(duì)應(yīng)的模式規(guī)律。改進(jìn)頻率切片小波變換的數(shù)學(xué)模型為:
(1)
由于q是信號(hào)頻率變換的函數(shù)。在肌電信號(hào)時(shí)頻分析中q函數(shù)形式如下:
(2)
使用改進(jìn)頻率切片小波變換對(duì)單一通道表面肌電信號(hào)做65個(gè)頻率和12個(gè)時(shí)間尺度映射,可以得到12×65的時(shí)頻譜矩陣??紤]運(yùn)動(dòng)造成偽跡以及高頻噪聲對(duì)應(yīng)的頻率尺度分別是1和65,因此,刪除矩陣的第1列和最后1列以去除變換后時(shí)頻譜圖中無(wú)用信號(hào)成分。最終通過(guò)變換得到12×63的時(shí)頻譜矩陣。組合8通道表面肌電信號(hào)時(shí)頻譜圖可得到一個(gè)8×12×63的矩陣,上述采用改進(jìn)頻率切片小波變換對(duì)肌電信號(hào)生成時(shí)頻譜圖過(guò)程如圖5所示。
圖5 一個(gè)改進(jìn)頻率切片小波變換生成時(shí)頻譜圖例子Fig.5 A example of MFSWT Spectrum generation
不同于傳統(tǒng)的機(jī)器學(xué)習(xí)分類(lèi)方法需進(jìn)行復(fù)雜的特征設(shè)計(jì)、提取與降維等步驟,采用深度學(xué)習(xí)方法進(jìn)行手勢(shì)動(dòng)作分類(lèi)模型設(shè)計(jì),特征提取包含在深度卷積神經(jīng)網(wǎng)絡(luò)逐層處理中。采用數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)特征提取與模式識(shí)別方法避免了強(qiáng)專(zhuān)家經(jīng)驗(yàn)依賴(lài)和不恰當(dāng)特征選擇導(dǎo)致識(shí)別率偏低的問(wèn)題。本文提出的卷積神經(jīng)網(wǎng)絡(luò)肌電分類(lèi)模型框架如圖6所示。模型結(jié)構(gòu)共18層,包含了信號(hào)輸入層、提取特征的卷積神經(jīng)網(wǎng)絡(luò)層、全連接層以及數(shù)據(jù)輸出層。其中第1層與第2層卷積層使用12個(gè)特征圖,卷積核為2×2;第3層卷積層使用24個(gè)特征圖,卷積核為3×3。通過(guò)平鋪層將數(shù)據(jù)轉(zhuǎn)換為一維數(shù)據(jù)輸入至全連接層,最終輸出分類(lèi)結(jié)果。模型的各層配置如表1所示。
圖6 提出的深度卷積神經(jīng)網(wǎng)絡(luò)模型Fig.6 The model of deep convolution neural network
表1 模型的各層配置Tab.1 Each layer configuration of the model
為了避免模型出現(xiàn)過(guò)擬合,模型訓(xùn)練中采用了隨機(jī)失活、批標(biāo)準(zhǔn)化以及數(shù)據(jù)進(jìn)行隨機(jī)打亂處理[12]。
為了驗(yàn)證提出方法和模型的有效性,本文進(jìn)行了包括不同實(shí)驗(yàn)對(duì)象,不同溫度環(huán)境以及不同電極測(cè)量位置下的手勢(shì)肌電信號(hào)識(shí)別實(shí)驗(yàn)。深度卷積模型基于A(yíng)naconda和tensorflow2.0實(shí)驗(yàn)環(huán)境實(shí)現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練中反向傳播優(yōu)化算法采用ADAM算法,損失函數(shù)采用類(lèi)間交叉熵,步長(zhǎng)設(shè)置為128,隨機(jī)失活設(shè)置為0.5,學(xué)習(xí)率設(shè)置為0.000 681 8,訓(xùn)練次數(shù)設(shè)置為100。
4個(gè)廣泛的指標(biāo),靈敏度(SE)、特異度(SP)、陽(yáng)性預(yù)測(cè)值(PPV)和準(zhǔn)確度(ACC),用于評(píng)估分類(lèi)結(jié)果,分別定義如下:
SE,i=TP,i/(TP,i+FN,i)
(3)
SP,i=TN,i/(TN,i+FP,i)
(4)
PPV,i=TP,i/(TP,i+FP,i)
(5)
ACC,i=(TP,i+TN,i)/(TP,i+TN,i+FP,i+FN,i)
(6)
其中:TP,i為正確分類(lèi)為第i類(lèi)的數(shù)目;TN,i為不屬于第i類(lèi)且未分類(lèi)到第i類(lèi)的數(shù)目;FP,i為不屬于第i類(lèi)但錯(cuò)誤分類(lèi)到第i類(lèi)的數(shù)目;FN,i為分類(lèi)到其他類(lèi)目的第i類(lèi)的數(shù)目。上述參數(shù)分別反映了分類(lèi)器對(duì)第i類(lèi)預(yù)測(cè)的敏感性和特異性。
在5個(gè)志愿者7種手勢(shì)動(dòng)作識(shí)別實(shí)驗(yàn)中,迭代訓(xùn)練100次的準(zhǔn)確率和損失值如圖7所示。實(shí)驗(yàn)結(jié)果顯示在前5次迭代訓(xùn)練中,訓(xùn)練集與測(cè)試集的損失值快速下降,準(zhǔn)確率快速上升,5次迭代后損失值和準(zhǔn)確率分別小于0.1和大于96%,模型能夠快速收斂。繼續(xù)迭代訓(xùn)練,準(zhǔn)確率持續(xù)緩慢上升。訓(xùn)練次數(shù)達(dá)到18次后,測(cè)試集的準(zhǔn)確率與損失值基本保持穩(wěn)定,損失值和準(zhǔn)確率分別在0.1和98%左右小幅波動(dòng)。
各含9 500個(gè)樣本數(shù)據(jù)的7種手勢(shì)動(dòng)作類(lèi)別(D1為手放松、D2為手握拳、D3為腕外翻、D4為腕下旋、D5為手張開(kāi)、D6為腕內(nèi)翻、D7為腕上旋)的總體分類(lèi)評(píng)估如表2所示。正確預(yù)測(cè)D1,D2,D3,D4,D5,D6和D7類(lèi)別的數(shù)目分別為9 490,9 321,9 358,8 802,9 194,9 497和9 467。手勢(shì)動(dòng)作分類(lèi)的平均準(zhǔn)確率達(dá)到97.94%,靈敏度(SE)平均值達(dá)到97.94%且陽(yáng)性預(yù)測(cè)值(PPV)平均值達(dá)到97.96%。實(shí)驗(yàn)結(jié)果表明所構(gòu)建的模型分類(lèi)準(zhǔn)確率高。D4動(dòng)作的靈敏度為92.65%??紤]D4動(dòng)作靈敏度稍偏低的原因是部分個(gè)體受試者在做“腕下旋”動(dòng)作容易含有部分“腕外翻”動(dòng)作,信號(hào)的相似性造成模型誤判,導(dǎo)致模型識(shí)別靈敏度下降。但考慮整體動(dòng)作識(shí)別率達(dá)到90%以上,提出方法具有實(shí)際應(yīng)用的價(jià)值。同時(shí)在實(shí)際使用中,可采取多次檢測(cè)少數(shù)服從多數(shù)判定方案,降低誤判風(fēng)險(xiǎn)來(lái)提高動(dòng)作識(shí)別的準(zhǔn)確度。
迭代次數(shù)(a) 訓(xùn)練集和測(cè)試集的損失值
表2 7種手勢(shì)動(dòng)作分類(lèi)的總體評(píng)估Tab.2 Overall evaluation of seven gesture classification
本文提出的方法與已有文獻(xiàn)報(bào)道方法相關(guān)結(jié)果見(jiàn)表3。本文提出的模型具有較好的手勢(shì)動(dòng)作分類(lèi)能力,達(dá)到或者部分超越現(xiàn)有文獻(xiàn)報(bào)道的結(jié)果。雖然文獻(xiàn)[13]中提出采用遷移學(xué)習(xí)方法準(zhǔn)確率達(dá)到98.31%,稍領(lǐng)先本文提出的方法,但考慮測(cè)試數(shù)據(jù)集間的差異以及訓(xùn)練集和測(cè)試集比率劃分等因素的影響,本文提出的方法仍達(dá)到了較先進(jìn)水平,相較于傳統(tǒng)技術(shù)方案,在實(shí)際中具有較好的應(yīng)用潛力。
表3 本文提出方法與文獻(xiàn)報(bào)道方法比較Tab.3 The method proposed in this paper is compared with the method reported in the literature
為了驗(yàn)證改進(jìn)頻率切片小波變換在提出方法中的作用。本文同時(shí)對(duì)比了連續(xù)小波變換、短時(shí)傅里葉變換對(duì)手勢(shì)肌電信號(hào)識(shí)別結(jié)果的影響,結(jié)果如表4所示。采用改進(jìn)頻率切片小波變換生成時(shí)頻譜圖進(jìn)行手勢(shì)肌電信號(hào)識(shí)別方案的準(zhǔn)確率和損失值兩個(gè)評(píng)價(jià)指標(biāo)均優(yōu)于另外兩種方案。表明改進(jìn)頻率切片小波變換對(duì)手勢(shì)肌電信號(hào)識(shí)別具有一定的提升作用。
表4 3種方法的對(duì)比結(jié)果Tab.4 Comparison results of three methods
考慮實(shí)際場(chǎng)景中使用者可能身處不同的環(huán)境溫度中,在空調(diào)室內(nèi)(室溫25.8 ℃)與室外(室溫37.6 ℃)重新采集信號(hào)并分別進(jìn)行了手勢(shì)肌電信號(hào)識(shí)別實(shí)驗(yàn)驗(yàn)證,結(jié)果如表5所示。手勢(shì)識(shí)別的平均準(zhǔn)確率在25.8 ℃和37.6 ℃實(shí)驗(yàn)溫度下分別為97.93%和97.86%,結(jié)果顯示環(huán)境溫度的變化對(duì)提出的方法和模型幾乎沒(méi)有影響。
表5 不同環(huán)境溫度下的識(shí)別準(zhǔn)確率對(duì)比Tab.5 Comparison of recognition accuracy under different ambient temperatures
考慮實(shí)際場(chǎng)景中使用者可能存在佩戴不規(guī)范問(wèn)題,進(jìn)一步討論了肌電測(cè)量位置偏移對(duì)手勢(shì)肌電信號(hào)識(shí)別準(zhǔn)確率的影響。在標(biāo)準(zhǔn)位置基礎(chǔ)上分別前、后移動(dòng)1 cm電極測(cè)量位置,采集信號(hào)后進(jìn)行手勢(shì)識(shí)別,結(jié)果統(tǒng)計(jì)如表6所示。規(guī)定的電極測(cè)量位置偏移1 cm時(shí),識(shí)別準(zhǔn)確率并未存在明顯變化,仍可保持97%以上。結(jié)果表明提出的方法具有較好的魯棒性。
表6 電極片位置偏移下的識(shí)別準(zhǔn)確率對(duì)比Tab.6 Comparison of recognition accuracy under electrode position offset
本文提出結(jié)合改進(jìn)頻率切片小波變換和卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)肌電信號(hào)識(shí)別方法。通過(guò)改進(jìn)頻率切片小波變換生成時(shí)頻譜圖有效提升了卷積神經(jīng)網(wǎng)絡(luò)手勢(shì)肌電信號(hào)識(shí)別準(zhǔn)確率;采用卷積神經(jīng)網(wǎng)絡(luò)逐層處理方式包含了自動(dòng)特征提取過(guò)程,能夠避免傳統(tǒng)特征工程方法中設(shè)計(jì)特征有效性評(píng)價(jià)的難題,實(shí)現(xiàn)了高準(zhǔn)確率表面肌電手勢(shì)識(shí)別,7種手勢(shì)動(dòng)作的平均準(zhǔn)確率達(dá)到97.94%;提出的方法具有較好的魯棒性,準(zhǔn)確率在不同環(huán)境溫度和小于1cm電極測(cè)量位置偏移情況下性能無(wú)明顯降低。