周旭峰，王醒策*, 武仲科, Vladimir Korkhov , Luciano Paschoal Gaspary

(1.北京師范大學(xué) 人工智能學(xué)院, 北京 100875;2.Department of Computer Modeling and Multiprocessor Systems,St. Petersburg State University (SPbSU), Saint Petersburg 199034;3.Institute of Informatics, Federal University of Rio Grande do Sul (UFRGS) 15064)

1 引 言

肌肉-計(jì)算機(jī)接口(Muscle-Computer Interface, MCI)系統(tǒng)是一種被廣泛應(yīng)用的利用肌肉電信號(hào)進(jìn)行人機(jī)交互的系統(tǒng)設(shè)計(jì)，也是虛擬現(xiàn)實(shí)、人機(jī)交互、人體仿生學(xué)等相關(guān)領(lǐng)域的熱門(mén)研究應(yīng)用之一。而MCI系統(tǒng)是通過(guò)肌電提取設(shè)備獲取EMG(Electromyography)信號(hào)，通過(guò)處理信號(hào)，實(shí)現(xiàn)不同信號(hào)區(qū)分或根據(jù)信號(hào)所含信息進(jìn)行其他生物學(xué)或醫(yī)學(xué)研究。本文以此為切入點(diǎn)，擬設(shè)計(jì)MCI系統(tǒng)進(jìn)行EMG信號(hào)的手勢(shì)識(shí)別方法。

EMG信號(hào)在人體肌肉收縮與舒張過(guò)程中產(chǎn)生的相當(dāng)復(fù)雜的生物電信號(hào)，其可以反應(yīng)及記錄相應(yīng)肌肉產(chǎn)生該運(yùn)動(dòng)時(shí)的活動(dòng)狀況。由于EMG信號(hào)生物特征性明顯，過(guò)去常常應(yīng)用于生物醫(yī)學(xué)領(lǐng)域，如臨床診斷及假體控制、功能性電刺激等[1]。直到近十年，利用表面肌電信號(hào)進(jìn)行手勢(shì)識(shí)別為代表的人機(jī)交互研究才開(kāi)始出現(xiàn)，但是由于表面肌電信號(hào)往往與信號(hào)檢測(cè)電極定位、肌肉疲勞情況、皮膚出汗及固有干擾信號(hào)等眾多因素相關(guān)[2]，想要通過(guò)其進(jìn)行準(zhǔn)確地信號(hào)處理分類(lèi)至今仍然是一個(gè)難題。

EMG信號(hào)獲取的常用方案是通過(guò)多電極記錄EMG信號(hào)來(lái)封裝固定區(qū)域內(nèi)整體的肌電信號(hào)的時(shí)空信息以進(jìn)一步對(duì)封裝信號(hào)進(jìn)行處理[3]，而這種信號(hào)整體封裝的實(shí)現(xiàn)主要分為兩類(lèi)[4]：基于高密度的瞬時(shí)表面肌電信號(hào)(High-Density Electromyography, HD-EMG)封裝[5-7]與基于稀疏多通道表面肌電信號(hào)記錄[8-10]。HD-EMG是通過(guò)在皮膚表面特定區(qū)域內(nèi)緊密排列眾多電極實(shí)現(xiàn)對(duì)相應(yīng)肌肉群的信號(hào)采樣[6]，信號(hào)精度較高，但是區(qū)域敏感性強(qiáng)，而且與皮膚狀態(tài)聯(lián)系密切[5]，在運(yùn)動(dòng)量較大或佩戴不精準(zhǔn)的情況下效果較差。而稀疏多通道的肌電信號(hào)采樣器由于感應(yīng)器數(shù)量少且分布稀疏，獲取的信號(hào)精度沒(méi)有HD-EMG高，但是收集方便，研究表明只需要六通道就可以實(shí)現(xiàn)不同信號(hào)區(qū)分[11]，采樣效率高，而且可以在各種場(chǎng)景下廣泛應(yīng)用，最近相關(guān)研究也在迅速增多[12]。

深度學(xué)習(xí)方法是機(jī)器學(xué)習(xí)領(lǐng)域的一次革命，它在圖像處理[13],語(yǔ)音識(shí)別[14],人類(lèi)活動(dòng)識(shí)別[15]等多個(gè)方面取得了巨大的成功。受到這些成功的啟示，近兩年內(nèi)一些研究者已經(jīng)開(kāi)始提出應(yīng)用深度學(xué)習(xí)方法來(lái)處理MCI系統(tǒng)中EMG肌電信號(hào)手勢(shì)識(shí)別問(wèn)題。例如Atzori等人采用類(lèi)LeNet的CNN網(wǎng)絡(luò)對(duì)NinaPro數(shù)據(jù)庫(kù)中的手勢(shì)進(jìn)行分類(lèi)[16]。Geng等人則采集了8類(lèi)高密度肌電信號(hào)(HD-EMG)并利用CNN網(wǎng)絡(luò)進(jìn)行分類(lèi)[4]。WentaoWei等人同樣提出了一種兩階段多流CNN框架并根據(jù)高密度肌電信號(hào)識(shí)別不同手勢(shì)動(dòng)作[17]。這些基于深度學(xué)習(xí)的方案大都是側(cè)重利用不同的CNN網(wǎng)絡(luò)對(duì)高密度肌電信號(hào)(HD-EMG)進(jìn)行分類(lèi)識(shí)別，這是由于高密度肌電信號(hào)可以生成瞬時(shí)肌電信號(hào)圖像，便于CNN網(wǎng)絡(luò)處理，而稀疏多通道的EMG肌電信號(hào)缺少圖像特征，是一種時(shí)間序列信號(hào)表示，研究者們通過(guò)記錄一段時(shí)間內(nèi)的瞬時(shí)肌電信號(hào)轉(zhuǎn)化為圖像后采用CNN方案識(shí)別，尚少有人利用RNN網(wǎng)絡(luò)對(duì)稀疏多通道序列信號(hào)進(jìn)行識(shí)別。

本文研究通過(guò)對(duì)不同手部動(dòng)作EMG信號(hào)采樣，對(duì)信號(hào)處理后識(shí)別不同手勢(shì)。該研究建立于一個(gè)自行設(shè)計(jì)的MCI系統(tǒng)上，系統(tǒng)能端到端地完成信號(hào)收集及手勢(shì)識(shí)別過(guò)程。該系統(tǒng)還可以作為完整的人機(jī)交互接口，只需要進(jìn)一步開(kāi)發(fā)便可以實(shí)現(xiàn)更多操作如手勢(shì)控制游戲、操控3D模型等。本文的主要?jiǎng)?chuàng)新與成果有：

(1)實(shí)現(xiàn)了基于MYO臂環(huán)的稀疏多通道EMG肌電信號(hào)手勢(shì)識(shí)別MCI系統(tǒng)，并通過(guò)Python程序?qū)崿F(xiàn)實(shí)時(shí)手勢(shì)識(shí)別。

(2)提出了兩種基于多類(lèi)信號(hào)特征的組合 RNN框架，將框架應(yīng)用在MCI系統(tǒng)中可以對(duì)稀疏多通道的序列EMG信號(hào)進(jìn)行有效分類(lèi)。

(3)收集了10類(lèi)共8 053個(gè)動(dòng)作的稀疏8通道EMG肌電信號(hào)，構(gòu)造了基于MCI的手勢(shì)識(shí)別數(shù)據(jù)集，該數(shù)據(jù)集可以應(yīng)用于更廣泛的序列肌電信號(hào)研究。

2 國(guó)內(nèi)外研究現(xiàn)狀

本章節(jié)主要對(duì)手勢(shì)識(shí)別常用方案及相關(guān)研究進(jìn)行介紹，著重對(duì)應(yīng)用深度學(xué)習(xí)思想的研究進(jìn)行分析，同時(shí)探討RNN網(wǎng)絡(luò)架構(gòu)在序列數(shù)據(jù)識(shí)別方面的應(yīng)用，以延伸至本文的研究方案。

2.1 手勢(shì)識(shí)別研究現(xiàn)狀

手勢(shì)識(shí)別是虛擬現(xiàn)實(shí)、人機(jī)交互的核心技術(shù)之一，Cheok等人對(duì)近期手勢(shì)識(shí)別技術(shù)進(jìn)行過(guò)全面回顧，指出手勢(shì)識(shí)別方法主要分為基于視覺(jué)的與基于傳感器兩類(lèi)[18]?；谝曈X(jué)的方法通過(guò)單一相機(jī)[19]，多相機(jī)[20]，主動(dòng)技術(shù)如Kinect[21]、LeapMotion[22]等捕獲RGB圖像[23]或三位深度通道[24]進(jìn)行手勢(shì)識(shí)別?；趥鞲衅鞯氖謩?shì)識(shí)別方案則是通過(guò)各類(lèi)傳感器[25]來(lái)捕獲手部動(dòng)作、位置與速度等信息來(lái)識(shí)別不同手勢(shì)，常見(jiàn)傳感器有慣性測(cè)量單元(IMU)[26]，彎曲傳感數(shù)據(jù)手套[27]，Wifi[28]、雷達(dá)[29]和EMG肌電信號(hào)感應(yīng)器[30]等。

相較于其他手勢(shì)識(shí)別方法，基于EMG肌電信號(hào)的MCI手勢(shì)識(shí)別系統(tǒng)具有獨(dú)特優(yōu)勢(shì)：(1)和基于視覺(jué)的手勢(shì)識(shí)別相比，EMG信號(hào)對(duì)環(huán)境不敏感，背景紋理[31]、顏色和照明[32]都會(huì)極大的影響基于視覺(jué)的手勢(shì)識(shí)別，MCI系統(tǒng)甚至可以輕松在無(wú)光照環(huán)境中工作。(2)和數(shù)據(jù)手套等彎曲傳感器相比，MCI系統(tǒng)有廣的空間適應(yīng)力，它可以在戶(hù)外、室內(nèi)等各種場(chǎng)合輕松使用。

2.2 EMG信號(hào)分類(lèi)方法

從信號(hào)分類(lèi)方法角度來(lái)看，MCI系統(tǒng)中基于EMG信號(hào)的識(shí)別方案主要分為兩類(lèi)。

第一類(lèi)是基于傳統(tǒng)模式識(shí)別方法MCI手勢(shì)識(shí)別過(guò)程，包括信號(hào)獲取，預(yù)處理與分割，特征提取及分類(lèi)器分類(lèi)四部分[33]。針對(duì)特征提取部分，由于肌電信號(hào)是時(shí)序信號(hào)，常用方法是從時(shí)域、頻域或時(shí)頻域提取不同信號(hào)特征加以處理[34]，例如Zainal Arief等研究者通過(guò)MYO臂環(huán)獲取信號(hào)評(píng)估了平均值絕對(duì)值、方差、威爾遜幅值、波長(zhǎng)累積變化及零交叉等五類(lèi)時(shí)域特征對(duì)于識(shí)別手勢(shì)識(shí)別的效果[8]。Guan-Chun Luh等研究者則通過(guò)離散小波變換分解了四層小波分量，并使用小波系數(shù)絕對(duì)值均值與標(biāo)準(zhǔn)差等時(shí)頻域信息使機(jī)器人手掌能夠模擬不同手指姿勢(shì)[9]。為了識(shí)別不同手勢(shì)，提取特征后分類(lèi)器選擇成為了關(guān)鍵，有很多經(jīng)典的分類(lèi)器被廣泛應(yīng)用，如隱馬爾可夫模型(Hidden Markov Model, HMM)[35]，高斯混合模型(Goussian Mixed Model, GMM)[36],線性判別分析(Linear Discriminant Analysis, LDA)[37]，支持向量機(jī)(Support Vector Machine, SVM)[38]，隨機(jī)森林[39]等。

第二類(lèi)是基于深度學(xué)習(xí)的方法[40]。Atzori等人修改類(lèi)似LeNet的CNN網(wǎng)絡(luò)對(duì)NinaPro數(shù)據(jù)庫(kù)中的手勢(shì)作進(jìn)行分類(lèi)，平均分類(lèi)準(zhǔn)確率達(dá)66.69%，結(jié)果表明大型網(wǎng)絡(luò)很可能提高EMG信號(hào)分類(lèi)精度[16]。Geng采用8層CNN網(wǎng)絡(luò)對(duì)EMG信號(hào)進(jìn)行識(shí)別，利用多幀結(jié)果進(jìn)行投票表決提高準(zhǔn)確率，根據(jù)瞬時(shí)高密度肌電信號(hào)(HD-EMG)圖像信號(hào)進(jìn)行測(cè)試，CSL-HDEMG數(shù)據(jù)庫(kù)的識(shí)別精度達(dá)96.8%，CapgMyo數(shù)據(jù)庫(kù)的識(shí)別精度達(dá)99.5%，最后在稀疏多通道EMG信號(hào)NinaPro數(shù)據(jù)庫(kù)的識(shí)別精度達(dá)77.8%[4]。WentaoWei等人進(jìn)一步提出了一種兩階段多流CNN框架同樣在相關(guān)基準(zhǔn)數(shù)據(jù)庫(kù)測(cè)試，其中在NinaPro數(shù)據(jù)庫(kù)中的識(shí)別準(zhǔn)確度達(dá)85%，識(shí)別效果較之前研究顯著提升[17]。

2.3 RNN網(wǎng)絡(luò)手勢(shì)識(shí)別研究現(xiàn)狀

EMG信號(hào)是一個(gè)和時(shí)間相關(guān)的序列信號(hào)，因此可以考慮利用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks, RNN)進(jìn)行時(shí)間序列信號(hào)識(shí)別的方案[41]，該網(wǎng)絡(luò)的存儲(chǔ)單元(Memory cell)設(shè)計(jì)可以讓網(wǎng)絡(luò)記住過(guò)去的狀態(tài)，從而輸出不再只依賴(lài)于當(dāng)前輸入，而是與整個(gè)輸入序列都相關(guān)[42]。RNN通常應(yīng)用于序列處理任務(wù)，例如機(jī)器翻譯或語(yǔ)音識(shí)別[43]，但它們也可以用于分類(lèi)，因此在手勢(shì)識(shí)別域中應(yīng)用RNN也是一種方案。Chen等提取手指運(yùn)動(dòng)特征與全局運(yùn)動(dòng)特征，然后將這些運(yùn)動(dòng)特征與骨架序列一起輸入雙向遞歸神經(jīng)網(wǎng)絡(luò)(Recursive Neural Network, RNN)，最終識(shí)別率達(dá)89%[44]。Murakami等利用數(shù)據(jù)手套收集了16維輸入，并應(yīng)用RNN處理，準(zhǔn)確地(識(shí)別率96%)識(shí)別了10種不同的日語(yǔ)手勢(shì)[45]。Vamplev等使用三維輸入表示手在電子手套中的位置，并利用閾值限定來(lái)檢測(cè)動(dòng)作開(kāi)始與結(jié)束，結(jié)合RNN區(qū)分16個(gè)手部動(dòng)作，平均準(zhǔn)確率達(dá)98.9%[46]。Maraqa等對(duì)視頻流中彩色手套定位檢測(cè)進(jìn)行阿拉伯手語(yǔ)進(jìn)行識(shí)別，使用RNN進(jìn)行識(shí)別，準(zhǔn)確率達(dá)95.11%[47]。而Songbin Xu等人則在不使用手動(dòng)特征選擇和提取地情況下，僅針對(duì)波動(dòng)序列進(jìn)行LSTM-RNN分類(lèi)識(shí)別，在7個(gè)簡(jiǎn)單動(dòng)作上識(shí)別性能超過(guò)90%[48]。這些研究表明RNN在手勢(shì)分類(lèi)上也有不俗表現(xiàn)，但是他們使用的數(shù)據(jù)源基本是動(dòng)作位置變化等空間特征，這類(lèi)信號(hào)采集較難且必須在特定環(huán)境中收集。深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)[49-50]和自動(dòng)控制[51]領(lǐng)域具有系列有效成果的啟發(fā)，而現(xiàn)在階段很少有人使用EMG肌電信號(hào)進(jìn)行RNN分類(lèi)研究，這是本文研究的突破點(diǎn)。

3 基于組合RNN網(wǎng)絡(luò)的MCI研究系統(tǒng)的構(gòu)成

本文主要研究基于稀疏多通道EMG肌電信號(hào)的手勢(shì)識(shí)別方法，步驟包括EMG信號(hào)獲取與預(yù)處理，時(shí)間序列信號(hào)時(shí)域、時(shí)頻域特征拓展方法，以及設(shè)計(jì)合理的深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器進(jìn)行手勢(shì)分類(lèi)研究。同時(shí)為了研究方便與研究成果快速應(yīng)用，還設(shè)計(jì)了一個(gè)基于EMG信號(hào)的MCI手勢(shì)識(shí)別系統(tǒng)，可以方便快速地進(jìn)行實(shí)時(shí)手勢(shì)識(shí)別過(guò)程。MCI系統(tǒng)設(shè)計(jì)如圖1所示。

圖1 MCI系統(tǒng)設(shè)計(jì)框圖Fig.1 Framework of the MCI system

鑒于MYO臂環(huán)的通用性與有效性，選擇MYO臂環(huán)采集數(shù)據(jù)：用戶(hù)佩戴MYO臂環(huán)于手臂高位處，可以獲取8通道時(shí)序EMG肌電信號(hào)，使用Python程序記錄與處理這些信號(hào)。具體包括實(shí)時(shí)信號(hào)記錄，移動(dòng)平均法分割活躍動(dòng)作信號(hào)，在時(shí)域、時(shí)頻域多類(lèi)進(jìn)行序列特征拓展，獲得多流序列信號(hào)輸入組合RNN網(wǎng)絡(luò)進(jìn)行分類(lèi)。為了評(píng)估該MCI系統(tǒng)的有效性，一共收集了10類(lèi)動(dòng)作，選擇了35位實(shí)驗(yàn)人員(20位女性，15位男性)進(jìn)行了人群泛化性實(shí)驗(yàn)。為了使不同肌電感應(yīng)通道獲取到手部運(yùn)動(dòng)相同肌肉群產(chǎn)生的EMG肌電信號(hào)，限制所有實(shí)驗(yàn)人員佩戴MYO臂環(huán)于右手手臂，且第4通道與右手中指對(duì)齊。本研究聯(lián)結(jié)了RNN網(wǎng)絡(luò)與EMG信號(hào)識(shí)別工作，設(shè)計(jì)了組合RNN網(wǎng)絡(luò)用于分類(lèi)，并根據(jù)稀疏多通道的EMG信號(hào)進(jìn)行不同手勢(shì)識(shí)別，探索了MCI系統(tǒng)的一種全新的設(shè)計(jì)方式。

4 EMG信號(hào)獲取

本文提出了一種基于EMG信號(hào)的MCI手勢(shì)識(shí)別系統(tǒng)：通過(guò)MYO臂環(huán)獲取EMG信號(hào)并進(jìn)行動(dòng)作分割等預(yù)處理，利用時(shí)域、時(shí)頻域特征處理方法提取多流信號(hào)序列特征以拓展原始信號(hào)表征能力，并根據(jù)不同輸入特征序列結(jié)合組合RNN網(wǎng)絡(luò)進(jìn)行分類(lèi)。本章主要對(duì)MCI系統(tǒng)中EMG信號(hào)的相關(guān)部分展開(kāi)，主要分為信號(hào)獲取與處理兩部分。

4.1 數(shù)據(jù)獲取

加拿大創(chuàng)業(yè)公司于2013年推出的MYO臂環(huán)，通過(guò)內(nèi)置8塊環(huán)繞肌電信號(hào)感應(yīng)器實(shí)現(xiàn)了稀疏多通道EMG信號(hào)獲取。由于臂環(huán)便宜、佩戴方便、無(wú)創(chuàng)傷，并且可以應(yīng)用于實(shí)際肌電信號(hào)研究[4]，本文通過(guò)MYO臂環(huán)提取MCI手勢(shì)識(shí)別所需的肌電信號(hào)。MYO臂環(huán)內(nèi)置8個(gè)肌電感應(yīng)器和1個(gè)含有加速度計(jì)，陀螺儀和磁力計(jì)的慣性測(cè)量單元(Inertial Measurement Unit, IMU)，其工作原理主要是通過(guò)捕捉用戶(hù)運(yùn)動(dòng)時(shí)手臂肌肉的生物電變化，并通過(guò)藍(lán)牙與計(jì)算機(jī)、手機(jī)等設(shè)備連接，配合手臂的物理動(dòng)作監(jiān)控實(shí)現(xiàn)人機(jī)交互。MYO腕帶里設(shè)置了肌肉電感應(yīng)電極，使其能夠在用戶(hù)做出伸縮手勢(shì)時(shí)讀出肌肉的生物電信號(hào)，并將信號(hào)以藍(lán)牙傳輸?shù)姆绞絺魉徒o電子設(shè)備。與醫(yī)療電極不同的是，MYO肌電感應(yīng)電極不會(huì)直接接觸皮膚，用戶(hù)只需將腕帶隨意套在手臂上即可，是非常方便的一類(lèi)交換設(shè)備。因此，MYO臂環(huán)可以作為MCI系統(tǒng)的中介，形成完整的MCI系統(tǒng)，使得人類(lèi)可以輕松通過(guò)表面肌肉電信號(hào)自然地與計(jì)算機(jī)進(jìn)行交互，同時(shí)還可以應(yīng)用到更多更廣泛的其他研究或系統(tǒng)開(kāi)發(fā)中。

4.2 數(shù)據(jù)預(yù)處理

MCI系統(tǒng)通過(guò)MYO臂環(huán)獲取人類(lèi)手部運(yùn)動(dòng)產(chǎn)生的8通道稀疏EMG肌電信號(hào)，信號(hào)幅值限制于-128～127之間，采樣頻率約190～200 Hz(MYO臂環(huán)無(wú)法固定采樣率)。共設(shè)計(jì)了10個(gè)手勢(shì)，分別如圖2所示。

圖2 十個(gè)預(yù)定義手勢(shì)Fig.2 Ten pre-defined gestures

由MYO臂環(huán)獲得的EMG信號(hào)是連續(xù)的時(shí)間序列。為了識(shí)別不同動(dòng)作，首先需要從連續(xù)序列中分割出單個(gè)有效活躍動(dòng)作片段，本文采用移動(dòng)平均技術(shù)[52]實(shí)現(xiàn)有效動(dòng)作分割。

EMG信號(hào)是非平穩(wěn)信號(hào)，為了區(qū)分活躍信號(hào)區(qū)間，需要對(duì)原始信號(hào)加窗處理，為了使數(shù)據(jù)更穩(wěn)定，窗長(zhǎng)取80時(shí)間步(約400 ms)，并計(jì)算8通道信號(hào)絕對(duì)值均值作為該窗信號(hào)強(qiáng)度，最后通過(guò)閾值限定標(biāo)記動(dòng)作起點(diǎn)與終點(diǎn)，從而提取活躍動(dòng)作。圖3是從連續(xù)序列中提取單個(gè)動(dòng)作的示意圖。

本文研究通過(guò)Python程序?qū)崿F(xiàn)了數(shù)據(jù)獲取與動(dòng)作分割兩步，即數(shù)據(jù)集中每個(gè)動(dòng)作的EMG肌電信號(hào)是動(dòng)態(tài)獲得的，經(jīng)過(guò)分類(lèi)器處理后，程序可以實(shí)時(shí)識(shí)別不同動(dòng)作。在完整的MCI系統(tǒng)中，從單個(gè)動(dòng)作完成到被識(shí)別大約延遲61 ms，即在實(shí)際使用過(guò)程中延遲幾乎不可察覺(jué)。

圖3 預(yù)處理及動(dòng)作分割示意圖Fig.3 Preprocessing and Motion Segmentation

5 EMG信號(hào)處理與特征提取

注意到集成學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域有很多有效應(yīng)用[53]，同時(shí)傳統(tǒng)模式識(shí)別過(guò)程中存在許多特征提取提取方法，受到兩者啟發(fā)，本研究通過(guò)修改特征提取方法對(duì)原始數(shù)據(jù)進(jìn)行拓展，獲得原始數(shù)據(jù)多種表達(dá)，將其統(tǒng)稱(chēng)為特征拓展，拓展后獲得多流數(shù)據(jù)。

5.1 時(shí)域特征拓展

加窗處理是一種通用的序列數(shù)據(jù)處理方式，為了在時(shí)域空間拓展原始數(shù)據(jù)表達(dá)，本文采用加窗處理獲得每一幀數(shù)據(jù)，再對(duì)單幀數(shù)據(jù)運(yùn)用時(shí)域特征提取方法獲得該幀信號(hào)特征表達(dá)。與傳統(tǒng)特征提取方法相比，特征拓展后的數(shù)據(jù)仍為變長(zhǎng)的序列數(shù)據(jù)，而非固定維度的統(tǒng)計(jì)特征。

(1)均值拓展。

(1)

(2)標(biāo)準(zhǔn)差拓展。

(2)

(3)波長(zhǎng)變化拓展。

(3)

5.2 時(shí)頻域特征拓展

對(duì)于非平穩(wěn)的EMG肌電信號(hào)，時(shí)域序列不能刻畫(huà)所有特征,進(jìn)一步利用離散小波變換(dwt)提取信號(hào)時(shí)頻域特征。目前尚缺少明確理論指導(dǎo)小波基函數(shù)選擇[54],本文采用實(shí)驗(yàn)法確定合適的小波基函數(shù)Symlets4 (Sym4),該小波基如圖5(a)所示。

圖4 原始信號(hào)時(shí)域特征拓展結(jié)果Fig.4 Result of original signal time domain feature extension

選擇level=3層進(jìn)行小波變換,可以獲得原始信號(hào)的1層低頻系數(shù)和3層高頻系數(shù)，具體分解順序見(jiàn)圖5(b)，原始信號(hào)小波分解拓展如公式(4)所示：

(4)

原始信號(hào)經(jīng)小波變換后，獲得4層小波變換系數(shù)，圖6是小波變換結(jié)果。

5.3 頻域特征拓展

為了充分獲取原始信號(hào)頻域特征，利用離散傅立葉變換提取原始信號(hào)頻域特征，其計(jì)算方法如下：

(5)

由于傅立葉變換具有對(duì)稱(chēng)性，最終特征拓展序列只取前一半序列作為有效結(jié)果。通過(guò)在時(shí)域、時(shí)頻域?qū)υ夹盘?hào)進(jìn)行特征拓展后，原始信號(hào)的獲得了9種表示，可以作為RNN網(wǎng)絡(luò)輸入的多流數(shù)據(jù)，表1是所有數(shù)據(jù)拓展統(tǒng)計(jì)描述。

圖6 原始信號(hào)時(shí)頻域特征拓展結(jié)果Fig.6 Result of original signal time -frequency domain feature extension

表1 原始信號(hào)特征拓展序列描述

Tab.1 Original signal feature extension sequence description

特征拓展數(shù)據(jù)流符號(hào)表示長(zhǎng)度無(wú)拓展原始信號(hào)ST時(shí)域拓展均值拓展SavgT-N標(biāo)準(zhǔn)差SdevT-N波長(zhǎng)變化SwlcT-N時(shí)頻域拓展小波低頻系數(shù)Sdwt1約T/8小波中低頻系數(shù)Sdwt2約T/8小波中高頻系數(shù)Sdwt3約T/4小波高頻系數(shù)Sdwt4約T/2時(shí)域拓展離散傅立葉變換Sfft約T/2

5.4 標(biāo)準(zhǔn)化

MYO臂環(huán)獲取的序列數(shù)據(jù)數(shù)值較大，直接作為輸入容易導(dǎo)致RNN神經(jīng)網(wǎng)絡(luò)無(wú)法收斂，在特征拓展之后，需要對(duì)拓展所得多流輸入序列進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化方法如式(6)，式(7)所示：

(6)

(7)

6 組合RNN網(wǎng)絡(luò)設(shè)計(jì)

組合RNN網(wǎng)絡(luò)是本文所研究算法的核心，該網(wǎng)絡(luò)是建立在多流特征拓展序列的基礎(chǔ)上的，即原始信號(hào)存在多種不同的表達(dá)，因此采用組合RNN網(wǎng)絡(luò)可以連接這些表達(dá)。本章主要提出相關(guān)組合RNN網(wǎng)絡(luò)算法，用于處理多流特征拓展序列。

6.1 LSTM單元

有別于卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)共享參數(shù)的設(shè)計(jì)理念使得網(wǎng)絡(luò)擁有了記憶能力[55]，當(dāng)前網(wǎng)絡(luò)狀態(tài)不止受當(dāng)前輸入的影響，過(guò)去的輸入也會(huì)因?yàn)閰?shù)共享對(duì)其產(chǎn)生影響。因此RNN對(duì)于前后存在關(guān)聯(lián)的序列數(shù)據(jù)有很好的處理能力，本文的研究即應(yīng)用RNN網(wǎng)絡(luò)來(lái)處理EMG肌電信號(hào)序列。但最基本的RNN單元存在一個(gè)極大的問(wèn)題：長(zhǎng)時(shí)依賴(lài)問(wèn)題[56]，即RNN網(wǎng)絡(luò)總是傾向于只記住與當(dāng)前輸入臨近的輸入，而過(guò)去長(zhǎng)時(shí)間的輸入往往容易被遺忘。

解決序列信號(hào)長(zhǎng)時(shí)依賴(lài)問(wèn)題的一個(gè)有效方案是修改RNN單元結(jié)構(gòu)，LSTM單元便是為此而設(shè)計(jì)的，它通過(guò)相關(guān)門(mén)控制修改RNN單元結(jié)構(gòu)，使其具有長(zhǎng)期記憶能力，圖7是LSTM單元示意圖。

圖7 LSTM單元設(shè)計(jì)Fig.7 LSTM Unit Design

具體計(jì)算過(guò)程如下：

ft=σ(Wf·[ht-1,xt]+bf),

(8)

it=σ(Wi·[ht-1,xt]+bi),

(9)

(10)

(11)

ot=σ(Wo·[ht-1,xt]+bo),

(12)

ht=ot*tanh(Ct),

(13)

6.2 RNN網(wǎng)絡(luò)設(shè)計(jì)

本文研究采用RNN網(wǎng)絡(luò)處理不同特征拓展序列，由于訓(xùn)練樣本有限，網(wǎng)絡(luò)結(jié)構(gòu)不宜過(guò)于復(fù)雜，經(jīng)過(guò)完備的對(duì)比實(shí)驗(yàn)，具有最佳結(jié)果的RNN網(wǎng)絡(luò)為雙層設(shè)計(jì)，每層各有50個(gè)隱藏單元，每個(gè)隱藏單元獨(dú)立結(jié)構(gòu)為L(zhǎng)STM單元，具體如下圖8。

圖8 RNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 RNN network structure

6.3 組合RNN網(wǎng)絡(luò)

原始數(shù)據(jù)特征拓展后獲得多流特征序列S，Savg，Sdev，Swlc，Sdwt1，Sdwt2，Sdwt3，Sdwt4，Sfft，每一組單流序列都能獨(dú)立地代表原始信號(hào)特定特征，即單流序列均可作為手勢(shì)分類(lèi)的信號(hào)，這些原始信號(hào)多流特拓展可以增強(qiáng)識(shí)別結(jié)果，本文針對(duì)多流特征拓展序列提出了兩種組合RNN網(wǎng)絡(luò)處理方案。

6.3.1 多特征異步訓(xùn)練的組合RNN網(wǎng)絡(luò)

原始信號(hào)單流特征拓展數(shù)據(jù)是不定長(zhǎng)序列，選擇RNN網(wǎng)絡(luò)進(jìn)行分類(lèi)。因此對(duì)于多流特征最直觀的解決方案是，根據(jù)不同輸入序列，訓(xùn)練不同的RNN網(wǎng)絡(luò)驗(yàn)證單流效果。進(jìn)一步將多流輸入的RNN網(wǎng)絡(luò)輸出疊加，再次單獨(dú)訓(xùn)練一個(gè)全連接網(wǎng)絡(luò)進(jìn)行分類(lèi)。具體方案如下圖9所示。

錢(qián)納里將工業(yè)化進(jìn)程分為三個(gè)發(fā)展時(shí)期，包括六個(gè)階段：第一個(gè)時(shí)期以農(nóng)業(yè)經(jīng)濟(jì)為主導(dǎo)，屬于前工業(yè)化階段；第二個(gè)時(shí)期以工業(yè)經(jīng)濟(jì)為主導(dǎo)，是工業(yè)化實(shí)現(xiàn)和經(jīng)濟(jì)高速發(fā)展的階段，該階段又劃分為工業(yè)化初期、工業(yè)化中期和工業(yè)化后期三個(gè)階段；第三時(shí)期以服務(wù)業(yè)為主導(dǎo)，是經(jīng)濟(jì)穩(wěn)定增長(zhǎng)的階段，劃分為發(fā)達(dá)經(jīng)濟(jì)初級(jí)期和發(fā)達(dá)經(jīng)濟(jì)高級(jí)期兩個(gè)階段。參照錢(qián)納里與庫(kù)茲涅茨的評(píng)價(jià)指標(biāo)體系，本文選取人均GDP、三次產(chǎn)業(yè)結(jié)構(gòu)、三次產(chǎn)業(yè)就業(yè)結(jié)構(gòu)和人口城市化率作為衡量工業(yè)化發(fā)展水平的指標(biāo)。

異步訓(xùn)練的組合RNN網(wǎng)絡(luò)核心是處理多流特征拓展序列[1, 2, 3,…,k]，其中對(duì)于每一流輸入序列，都采用圖8所示RNN網(wǎng)絡(luò)結(jié)構(gòu)處理，該網(wǎng)絡(luò)直接輸出也是序列，需將輸出序列壓縮至一維序列，即進(jìn)行Many to One變換。變換方法是取輸出序列均值作為網(wǎng)絡(luò)最終輸出，對(duì)應(yīng)圖中均值池化輸出。再將多流序列的均值池化輸出連結(jié)，輸入由4個(gè)全連接網(wǎng)絡(luò)構(gòu)成的全連接層，圖中括號(hào)中數(shù)字表示全連接網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)。本研究是10種手勢(shì)分類(lèi)問(wèn)題，全連接層最終輸出為10維，可直接采用Softmax方法實(shí)現(xiàn)分類(lèi)預(yù)測(cè)。

6.3.2 多特征同步訓(xùn)練的組合RNN網(wǎng)絡(luò)

異步訓(xùn)練的組合網(wǎng)絡(luò)需要針對(duì)每個(gè)特征拓展數(shù)據(jù)流進(jìn)行多次訓(xùn)練，訓(xùn)練過(guò)程繁多且較為復(fù)雜，在特征拓展序列較少且訓(xùn)練樣本不多的情況下尚可較快實(shí)現(xiàn)，但是一種更優(yōu)設(shè)計(jì)思想是對(duì)多流特征拓展進(jìn)行同步訓(xùn)練，這樣可以顯著減少網(wǎng)絡(luò)訓(xùn)練步驟，本文同時(shí)提出并實(shí)現(xiàn)了同步訓(xùn)練的組合RNN網(wǎng)絡(luò)，如圖10所示。

圖9 異步訓(xùn)練的組合RNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.9 Asynchronous training combined RNN network structure

圖10 同步訓(xùn)練的組合RNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.10 Synchronous training combined RNN network structure

同步訓(xùn)練的組合RNN網(wǎng)絡(luò)同時(shí)接收多流(k流)特征拓展序列輸入，并采用k個(gè)結(jié)構(gòu)相似的RNN網(wǎng)絡(luò)同時(shí)處理這些多流序列，對(duì)每一流網(wǎng)絡(luò)輸出序列進(jìn)行均值池化，獲得單流RNN網(wǎng)絡(luò)結(jié)果輸出。與異步訓(xùn)練的組合RNN網(wǎng)絡(luò)相比，同步訓(xùn)練的RNN網(wǎng)絡(luò)對(duì)于多流序列輸入，不進(jìn)行輸出組合及全連接訓(xùn)練，而是直接進(jìn)行Softmax變換得到k個(gè)多流輸入的預(yù)測(cè)概率，并將所有預(yù)測(cè)概率相加作為最終預(yù)測(cè)概率，從而得到預(yù)測(cè)結(jié)果，完成手勢(shì)識(shí)別過(guò)程。其中，在同步訓(xùn)練的組合RNN網(wǎng)絡(luò)中不進(jìn)行全連接層訓(xùn)練，因?yàn)槿B接網(wǎng)絡(luò)參數(shù)較多，在小樣本訓(xùn)練集中，同步訓(xùn)練會(huì)干擾每個(gè)RNN網(wǎng)絡(luò)參數(shù)優(yōu)化過(guò)程，所以在同步訓(xùn)練方案中去除全連接層，采用類(lèi)投票的概率疊加進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)。以上兩種組合網(wǎng)絡(luò)訓(xùn)練，均選擇softmax交叉熵?fù)p失函數(shù)[58]，并添加L2正則約束，優(yōu)化器為Adam優(yōu)化器[59]。

7 實(shí)驗(yàn)與數(shù)據(jù)分析

MCI系統(tǒng)核心評(píng)估指標(biāo)是系統(tǒng)手勢(shì)識(shí)別準(zhǔn)確率，在本節(jié)中，我們?cè)O(shè)計(jì)了多類(lèi)實(shí)驗(yàn)對(duì)本文所提出的兩種組合RNN網(wǎng)絡(luò)進(jìn)行了詳細(xì)評(píng)估。首先驗(yàn)證算法有效性，單獨(dú)的算法效果檢測(cè)需要完備訓(xùn)練集與測(cè)試機(jī)，因此數(shù)據(jù)選擇是用戶(hù)依賴(lài)的，即訓(xùn)練與測(cè)試的數(shù)據(jù)來(lái)源于同一個(gè)用戶(hù)不同時(shí)間做出的動(dòng)作，這樣選擇可以顯著減小不同用戶(hù)的信號(hào)原始采集差異，如位置、力量強(qiáng)度等。組合RNN網(wǎng)絡(luò)的優(yōu)點(diǎn)更應(yīng)該體現(xiàn)在其實(shí)現(xiàn)的MCI系統(tǒng)泛化性強(qiáng)，即非用戶(hù)依賴(lài)時(shí)依然能取得優(yōu)異表現(xiàn)，因此用戶(hù)獨(dú)立的算法泛化性需要分離訓(xùn)練與測(cè)試數(shù)據(jù)用戶(hù)，這更符合真實(shí)的MCI系統(tǒng)應(yīng)用，因?yàn)橥ㄓ肕CI系統(tǒng)需要新用戶(hù)友好性。經(jīng)過(guò)兩方面驗(yàn)證，最后是完整的算法實(shí)踐，即MCI系統(tǒng)測(cè)試。

7.1 用戶(hù)依賴(lài)的算法有效性驗(yàn)證

為了評(píng)估本文所提出特征拓展序列對(duì)原始信號(hào)的表達(dá)能力，驗(yàn)證組合RNN網(wǎng)絡(luò)結(jié)構(gòu)的效果，對(duì)數(shù)據(jù)庫(kù)內(nèi)所有有效動(dòng)作進(jìn)行5折交叉驗(yàn)證，同時(shí)分別將單個(gè)RNN網(wǎng)絡(luò)分類(lèi)結(jié)果與組合RNN結(jié)果分類(lèi)結(jié)果進(jìn)行對(duì)比，來(lái)確定不同特征序列及網(wǎng)絡(luò)結(jié)構(gòu)的有效性。具體方案為：5折交叉驗(yàn)證1∶35位被試每人都操作10類(lèi)動(dòng)作約20次，每次驗(yàn)證將每位被試各類(lèi)動(dòng)作按4:1的比例分為訓(xùn)練集與測(cè)試集，其中5次交叉驗(yàn)證訓(xùn)練集間無(wú)交叉，5次訓(xùn)練集并集為完整數(shù)據(jù)集。

用戶(hù)依賴(lài)的算法有效性驗(yàn)證非本文研究重點(diǎn)，選擇易于訓(xùn)練的同步訓(xùn)練的組合RNN網(wǎng)絡(luò)進(jìn)行測(cè)試，表2是采用該方案不同特征流序列識(shí)別結(jié)果。

表2 原始數(shù)據(jù)同步訓(xùn)練組合RNN網(wǎng)絡(luò)5折交叉驗(yàn)證結(jié)果

根據(jù)上表，同步訓(xùn)練的RNN網(wǎng)絡(luò)5折交叉驗(yàn)證實(shí)驗(yàn)中本文所提算法識(shí)別率較為穩(wěn)定，其中原始信號(hào)s，dwt4，avg三類(lèi)特征拓展5折識(shí)別率標(biāo)準(zhǔn)差大于10%，整體而言5折驗(yàn)證結(jié)果相差不多，所有手勢(shì)識(shí)別準(zhǔn)確率為90.78%，即絕大部分手勢(shì)都可以被正確識(shí)別，算法是有效的。同時(shí)，多流數(shù)據(jù)中不同特征拓展信號(hào)表達(dá)能力不同，其中表現(xiàn)時(shí)域標(biāo)準(zhǔn)差(std)拓展表現(xiàn)較好，準(zhǔn)確率達(dá)到了84.44%，而原始信號(hào)(s)、波長(zhǎng)變化(wlc)結(jié)果較差，識(shí)別準(zhǔn)確率較低。

從時(shí)頻域方面考慮，識(shí)別結(jié)果較好的特征拓展是小波變換高頻系數(shù)識(shí)別結(jié)果略?xún)?yōu)于小波低頻系數(shù)，可以看到原始信號(hào)有效頻率更多分布在高頻部分，而且所有數(shù)據(jù)識(shí)別準(zhǔn)確率隨著從小波低頻系數(shù)到小波變換高頻系數(shù)逐漸增大，由最低72.20%增加到78.39%，小波高頻系數(shù)包含增強(qiáng)分類(lèi)效果的信息。

通過(guò)算法有效性驗(yàn)證，可以看到該組合RNN網(wǎng)絡(luò)結(jié)構(gòu)可以對(duì)稀疏多通道EMG信號(hào)進(jìn)行有效分類(lèi)，交叉驗(yàn)證分類(lèi)準(zhǔn)確率達(dá)90.78%，并且在小樣本量時(shí)下也有較好表現(xiàn)。進(jìn)一步，不同的特征拓展方案對(duì)識(shí)別準(zhǔn)確率有不同影響，使用組合RNN網(wǎng)絡(luò)方案可以較好地提升識(shí)別結(jié)果。由于尚少有研究者利用RNN網(wǎng)絡(luò)進(jìn)行稀疏多通道EMG信號(hào)分類(lèi)研究，而深度學(xué)習(xí)相關(guān)的EMG信號(hào)分類(lèi)研究主要集中在采用CNN網(wǎng)絡(luò)對(duì)瞬時(shí)肌電信號(hào)分類(lèi)，與稀疏多通道信號(hào)相異，所以用戶(hù)依賴(lài)的實(shí)驗(yàn)中，本文采用傳統(tǒng)算法SVM算法進(jìn)行對(duì)比測(cè)試。

SVM算法[60]：該算法選擇原始信號(hào)8通道絕對(duì)值均值作為相應(yīng)通道特征，進(jìn)行相同的5折交叉驗(yàn)證，結(jié)果顯示在小樣本下SVM算法也具有優(yōu)良表現(xiàn)，下表4是每個(gè)動(dòng)作識(shí)別結(jié)果。采用SVM分類(lèi)方法，在用戶(hù)依賴(lài)的情況下進(jìn)行完整訓(xùn)練集五折交叉驗(yàn)證，平均識(shí)別準(zhǔn)確率達(dá)84.35%，識(shí)別結(jié)果較同步訓(xùn)練的組合RNN方案差。由此可見(jiàn)，對(duì)于用戶(hù)依賴(lài)時(shí)，SVM算法也可以區(qū)分不同動(dòng)作，且準(zhǔn)確率近85%。

表3 所有動(dòng)作識(shí)別結(jié)果混淆矩陣

表4 用戶(hù)依賴(lài)時(shí)SVM算法識(shí)別結(jié)果

7.2 用戶(hù)獨(dú)立的人群泛化性驗(yàn)證

人體表面EMG信號(hào)是生物電信號(hào)，個(gè)體差異性大，受身高、體重、性別、情緒、是否接受過(guò)訓(xùn)練等眾多因素影響。雖然在訓(xùn)練集中加入個(gè)人動(dòng)作，可以減小個(gè)體差異影響，但實(shí)際MCI應(yīng)用系統(tǒng)中，系統(tǒng)初次使用者信息往往并未加入訓(xùn)練集，而在訓(xùn)練集樣本有限時(shí)，MCI系統(tǒng)魯棒性尤為重要。因此本文進(jìn)行了用戶(hù)獨(dú)立的人群泛化性驗(yàn)證實(shí)驗(yàn)。其中為保證用戶(hù)獨(dú)立，進(jìn)行數(shù)據(jù)集5折交叉驗(yàn)證2。將35位被試均分為5組，每組被試7名。每次驗(yàn)證時(shí)選擇其中4組28人所有動(dòng)作作為訓(xùn)練集，另一組7人所有動(dòng)作作為測(cè)試集。在劃分好訓(xùn)練集與測(cè)試集后，采用不同方案進(jìn)行完備的人群泛化性實(shí)驗(yàn)。

7.2.1 異步訓(xùn)練的組合RNN網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

原始數(shù)據(jù)5折劃分，每一折劃分又經(jīng)過(guò)9類(lèi)特征拓展，共進(jìn)行45次異步RNN網(wǎng)絡(luò)訓(xùn)練；進(jìn)一步將9類(lèi)特征拓展序列的RNN網(wǎng)絡(luò)輸出結(jié)果組合，進(jìn)行5次全連接層參數(shù)訓(xùn)練，從而獲得最后的異步訓(xùn)練組合RNN網(wǎng)絡(luò)結(jié)果。異步訓(xùn)練時(shí)，每一流特征拓展都可以達(dá)到各自分類(lèi)最佳結(jié)果，表5是各類(lèi)特征在全部數(shù)據(jù)集中的加權(quán)識(shí)別結(jié)果。

表5 非用戶(hù)依賴(lài)異步組合RNN網(wǎng)絡(luò)各類(lèi)特征拓展識(shí)別結(jié)果

Tab.5 Non-user-dependent recognition results of expand features using asynchronous combined RNN network

序號(hào)特征PrecisionRecallF1score0原始信號(hào)75.4775.3575.361均值72.3071.9671.962標(biāo)準(zhǔn)差72.7872.2372.433波長(zhǎng)變化72.1971.8571.974dwt160.6060.3860.425dwt260.9560.4660.636dwt360.9660.8860.837dwt461.0760.5160.678fft52.9653.2353.019融合(FC)78.3378.0178.10

表結(jié)果與同步訓(xùn)練的RNN網(wǎng)絡(luò)有一定區(qū)別，主要表現(xiàn)為時(shí)域特征拓展結(jié)果顯著優(yōu)于時(shí)頻域、頻域特征拓展，對(duì)此一個(gè)可能的原因?yàn)樵紨?shù)據(jù)采樣率較低，頻率失真嚴(yán)重，因此時(shí)域特征拓展更優(yōu)。

圖11 異步訓(xùn)練的組合RNN網(wǎng)絡(luò)識(shí)別結(jié)果Fig.11 Recognition results of asynchronous training combined RNN network

采用異步訓(xùn)練的組合RNN網(wǎng)絡(luò)的最終識(shí)別結(jié)果如圖11所示，異步訓(xùn)練的組合RNN網(wǎng)絡(luò)在所有數(shù)據(jù)集中，5折交叉驗(yàn)證準(zhǔn)確率為78.01%，其中外揮、內(nèi)揮、握拳、響指四個(gè)動(dòng)作的區(qū)分度最高，即在非用戶(hù)依賴(lài)時(shí)，以上4個(gè)動(dòng)作仍然較易區(qū)分。而混淆識(shí)別主要發(fā)生在勝利-否認(rèn)、舒張-抓握、停留-否認(rèn)之間，這3種情況中動(dòng)作兩兩之間主觀肌肉牽拉感相近，由此消除用戶(hù)依賴(lài)的方法可以從考慮，即增強(qiáng)相似動(dòng)作區(qū)分度。

7.2.2 同步訓(xùn)練的組合RNN網(wǎng)絡(luò)實(shí)驗(yàn)

本研究進(jìn)一步測(cè)試了同步訓(xùn)練的RNN網(wǎng)絡(luò)，網(wǎng)絡(luò)所有參數(shù)是一次訓(xùn)練即可獲得，由于原始數(shù)據(jù)進(jìn)行了5折劃分，所以一共5次參數(shù)訓(xùn)練。相較于異步訓(xùn)練的組合網(wǎng)絡(luò)方案，該方案訓(xùn)練效率顯著增強(qiáng)。

用戶(hù)依賴(lài)的算法有效性驗(yàn)證的實(shí)驗(yàn)中，雖然不同特征序列拓展方案對(duì)準(zhǔn)確率影響不盡相同，但是組合RNN網(wǎng)絡(luò)融合所有特征序列可以有效增強(qiáng)識(shí)別結(jié)果。這一結(jié)論在人群泛化性實(shí)驗(yàn)中依舊成立：即在不使用自身手勢(shì)做訓(xùn)練時(shí)，不同特征序列拓展都可以表征原始信號(hào)用于手勢(shì)識(shí)別，且融合多特征拓展序列的RNN網(wǎng)絡(luò)識(shí)別結(jié)果顯著提升。

圖12中選擇展示了3流特征序列拓展與最后組合方案的個(gè)體識(shí)別結(jié)果，可以看到組合識(shí)別結(jié)果是最佳的，同時(shí)波長(zhǎng)變化特征拓展(wlc)識(shí)別結(jié)果仍舊最差。本文MCI系統(tǒng)人群平均識(shí)別準(zhǔn)確率為77.13%，但是個(gè)體差異較大，大部分個(gè)體動(dòng)作識(shí)別準(zhǔn)確率均超過(guò)70%，其中6，16，21號(hào)3名被試識(shí)別準(zhǔn)確率低于60%。同步訓(xùn)練的組合RNN網(wǎng)絡(luò)最終識(shí)別結(jié)果如圖13，該結(jié)果與異步訓(xùn)練的網(wǎng)絡(luò)識(shí)別相近，最終識(shí)別準(zhǔn)確率相差僅0.88%，而且不同動(dòng)作之間的區(qū)分情況也高度類(lèi)似，存在相同的區(qū)分手勢(shì)與不易區(qū)分手勢(shì)。由此異步訓(xùn)練的組合RNN與同步訓(xùn)練的RNN網(wǎng)絡(luò)表現(xiàn)相近，兩者一定程度上可以相互替代。

圖12 不同被試多流數(shù)據(jù)識(shí)別結(jié)果Fig.12 Multi-stream data recognition results of different users

7.2.3 SVM識(shí)別結(jié)果

為了進(jìn)一步比較本文所提出基于循環(huán)神經(jīng)網(wǎng)絡(luò)算法有效性，對(duì)于非用戶(hù)依賴(lài)數(shù)據(jù)繼續(xù)測(cè)試傳統(tǒng)SVM算法，其中特征選擇部分增加采樣，即每通道數(shù)據(jù)分段，取多次均值作為通道特征。該算法識(shí)別結(jié)果如圖14所示。

圖14 非用戶(hù)依賴(lài)SVM算法識(shí)別結(jié)果Fig.14 Non-user-dependent recognition result of SVM algorithm

在非用戶(hù)依賴(lài)情況下，傳統(tǒng)SVM算法識(shí)別準(zhǔn)確率也呈現(xiàn)下降趨勢(shì)，最終準(zhǔn)確率只有70.96%，顯著低于基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果，由此本文所提出的組合RNN網(wǎng)絡(luò)在非用戶(hù)依賴(lài)時(shí)有效性高于傳統(tǒng)SVM算法。

7.3 MCI系統(tǒng)測(cè)試

MCI系統(tǒng)一般需要良好的人機(jī)交互體驗(yàn)，實(shí)時(shí)性也不可忽略，考慮到某些特征拓展如波長(zhǎng)累積變化(Wlc)對(duì)準(zhǔn)確率影響不大，本文從提出的多流特征拓展方案中選擇其中小波中高頻、小波高頻、標(biāo)準(zhǔn)差、原始信號(hào)四流特征序列進(jìn)行組合，并采用所有數(shù)據(jù)訓(xùn)練了用于實(shí)時(shí)識(shí)別的同步訓(xùn)練的組合RNN網(wǎng)絡(luò)，進(jìn)行了實(shí)時(shí)識(shí)別測(cè)試。

選擇了3名被試每位被試每個(gè)動(dòng)作進(jìn)行操作10次，共計(jì)300個(gè)實(shí)時(shí)動(dòng)作。其中被系統(tǒng)有效檢測(cè)到的有效動(dòng)作為296個(gè)，2.1節(jié)所提出的動(dòng)作分割方案準(zhǔn)確率為98.66%，完成每個(gè)動(dòng)作到動(dòng)作被識(shí)別延遲時(shí)間為61.7 ms，系統(tǒng)實(shí)時(shí)性高，3名被試動(dòng)作識(shí)別時(shí)間如下表6；所有有效動(dòng)作中，被準(zhǔn)確識(shí)別的動(dòng)作有243個(gè)，具體識(shí)別結(jié)果如下表7，實(shí)時(shí)動(dòng)作識(shí)別準(zhǔn)確率為82.09%，MCI系統(tǒng)準(zhǔn)確性好。

表6 3名被試不同動(dòng)作識(shí)別時(shí)間

Tab.6 Different action recognition times of three participants

(ms)

表7 實(shí)時(shí)識(shí)別結(jié)果

文章一共設(shè)計(jì)了3類(lèi)實(shí)驗(yàn)，從不同方面對(duì)本文研究所提出的算法及系統(tǒng)設(shè)計(jì)進(jìn)行驗(yàn)證，區(qū)分了不同特征拓展序列對(duì)原始信號(hào)表達(dá)能力而且進(jìn)一步通過(guò)人群泛化性研究分析了算法對(duì)個(gè)體差異性的處理能力，并分析同步與異步訓(xùn)練的組合RNN網(wǎng)絡(luò)結(jié)構(gòu)有效性與結(jié)果相近性，最后通過(guò)實(shí)時(shí)測(cè)試評(píng)估MCI系統(tǒng)的效果。根據(jù)結(jié)果分析可以發(fā)現(xiàn)，不同特征拓展序列都能表達(dá)原始信號(hào)，且大都比原始信號(hào)序列有效，其中時(shí)域標(biāo)準(zhǔn)差拓展結(jié)果最優(yōu)。兩類(lèi)組合RNN網(wǎng)絡(luò)框架都能有效提升識(shí)別效果，最終識(shí)別準(zhǔn)確率超過(guò)90%；同時(shí)組合RNN網(wǎng)絡(luò)泛化性能較好，在人群中識(shí)別準(zhǔn)確性達(dá)到78.01%；本文所提出的兩個(gè)組合RNN網(wǎng)絡(luò)方案在識(shí)別結(jié)果上具有相近性，兩者準(zhǔn)確率無(wú)明顯優(yōu)劣，為了訓(xùn)練效率，同步訓(xùn)練的組合RNN網(wǎng)絡(luò)更適合廣泛應(yīng)用；而且本文所設(shè)計(jì)的MCI系統(tǒng)具有實(shí)時(shí)性與有效性，以此為基礎(chǔ)可以應(yīng)用于更多其他研究。

8 結(jié) 論

本文提出了基于RNN網(wǎng)絡(luò)的稀疏多通道EMG肌電信號(hào)MCI手勢(shì)識(shí)別系統(tǒng)，系統(tǒng)通過(guò)對(duì)原始信號(hào)進(jìn)行時(shí)域、時(shí)頻域特征拓展，獲得含有原始信號(hào)信息的多流特征序列，再采用組合RNN網(wǎng)絡(luò)將多流特征序列結(jié)合，獲得最后識(shí)別結(jié)果。在本研究收集的數(shù)據(jù)庫(kù)中進(jìn)行用戶(hù)依賴(lài)的算法有效性測(cè)試，識(shí)別準(zhǔn)確率達(dá)90.78%，絕大多數(shù)手勢(shì)均被準(zhǔn)確識(shí)別；兩類(lèi)組合RNN網(wǎng)絡(luò)在用戶(hù)獨(dú)立的人群泛化性方面都表現(xiàn)良好，能顯著降低用戶(hù)個(gè)體差異，平均識(shí)別準(zhǔn)確率達(dá)78.01%，兩種組合方式識(shí)別結(jié)果無(wú)明顯差異，準(zhǔn)確率相近，但是同步訓(xùn)練的組合RNN網(wǎng)絡(luò)更易于訓(xùn)練，因此更適合廣泛應(yīng)用。基于同步訓(xùn)練的組合RNN網(wǎng)絡(luò)實(shí)現(xiàn)的MCI系統(tǒng)實(shí)時(shí)性好，可以在61.7 ms內(nèi)完成實(shí)時(shí)動(dòng)作識(shí)別，平均準(zhǔn)確率達(dá)82.09%。

基于所有實(shí)驗(yàn)結(jié)果，組合RNN網(wǎng)絡(luò)在稀疏多通道EMG信號(hào)識(shí)別方面有良好效果，而且在用戶(hù)獨(dú)立時(shí)，算法分類(lèi)效果顯著優(yōu)于傳統(tǒng)SVM算法，由此拓展了深度學(xué)習(xí)方法在EMG信號(hào)識(shí)別方面的研究。同時(shí)基于RNN網(wǎng)絡(luò)實(shí)現(xiàn)的MCI系統(tǒng)保留有較高的實(shí)時(shí)性，而且識(shí)別率顯著提升，本研究提出的獨(dú)立的MCI系框架可以進(jìn)一步拓展應(yīng)用到其他研究。