李自由 趙新剛 張 弼 丁其川 張道輝 韓建達(dá) ,5

表面肌電信號(hào)(Surface electromyography,sEMG)是由運(yùn)動(dòng)關(guān)聯(lián)肌肉的運(yùn)動(dòng)單元?jiǎng)幼麟娢?Motor unit action potential,MUAP)沿著肌纖維方向傳播,在人體皮膚表面形成的疊加電信號(hào).該信號(hào)直接反映了引起肢體運(yùn)動(dòng)的肌肉收縮狀態(tài),可從中解碼出運(yùn)動(dòng)直接關(guān)聯(lián)意圖,其中蘊(yùn)含豐富的肌肉收縮力、關(guān)節(jié)力矩等信息,廣泛應(yīng)用于識(shí)別數(shù)十種肢體狀態(tài)或預(yù)測關(guān)節(jié)連續(xù)信息[1];sEMG 相對于刺入式肌電信號(hào)(Intramuscular EMG,iEMG)而言,采集方式簡單,易于構(gòu)建集成系統(tǒng)和開發(fā)可穿戴設(shè)備.

因此,sEMG 廣泛應(yīng)用于助力機(jī)器人、康復(fù)機(jī)器人與智能假肢等系統(tǒng)中,在人機(jī)協(xié)作型機(jī)器人中也逐漸成為研究熱點(diǎn)[2-3].與傳統(tǒng)的程式控制機(jī)器人交互方式相比,基于sEMG 的人機(jī)交互方式賦予了機(jī)器人智能性與認(rèn)知能力,具有主動(dòng)感知人行為意圖的能力,有利于實(shí)現(xiàn)人機(jī)的自然、直覺與準(zhǔn)確交互.尤其對殘疾人而言,肌電假肢自然直覺的控制方式,能夠極大地提高他們的生活質(zhì)量.

為了滿足不同場景下的人機(jī)交互需求,基于sEMG 的人體意圖識(shí)別方法,從起初基于幅值的閾值判別法,慢慢發(fā)展為基于模式識(shí)別和機(jī)器學(xué)習(xí)的研究思路,其主要遵從有監(jiān)督學(xué)習(xí)的基本范式,如圖1 所示.其處理流程一般包含:離線的模型訓(xùn)練和在線的意圖識(shí)別.第1 階段如該圖的虛線箭頭所示,首先要求用戶根據(jù)實(shí)驗(yàn)場景需求,獲取已知?jiǎng)幼鳂?biāo)簽對應(yīng)的肌電信號(hào)數(shù)據(jù),經(jīng)數(shù)據(jù)預(yù)處理和特征提取等環(huán)節(jié),肌電信號(hào)特征與動(dòng)作標(biāo)簽共同完成模型的訓(xùn)練.而在第2 階段的在線意圖識(shí)別中,已經(jīng)訓(xùn)練完成的識(shí)別模型對在線的肌電信號(hào)進(jìn)行同樣數(shù)據(jù)預(yù)處理和特征提取等環(huán)節(jié),最后對輸入的肌電信號(hào)輸出識(shí)別結(jié)果.

圖1 基于監(jiān)督學(xué)習(xí)的sEMG 識(shí)別模型訓(xùn)練與測試框架Fig.1 The training and testing framework of sEMG recognition model based on supervised learning

依據(jù)識(shí)別模型的輸出類型可分為兩類問題:離散動(dòng)作分類和連續(xù)運(yùn)動(dòng)估計(jì).在離散動(dòng)作分類識(shí)別方面,由起初的張手和閉合的二分類問題,逐漸發(fā)展成對幾十種手部/腕部動(dòng)作識(shí)別[4-5];針對其中10種左右的常見手勢識(shí)別,其基本識(shí)別精度高達(dá)90%.在連續(xù)運(yùn)動(dòng)估計(jì)方面,對人體上/下肢多關(guān)節(jié)的角度估計(jì)誤差約為5° 或更低[6-7].

采用閾值判別法或模式識(shí)別方法的一個(gè)基本假設(shè),即訓(xùn)練集與測試集符合相同的分布.然而在實(shí)際日常生活的肌電交互過程中,往往會(huì)存在多種差異或干擾,造成肌電信號(hào)的訓(xùn)練集與測試集的分布明顯不同,最終導(dǎo)致肌電識(shí)別準(zhǔn)確性低、交互效果差[8].目前大部分比較好的識(shí)別結(jié)果往往來自于無干擾情況或?qū)嶒?yàn)室理想環(huán)境,未充分考慮肌電交互系統(tǒng)在日常使用中的潛在差異或干擾.相對于實(shí)驗(yàn)室的理想環(huán)境,本文將肌電系統(tǒng)在實(shí)際中可能涉及到的差異或干擾統(tǒng)稱為“非理想因素”,存在“非理想因素”的日常環(huán)境即為“非理想條件”.這些非理想因素包括:電極偏移、個(gè)體性差異、肌肉疲勞、姿態(tài)干擾、其他干擾或多種因素的綜合干擾.

前期已有學(xué)者總結(jié)了sEMG 的一般處理方法或應(yīng)用場景,多側(cè)重在理想場景或無干擾的情況下如何識(shí)別更多類別,通過對比分析不同特征處理、降維方法和識(shí)別模型等環(huán)節(jié),以提高肌電識(shí)別的精度和準(zhǔn)確性[1];對目前大量克服單個(gè)干擾的研究,鮮有文獻(xiàn)總結(jié)肌電系統(tǒng)魯棒性方面的研究現(xiàn)狀和進(jìn)展,更缺乏對實(shí)際應(yīng)用中存在的諸多干擾因素給出應(yīng)對方案的歸納和建設(shè)性的技術(shù)展望.

因此,本文首先綜述了在各種非理想條件中非理想因素干擾的影響程度或性質(zhì),并總結(jié)歸納了目前研究針對各個(gè)干擾的消除與克服方法;然后整體性討論了各個(gè)非理想因素之間的耦合性和過渡性,以及目前研究中存在的主要問題;最后本文從構(gòu)建統(tǒng)一的數(shù)據(jù)集測試平臺(tái)等作為切入點(diǎn),對未來該領(lǐng)域的研究內(nèi)容提出了一些展望,為進(jìn)一步推廣肌電交互系統(tǒng)提供切實(shí)可行的技術(shù)方案.

1 非理想條件下的干擾因素

本節(jié)主要針對肌電識(shí)別系統(tǒng)的準(zhǔn)確性和魯棒性問題,分別從肌電采集技術(shù)的差異性和源于人的差異性兩方面綜述了相關(guān)干擾因素.前者主要表現(xiàn)為電極偏移的干擾,后者包括人與人之間的個(gè)體性差異,以及源自人體內(nèi)部的肌肉疲勞、肢體姿態(tài)等干擾.

1.1 電極偏移

諸多非理想場景下,電極偏移是其中較為普遍出現(xiàn)的干擾因素之一,主要源于電極或肌電假肢接受腔多次粘貼、固定后的位置不完全一致.對使用者而言,一方面嚴(yán)格要求與之前相同的粘貼位置,既不現(xiàn)實(shí)且增加使用難度;另一方面,每次重新粘貼肌電電極或再次穿戴肌電假肢后,重新獲取大量有監(jiān)督標(biāo)簽下的訓(xùn)練數(shù)據(jù),重新訓(xùn)練分類模型,也比較費(fèi)時(shí)費(fèi)力.這些方式都對用戶不友好,造成使用門檻過高,或因訓(xùn)練時(shí)間過長而增加學(xué)習(xí)負(fù)擔(dān),最終放棄使用肌電交互系統(tǒng)或假肢.

電極偏移最根本性的影響,即偏移前后同一電極測量的肌肉位置不同,導(dǎo)致特征分布明顯不同.由于各通道肌電信號(hào)變化而引起的特征空間分布變化,傳統(tǒng)基于模式識(shí)別方法的固定模型表現(xiàn)較差,大大降低了肌電識(shí)別系統(tǒng)的準(zhǔn)確性.

Hudgins 等[9]最早利用單通道的差分電極用于識(shí)別4 類動(dòng)作,針對電極偏移的精度影響開展了實(shí)驗(yàn)性探究,實(shí)驗(yàn)結(jié)果表明在假肢固定接受腔小范圍內(nèi)的偏移(小于1 cm)時(shí),電極偏移對精度影響不大,而當(dāng)偏移距離變大時(shí)會(huì)明顯降低肌電識(shí)別精度.Stango 等[10]利用高密度表面肌電傳感器(Highdensity sEMG,HD-sEMG),研究了不同位置下的肌電信號(hào)空間相關(guān)性和受電極干擾的影響程度,表示為

其中,E(·)表示數(shù)學(xué)期望,Z(x)和 Z(x+h)表示兩個(gè)隨機(jī)位置處的采集結(jié)果,h 表示兩個(gè)位置之間的空間距離,γ(·)定義為一種空間分布結(jié)果的變異函數(shù)(Variogram).

大量相關(guān)研究更加細(xì)致地對比了在肌纖維橫向、縱向、旋轉(zhuǎn)等方向或距離維度上的干擾程度,主要研究結(jié)果表明:1)在電極布局上,平行于肌纖維方向的差分電極更容易捕獲準(zhǔn)確的肌電信號(hào),而非垂直于肌纖維方向(即,沿著肌肉方向固定電極,目前已成為該領(lǐng)域的一般做法);2)平行方向上的電極偏移干擾效應(yīng)小于垂直方向偏移干擾;3)電極與肌肉的接觸面積越大,越有利于提高肌電識(shí)別準(zhǔn)確率和保證系統(tǒng)魯棒性[11–14].

盡管假肢的接受腔在一定程度上能通過穿戴方式保證小范圍的電極偏移,但在實(shí)驗(yàn)室和日常條件下,涉及的電極類型或偏移形式多種多樣,如離散稀疏單通道肌電電極,類似于Myo 肌電手環(huán)類的環(huán)形多通道電極和高密度表面肌電電極HD-sEMG[13–15](如圖2 所示).因此,在諸多實(shí)際使用場景中,肌電電極偏移現(xiàn)象是一個(gè)易出現(xiàn)且影響較大的干擾因素.

圖2 不同電極的偏移形式Fig.2 The offset form of different electrodes

因此,為了克服電極偏移引起的識(shí)別精度下降和系統(tǒng)魯棒性降低問題,按照如圖1 所示肌電識(shí)別框架內(nèi)的關(guān)鍵環(huán)節(jié),分別探討在數(shù)據(jù)、特征和模型等不同環(huán)節(jié)內(nèi)用于消除或解決電極偏移干擾問題的方法.

1)融合不同偏移位置下的多模數(shù)據(jù).在有監(jiān)督學(xué)習(xí)的模型訓(xùn)練中,一方面可以增加訓(xùn)練數(shù)據(jù)的數(shù)量,通過引入更多電極測量更多或更精細(xì)的肌肉位置,這種方式通過豐富訓(xùn)練數(shù)據(jù)集或包含更多電極場景,來拓展模型的覆蓋能力或泛化性能.Hargrove 等[13,16]提出一種模型訓(xùn)練策略,采集所有電極偏移位置上的數(shù)據(jù)用于模型訓(xùn)練,相對于一般模型訓(xùn)練方式提高了10%的識(shí)別精度.He 等[12]利用HD-sEMG 采集系統(tǒng),實(shí)驗(yàn)表明多通道相對于少通道而言,更有利于提高干擾下的肌電識(shí)別精度,32通道的肌電信號(hào)在電極偏移情況下(最大偏移1 cm)獲得比少通道肌電更好的識(shí)別精度.另一方面,將肌電信號(hào)與其他類型傳感器融合,如慣導(dǎo)(Inertial measurement unit,IMU)等,也能提高模型在電極偏移干擾的魯棒性[17-18].

2)提取電極偏移不敏感的特征.在特征提取環(huán)節(jié),如果能構(gòu)造具有電極偏移無關(guān)的特征空間,將極大地提高系統(tǒng)的魯棒性;同時(shí),也能夠降低因?yàn)閿?shù)據(jù)量或數(shù)據(jù)類型擴(kuò)增而引起的數(shù)據(jù)采集階段和模型訓(xùn)練階段的耗時(shí).研究表明,自回歸系數(shù)特征(Autoregressive features,AR)、時(shí)域與自回歸系數(shù)結(jié)合的特征(Combination of time-domain and AR feature,TDAR),比TD (Time-domain)特征對電極偏移干擾具有更好的魯棒性,在10 類常見的手部或腕部動(dòng)作中,識(shí)別誤差由30%下降為10%左右[16,19];Tkach 等[20]提出了EMG 的自回歸系數(shù)特征和倒頻譜系數(shù)(cepstrum coefficients)特征,Stango 等[10]提出了Variogram 特征,Boschmann等[21]利用結(jié)構(gòu)相似性特征(Structural similarity index);Pan 等[22]提出了共空間模式(Common spatial patterns,CSP)特征,并與傳統(tǒng)的TDAR和Variogram 等特征進(jìn)行了對比,取得了更高的識(shí)別精度,表明該特征具有更好的電極偏移等干擾的不敏感性.更進(jìn)一步,He 等[14]借鑒了圖像處理領(lǐng)域的紋理信息——灰度共生矩陣,提取二維肌電信號(hào)中所構(gòu)成肌肉活躍圖的紋理信息,并將陣列式電極首尾連接,進(jìn)一步改進(jìn)了紋理特征,表現(xiàn)出明顯的電極位置無關(guān)優(yōu)勢.另一方面,Huang 等[23]利用非負(fù)矩陣分解(Nonnegative matrix factorization,NMF)技術(shù),提出了一種半監(jiān)督方式,將原特征空間映射到隱變量新空間,表現(xiàn)出對通道數(shù)目和偏移位置不敏感的優(yōu)點(diǎn).

3)更新模型適應(yīng)不同偏移位置.遷移學(xué)習(xí)(Transfer learning)或領(lǐng)域自適應(yīng)(Domain adaptation)技術(shù)常常被引入以解決這類干擾變化,使得模型具有更新能力,以適應(yīng)不同的信號(hào)特征.Amsuss 等[24-25]在識(shí)別模型的結(jié)果上進(jìn)行后處理作為模型自修正,降低模型因?yàn)殡姌O干擾引起的誤分類,或采用協(xié)方差偏移適應(yīng)(Covariate shift adaptation)等遷移學(xué)習(xí)方法適應(yīng)電極偏移等干擾.Prahm 等[15,26]和Paaβen 等[27]針對Myo 的旋轉(zhuǎn)偏移干擾問題,采用期望最大化的遷移學(xué)習(xí)(Expectation maximization transfer learning)估計(jì)因電極偏移前后肌電信號(hào)在特征空間中分布的關(guān)系(假設(shè)為一種線性映射),僅利用少量訓(xùn)練數(shù)據(jù)將預(yù)訓(xùn)練模型適用于不同干擾下的肌電識(shí)別場景.丁其川等[28-29]提出一種自適應(yīng)增量式混合分類器(Adaptive incremental hybrid classifier,AIHC)用于應(yīng)對因重復(fù)穿戴后引起的電極偏移干擾.李自由等[30]針對環(huán)形Myo 肌電傳感器,提出一種基于極坐標(biāo)系內(nèi)的活躍極角概念,用于估計(jì)不同旋轉(zhuǎn)位置之間的偏移程度,并基于該偏移程度提出了自適應(yīng)校正方法,無需識(shí)別模型的再次訓(xùn)練,僅利用少量單類別數(shù)據(jù),實(shí)現(xiàn)了常見手部8 動(dòng)作識(shí)別.Amma 等[31]基于HD-sEMG 構(gòu)建了CSL-HDEMG 數(shù)據(jù)集,并針對會(huì)話間的電極偏移問題,提出了兩種偏移估計(jì)方法:利用少量校正數(shù)據(jù)估計(jì)小臂尺骨位置和肌肉活躍中心位置,并以此進(jìn)行偏移干擾的sEMG 校正,將識(shí)別精度由未校正的59%提升至75%.Ameri 等[32]通過卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的方法,僅利用少量肌電更新數(shù)據(jù),同時(shí)克服了個(gè)體性差異與電極偏移的綜合干擾.

1.2個(gè)體性差異

盡管人體的骨骼和肌肉分布大致相同,但個(gè)體間在諸多方面的差異性(既包括個(gè)體的身高、體重、身體質(zhì)量指數(shù)(Body mass index,BMI)、肌肉表層的脂肪含量等差異,也包括不同個(gè)體在執(zhí)行動(dòng)作時(shí)的肌肉收縮方式和肌肉收縮力大小等方面的差異,以及截肢患者的殘肢肌肉功能或通過目標(biāo)肌肉神經(jīng)分布重建方法(Target muscle rehabilitation,TMR)的肌電信號(hào)差異[33]),尤其是健康者與肢體殘疾者之間的肌電特征差異[34],都極大地限制了傳統(tǒng)固定識(shí)別模型在不同用戶之間的通用性.大量的實(shí)驗(yàn)和研究表明,傳統(tǒng)基于有監(jiān)督學(xué)習(xí)的固定識(shí)別模型,在處理新用戶的肌電信號(hào)識(shí)別問題上表現(xiàn)不佳,因此個(gè)體差異問題逐漸成為阻礙肌電交互系統(tǒng)推廣應(yīng)用的主要問題之一,引起研究者們的廣泛關(guān)注[35].而為了應(yīng)對這種個(gè)體性差異導(dǎo)致的模型識(shí)別率下降問題,本節(jié)總結(jié)當(dāng)前文獻(xiàn)的主要研究工作,分別在數(shù)據(jù)、特征和模型等不同環(huán)節(jié),歸納用于消除或解決個(gè)體差異性問題的方法.

1)融合不同個(gè)體的多模數(shù)據(jù).即增加有監(jiān)督學(xué)習(xí)模型中訓(xùn)練數(shù)據(jù)的數(shù)量或類型.Guo 等[36]將多人的數(shù)據(jù)融合后訓(xùn)練一個(gè)通用識(shí)別模型,在新用戶上的識(shí)別準(zhǔn)確率可達(dá)85%,其主要的優(yōu)點(diǎn)是新用戶無需采集數(shù)據(jù)重新訓(xùn)練或校正的過程,方便即時(shí)使用.Stival 等[37]在回歸問題研究方面引入IMU 信息,利用慣導(dǎo)所補(bǔ)充的個(gè)體特點(diǎn)降低識(shí)別模型在個(gè)體差異性方面的約束.Phinyomark 等[38]將個(gè)體相關(guān)的12個(gè)形態(tài)參數(shù)(如BMI 等)用于更新模型權(quán)重因子或特征歸一化,提高了識(shí)別模型在不同用戶上的適用性.

2)提取肌電分解與協(xié)同特征.即通過肌電分解、多特征融合等方式構(gòu)建統(tǒng)一化的共同特征空間.Xiong 等[39]利用肌電信號(hào)的逆向分解原理,將不同個(gè)體的肌電信號(hào)分解到運(yùn)動(dòng)單元?jiǎng)幼麟娢坏男盘?hào)空間.通過MUAP 的無監(jiān)督聚類,找到用于個(gè)體無關(guān)的表征方式,降低個(gè)體之間的差異性.Ison 等[40]提出了基于多分辨率肌肉協(xié)同特征(Multire-solution muscle synergy)提取技術(shù),以構(gòu)建個(gè)體適應(yīng)的魯棒特征.Chattopadhyay 等[41]探究了個(gè)體之間的相似性,利用領(lǐng)域適應(yīng)方法盡可能保持個(gè)體肌電信號(hào)的分布特征,通過映射到共同空間,以提高模型適應(yīng)性.

3)采用少量數(shù)據(jù)更新通用模型.Tommasi 等[42-43]在基于遷移學(xué)習(xí)的個(gè)體模型適應(yīng)性研究方面做出了一系列研究成果,主要是在一般模型的基礎(chǔ)上,通過利用新用戶的少量數(shù)據(jù),更新已知多用戶的支持向量機(jī)(Support vector machine,SVM)識(shí)別模型的權(quán)重因子,設(shè)計(jì)了一種低代價(jià)的權(quán)重更新方法

Khushaba[44]利用典型相關(guān)分析(Canonical correlation analysis,CCA)方法,將不同個(gè)體的肌電特征映射到一個(gè)低維的同一空間(unifiedstyle space)訓(xùn)練初始模型;并對新用戶的少量肌電信號(hào)與預(yù)訓(xùn)練模型的專家特征(Expert features)做典型相關(guān)分析,將測試集數(shù)據(jù)更新至預(yù)訓(xùn)練模型高相關(guān)性空間,提高了模型的適用性和泛化能力.Matsubara 等[45]采用形式和內(nèi)容分離(Style and content spearation)的思想,基于用戶依賴因子(User-dependent factor)和動(dòng)作依賴因子(Motion-dependent factor)構(gòu)建用戶無關(guān)特征(User-independent feature)的雙線性模型(如圖3 所示),針對新用戶時(shí)僅需單類別的更新數(shù)據(jù),完成模型對新用戶的多類別動(dòng)作識(shí)別.Pan 等[46]僅利用個(gè)體的最大收縮力信息將個(gè)體模型拓展為通用模型,其更新方式代價(jià)較低.而Cote-Allard 等[47]利用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)將模型遷移適用不同個(gè)體.

圖3 基于用戶依賴因子和動(dòng)作依賴因子構(gòu)建用戶無關(guān)特征的雙線性模型[45]Fig.3 User-independent bilinear model based on userdependent factor and motion-dependent factor[45]

1.3 肌肉疲勞

從生理機(jī)制而言,一方面肌肉在長期進(jìn)行超負(fù)荷或持續(xù)收縮過程中,即產(chǎn)生肌肉疲勞.如圖4 所示,其中最主要的表現(xiàn)就是肌肉所能夠產(chǎn)生的最大輸出力降低[48-49];另一方面,研究表明功能性電刺激(Functional electrical stimulation,FES)也能夠誘發(fā)肌肉疲勞[50].在有監(jiān)督學(xué)習(xí)的肌電信號(hào)動(dòng)作識(shí)別的一般框架下,基于sEMG 的意圖識(shí)別與智能系統(tǒng)交互控制中,研究者往往通過一定的實(shí)驗(yàn)條件或交互約束,盡量避免在假肢等控制交互過程中的使用者產(chǎn)生肌肉疲勞[51].然而在實(shí)際日常生活或臨床應(yīng)用中,長時(shí)間佩戴肌電假肢、使用肌電助力或康復(fù)系統(tǒng)不可避免地導(dǎo)致使用者產(chǎn)生肌肉疲勞.因此,肌肉疲勞是在長時(shí)間使用中不可避免的重要問題之一[52].

圖4 疲勞狀態(tài)下肌電信號(hào)中值頻率與肌肉輸出力變化[52]Fig.4 Changes of median frequency of EMG signal and muscle output force under fatigue condition[52]

研究表明,肌肉疲勞在肌電信號(hào)的潛在表現(xiàn)主要包括但不限于:1)幅值特征增加;2)頻譜能量下降;3)傳導(dǎo)速度下降[48,53-54];由于肌電幅值往往與肌肉收縮力正相關(guān),容易受使用者發(fā)力影響,因此肌肉疲勞評估或監(jiān)測更為關(guān)注頻譜能量變化.De Luca[52]通過要求被試者的第一骨間背肌持續(xù)收縮進(jìn)行肌肉疲勞實(shí)驗(yàn),在該實(shí)驗(yàn)范式下,該肌肉的肌電信號(hào)反映出頻譜分析中值頻率(Median frequency,MDF)在疲勞前后下降超過50%.研究表明,肌肉疲勞的肌電信號(hào)中包含了頻譜能量、傳導(dǎo)速度的下降趨勢和幅值特征的上升趨勢以及傳導(dǎo)速度正比于肌電信號(hào)中值頻率[51].

sEMG 的MNF和MDF 的計(jì)算式為

其中,P 表示信號(hào)的功率譜密度,MNF 表示均值頻率,MDF 表示中值頻率.

然而,頻譜分析的方法主要采用快速傅里葉變換(Fast Fourier transform,FFT),其假設(shè)時(shí)間序列具有平穩(wěn)特性,在先前的大多數(shù)研究中也主要是等長收縮的實(shí)驗(yàn)范式.這種實(shí)驗(yàn)范式及分析方法具有一定的局限性,因此基于短時(shí)傅里葉變換(Shorttime Fourier transform,STFT)和基于小波變換(Wavelet transform,WT)等時(shí)頻域的特征,改進(jìn)的中值頻率或均值頻率也逐漸引入到肌肉疲勞監(jiān)測中,尤其適用于被試者的動(dòng)態(tài)收縮過程[55].綜述當(dāng)前的研究,為處理非理想場景下的肌肉疲勞干擾,主要從頻域等疲勞特征與疲勞分類兩方面提出解決方案.

1)頻域等疲勞特征.為應(yīng)對肌肉在周期性、動(dòng)態(tài)收縮下的肌肉疲勞監(jiān)測,Bonato 等[56]在大拇指周期性動(dòng)態(tài)收縮力下提出基于時(shí)頻域變換的瞬時(shí)中值頻域(Instantaneous MDF,iMDF)和瞬時(shí)均值頻率(Instantaneous MNF,iMNF);Cao 等[57]提出循環(huán)平穩(wěn)性特征作為疲勞因子;Thongpanja 等[58]提出了一種改進(jìn)的頻域特征(Time dependence of MNF,TD-MNF),在肘關(guān)節(jié)不同負(fù)載下進(jìn)行了多組重復(fù)性疲勞實(shí)驗(yàn),結(jié)果表明,相對于MNF、MDF特征而言,TD-MNF 可作為一種更為全局準(zhǔn)確的肌肉疲勞評估方法,并且與肌肉負(fù)載力之間具有線性關(guān)而非基于傳統(tǒng)MNF、MDF 非線性耦合關(guān)系.肌肉疲勞源自比較復(fù)雜的生理過程,并依賴于實(shí)驗(yàn)范式等,因此有關(guān)肌肉疲勞評估的研究也不僅僅局限于上述幾個(gè)方面的時(shí)域或頻域特征.除此之外,Al-Mulla 等[59]提出一維頻譜—標(biāo)準(zhǔn)差(1D specto std)特征,Xu 等[60]在疲勞時(shí)的肌肉力估計(jì)中通過NMF 分解技術(shù)提取疲勞因子;Sheng 等[61]提出多模態(tài)生理信號(hào)融合的方法克服肌肉疲勞.

2)疲勞分類.研究人員將疲勞監(jiān)測或克服疲勞問題作為一個(gè)“分類”問題研究.如Al-Mulla 等[59,62]在選用更多特征的基礎(chǔ)上,進(jìn)一步與分類器相結(jié)合以區(qū)分非疲勞(Non-fatigue)、過渡疲勞(Transitionto-fatigue)和疲勞(Fatigue)等三類階段;Wu 等[63-64]提出混合細(xì)菌覓食—粒子群優(yōu)化方法(Bacterial foraging and particle swarm optimization,BFPSO)和模糊SVM (Fuzzy SVM)等方法監(jiān)測疲勞狀態(tài).

因此,為克服肌肉疲勞所帶來的的不良影響,一般是在特征提取過程時(shí)對特征進(jìn)行預(yù)處理,如基于MNF 或MDF 的特征歸一化處理[65],或采用概率模型和基于疲勞監(jiān)測因子查表方式,對多種識(shí)別模型進(jìn)行切換控制[66-67];此外,Mainardi 等[68]通過自主設(shè)計(jì)改善電極等配置,避免商業(yè)采集系統(tǒng)的過多濾波環(huán)節(jié),保留更多肌肉疲勞有關(guān)頻帶信息;而Peternel 等[69]則更加關(guān)注在人機(jī)協(xié)作場景中,通過調(diào)整協(xié)作機(jī)械臂的不同剛度,以適應(yīng)人體的不同疲勞狀態(tài),開拓了肌電識(shí)別與協(xié)作交互的新應(yīng)用.

1.4 肢體姿態(tài)

在智能假肢的實(shí)際場景中,肢體的姿態(tài)干擾一般可歸納為兩種類型:1)不同靜態(tài)姿勢下,同一個(gè)末端(如手部)動(dòng)作的差異;2)靜態(tài)、動(dòng)態(tài)或不同肌肉收縮力對同一動(dòng)作產(chǎn)生的差異[70].傳統(tǒng)基于有監(jiān)督學(xué)習(xí)范式的sEMG 識(shí)別系統(tǒng),僅將少部分姿態(tài)下的肌電信號(hào)作為訓(xùn)練集,得到的分類模型往往容易受到多種姿態(tài)干擾.如Liu 等[71]揭示了靜態(tài)—?jiǎng)討B(tài)手臂姿勢對手部分類動(dòng)作的影響;Jiang 等[72]在研究肌電連續(xù)估計(jì)時(shí)也發(fā)現(xiàn)手臂位置對識(shí)別精度的負(fù)面影響.研究表明,在針對不同姿態(tài)下的手部/手指動(dòng)作分類時(shí),其中腕部和大臂的姿態(tài)均對手部動(dòng)作識(shí)別產(chǎn)生較大的影響[73-74].目前,針對肢體姿態(tài)不同而引起的干擾問題,大量研究工作與解決方法主要集中在數(shù)據(jù)和特征兩方面:

1)融合不同姿態(tài)下的多模數(shù)據(jù).即增加訓(xùn)練數(shù)據(jù)集的數(shù)量或類型.一方面可以通過采集更多場景下的數(shù)據(jù)作為模型的訓(xùn)練集,使得模型能夠覆蓋更多的肌電識(shí)別場景.大量的研究表明,與僅利用單一位置下的數(shù)據(jù)作為訓(xùn)練集相比,將更多(或所有)位置下的肌電數(shù)據(jù)引入到模型的訓(xùn)練集中,能夠取得比單一位置更好的識(shí)別準(zhǔn)確率[75–77].然而這種方式要求覆蓋盡可能多的姿態(tài)場景,當(dāng)訓(xùn)練后的模型應(yīng)用于從未出現(xiàn)的姿態(tài)數(shù)據(jù)時(shí),模型的泛化能力依然較弱[78].并且這種通過豐富訓(xùn)練數(shù)據(jù)集以覆蓋更多姿態(tài)的方法,很明顯將要求受試者在使用肌電交互系統(tǒng)時(shí),花費(fèi)更多的時(shí)間用于訓(xùn)練集數(shù)據(jù)采集.這種要求增加了用戶學(xué)習(xí)和使用負(fù)擔(dān),是導(dǎo)致用戶棄用肌電假肢等設(shè)備的主要原因之一.而在這種通過多姿態(tài)場景豐富訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)采集范式下,Scheme 等[70]和Radmand 等[78]將多個(gè)靜態(tài)姿態(tài)位置組合成動(dòng)態(tài)的日常生活動(dòng)作(如圖5),提出了“動(dòng)態(tài)訓(xùn)練”(Dynamic training)方法.訓(xùn)練數(shù)據(jù)采集時(shí)間由原來超過10 分鐘下降為1～2 分鐘.另一方面,通過增加其他類型傳感器,補(bǔ)充更多有關(guān)肢體姿態(tài)的信息,增強(qiáng)系統(tǒng)判別能力,如引入肢體的加速度信息[17].肌電信息和加速度信息的融合方式包括兩種類型:串聯(lián)和并聯(lián)方式.1)串聯(lián)方式.包含兩階段的層級(jí)結(jié)構(gòu).即首先利用加速度信息訓(xùn)練分類器并用于識(shí)別肢體姿態(tài)或位置信息;在判別了不同位置或姿態(tài)的基礎(chǔ)上,利用各自的肌電識(shí)別模型,進(jìn)一步確定手部動(dòng)作類型[75-76,79].2)并聯(lián)形式.即使用加速度信息和肌電信息,或其相關(guān)特征,共同拓展模型的輸入維度.通過擴(kuò)維的數(shù)據(jù)融合方式提升識(shí)別系統(tǒng)對姿態(tài)干擾的魯棒性[75].

圖5 動(dòng)態(tài)訓(xùn)練方法的不同姿態(tài)Fig.5 Different postures of dynamic training approach

2)提取肢體姿態(tài)不敏感特征.不同于豐富訓(xùn)練集數(shù)量和類型的方式,對肢體姿態(tài)不敏感的肌電信號(hào)魯棒性特征方式由于降低對用戶的學(xué)習(xí)和使用門檻,將適用于更多交互場景.Khushaba 等[80-82]提出了頻域的多個(gè)特征,如譜矩(Spectral moments)、譜稀疏性(Spectral sparsity)、譜通量(Spectral flux)、不規(guī)則因子(Irregularity factor)、信號(hào)功率譜相關(guān)性(Signals power spectrum correlation)等,以及用于量化位姿角度的特征等,探究了這些特征對姿態(tài)干擾的魯棒性.而Betthauser 等[83-84]提出了肌電信號(hào)的稀疏表達(dá)特征與基于稀疏特點(diǎn)的自適應(yīng)校正方法,在新姿態(tài)下進(jìn)行了離線和在線測試,顯著提高了新姿態(tài)下的識(shí)別精度和識(shí)別魯棒性.另外值得一提的是,肢體姿態(tài)對識(shí)別結(jié)果的干擾影響,正常人與截肢患者有明顯不同,對正常人的干擾性更為明顯一些[72,79].因此,在進(jìn)行實(shí)驗(yàn)設(shè)計(jì)與方法驗(yàn)證時(shí),應(yīng)盡可能包含更多用戶數(shù)據(jù),使結(jié)果具有更強(qiáng)的說服力.

1.5 其他干擾或綜合干擾

在日常復(fù)雜的實(shí)際人機(jī)交互應(yīng)用中,針對sEMG 識(shí)別的非理想因素,不僅僅局限于前述多個(gè)常見且影響嚴(yán)重的干擾,還包括電極脫落導(dǎo)致的數(shù)據(jù)丟失問題[85-86]、皮膚表面的汗液或溫度變化導(dǎo)致的電極阻抗變化問題[87]、工頻干擾[88-89]等,以及實(shí)際應(yīng)用中對新動(dòng)作的需求等因素或多種因素的綜合干擾,依然制約著sEMG 識(shí)別系統(tǒng)的應(yīng)用與推廣.

2 研究現(xiàn)狀中的主要問題

綜上所述,基于sEMG 的識(shí)別方法在實(shí)際應(yīng)用場景中面臨著諸多的非理想干擾因素,研究者們針對各個(gè)干擾因素,提出了豐富的干擾估計(jì)和干擾克服方法,在很大程度上提高了肌電識(shí)別系統(tǒng)的魯棒性.

然而,在前述的諸多文獻(xiàn)中,多數(shù)研究內(nèi)容主要集中在克服單個(gè)干擾因素的影響;且通過特定的實(shí)驗(yàn)范式,控制單變量地僅引入單個(gè)干擾因素,與實(shí)際肌電交互場景有明顯差異.因此,針對實(shí)際肌電交互場景的諸多干擾因素,現(xiàn)有研究弱化或忽略了各個(gè)干擾因素之間不同組合而帶來的耦合性,以及由場景變化或肌電信號(hào)的時(shí)變特點(diǎn)而引起的過渡性.

2.1 非理想因素之間的耦合性與過渡性

1)耦合性.指同一肌電交互場景中存在多種干擾因素,且無法判斷各類干擾的影響程度.如當(dāng)預(yù)訓(xùn)練識(shí)別模型應(yīng)用于新用戶時(shí),其中顯而易見會(huì)引入個(gè)體性差異的干擾;不同人在完成動(dòng)作時(shí)的姿態(tài)信息、肌肉收縮方式和收縮力大小也存在差異;而在穿戴過程中由于粘貼位置的不同,也會(huì)耦合電極偏移的問題.并且,這些實(shí)際日常生活中耦合的諸多干擾之間,較難判斷究竟是由哪一種干擾因素在起主導(dǎo)作用.

2)過渡性.指長時(shí)間肌電交互場景中,某些因素的干擾程度在不斷變化,或不同場景中對肌電識(shí)別模型的目標(biāo)變化.在長時(shí)間的肌電意圖識(shí)別與交互控制中,一方面主要由于肌肉的長時(shí)間反復(fù)收縮容易引入不同程度的肌肉疲勞問題;另一方面用戶在使用過程中,尤其是通過視覺等方式不斷接收實(shí)際交互效果的反饋后,大腦或中樞神經(jīng)在刺激肌肉收縮時(shí)也會(huì)逐漸適應(yīng)這種交互方式,不自主地改變肌肉發(fā)力方式或大小[90].因此,傳統(tǒng)有監(jiān)督模型,受限于一經(jīng)訓(xùn)練完成模型固定的特點(diǎn),將無法適用于實(shí)際應(yīng)用中這類變化因素.這一點(diǎn)在前述諸多干擾的應(yīng)對方法中已有所體現(xiàn),部分研究者在傳統(tǒng)有監(jiān)督模型中引入自適應(yīng)變量或引入遷移學(xué)習(xí),以增強(qiáng)模型的適應(yīng)性,但距離克服實(shí)際應(yīng)用中的諸多干擾因素過渡性仍有較大差距.

2.2 抗干擾方法中的主要問題

如前文對諸多非理想因素的本質(zhì)分析,以及相關(guān)克服方法的綜述,如表1 所示,為克服實(shí)際應(yīng)用中的諸多非理想因素,相關(guān)研究方法可以歸納為三種基本內(nèi)容:數(shù)據(jù)擴(kuò)增、魯棒特征與模型更新.

表1 非理想因素及解決方案Table 1 Non-ideal factors and solutions

1)數(shù)據(jù)擴(kuò)增.主要是擴(kuò)增更多場景下的肌電數(shù)據(jù)量,或與其他模態(tài)傳感器數(shù)據(jù)相融合;其中擴(kuò)增數(shù)據(jù)量,一定程度上花費(fèi)大量時(shí)間,需要綜合考慮個(gè)體用戶的學(xué)習(xí)成本與使用負(fù)擔(dān).而多傳感器數(shù)據(jù)融合,提供了更多人體意圖的冗余和互補(bǔ)信息,代表著人機(jī)交互的未來趨勢之一.

2)魯棒特征.雖然在某些單一非理想場景中,精心設(shè)計(jì)的魯棒特征表現(xiàn)良好,但是其推廣性較差,且在新的場景中探尋魯棒特征較為困難.因此,應(yīng)當(dāng)結(jié)合特征工程或特征學(xué)習(xí)等方法,為提高系統(tǒng)的魯棒性提供通用的理論指導(dǎo).

3)模型更新.該方面的研究成果較為豐富,是肌電識(shí)別研究的重要環(huán)節(jié)與主要內(nèi)容.但模型更新的代價(jià)問題,如所需的新樣本量或模型更新時(shí)間等,則是其不得不考慮的重要因素;另外,多數(shù)研究中的模型更新策略通用性較差,僅適用于特定的分類模型,如SVM 等.

最后,即使針對同一類非理想干擾因素,由于采用了各自的實(shí)驗(yàn)設(shè)備、實(shí)驗(yàn)范式和實(shí)驗(yàn)數(shù)據(jù)等,所提方法之間未進(jìn)行充分的對比.大部分研究僅相對于未采取任何措施的方法進(jìn)行對比,驗(yàn)證了算法的可行性和有效性.以往方法鮮有在當(dāng)前實(shí)驗(yàn)中進(jìn)行復(fù)現(xiàn),方法之間缺乏直接對比.

3 非理想肌電識(shí)別的關(guān)鍵技術(shù)展望

因此,本文在綜述了非理想肌電的諸多干擾因素與現(xiàn)有文獻(xiàn)方法的基礎(chǔ)上,將當(dāng)前研究所面臨的關(guān)鍵問題總結(jié)為:1)缺乏統(tǒng)一的算法比較平臺(tái),2)忽略了干擾之間的耦合性和過渡性.

本節(jié)將針對上述問題,進(jìn)一步總結(jié)分析并提出了“一個(gè)平臺(tái)+兩種方法”的關(guān)鍵技術(shù)展望(見圖6),包括:

圖6 非理想肌電的關(guān)鍵技術(shù)展望Fig.6 The key technology prospects of non-ideal EMG

1)構(gòu)建統(tǒng)一開放的肌電等多傳感器數(shù)據(jù)集作為基準(zhǔn)平臺(tái),使得不同研究方法之間能夠進(jìn)行統(tǒng)一比較;

2)探索基于“機(jī)器學(xué)習(xí)”和“機(jī)理建?！钡募‰娮R(shí)別方法,分別從特征層面與機(jī)理層面,研究肌電信號(hào)在非理想場景下的過渡變化與多干擾之間的耦合關(guān)系.

3.1 構(gòu)建統(tǒng)一開放的肌電等多傳感器數(shù)據(jù)集

大規(guī)模有標(biāo)簽數(shù)據(jù)集作為主要的推動(dòng)力之一,促進(jìn)了以深度學(xué)習(xí)為核心的機(jī)器學(xué)習(xí)技術(shù),在語音識(shí)別、圖像處理與識(shí)別、自然語言處理等領(lǐng)域的飛速發(fā)展.該技術(shù)主要利用了大規(guī)模有監(jiān)督數(shù)據(jù)集與深層神經(jīng)網(wǎng)絡(luò),突破了傳統(tǒng)機(jī)器學(xué)習(xí)算法中依賴于手工特征的局限性.

而在肌電信號(hào)識(shí)別領(lǐng)域,雖然基于機(jī)器學(xué)習(xí)和模式識(shí)別的方法已經(jīng)非常普遍,但是統(tǒng)一開放的肌電識(shí)別數(shù)據(jù)集仍然非常鮮見.究其原因,一方面受限于肌電信號(hào)采集設(shè)備,目前實(shí)驗(yàn)室用高精度肌電傳感器普遍非常昂貴,且采集設(shè)備在電極配置、調(diào)理電路和采樣率等方面存在較大差異;另一方面,有別于常見的語音信號(hào)、圖像、視頻、文本等信息,原始肌電信號(hào)的可理解性較差,無法直接驗(yàn)證數(shù)據(jù)的真實(shí)性和可靠性,僅能通過合理的實(shí)驗(yàn)范式保證數(shù)據(jù)的有效性與準(zhǔn)確性;并且囿于不同的應(yīng)用場景和識(shí)別目標(biāo),數(shù)據(jù)采集范式也有一定的差異.

如同語音識(shí)別或圖像處理等領(lǐng)域,肌電信號(hào)識(shí)別領(lǐng)域亟需統(tǒng)一開放的數(shù)據(jù)集.經(jīng)調(diào)研,在該領(lǐng)域僅存在少量公開的肌電信號(hào)相關(guān)數(shù)據(jù)集,如NinaPro[4],CSL-HDEMG[31],CapgMyo[95]等,其簡要介紹如表2 所示.其中以NinaPro 的數(shù)據(jù)集最為系統(tǒng)、豐富和完整,涉及正常人和不同截肢患者的數(shù)十種手部常見動(dòng)作(高達(dá)52 類離散動(dòng)作),數(shù)據(jù)采集過程采用了多種常見肌電采集系統(tǒng)(如Delsys,Myo等),同時(shí)引進(jìn)了數(shù)據(jù)手套、力矩傳感器等其他類型傳感器采集,更豐富而全面的獲取手部運(yùn)動(dòng)信息.目前,已有部分研究利用該數(shù)據(jù)集進(jìn)行方法測試與比較.而CSL-HDEMG和CapgMyo 等數(shù)據(jù)集,參考了NinaPro 類似的實(shí)驗(yàn)數(shù)據(jù)采集范式,但更側(cè)重在新型高密度陣列式表面肌電信號(hào)傳感器,如CSLHDEMG 重點(diǎn)采集了更精細(xì)手指運(yùn)動(dòng)范式下的肌電信號(hào).

表2 sEMG 數(shù)據(jù)集Table 2 Surface EMG signal datasets

然而,現(xiàn)有的大部分公開數(shù)據(jù)集目前仍然局限于研究理想場景下的準(zhǔn)確性方面,對非理想場景下的魯棒性研究借鑒意義有限,僅對個(gè)體性差異等干擾可以直接測試比較.面對更多如電極偏移、肌肉疲勞、姿態(tài)干擾等非理想因素,則無法直接處理.因此,針對非理想干擾的統(tǒng)一開放肌電數(shù)據(jù)集仍然非常重要和迫在眉睫,需要通過系統(tǒng)的實(shí)驗(yàn)范式有目的地引入更多的干擾,覆蓋更多實(shí)際應(yīng)用場景.同時(shí),由前面綜述的諸多非理想干擾應(yīng)對方法可知,通過融合IMU 等其他類型數(shù)據(jù)是克服諸如電極偏移和姿態(tài)干擾等因素的重要途徑之一.尤其是大多數(shù)的商用sEMG 傳感器一般都內(nèi)置IMU 等傳感器,因此通常無需增加肌電交互系統(tǒng)的硬件成本,可通過多傳感器融合技術(shù)的方式提高人機(jī)交互的魯棒性和穩(wěn)定性.因此,以肌電信號(hào)為核心,盡可能地融合更多其他類型傳感器數(shù)據(jù),如腦電信號(hào)、眼電信號(hào)和視覺信息等,構(gòu)建統(tǒng)一開放的肌電等多傳感器數(shù)據(jù)集,越來越成為肌電識(shí)別與人機(jī)交互的基礎(chǔ)研究內(nèi)容之一.

3.2 探索基于機(jī)器學(xué)習(xí)的肌電識(shí)別方法

借助于機(jī)器學(xué)習(xí)的識(shí)別技術(shù)(如深度學(xué)習(xí)和遷移學(xué)習(xí)等),研究人員逐漸克服了語音識(shí)別中的個(gè)體差異問題,圖像領(lǐng)域中的目標(biāo)檢測與分割問題,和自然語言處理中的上下文問題等,然而類似的科學(xué)問題在基于sEMG 的人體意圖識(shí)別中同樣存在,尤其存在于非理想場景下的sEMG 識(shí)別中.因此,探索基于機(jī)器學(xué)習(xí)的肌電識(shí)別方法,以解決非理想肌電的諸多干擾問題,具有重要研究價(jià)值與實(shí)用意義.

3.2.1 基于深度學(xué)習(xí)的特征表示與特征學(xué)習(xí)

深度學(xué)習(xí)在圖像處理等領(lǐng)域近期的諸多研究進(jìn)展和文獻(xiàn)綜述表明,深度學(xué)習(xí)方法之所以有效地解決了其中許多關(guān)鍵問題,其最核心在于摒棄了傳統(tǒng)機(jī)器學(xué)習(xí)方法中的手工特征等環(huán)節(jié).深度學(xué)習(xí)方法采用多層次的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),能夠自主地進(jìn)行特征學(xué)習(xí)和層級(jí)特征表示.而歸納肌電識(shí)別領(lǐng)域的研究進(jìn)展,目前大多數(shù)的研究者,仍然依賴于傳統(tǒng)的機(jī)器學(xué)習(xí)范式,尤其是依賴于大量的手工設(shè)計(jì)特征,如時(shí)域特征、頻域特征與時(shí)頻域特征[1].目前已有部分研究開始借鑒其他領(lǐng)域的深度學(xué)習(xí)方法進(jìn)行特征學(xué)習(xí)方面研究,如采用時(shí)序卷積網(wǎng)絡(luò)(Temporalconvolutional networks,TCN)提取肌電信號(hào)時(shí)序、層級(jí)特征,提高肌電識(shí)別的準(zhǔn)確度[98](如圖7 所示);針對多通道肌電時(shí)間序列構(gòu)造二維輸入,或?qū)瓮ǖ兰‰娦蛄刑崛⌒〔ㄗ儞Q轉(zhuǎn)換成二維時(shí)頻域特征表示,進(jìn)而采用類圖像處理方法中的CNN 網(wǎng)絡(luò)結(jié)構(gòu),進(jìn)行特征學(xué)習(xí)[99];更進(jìn)一步,將傳統(tǒng)特征與學(xué)習(xí)特征進(jìn)行比較,以實(shí)現(xiàn)更準(zhǔn)確、更本質(zhì)的肌電特征描述[100].因此采用深度學(xué)習(xí)方法,聚焦在肌電信號(hào)的特征學(xué)習(xí)與層級(jí)特征表示方面,是未來提高肌電識(shí)別準(zhǔn)確性和保證非理想場景下肌電識(shí)別魯棒性的重要研究內(nèi)容之一.

圖7 基于TCN 網(wǎng)絡(luò)結(jié)構(gòu)的肌電信號(hào)時(shí)序、層級(jí)特征提取框架[98]Fig.7 Sequential and hierarchical feature extraction framework of EMG signal based on TCN network[98]

但目前受限于肌電信號(hào)有限的數(shù)據(jù)集,無法有效地在大規(guī)模的肌電數(shù)據(jù)集中通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)和特征表示.退而求其次,更系統(tǒng)全面的特征提取方法研究,對基于深度學(xué)習(xí)的肌電識(shí)別仍然具有鋪墊與遞進(jìn)意義.一方面?zhèn)鹘y(tǒng)特征提取方法具有明確的生理和物理意義.盡管目前已有部分文獻(xiàn)對特征提取及其他環(huán)節(jié)等進(jìn)行了討論,但涉及的特征數(shù)量較少(一般不超過20 個(gè)),未來仍然需要更加全面和系統(tǒng)的特征對比、討論和探究.如采用TSFRESH (Time series feature extraction based on scalable hypothesis tests)等開源庫進(jìn)行大量的特征提取、假設(shè)性檢驗(yàn)和特征選擇等[101-102].另一方面,在現(xiàn)有有限的數(shù)據(jù)集上,利用已知的大量有效肌電特征作為深度神經(jīng)網(wǎng)絡(luò)的輸入,提高肌電信號(hào)的表征能力,拓展深度神經(jīng)網(wǎng)絡(luò)的輸入類型,并降低深度神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)壓力,也是非常有意義的未來研究內(nèi)容之一.

3.2.2 基于遷移學(xué)習(xí)的模型更新

相對于非理想因素引起的樣本分布差異問題,非理想場景下訓(xùn)練集與測試集之間仍然潛在著較強(qiáng)的關(guān)聯(lián)關(guān)系或不變特征,同樣具有重要的研究意義.如遷移學(xué)習(xí)基本框架(如圖8 所示),即利用源域的相關(guān)知識(shí)或特征,來提高模型在目標(biāo)域上的識(shí)別性能(目標(biāo)域雖然與源域不同但是包含相關(guān)的信息)[103].如前文綜述,在解決電極偏移和個(gè)體性差異等問題上,已有部分研究者沿著這類子空間對齊[104]的遷移學(xué)習(xí)方法開展了相關(guān)的研究工作.其原理如式(5)和式(6)所示,以優(yōu)化的思路求解特征空間的映射關(guān)系.

圖8 基于遷移學(xué)習(xí)的理想場景與非理想場景之間肌電識(shí)別模型的更新與適應(yīng)Fig.8 Update and adaptation of sEMG-based recognition model between ideal and non-ideal scenarios based on transfer learning

其中,Xs表示源域的特征,Xt表示目標(biāo)域的特征,F(·)為損失函數(shù),M即在特征空間中源域與目標(biāo)域之間的線性變換矩陣.

因此,基于遷移學(xué)習(xí)的肌電識(shí)別研究,尤其是結(jié)合深度神經(jīng)網(wǎng)絡(luò)的特征表示方法,為肌電識(shí)別的準(zhǔn)確性與魯棒性研究提供了新的研究思路.

采用遷移學(xué)習(xí)解決非理想因素的干擾問題時(shí),目前主要挑戰(zhàn)之一是遷移學(xué)習(xí)或模型更新的代價(jià),其常常需要大量額外的樣本數(shù)據(jù)用于求解源域與目標(biāo)域之間的映射,如式(5)和式(6)中的線性變換矩陣.而主動(dòng)學(xué)習(xí)(Active learning)可用于挑選最具有信息量和判別性的樣本,在未來的研究工作中,將有利于采用最少的有監(jiān)督樣本與最低標(biāo)注成本,完成理想模型在非理想場景下的遷移或更新[105–107].

3.3 探索基于機(jī)理建模的肌電識(shí)別方法

前述的多種研究思路或方法,主要從機(jī)器學(xué)習(xí)或模式識(shí)別角度展開,但肌電信號(hào)的形成機(jī)理與肌肉收縮機(jī)制仍然具有重要的啟發(fā)意義,可用于開展基于機(jī)理建模的肌電識(shí)別研究.

圖9 展示了肌電信號(hào)分解的生理機(jī)制:位于皮膚表面的肌電信號(hào)傳感器所采集到的電信號(hào),實(shí)際上是由來自多個(gè)運(yùn)動(dòng)單元?jiǎng)幼麟娢恍蛄?MUAP trains),在皮膚表面疊加而成的綜合信號(hào).因此,肌電分解正是將傳感器采集到的sEMG 還原成多個(gè)MUAP,是肌電信號(hào)形成的逆過程.基于肌電分解的精細(xì)建模方法將基于對運(yùn)動(dòng)單元的刺激收縮作為研究切入點(diǎn),在更精細(xì)和微觀的層次進(jìn)行肌肉收縮建模研究,從而在生理本質(zhì)上保證識(shí)別模型的可解釋性和準(zhǔn)確性,開拓了肌電識(shí)別在機(jī)理建模方面的重要研究方向[108].

圖9 sEMG 分解與MUAP[109]Fig.9 Surface EMG signal decomposition and MUAP[109]

基于肌電分解等生理機(jī)制的研究思路,由因?qū)Ч?按照機(jī)體的意圖產(chǎn)生和作用的因果關(guān)系,逐步推導(dǎo)或建立肢體受刺激的動(dòng)力學(xué)模型);相對而言,基于機(jī)器學(xué)習(xí)或模式識(shí)別的研究思路,則是由果索因(利用已知或標(biāo)定的動(dòng)作標(biāo)簽或更高精度傳感器數(shù)據(jù)作為“參考真值”,通過識(shí)別模型的參數(shù)訓(xùn)練等方式,反向建立以肌電信號(hào)為輸入、運(yùn)動(dòng)信息為輸出的模型).兩者的側(cè)重點(diǎn)不同,但對于肌電識(shí)別研究均具有重要的研究意義和實(shí)用價(jià)值.尤其是以生理機(jī)制為基礎(chǔ)的研究方法,在解決非理想場景中各類干擾問題時(shí),更易于在機(jī)理上探索出解釋性合理與魯棒性強(qiáng)的肌電識(shí)別方法.

但目前而言,基于機(jī)理建模的肌電識(shí)別方法,除了在肌肉疲勞等方面有部分相關(guān)研究外,在克服其他干擾方面的研究比較鮮見.因此,在肌電分解與肌肉機(jī)理建模的研究方面,仍有大量的未知研究內(nèi)容,這類機(jī)理方面的研究不僅僅直接有助于更準(zhǔn)確與更穩(wěn)定的肌電識(shí)別結(jié)果;對深度學(xué)習(xí)模型的網(wǎng)絡(luò)設(shè)計(jì)與遷移學(xué)習(xí)的映射求解,也將具有十分顯著的啟發(fā)意義.

4 結(jié)論

隨著智能假肢、可穿戴外骨骼與助力設(shè)備等康復(fù)機(jī)器人系統(tǒng)在本體機(jī)械結(jié)構(gòu)設(shè)計(jì)與控制系統(tǒng)方面的不斷完善,以及高精度肌電信號(hào)硬件采集系統(tǒng)的性能提升,如何實(shí)現(xiàn)人—機(jī)的準(zhǔn)確、自然與穩(wěn)定交互,越來越成為人機(jī)共融系統(tǒng)中的瓶頸環(huán)節(jié),也已經(jīng)逐漸成為研究熱點(diǎn)問題.目前,大量基于機(jī)器學(xué)習(xí)和模式識(shí)別的肌電意圖解碼方法不斷推陳出新,將意圖識(shí)別的準(zhǔn)確率或精度不斷提升.

然而當(dāng)基于肌電信號(hào)的諸多康復(fù)機(jī)器人系統(tǒng)從實(shí)驗(yàn)室環(huán)境推廣到實(shí)際日常使用時(shí),卻面臨著大量的非理想因素干擾.本文主要聚焦在電極偏移、個(gè)體性差異、肌肉疲勞、肢體姿態(tài)和其他綜合性干擾方面,詳細(xì)歸納了當(dāng)前研究的干擾及其應(yīng)對方法;接著總結(jié)并討論了研究現(xiàn)狀中的關(guān)鍵問題;最后,提出了“一個(gè)平臺(tái)+兩個(gè)方法”的未來關(guān)鍵技術(shù)展望,包括構(gòu)建統(tǒng)一開放的多傳感器融合數(shù)據(jù)集、探索深度學(xué)習(xí)的特征學(xué)習(xí)和基于遷移學(xué)習(xí)的模型更新與適應(yīng),以及肌電分解研究等技術(shù)內(nèi)容,旨在為后續(xù)深入研究提供潛在的研究思路.