摘要：針對傳統(tǒng)機器學習在表面肌電信號手勢識別領域的適應性和準確性不足，以及新用戶因個體生理和行為差異在已有模型上表現(xiàn)不佳的問題，提出一種利用卷積神經(jīng)網(wǎng)絡模型并有效克服肌電數(shù)據(jù)分布差異的算法，用于提升手勢識別的性能。首先對肌電信號進行變分模態(tài)分解，構(gòu)建易于識別的表面肌電圖像，并提出了一種卷積神經(jīng)網(wǎng)絡模型進行手勢識別，提升用戶相關的肌電信號手勢識別準確率；同時利用遷移學習中的領域自適應和模型微調(diào)技術，提升用戶無關的肌電信號手勢識別準確率，并將所提算法在NinaPro DB1肌電數(shù)據(jù)集中進行了3分類、4分類、5分類和12分類共4組評估驗證。結(jié)果表明：在4組評估驗證中，用戶相關的肌電信號手勢識別平均準確率分別達到了99.28%、99.30%、98.39%和93.40%，用戶無關的肌電信號手勢識別平均準確率分別達到了94.05%、92.60%、88.38%和70.03%，表明本文提出的算法在表面肌電信號手勢識別中具有良好的效果，為實現(xiàn)人機交互中的普適性的肌電設備開發(fā)提供了一種可行的方案。

關鍵詞：領域自適應；卷積神經(jīng)網(wǎng)絡；手勢識別；變分模態(tài)分解；表面肌電信號

中圖分類號：TH772.文獻標志碼：A

DOI：10.7652/xjtuxb202405008.文章編號：0253-987X（2024）05-0075-13

Gesture Recognition of Surface Electromyography Based on Variational Mode Decomposition and Domain Adaptation

Abstract：In view of the lack of adaptability and accuracy of traditional machine learning in the field of gesture recognition of surface electromyography （sEMG）， as well as the poor performance of new users on existing models due to individual physiological and behavioral differences， an algorithm using convolutional neural network model to effectively overcome the difference in the distribution of EMG data is proposed to improve the performance of gesture recognition. A novel approach combining variational mode decomposition （VMD） of sEMG signal and convolutional neural network is proposed to enhance the performance of gesture recognition in the subject. In addition， domain adaptation and model fine-tuning techniques of transfer learning are used to increase the accuracy of gesture recognition of intra-subject sEMG. The proposed algorithm is evaluated and validated on four evaluation groups of the benchmark dataset DB1 with 3， 4， 5 and 12 classifications. In the four sets of evaluation， the average accuracies of inter-subject are 99.28%， 99.30%， 98.39% and 93.40% respectively， and the average accuracies of intra-subject are 94.05%， 92.60%， 88.38% and 70.03% respectively. Through the experimental results and own data validation， it is proved that the proposed algorithm has a good effect on the gesture recognition of sEMG signals， which is more conducive to the realization of human-computer interaction and provides a feasible solution for the development of universal sEMG equipment.

Keywords：domain adaptation; convolutional neural network; gesture recognition; variational mode decomposition; surface electromyography

肌肉計算機交互（MCI）被廣泛應用于假肢控制［1］、機器人控制［2］、手語識別［3］和人機交互［4］等領域，而手勢識別是MCI的核心技術。手勢識別主要包括識別手部姿態(tài)、物體抓取和手部運動等［5］，被運用在眾多領域，如計算機游戲、外骨骼機器人［6］、醫(yī)療康復機器人［7-8］等。目前，手勢識別主要通過數(shù)據(jù)手套、圖像識別、肌電信號等方式實現(xiàn)［9］。數(shù)據(jù)手套在手勢識別中擁有較高的準確率，但便捷性差，使用不便；基于圖像識別的手勢識別技術易受光照、遮擋、背景等環(huán)境因素的影響；表面肌電信號蘊含豐富的運動信息且具有易獲取和無創(chuàng)等優(yōu)勢，能夠根據(jù)人的自主意識更方便自如地實現(xiàn)人機交互，在人機交互中有著很大的優(yōu)勢。

基于表面肌電信號（sEMG）的手勢識別研究目前主要包括機器學習算法和深度學習算法。機器學習算法通過采集表面肌電信號并進行預處理后，提取表面肌電信號特征，并構(gòu)建合適的分類器如支持向量機、樸素貝葉斯分類器、隨機森林和神經(jīng)網(wǎng)絡等［10］來識別肢體動作，其結(jié)果主要受限于特征提取和分類器選擇。例如，F(xiàn)reitas等［11］利用支持向量機（SVM）進行13個手勢的識別，最終手勢識別準確率達到了88%；Fu等［12］提出了一種基于格萊氏角求和場線性判別分析的特征增強和改進的支持向量機，并對8個手勢進行分類，識別準確率達到了97.54%；Waris等［13］提取肌電信號特征后通過人工神經(jīng)網(wǎng)絡對手勢進行分類，結(jié)果表明人工神經(jīng)網(wǎng)絡比傳統(tǒng)的K最鄰近算法（KNN）和SVM算法性能更加優(yōu)越。隨著深度學習被廣泛應用于生物電信號識別［14］，相較于機器學習，深度學習在基于sEMG手勢識別中，肌電識別準確率、普適性和泛化能力上有了較大的提升［15-16］。Atzori等［17］利用一個簡單的4層卷積神經(jīng)網(wǎng)絡（CNN），在NinaPro DB1肌電數(shù)據(jù)集［18］上對53種手勢動作進行識別，準確率達到了66.59%±6.40%，相比于傳統(tǒng)的KNN和SVM算法，其準確率提高了2%～5%；陳思佳等［19］提出基于長短時記憶和卷積神經(jīng)網(wǎng)絡的手勢肌電識別方法，在NinaPro DB1肌電數(shù)據(jù)集上實現(xiàn)了75.12%的準確率，優(yōu)于機器學習算法；Qureshi等［20］利用一種鏈接卷積神經(jīng)網(wǎng)絡對9個手勢進行分類，在NinaPro DB1肌電數(shù)據(jù)集上達到了91.27%的準確率；Li等［21］提出了一種多視圖融合網(wǎng)絡對12個手勢進行分類，在NinaPro DB1肌電數(shù)據(jù)集上達到了89.58%的準確率。以上充分表明深度學習在表面肌電信號識別中具有優(yōu)勢。

盡管個體的骨骼和肌肉組成基本一致，但其生理特征存在一定的差異［22］，同時不同個體在執(zhí)行相同動作時肌肉的收縮方式和收縮力大小不同，且是否使用慣用手等也存在一定的差異，這些差異導致將訓練好的模型應用于新用戶的手勢識別時表現(xiàn)不佳。為了解決由個體差異而導致模型識別率下降的問題，學者們提出了以下3種方案。①融合不同個體的多模數(shù)據(jù)，即擴充有監(jiān)督學習算法中訓練數(shù)據(jù)的數(shù)量及類型。Guo等［23］融合了多位受試者的數(shù)據(jù)，用于訓練一個通用網(wǎng)絡模型，其優(yōu)勢在于新用戶可直接使用，不用重新采集數(shù)據(jù)和訓練模型。Xu等［24］提出了一種基于注意體系結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡（SE-CNN）的手勢識別方法，將多個用戶的數(shù)據(jù)進行融合作為訓練集，在用戶無關手勢識別中的手勢識別準確率達到了65.74%。②提取肌電分解與協(xié)同特征，即通過肌電分解、多特征融合等方式構(gòu)建統(tǒng)一化的特征空間。Xiong等［25］對肌電信號進行逆向分解，把不同受試者的肌電信號分解到運動單元動作電位（MUAP）的信號空間。通過MUAP的無監(jiān)督聚類，找到用于個體無關的表征方式，降低了受試者之間的差別。Ison等［26］提出了基于多分辨率肌肉協(xié)同特征提取方法，以構(gòu)建個體適應的魯棒特征。鄭楠等［27］利用肌肉協(xié)同原理，通過坐標空間轉(zhuǎn)換改造數(shù)據(jù)解決用戶無關的問題。③通過少量數(shù)據(jù)更新通用模型。Khushaba等［28］利用典型相關分析（CCA）方法，將不同受試者的肌電特征映射到一個低維的同一空間訓練預訓練模型，并對新用戶的少量肌電信號與預訓練模型的專家特征做典型相關分析，將測試集數(shù)據(jù)更新至預訓練模型高相關性空間，模型的適用性和泛化能力得到了提升。Kanoga等［29］通過遷移學習方法提出了一個基于多重距離度量的主題轉(zhuǎn)移框架，最小化用戶之間的數(shù)據(jù)分布差異，以此解決用戶無關的手勢識別問題。上述方法中，融合不同個體的多模數(shù)據(jù)，不僅擴增耗費時間長，增加了個體用戶模型的學習成本，而且提取肌電分解與協(xié)同特征在新的場景中需重新探尋魯棒特征；另外，前兩種方法均為有監(jiān)督學習，在實際應用中適用于有標記數(shù)據(jù)。利用少量數(shù)據(jù)更新模型需利用相關性映射對用戶數(shù)據(jù)進行改造，或者利用遷移學習等方法對模型參數(shù)進行更新。其中，利用少量數(shù)據(jù)更新模型的方法，可以結(jié)合無監(jiān)督學習，且所需的新樣本數(shù)少，更新代價小，更有利于可穿戴式設備的開發(fā)。

針對上述問題，本文對肌電信號預處理后進行肌電信號分解，并構(gòu)建易于識別的表面肌電圖像，同時提出了一種卷積神經(jīng)網(wǎng)絡模型進行表面肌電信號手勢識別，提升用戶相關的手勢識別準確率；利用遷移學習中的領域自適應方法，用少量數(shù)據(jù)更新CNN模型，提升用戶無關的手勢識別準確率；通過模型微調(diào)進一步提升用戶無關的手勢識別準確率。

1.實驗數(shù)據(jù)與方法

1.1.實驗數(shù)據(jù)

NinaPro肌電數(shù)據(jù)集是一個多模態(tài)數(shù)據(jù)集，記錄了表面肌電信號、手部運動學、眼球跟蹤和神經(jīng)認知等數(shù)據(jù)，目前共有10個子數(shù)據(jù)集。本文采用其中的DB1數(shù)據(jù)集作為模型的訓練和測試數(shù)據(jù)。DB1數(shù)據(jù)集的采集對象為27位受試者（其中20名男性，7名女性，平均年齡28歲），運動學數(shù)據(jù)采集設備為融合22個傳感器的Cyberglove Ⅱ dataglove，表面肌電信號設備采用具有十通道（差分雙電極）的OttoBock MyoBock。采集過程中受試者保持特定的坐姿面向屏幕，根據(jù)屏幕提示重復特定的動作。每類動作重復10次，每個動作保持5 s、休息3 s，實驗過程中共采集53個不同的手部動作（標簽號為0～52），手勢的標簽及動作分類如表1所示。

考慮到應用場景中常用的手勢動作，本文選取3個抓握動作、5個手或手腕動作和12個手指動作，同時為了與其他文獻研究成果進行對比，將手勢分為4組進行實驗對比，具體分組如圖1所示。

1.2.卷積神經(jīng)網(wǎng)絡模型

卷積神經(jīng)網(wǎng)絡是一種多層的有監(jiān)督學習神經(jīng)網(wǎng)絡，具有局部感知、權值共享等特點，能有效減少神經(jīng)網(wǎng)絡結(jié)構(gòu)中的參數(shù)，減少深層網(wǎng)絡占用的內(nèi)存量。本文的網(wǎng)絡模型結(jié)構(gòu)如圖2所示。由于表面肌電圖像的尺寸較小，因此采用4個卷積層進行特征提取；為了防止信息的丟失，模型中省去池化層。在模型中通過采用dropout層、批量歸一化和正則化等方法以防止網(wǎng)絡過擬合。

本文的卷積神經(jīng)網(wǎng)絡模型中共用4個卷積層進行特征提取，隨后利用展平層將提取的特征展平成一維向量，再通過2個全連接層和softmax層對手勢進行分類。圖2中，Conv64表示卷積層的卷積核為64，@3×3表示卷積核大小為3×3，BN表示引入批量歸一化，卷積層中的激活層函數(shù)均采用Relu函數(shù)；其后是展平層和2個全連接層，神經(jīng)元數(shù)分別為128、64，均應用Relu激活函數(shù)和批量歸一化，為了防止模型過擬合，全連接層應用了概率為50%的dropout層；最后的輸出層采用歸一化指數(shù)函數(shù)得到手勢識別結(jié)果，并采用L2正則化方法，設定正則化參數(shù)為0.001。

實驗平臺CPU采用Inter i7 8700，GPU采用惠普 GTX 1080，軟件采用TensorFlow 2.7。采用交叉熵損失函數(shù)，計算公式如下

式中：y*i為當前訓練樣本對應的真實標簽值；yi為網(wǎng)絡的輸出值；n為樣本數(shù)。

基于上述模型對不同的卷積層和卷積核大小進行手勢識別實驗。訓練過程中的超級參數(shù)表如表2所示，實驗結(jié)果如表3所示。

從表3可以看出，當卷積層數(shù)增多時，手勢識別準確率上升；當卷積層數(shù)超過5時，手勢識別準確率上升減緩，考慮到隨著卷積層數(shù)增多，模型的參數(shù)量將增加，不利于可穿戴設備的實時性，同時當卷積核為3×3時，手勢識別準確率最高，因此本文模型取卷積層數(shù)為4，卷積核大小為3×3。

1.3.數(shù)據(jù)預處理

表面肌電信號是一種微弱信號，其信號幅值不超過3 mV，容易受接觸不良、電極移位/脫離、被測人員皮膚狀態(tài)差異等多種因素的影響，因此首先要對表面肌電信號進行濾波等預處理。NinaPro DB1數(shù)據(jù)集在采集時進行過全波整流等數(shù)據(jù)處理。所以，采集的數(shù)據(jù)中只包含高頻噪聲。本文的濾波方案采用文獻［30］中的巴特沃斯濾波器對信號進行濾波降噪，圖3所示為濾波前后的信號對比。為了解決采集數(shù)據(jù)時個體對動作提示的反應存在差異，導致原標簽和實際動作不一定相互對應的問題，通過廣義似然比算法進行了標簽的重映射［30］，本文采用重映射后的數(shù)據(jù)標簽。

1.4.肌電信號分解及肌電圖像構(gòu)建

變分模態(tài)分解（VMD）是一種信號分解估計的信號處理方法，克服了經(jīng)驗模態(tài)分解方法存在的端點效應和模態(tài)分量混疊問題，有著堅實的數(shù)學理論依據(jù)［31］，可以降低表面肌電信號的復雜度和非線性。VMD可以根據(jù)給定的模態(tài)分解個數(shù)，通過迭代尋優(yōu)的過程確定各個分量的中心頻率和帶寬，實現(xiàn)信號的頻域劃分和各個模態(tài)分量（IMF）的有效分離。

VMD的核心是構(gòu)建并求解變分問題［32］。構(gòu)建問題：設將原信號f（t）分解為k個具有不同中心頻率的有限帶寬的模態(tài)分量，同時使得各個模態(tài)分量的估計帶寬之和最小，約束條件為各模態(tài)分量疊加后與原始信號相等，則相應的約束變分表達式為

式中：uk、ωk為模態(tài)分解后對應的第k個模態(tài)分量及其中心頻率；*為卷積運算符；δ（t）為狄拉克函數(shù)；j代表虛部單位；t為采樣時間。

對式（2）進行求解，在保持約束條件不變的條件下將約束變分問題轉(zhuǎn)變?yōu)榉羌s束變分問題，引入拉格朗日乘法算子λ，得到增廣拉格朗日表達式

式中：α為二次懲罰因子，目的是減少高斯噪聲的干擾。采用交替方向乘子（ADMM）迭代算法不斷迭代尋優(yōu)各模態(tài)分量及其中心頻率，最終得到各模態(tài)分量對應的最佳中心頻率，交替尋優(yōu)迭代后的uk、ωk、λ的表達式如下

un+1k（t）、ui（t）、f（t）和λ（t）的傅里葉變換。其中迭代過程的約束條件為

式中：ε為給定的精度。

根據(jù)以上分析，VMD的主要迭代過程為：

拉格朗日算子λ主要用于增強約束條件，而二次懲罰因子用于提升收斂性并且二次懲罰因子和加性高斯噪聲之間具有很強的相關性。本文目的是使得分解后的IMF不含噪聲，因此保留二次懲罰因子，放棄拉格朗日算子是最好的選擇。為了使拉格朗日算子為0，最簡單的方式就是將噪聲容忍度置為0［32］。本文VMD分解相關參數(shù)的設置為：精度ε=0.000 001，懲罰因子α=2 000，噪聲容忍度γ=0。對于模態(tài)分解個數(shù)k，若設置過小，會導致信號分解不徹底，若設置過大，不僅會大大增加VMD分解計算時長，還會使分解后的IMF中心頻率相距過近，造成模態(tài)混疊。本文利用皮爾遜相關系數(shù)分析VMD分解后的手勢樣本數(shù)據(jù)，同類別手勢中若兩個樣本的相似程度越高，越有利于模型將其歸為一類。皮爾遜相關系數(shù)計算公式如下

式中：Cov（I，J）代表樣本I、J之間的協(xié)方差；σI、σJ分別表示兩個樣本的標準差。

圖4為當k選取不同數(shù)值時受試者的所有同類別手勢樣本之間皮爾遜相關系數(shù)的平均值。由圖4可知，當k值越大時，手勢樣本之間的相關性越強，但會導致VMD分解的計算時長增加；當k大于5時，相關系數(shù)增長的斜率變緩，綜合考慮將k設置為5。

圖5為某位受試者的每個手勢所有樣本之間的平均皮爾遜相關系數(shù)。由圖5可知，濾波后的信號比濾波前的信號各手勢樣本之間的相關性強，而利用VMD分解后的IMF1分量的各手勢樣本的相關性更強，說明VMD方法處理后的信號更有利于手勢分類。

基于深度學習的表面肌電信號手勢識別算法，通過滑動窗口將多通道表面肌電信號轉(zhuǎn)換成表面肌電圖像。隨后，表面肌電圖像作為深度學習模型的輸入，實現(xiàn)肌電特征的自動提取。

圖6所示為一維表面肌電信號的圖像構(gòu)造，將預處理后的表面肌電信號通過滑動窗口分割為多個表面肌電圖像。數(shù)據(jù)點采樣周期為10 ms?；瑒哟翱诘膶挾仍O置為20（200 ms），步長設置為17（170 ms），通過該滑動窗口分割10個通道得到10×20的一維表面肌電圖像。處理后，每位受試者的肌電圖像樣本數(shù)可以達到10 000個左右，達到深度學習算法對樣本數(shù)據(jù)量的要求，并且由于表面肌電信號的產(chǎn)生比人體肌肉運動早30～150 ms，因此20（200 ms）的滑動窗口可以滿足人機交互技術的實時性要求。

在進行數(shù)據(jù)預處理后，為了構(gòu)建更易識別的表面肌電信號圖像，對表面肌電信號的每個通道分別進行變分模態(tài)分解。將得到的各變分模態(tài)分量及表面肌電信號分別構(gòu)建表面肌電圖像并進行手勢分類，構(gòu)建的sEMG圖像作為上述模型的輸入，結(jié)果如圖7所示。由圖7可見，原表面肌電信號（RAW）構(gòu)成的肌電圖像識別準確率為86.88%，而變分模態(tài)分解后的IMF1和IMF2分量所構(gòu)建的表面肌電圖像的準確率分別提高了6.94%和2.76%，利用前3個IMF構(gòu)成的三維肌電圖像（IMF1～3）的識別準確率為95.79%，比原表面肌電信號構(gòu)成的肌電圖像的識別率高出了8.91%。因此，本文后續(xù)實驗的肌電圖像為變分模態(tài)分解后的前3個IMF所構(gòu)成三維的肌電圖像，構(gòu)建的肌電圖像尺寸為10×20×3。

1.5.領域自適應

領域自適應算法屬于基于模型遷移的遷移學習算法，分為無監(jiān)督領域自適應和有監(jiān)督領域自適應。無監(jiān)督領域自適應的源域中有大量帶標簽的樣本數(shù)據(jù)，而目標域的樣本數(shù)據(jù)不帶標簽；有監(jiān)督的領域自適應其目標域和源域均為帶有標簽的樣本數(shù)據(jù)，且目標域的標簽數(shù)據(jù)一般用于更新模型網(wǎng)絡中神經(jīng)網(wǎng)絡的參數(shù)，稱之為模型微調(diào)。領域自適應是機器學習的前沿研究方向之一，在人機交互和生物醫(yī)學等方面有著極大的應用前景［33］。Du等［34］提出一種多流自適應批量歸一化（AdaBN）領域自適應技術，在NinaPro DB1數(shù)據(jù)集的無關用戶手勢識別準確率達到了67.4%。Lai等［35］通過一種自監(jiān)督的領域自適應技術，在樣本較少的情況下仍能得到較好的手勢識別結(jié)果。

不同個體肌電信號的核密度估計如圖8所示，縱坐標表示樣本數(shù)據(jù)分布的概率密度。可以看出，由于用戶之間的數(shù)據(jù)分布差異，導致新用戶在已訓練好的模型上表現(xiàn)不佳。本文將由個體差異導致的數(shù)據(jù)分布差異問題視為領域自適應問題，將用于模型訓練的用戶肌電數(shù)據(jù)視為源域，新用戶的肌電數(shù)據(jù)視為目標域，通過領域自適應算法將已訓練好的模型應用于新用戶的手勢識別中。領域自適應算法是應用已有的源域數(shù)據(jù)對網(wǎng)絡模型進行訓練，然后通過對訓練好的模型進行參數(shù)調(diào)整，使得源域和目標域中的數(shù)據(jù)分布盡可能地接近，使得訓練好的網(wǎng)絡模型可以在目標域中取得較好的泛化能力，提高目標域上的手勢識別準確率，實現(xiàn)網(wǎng)絡模型的復用。

AdaBN算法由Li等［36］提出，是基于BN層的領域自適應算法，適用于無監(jiān)督學習。該算法的核心是：在網(wǎng)絡模型訓練時，先利用源域D的樣本數(shù)據(jù)進行訓練，得到一個訓練好的模型，此時的訓練過程中，網(wǎng)絡模型做正向傳播和反向傳播。隨后選取目標域T的一小部分數(shù)據(jù)Q∈T，在每一批次的訓練過程中通過計算Q的方差和均值更新網(wǎng)絡模型批量歸一化（BN）層中均值和方差，此時的訓練過程只需要做正向傳播即可。由于BN層是對模型中各層的輸出做批量歸一化，而歸一化需要用到訓練數(shù)據(jù)的分布信息，因此通過上述的操作可以使源域和目標域的樣本數(shù)據(jù)調(diào)整到一個新的分布空間，在這新的分布空間中，源域和目標域的樣本數(shù)據(jù)具有相似的分布。本文將遷移學習中的AdaBN領域自適應算法與提出的卷積神經(jīng)網(wǎng)絡模型相結(jié)合應用于用戶無關的手勢識別。

基于AdaBN的卷積神經(jīng)網(wǎng)絡模型流程圖如圖9所示。該算法先用舊用戶（源域）數(shù)據(jù)訓練本文提出的卷積神經(jīng)網(wǎng)絡模型，然后利用少量新用戶（目標域）數(shù)據(jù)在已訓練好的模型中進行前向傳播，更新模型中BN層的參數(shù)。模型中BN層是個特殊的存在，它不參與反向傳播，因此新用戶的訓練數(shù)據(jù)可以不需要標簽。在訓練中，對每一批次數(shù)據(jù)的相關參數(shù)進行調(diào)整，可以提高模型在新用戶數(shù)據(jù)中的泛化能力。針對具有標簽的預訓練數(shù)據(jù)還可以利用模型微調(diào)，即用帶標簽的新用戶數(shù)據(jù)對模型的全連接層進行參數(shù)更新，進一步提高網(wǎng)絡的識別準確率。

2.結(jié)果與分析

2.1.用戶相關驗證

本文在NinPro DB1數(shù)據(jù)集中進行實驗驗證，分為4組對比實驗，分別為3個抓握動作、4個手或手腕動作、5個手或手腕動作和12個手指動作。參考以往的研究［30］，本文把每個手勢10次重復中的第2、5、7次重復作為測試集，其余的7次重復作為訓練集，用于訓練模型和評估用戶相關手勢識別。同時采用常用的傳統(tǒng)分類器SVM、BP、KNN、隨機森林［27， 37-38］作為對照組進行對比實驗，其中BP為3層隱藏層，神經(jīng)元數(shù)分別為512、128、64。上述算法的輸入特征向量均采用平均絕對值、方差和均方根。測試集和訓練集的劃分同樣遵循上述方式1/3的手勢重復作為測試集，剩余的手勢重復作為訓練集。各基準算法與本文算法在基于用戶相關的手勢識別性能如圖10所示，圖中箱體中間的一條線代表中位數(shù)，箱體的上下邊緣代表上四分位數(shù)和下四分位數(shù)，箱體包含了50%的數(shù)據(jù)，箱體外上下邊緣線代表最大值、最小值。其平均分類準確率如表4所示?？梢钥闯?，本文采用的肌電信號分解和深度學習模型在4組實驗中平均準確率均高于基準算法，在4組實驗中本文算法比最優(yōu)的基準算法高出了10.56%、5.33%、4.43%和21.05%，并且當手勢類別為12時，基準算法的分類準確率下降較多，本文算法分類準確率下降較少，達到了93.40%，表明本文算法提高了手勢分類的準確性和魯棒性。

圖11（a）展示了某位受試者測試集的混淆矩陣，圖11（b）為該受試者手勢識別的查全率及查準率。從圖11可以看出，本文算法擁有較好的手勢識別性能：對于測試集中的10個手勢擁有較高的手勢查全率和查準率，其中有部分標簽為10的手勢被識別為標簽為8的手勢，導致兩個手勢的查全率和查準率較低，其原因可能是兩個手勢的五指動作過于相似。從圖1可以看出，兩個手勢動作的主要區(qū)別在于標簽為8的手勢腕部是向掌心翻轉(zhuǎn)，而標簽為10的手勢腕部向掌背翻轉(zhuǎn)。

將本文算法與現(xiàn)有的文獻實驗成果進行對比，結(jié)果見表5。本文的算法在第4組實驗中比文獻［27，30，34，39，21］分別提高了31.98%、7.4%、9.4%、8.7%、3.82%，文獻［20］中選取了9個手勢類別進行手勢識別，本文手勢類別數(shù)比其多了3個，并且準確率提高了2.13%。與此同時，在另外3組的實驗中本文算法也得到了較高的準確率，數(shù)據(jù)對比印證了本文算法在用戶相關的肌電信號手勢中具有一定的優(yōu)越性。

2.2.用戶無關驗證

圖12為用其中某位用戶的第4組數(shù)據(jù)訓練本文提出的模型，用另一位用戶第4組數(shù)據(jù)的部分手勢重復作為預訓練數(shù)據(jù)，剩余手勢重復作為測試集的手勢識別準確率。從圖12可以看出，當預訓練手勢重復組數(shù)分別為1、2、3、4、5時，在測試集中的準確率分別為35.10%、57.46%、65.44%、70.55%和70.10%，測試集的準確率隨預訓練數(shù)據(jù)量的增多而升高。為了提高用戶體驗，即在采用較少的預訓練數(shù)據(jù)的同時保證手勢識別的準確率，本文采用用戶的前4組手勢重復作為模型的預訓練集，后6組重復作為測試集。

為了客觀評價本文算法的性能，本文與目前主要用戶無關的研究方法進行對比實驗，并與文獻［27］采取了相同的兩重交叉驗證方式評估算法性能。

第一重：每次采用其中1名用戶數(shù)據(jù)訓練模型，對其余用戶（新用戶）的數(shù)據(jù)對模型進行測試。重復N次（N=27），直到每個用戶都被作為一次訓練數(shù)據(jù)。

第二重：在第一重循環(huán)中，每次選取新用戶的前4組手勢重復作為預訓練數(shù)據(jù)，剩余手勢重復作為測試集。

同時，本文設置了不同的實驗方案用于進一步驗證本文算法的有效性：方案1為不用領域自適應，應用上述的兩重交叉驗證方式評估本文提出的模型；方案2和方案1的區(qū)別在于應用了AdaBN算法；方案3和方案1的區(qū)別在于應用了模型微調(diào)的方法；方案4和方案2的區(qū)別在于應用了模型微調(diào)的方法。

基于AdaBN的用戶無關算法在方案2下的4組實驗結(jié)果性能如圖13所示?？梢钥闯觯?組實驗的無關平均分類準確率分別為94.05%、92.06%、88.38%和70.03%。表6為本文算法在第4組實驗中4個方案的實驗結(jié)果?？梢钥闯?，本文在應用領域自適應方法后，用戶無關的手勢識別準確率由14.68%提高到了70.03%。在僅應用模型微調(diào)時，雖然用戶無關的手勢識別準確率提高到了72.41%，但使用模型微調(diào)時其更新的參數(shù)量是應用領域自適應的百倍；方案4數(shù)據(jù)表明在應用領域自適應的前提下，通過模型微調(diào)可以進一步提升用戶無關的手勢識別準確率。表6中文獻［40］同樣采用領域自適應的方法且用作預訓練和測試集的手勢重復均為5個。相比文獻［40］，本文算法在方案2的情況下減少1組預訓練的手勢重復，但手勢識別準確率提高了14.06%，說明本文的算法更有利于用戶無關的手勢識別。

表7為本文基于方案2的用戶無關手勢識別結(jié)果與其他相關研究成果的對比。表中雖有部分文獻采樣頻率與本文所用數(shù)據(jù)集不同，但采集協(xié)議相同，因此比較結(jié)果有意義。可以看出，本文在4組實驗中比近年的方法的準確率分別提高了12.93%、14.42%、14.3%和4.83%。表7中文獻［27，39］利用肌電分解和肌肉協(xié)同原理， 通過特征變換來解決用戶無關問題，其預訓練過程為有監(jiān)督學習，文獻［30，29］分別使用了傳統(tǒng)的機器學習方法和遷移學習方法，其準確率較低，文獻［34，40］都應用了領域適應，通過少量數(shù)據(jù)更新通用模型，其預訓練數(shù)據(jù)比本文多了1組手勢重復。

本文算法在只用領域自適應的情況下，手勢識別的準確率高于其他研究方法，說明本文算法具有一定的優(yōu)越性；由于本文提出的算法只將BN層參數(shù)設置為可訓練，更新參數(shù)少，更適用于實際應用開發(fā)，且與其他的領域自適應的研究相比，本文中的預訓練數(shù)據(jù)少，計算量小但準確率高。與文獻［27］相比，本文訓練過程為無監(jiān)督學習，無需對預訓練數(shù)據(jù)進行標記及提取肌電信號特征，且提高了準確率。

2.3.實測數(shù)據(jù)驗證

為了進一步驗證本文提出的算法在MCI相關領域?qū)嶋H應用中的可行性，進行了實測數(shù)據(jù)驗證。肌電采集設備采用普升科技有限公司的BioSemi AD-box和Active High-Density EMG electrode array組成的肌電采集系統(tǒng)。實驗共采集了8個受試者（其中5名男性、3名女性，平均年齡26歲）的12個手勢，分別為八字、OK、中間三指伸、兩指伸、拇指伸、食指伸、中指伸、握拳、無名指伸、五指伸、小指伸和抓握，數(shù)據(jù)采集協(xié)議與上述數(shù)據(jù)庫保持一致。采集過程如圖14所示，受試者保持一定的坐姿，根據(jù)提示做相應的手勢動作，每個手勢重復10次，每次動作保持5 s，休息5 s。采集的表面肌電信號如圖15所示，兩條紅線之間為手勢動作段。

按照2.1節(jié)中數(shù)據(jù)劃分的方式，將2/3的手勢重復劃分為訓練集，1/3的手勢重復劃分為測試集，驗證本文模型在實測數(shù)據(jù)中用戶相關的手勢識別效果。同時按照2.2節(jié)中方案1和方案2的方法驗證領域自適應在實測數(shù)據(jù)中用戶無關的手勢識別效果。經(jīng)測試，12名用戶的肌電數(shù)據(jù)在本文算法中基于用戶相關的手勢識別準確率為98.25%，在未使用領域自適應的情況下用戶無關的手勢識別準確率僅為6.57%，在應用領域自適應的條件下無關用戶的手勢識別準確率提升到了77.06%，充分說明了本文算法的可行性。

3.結(jié).論

MCI廣泛應用于各個領域，基于肌電信號的手勢識別是其亟待解決的關鍵問題之一。本文提出的方法不僅提升了用戶相關的手勢識別準確率，而且提升了用戶無關的手勢識別準確率。

（1）在用戶相關手勢識別中，對表面肌電信號進行SVM分解并構(gòu)建了利于手勢識別的肌電圖像，隨后利用卷積神經(jīng)網(wǎng)絡進行手勢識別，平均手勢識別率分別達到了99.28%、99.30%、98.39%和93.40%。實驗結(jié)果表明，本文提出的方法在基于用戶相關的肌電信號手勢識別中效果良好。

（2）在用戶無關手勢識別中，利用遷移學習中的AdaBN技術解決用戶之間肌電數(shù)據(jù)分布差異問題，減少了訓練數(shù)據(jù)的同時提高了用戶無關手勢識別的準確率，平均手勢識別率分別達到了94.05%、92.60%、88.38%和70.03%，為模型的通用性提供了解決方案。

（3）實測數(shù)據(jù)進一步驗證了本方法的有效性：用戶相關和用戶無關的手勢識別的手勢識準確率分別達到了98.25%和77.06%。同時實驗中采用了平時生活中慣用的手指、手腕、抓握等手勢動作為研究對象，有益于在實際應用中實現(xiàn)更為高效的控制。

參考文獻：

［1］GUO Weichao， YAO Pengfei， SHENG Xinjun， et al. An enhanced human-computer interface based on simultaneous sEMG and NIRS for prostheses control ［C］//2014 IEEE International Conference on Information and Automation （ICIA）. Piscataway， NJ， USA： IEEE， 2014： 204-207.

［2］FAN Yuanjie， YIN Yuehong. Active and progressive exoskeleton rehabilitation using multisource information fusion from EMG and force-position EPP ［J］. IEEE Transactions on Biomedical Engineering， 2013， 60（12）： 3314-3321.

［3］LI Yun， CHEN Xiang， ZHANG Xu， et al. A sign-component-based framework for Chinese sign language recognition using accelerometer and sEMG data ［J］. IEEE Transactions on Biomedical Engineering， 2012， 59（10）： 2695-2704.

［4］CHENG Juan， CHEN Xiang， LU Zhiyuan， et al. Key-press gestures recognition and interaction based on SEMG signals ［C］//International Conference on Multimodal Interfaces and the Workshop on Machine Learning for Multimodal Interaction. New York， USA： ACM， 2010： 36.

［5］QI Wen， SU Hang， ALIVERTI A. A smartphone-based adaptive recognition and real-time monitoring system for human activities ［J］. IEEE Transactions on Human-Machine Systems， 2020， 50（5）： 414-423.

［6］WEN Rong， TAY W L， NGUYEN B P， et al. Hand gesture guided robot-assisted surgery based on a direct augmented reality interface ［J］. Computer Methods and Programs in Biomedicine， 2014， 116（2）： 68-80.

［7］VAN EDE F， NOBRE A C. Turning attention inside out： how working memory serves behavior ［J］. Annual Review of Psychology， 2023， 74： 137-165.

［8］KIELIBA P， CLOBE D， MAIMON-MOR R O， et al. Robotic hand augmentation drives changes in neural body representation ［J］. Science Robotics， 2021， 6（54）： eabd7935.

［9］丁其川， 熊安斌， 趙新剛， 等. 基于表面肌電的運動意圖識別方法研究及應用綜述 ［J］. 自動化學報， 2016， 42（1）： 13-25.

DING Qichuan， XIONG Anbin， ZHAO Xingang， et al. A review on researches and applications of sEMG-based motion intent recognition methods ［J］. Acta Automatica Sinica， 2016， 42（1）： 13-25.

［10］胡旭暉， 宋愛國， 李會軍. 基于表面肌電圖像的靈巧假手控制系統(tǒng) ［J］. 控制理論與應用， 2018， 35（12）： 1707-1714.

HU Xuhui， SONG Aiguo， LI Huijun. Dexterous robot hand control system based on surface electromyography image ［J］. Control Theory amp; Applications， 2018， 35（12）： 1707-1714.

［11］FREITAS M L B， MENDES J J A Jr， DIAS T S， et al. Surgical instrument signaling gesture recognition using surface electromyography signals ［J］. Sensors， 2023， 23（13）： 6233.

［12］FU Rongrong， ZHANG Baozhong， LIANG Haifeng， et al. Gesture recognition of sEMG signal based on GASF-LDA feature enhancement and adaptive ABC optimized SVM ［J］. Biomedical Signal Processing and Control， 2023， 85： 105104.

［13］WARIS A， NIAZI I K， JAMIL M， et al. Multiday evaluation of techniques for EMG-based classification of hand motions ［J］. IEEE Journal of Biomedical and Health Informatics， 2019， 23（4）： 1526-1534.

［14］CT-ALLARD U， FALL C L， CAMPEAU-LECOURS A， et al. Transfer learning for sEMG hand gestures recognition using convolutional neural networks ［C］//2017 IEEE International Conference on Systems， Man， and Cybernetics （SMC）. Piscataway， NJ， USA： IEEE， 2017： 1663-1668.

［15］JAFARZADEH M， HUSSEY D C， TADESSE Y. Deep learning approach to control of prosthetic hands with electromyography signals ［C］//2019 IEEE International Symposium on Measurement and Control in Robotics （ISMCR）. Piscataway， NJ， USA： IEEE， 2019： A1-4-1-A1-4-11.

［16］CHUNG E A， BENALCZAR M E. Real-time hand gesture recognition model using deep learning techniques and EMG signals ［C］//2019 27th European Signal Processing Conference （EUSIPCO）. Piscataway， NJ， USA： IEEE， 2019： 1-5.

［17］ATZORI M， COGNOLATO M， MLLER H. Deep learning with convolutional neural networks applied to electromyography data： a resource for the classification of movements for prosthetic hands ［J］. Frontiers in Neurorobotics， 2016， 10： 9.

［18］ATZORI M， MLLER H. The ninapro database： a resource for sEMG naturally controlled robotic hand prosthetics ［C］//2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society （EMBC）. Piscataway， NJ， USA： IEEE， 2015： 7151-7154.

［19］陳思佳， 羅志增. 基于長短時記憶和卷積神經(jīng)網(wǎng)絡的手勢肌電識別研究 ［J］. 儀器儀表學報， 2021， 42（2）： 162-170.

CHEN Sijia， LUO Zhizeng. Research on gesture EMG recognition based on long short-term memory and convolutional neural network ［J］. Chinese Journal of Scientific Instrument， 2021， 42（2）： 162-170.

［20］QURESHI M F， MUSHTAQ Z， REHMAN M Z U， et al. E2CNN： an efficient concatenated CNN for classification of surface EMG extracted from upper limb ［J］. IEEE Sensors Journal， 2023， 23（8）： 8989-8996.

［21］LI Gongfa， BAI Dongxu， JIANG Guozhang， et al. Continuous dynamic gesture recognition using surface EMG signals based on blockchain-enabled internet of medical things ［J］. Information Sciences， 2023， 646： 119409.

［22］李自由， 趙新剛， 張弼， 等. 基于表面肌電的意圖識別方法在非理想條件下的研究進展 ［J］. 自動化學報， 2021， 47（5）： 955-969.

LI Ziyou， ZHAO Xingang， ZHANG Bi， et al. Review of sEMG-based motion intent recognition methods in non-ideal conditions ［J］. Acta Automatica Sinica， 2021， 47（5）： 955-969.

［23］GUO Weichao， SHENG Xinjun， LIU Jianwei， et al. Towards zero training for myoelectric control based on a wearable wireless sEMG armband ［C］//2015 IEEE International Conference on Advanced Intelligent Mechatronics （AIM）. Piscataway， NJ， USA： IEEE， 2015： 196-201.

［24］XU Zhengyuan， YU Junxiao， XIANG Wentao， et al. A novel SE-CNN attention architecture for sEMG-based hand gesture recognition ［J］. Computer Modeling in Engineering amp; Sciences， 2023， 134（1）： 157-177.

［25］XIONG Anbin， ZHAO Xingang， HAN Jianda， et al. An user-independent gesture recognition method based on sEMG decomposition ［C］//2015 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway， NJ， USA： IEEE， 2015： 4185-4190.

［26］ISON M R， ARTEMIADIS P. Beyond user-specificity for EMG decoding using multiresolution muscle synergy analysis ［C］//ASME 2013 Dynamic Systems and Control Conference. New York， USA： ASME， 2013： V001T08A006.

［27］鄭楠， 李玉榕， 張文萱， 等. 基于特定任務肌肉協(xié)同的用戶無關肌電手勢識別研究 ［J］. 儀器儀表學報， 2021， 42（9）： 253-261.

ZHENG Nan， LI Yurong， ZHANG Wenxuan， et al. User-independent EMG gesture recognition based on task-specific muscle synergy ［J］. Chinese Journal of Scientific Instrument， 2021， 42（9）： 253-261.

［28］KHUSHABA R N. Correlation analysis of electromyogram signals for multiuser myoelectric interfaces ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2014， 22（4）： 745-755.

［29］KANOGA S， HOSHINO T， ASOH H. Subject-transfer framework with unlabeled data based on multiple distance measures for surface electromyogram pattern recognition ［J］. Biomedical Signal Processing and Control， 2022， 74： 103522.

［30］ATZORI M， GIJSBERTS A， HEYNEN S， et al. Building the Ninapro database： a resource for the biorobotics community ［C］//2012 4th IEEE RAS amp; EMBS International Conference on Biomedical Robotics and Biomechatronics （BioRob）. Piscataway， NJ， USA： IEEE， 2012： 1258-1265.

［31］李文武， 石強， 王凱， 等. 基于變分模態(tài)分解和深度門控網(wǎng)絡的徑流預測 ［J］. 水力發(fā)電學報， 2020， 39（3）： 34-44.

LI Wenwu， SHI Qiang， WANG Kai， et al. Runoff prediction based on variational mode decomposition and deep gated network ［J］. Journal of Hydroelectric Engineering， 2020， 39（3）： 34-44.

［32］DRAGOMIRETSKIY K， ZOSSO D. Variational mode decomposition ［J］. IEEE Transactions on Signal Processing， 2014， 62（3）： 531-544.

［33］龍明盛. 遷移學習問題與方法研究 ［D］. 北京： 清華大學， 2014.

［34］DU Yu， JIN Wenguang， WEI Wentao， et al. Surface EMG-based inter-session gesture recognition enhanced by deep domain adaptation ［J］. Sensors， 2017， 17（3）： 458.

［35］LAI Zhiping， KANG Xiaoyang， WANG Hongbo， et al. Contrastive domain adaptation： a self-supervised learning framework for sEMG-based gesture recognition ［C］//2022 IEEE International Joint Conference on Biometrics （IJCB）. Piscataway， NJ， USA： IEEE， 2022： 1-7.

［36］LI Yanghao， WANG Naiyan， SHI Jianping， et al. Revisiting batch normalization for practical domain adaptation ［EB/OL］. （2016-11-08）［2023-06-01］. https：//arxiv.org/abs/1603.04779.

［37］張龍嬌， 曾曉勤. 基于深度神經(jīng)網(wǎng)絡的sEMG手勢識別研究 ［J］. 計算機工程與應用， 2019， 55（23）： 113-119.

ZHANG Longjiao， ZENG Xiaoqin. Research on gesture recognition of sEMG based on deep neural network ［J］. Computer Engineering and Applications， 2019， 55（23）： 113-119.

［38］[JP+2]CHEN Hongfeng， ZHANG Yue， LI Gongfa， et al. Surface electromyography feature extraction via convolutional neural network ［J］. International Journal of Machine Learning and Cybernetics， 2020， 11（1）： 185-196.

［39］KIM M， CHUNG W K， KIM K. Subject-independent sEMG pattern recognition by using a muscle source activation model ［J］. IEEE Robotics and Automation Letters， 2020， 5（4）： 5175-5180.

［40］KETYK I， KOVCS F， VARGA K Z. Domain adaptation for sEMG-based gesture recognition with recurrent neural networks ［C］//2019 International Joint Conference on Neural Networks （IJCNN）. Piscataway， NJ， USA： IEEE， 2019： 1-7.