亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于雙流卷積神經(jīng)網(wǎng)絡(luò)的肌電信號(hào)手勢(shì)識(shí)別方法

        2022-02-19 03:01:30衛(wèi)文韜李亞軍
        關(guān)鍵詞:雙流肌電電信號(hào)

        衛(wèi)文韜,李亞軍

        (南京理工大學(xué) 設(shè)計(jì)藝術(shù)與傳媒學(xué)院,南京 江蘇 210094)

        0 引言

        手是人體最靈活的肢體,手勢(shì)識(shí)別系統(tǒng)將用戶的手勢(shì)動(dòng)作轉(zhuǎn)化為對(duì)設(shè)備的指令,是實(shí)現(xiàn)人與設(shè)備自然、精準(zhǔn)溝通和交流的重要途徑之一。在眾多手勢(shì)識(shí)別技術(shù)中,基于表面肌電信號(hào)(surface Electromyography, sEMG)的手勢(shì)識(shí)別(簡稱“肌電手勢(shì)識(shí)別”)技術(shù)憑借其對(duì)用戶手部運(yùn)動(dòng)意圖較強(qiáng)的理解能力、較好的可穿戴性以及不受光照條件和遮擋影響的特性,被廣泛應(yīng)用于面向智能假肢[1]、工業(yè)機(jī)器人[2]、自然人機(jī)交互[3]等領(lǐng)域的肌電控制系統(tǒng)中,并有諸如Myo智能交互臂環(huán)、CTRL-labs臂環(huán)等研制成功并面向消費(fèi)市場的肌電手勢(shì)識(shí)別與控制套件,具有十分重要的研究價(jià)值和廣闊的發(fā)展前景。

        隨著大規(guī)模公開表面肌電數(shù)據(jù)集樣本量的增加和深度機(jī)器學(xué)習(xí)技術(shù)的發(fā)展,本領(lǐng)域最新研究工作開始聚焦以深度神經(jīng)網(wǎng)絡(luò)為代表的特征學(xué)習(xí)方法[4],其可以通過多重非線性變換,從大量輸入數(shù)據(jù)樣本中自動(dòng)學(xué)習(xí)高層的抽象特征[5],因此可以在一定程度上擺脫時(shí)域、頻域或時(shí)頻域信號(hào)特征的手工提取和選擇過程,實(shí)現(xiàn)“端到端”的模式識(shí)別。另一方面,由于表面肌電信號(hào)的隨機(jī)性、不穩(wěn)定性以及信號(hào)采集過程中產(chǎn)生的各種噪聲干擾,端到端深度神經(jīng)網(wǎng)絡(luò)模型在肌電手勢(shì)識(shí)別任務(wù)中的性能依然有較大的提升空間[6]。因此,研究者嘗試在相關(guān)工作中手工提取時(shí)域、頻域和時(shí)頻域信號(hào)特征,作為深度神經(jīng)網(wǎng)絡(luò)模型的輸入進(jìn)行肌電手勢(shì)識(shí)別。如ZHAI等[7]通過快速傅里葉變換從表面肌電信號(hào)提取信號(hào)頻譜輸入卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)模型進(jìn)行手勢(shì)識(shí)別,識(shí)別49類手勢(shì)動(dòng)作的準(zhǔn)確率為78.7%;SHEN等[8]提取多種時(shí)域、頻域以及時(shí)頻域特征并轉(zhuǎn)化為圖像,作為堆疊CNN模型的輸入進(jìn)行肌電手勢(shì)識(shí)別,識(shí)別40類手勢(shì)動(dòng)作的準(zhǔn)確率達(dá)到72.1%;WEI等[9]手工提取兩種時(shí)頻域特征集以及一個(gè)包含時(shí)域、頻域特征的經(jīng)典Phinyomark特征集,并轉(zhuǎn)化為圖像,作為CNN模型的輸入,進(jìn)行肌電手勢(shì)識(shí)別,識(shí)別50類手勢(shì)動(dòng)作的準(zhǔn)確率達(dá)到83.7%。上述方法基于手工信號(hào)特征所提供的豐富領(lǐng)域知識(shí)實(shí)現(xiàn)了更高的手勢(shì)識(shí)別準(zhǔn)確率,卻在一定程度上忽視了CNN模型的端到端特征學(xué)習(xí)能力,使系統(tǒng)難以在手工特征提取所需要的額外計(jì)算開銷和手勢(shì)識(shí)別準(zhǔn)確率之間取得平衡。

        針對(duì)上述問題,本文提出一種雙流CNN模型,其兩個(gè)CNN分支分別從原始表面肌電信號(hào)轉(zhuǎn)化的圖像和離散小波變換系數(shù)轉(zhuǎn)化的圖像中學(xué)習(xí)高層特征,并通過一個(gè)高層特征融合模塊對(duì)兩個(gè)分支學(xué)習(xí)得到的高層特征進(jìn)行融合,融合后的高層特征被輸入分類器中進(jìn)行手勢(shì)識(shí)別。本文將傳統(tǒng)特征工程方法和基于CNN的特征學(xué)習(xí)方法相結(jié)合,在肌電手勢(shì)識(shí)別過程中既利用了離散小波變換系數(shù)所提供的表面肌電信號(hào)時(shí)頻域信息,也利用了CNN從原始表面肌電信號(hào)中通過特征學(xué)習(xí)得到的高層卷積特征。在公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,相比已有使用多種手工信號(hào)特征作為輸入的CNN模型[9],本文提出的雙流CNN模型僅使用一種手工信號(hào)特征和原始表面肌電信號(hào)作為輸入,即可獲得更高的手勢(shì)識(shí)別準(zhǔn)確率。

        1 離散小波變換

        小波變換(Wavelet Transform, WT)是一種通過帶有伸縮和平移量參數(shù)的小波基函數(shù)對(duì)原始信號(hào)進(jìn)行多尺度分解的信號(hào)時(shí)頻分析方法。相比連續(xù)小波變換(Continuous Wavelet Transform, CWT),離散小波變換(Discrete Wavelet Transform, DWT)可直接應(yīng)用于表面肌電信號(hào)等離散采樣信號(hào),不需要進(jìn)行額外的插值連續(xù)化處理,因此所需的計(jì)算開銷更低,更適用于肌電控制系統(tǒng)[10]。離散小波變換通過基于小波基函數(shù)構(gòu)建的高通濾波器G(h)和低通濾波器G(l)將原始離散采樣信號(hào)分解為高頻(細(xì)節(jié))系數(shù)Wh和低頻(近似)系數(shù)Wl,實(shí)現(xiàn)對(duì)信號(hào)的多尺度分解。

        本文首先對(duì)多通道表面肌電信號(hào)進(jìn)行滑動(dòng)窗口采樣,隨后對(duì)每個(gè)采樣窗口內(nèi)多通道表面肌電信號(hào)的每一通道信號(hào)基于Daubechies 1小波基函數(shù)進(jìn)行多尺度的一維離散小波變換分解。

        本文將小波變換尺度k設(shè)置為?k=log2N?,其中N為以幀為單位的滑動(dòng)采樣窗口長度,將每個(gè)通道表面肌電信號(hào)在所有k個(gè)小波變換尺度下的高頻系數(shù)以及在第k個(gè)小波變換尺度下的低頻系數(shù)拼接為一個(gè)包含M個(gè)元素的一維向量,作為從該通道表面肌電信號(hào)中提取的小波變換系數(shù)向量。當(dāng)N=400時(shí),有k=8,M=200+100+50+25+13+7+4+2+1+1=403。最終每個(gè)采樣窗口內(nèi)所有C通道(C為采集表面肌電信號(hào)所使用的肌電傳感器數(shù)量)的表面肌電信號(hào)通過離散小波變換分解可得到一個(gè)C×M的小波變換系數(shù)矩陣,并通過歸一化操作將該矩陣轉(zhuǎn)化為離散小波變換系數(shù)(Discrete Wavelet Transform Coefficients, DWTC)圖像。如圖1所示為在對(duì)NinaPro數(shù)據(jù)集第2個(gè)子集第3名被試第2類手勢(shì)動(dòng)作第2次重復(fù)的表面肌電信號(hào)進(jìn)行長度為400幀(N=400)的連續(xù)滑動(dòng)窗口采樣后,根據(jù)上述過程生成的連續(xù)4幀(第300~303幀)DWTC圖像。

        2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

        2.1 雙流卷積神經(jīng)網(wǎng)絡(luò)

        雙流深度神經(jīng)網(wǎng)絡(luò)是近年來在基于計(jì)算機(jī)視覺技術(shù)的人體動(dòng)作和行為識(shí)別領(lǐng)域應(yīng)用較為廣泛的深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)之一,例如張小俊等[11]在基于視頻的人體動(dòng)作識(shí)別中將輸入數(shù)據(jù)分為時(shí)間數(shù)據(jù)流和空間數(shù)據(jù)流,并使用雙流的三維CNN模型分別從時(shí)間數(shù)據(jù)流和空間數(shù)據(jù)流中提取時(shí)間域和空間域信息。

        本文從每個(gè)采樣窗口內(nèi)的多通道表面肌電信號(hào)提取DWTC圖像,同時(shí)將每個(gè)采樣窗口內(nèi)的多通道表面肌電信號(hào)轉(zhuǎn)化為表面肌電(sEMG)圖像,并將sEMG圖像流和DWTC圖像流分別作為雙流CNN模型兩個(gè)分支的輸入進(jìn)行高層特征的學(xué)習(xí),并最終通過高層特征融合模塊對(duì)兩個(gè)CNN分支的輸出進(jìn)行融合。如果用x表示一個(gè)N幀采樣窗口里的C通道表面肌電信號(hào),上述過程可以由式(2)描述:

        y=Hf(Hs(x;θs),Hw(W;θw);θf),

        x∈N×C,W∈M×C。

        (1)

        其中:y為CNN模型最終輸出的高層特征;W為從x中提取的DWTC圖像;Hs為用于處理sEMG圖像流的CNN分支;θs為Hs的參數(shù);Hw為用于處理DWTC圖像流的CNN分支;θw為Hw的參數(shù);Hf為用于融合兩個(gè)CNN分支輸出特征的高層特征融合模塊;θf為Hf的參數(shù)。Hs和Hw在訓(xùn)練過程中保持參數(shù)的相互獨(dú)立。

        本文提出的用于肌電手勢(shì)識(shí)別的雙流CNN結(jié)構(gòu)如圖2所示,其中用于處理DWTC圖像流的CNN分支由2個(gè)卷積層和2個(gè)局部連接層構(gòu)成,每個(gè)卷積層均采用2×2的二維濾波器(卷積核)對(duì)DWTC圖像進(jìn)行卷積,每個(gè)卷積層生成的卷積特征圖數(shù)量均為64。2個(gè)卷積層之后是2個(gè)采用1×1濾波器的局部連接層,每個(gè)局部連接層生成的特征圖數(shù)量均為64。相比卷積層,局部連接層在輸入圖像不同位置進(jìn)行特征提取的濾波器之間不共享權(quán)值,因此對(duì)圖像的局部特征具有更好的學(xué)習(xí)能力。用于處理sEMG圖像流的CNN分支結(jié)構(gòu)參考了在肌電手勢(shì)識(shí)別中應(yīng)用較為廣泛的GengNet結(jié)構(gòu)[12],其包含2個(gè)卷積層和2個(gè)局部連接層,每個(gè)卷積層均采用3×3的二維濾波器,每個(gè)卷積層生成的卷積特征圖數(shù)量均為64,2個(gè)卷積層之后是2個(gè)采用1×1濾波器的局部連接層,每個(gè)局部連接層生成的特征圖數(shù)量均為64。兩個(gè)CNN分支輸出的高層特征圖像經(jīng)過特征扁平化(flatten)操作后,輸入高層特征融合模塊進(jìn)行融合。

        對(duì)兩個(gè)CNN分支的每一個(gè)卷積層和局部連接層,應(yīng)用深度學(xué)習(xí)領(lǐng)域應(yīng)用較為廣泛的批標(biāo)準(zhǔn)化(Batch Normalization, BN)[13],并設(shè)置ReLU(rectified linear unit)非線性激活函數(shù)[14]。其中批標(biāo)準(zhǔn)化的主要目的是對(duì)每一批次的輸入數(shù)據(jù)樣本進(jìn)行標(biāo)準(zhǔn)化,避免CNN中各層參數(shù)變化引發(fā)數(shù)據(jù)分布變化問題,而ReLU非線性激活函數(shù)主要通過對(duì)神經(jīng)元輸入的非線性變換來避免梯度消失問題并加快收斂速度。此外,對(duì)每個(gè)分支第二層局部連接層設(shè)置隨機(jī)失活(dropout)正則化[15],以避免過擬合現(xiàn)象的發(fā)生。

        2.2 高層特征融合模塊設(shè)計(jì)

        本文提出如圖3所示高層特征融合模塊,對(duì)經(jīng)過扁平化處理的兩個(gè)CNN分支輸出的高層特征進(jìn)行融合,其結(jié)構(gòu)具體描述如下:

        高層特征融合模塊包含兩個(gè)神經(jīng)網(wǎng)絡(luò)分支,每個(gè)分支均由兩個(gè)全連接層構(gòu)成。其中:第1個(gè)分支兩個(gè)全連接層的神經(jīng)元數(shù)量分別為512和128,該分支的輸入為sEMG圖像流所對(duì)應(yīng)CNN分支輸出的扁平化高層特征;第2個(gè)分支兩個(gè)全連接層的神經(jīng)元數(shù)量分別為1 024和512,該分支的輸入為sEMG圖像流所對(duì)應(yīng)CNN分支輸出的扁平化高層特征與DWTC圖像流所對(duì)應(yīng)CNN分支輸出的扁平化高層特征拼接而成的特征向量。兩個(gè)分支所輸出的特征向量經(jīng)過拼接后輸入一個(gè)神經(jīng)元數(shù)量等于待識(shí)別手勢(shì)類別數(shù)的G-way全連接層,G-way全連接層的輸出被作為Softmax分類器的輸入,進(jìn)行手勢(shì)識(shí)別。

        在上述高層特征融合模塊中,雙流CNN兩個(gè)分支從sEMG圖像流與DWTC圖像流分別學(xué)習(xí)得到的高層特征進(jìn)行了兩次特征層融合[16],從而實(shí)現(xiàn)了兩個(gè)數(shù)據(jù)流之間更為充分和頻繁的信息交互和傳遞。

        2.3 神經(jīng)網(wǎng)絡(luò)超參數(shù)設(shè)置

        采用隨機(jī)梯度下降法(Stochastic Gradient Descent, SGD)訓(xùn)練神經(jīng)網(wǎng)絡(luò),批數(shù)據(jù)量(batch size)設(shè)置為1 000,迭代次數(shù)設(shè)置為28。為加速收斂,采用了學(xué)習(xí)率衰減(decay)策略,即初始學(xué)習(xí)率設(shè)置為0.1,在第16次迭代和第24次迭代時(shí)分別將學(xué)習(xí)率除以10。對(duì)所有采用隨機(jī)失活正則化的神經(jīng)網(wǎng)絡(luò)隱層,其隨機(jī)失活的神經(jīng)元比例為65%。

        3 實(shí)驗(yàn)

        實(shí)驗(yàn)采用AMAX DevMax401工作站進(jìn)行,其配置為英特爾I7 8700K處理器,2塊英偉達(dá)GeForce GTX1080Ti顯卡,128 GB內(nèi)存,神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測試所涉及計(jì)算主要通過顯卡的GPU完成。離散小波變換的實(shí)現(xiàn)基于PyWavelets小波分析庫,CNN的實(shí)現(xiàn)基于MxNet框架,程序編寫語言為Python。

        3.1 手勢(shì)動(dòng)作基準(zhǔn)肌電數(shù)據(jù)集

        選取大規(guī)模手勢(shì)動(dòng)作基準(zhǔn)數(shù)據(jù)集NinaPro[17]的第2、3、4號(hào)子數(shù)據(jù)集的表面肌電數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。其中NinaPro 2號(hào)數(shù)據(jù)集(記作“NinaProDB2”)包含從40名健康被試采集的50類手勢(shì)動(dòng)作12通道表面肌電信號(hào);NinaPro 3號(hào)數(shù)據(jù)集(記作“NinaProDB3”)包含從11名前臂截肢的殘疾人被試采集的50類手勢(shì)動(dòng)作12通道表面肌電信號(hào),參考WEI等[9]使用該數(shù)據(jù)集進(jìn)行肌電手勢(shì)識(shí)別實(shí)驗(yàn)的配置,剔除了部分存在通道數(shù)量不全和動(dòng)作數(shù)量不全情況的被試數(shù)據(jù);NinaPro 4號(hào)數(shù)據(jù)集(記作“NinaProDB4”)包含從10名健康被試采集的52類手勢(shì)動(dòng)作12通道表面肌電信號(hào)。上述3個(gè)數(shù)據(jù)集中,每名被試所完成的每類手勢(shì)動(dòng)作均被重復(fù)6次,表面肌電信號(hào)采樣率為2 000 Hz,手勢(shì)動(dòng)作的詳細(xì)定義和圖片在ATZORI等[17]的工作中有詳細(xì)說明。

        3.2 輸入數(shù)據(jù)預(yù)處理

        使用截?cái)囝l率為1 Hz的一階Butterworth低通濾波器對(duì)表面肌電信號(hào)進(jìn)行濾波處理,并使用滑動(dòng)采樣窗口對(duì)表面肌電信號(hào)進(jìn)行窗口化采樣。ENGLEHART等[18]在對(duì)肌電控制系統(tǒng)的早期研究中指出,肌電控制系統(tǒng)的控制延遲不應(yīng)大于300 ms,故主要采用200 ms長度的滑動(dòng)采樣窗口以滿足這一約束,滑動(dòng)采樣窗口的移動(dòng)步長為10 ms。

        3.3 評(píng)估指標(biāo)與深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

        在實(shí)驗(yàn)中,本文使用手勢(shì)識(shí)別準(zhǔn)確率(accuracy)作為主要指標(biāo)評(píng)估所提出模型,對(duì)第i名被試而言,其手勢(shì)識(shí)別準(zhǔn)確率Ai的計(jì)算公式為:

        (2)

        為便于性能對(duì)比,采用了與在NinaPro數(shù)據(jù)集上開展肌電手勢(shì)識(shí)別實(shí)驗(yàn)的相關(guān)工作[6,9,12,19]相一致的被試內(nèi)(intra-subject)手勢(shì)識(shí)別測試方法,對(duì)NinaPro數(shù)據(jù)集中每一名被試分別進(jìn)行手勢(shì)識(shí)別測試,得到手勢(shì)識(shí)別準(zhǔn)確率,最終深度神經(jīng)網(wǎng)絡(luò)模型的手勢(shì)識(shí)別準(zhǔn)確率為所有n名被試手勢(shì)識(shí)別準(zhǔn)確率{A1,A2,A3,…,An}的平均值。在對(duì)每一名被試的手勢(shì)識(shí)別測試中,深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法描述如下:選取該名被試所有數(shù)據(jù)樣本中2/3的數(shù)據(jù)樣本作為訓(xùn)練數(shù)據(jù)集,剩余1/3的數(shù)據(jù)樣本作為測試數(shù)據(jù)集。其中訓(xùn)練集和測試集數(shù)據(jù)樣本的選取原則描述如下:將該被試每種手勢(shì)動(dòng)作6次重復(fù)中第1、3、4、6次重復(fù)的表面肌電信號(hào)數(shù)據(jù)樣本作為訓(xùn)練數(shù)據(jù)集,第2和第5次重復(fù)的表面肌電信號(hào)數(shù)據(jù)樣本作為測試數(shù)據(jù)集。為保證深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練數(shù)據(jù)樣本的數(shù)量,避免過擬合現(xiàn)象的發(fā)生,本文參考相關(guān)工作[6,9,12,19],使用所有被試的訓(xùn)練數(shù)據(jù)樣本作為預(yù)訓(xùn)練數(shù)據(jù)集對(duì)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了預(yù)訓(xùn)練,即在每一名被試的手勢(shì)識(shí)別測試中,深度神經(jīng)網(wǎng)絡(luò)模型使用預(yù)訓(xùn)練得到的預(yù)訓(xùn)練模型參數(shù)進(jìn)行初始化。

        3.4 實(shí)驗(yàn)結(jié)果

        3.4.1 雙流CNN與單流CNN的對(duì)比實(shí)驗(yàn)

        首先將所提出雙流CNN模型的肌電手勢(shì)識(shí)別準(zhǔn)確率與在其每個(gè)分支結(jié)構(gòu)基礎(chǔ)上構(gòu)建的單流CNN模型進(jìn)行對(duì)比,驗(yàn)證其雙流結(jié)構(gòu)的有效性。對(duì)比的兩種單流CNN結(jié)構(gòu)具體描述為:

        (1)單流CNN模型1(記作“單流CNN_1”)的網(wǎng)絡(luò)結(jié)構(gòu)依次為2個(gè)卷積層、2個(gè)局部連接層、神經(jīng)元數(shù)量為1 024的全連接層、神經(jīng)元數(shù)量為512的全連接層、G-way全連接層、Softmax分類器。每個(gè)卷積層均采用2×2的濾波器(卷積核),每個(gè)卷積層生成的卷積特征圖數(shù)量均為64,局部連接層均采用1×1的濾波器,每個(gè)局部連接層生成的特征圖數(shù)量均為64。

        (2)單流CNN模型2(記作“單流CNN_2”)的網(wǎng)絡(luò)結(jié)構(gòu)與單流CNN_1網(wǎng)絡(luò)結(jié)構(gòu)的唯一區(qū)別在于其兩個(gè)卷積層每層均采用3×3的濾波器(卷積核)。單流CNN_1和單流CNN_2的輸入均為sEMG圖像和DWTC圖像拼接而成的圖像。

        雙流CNN模型、單流CNN_1以及單流CNN_2在3個(gè)數(shù)據(jù)集中的肌電手勢(shì)識(shí)別準(zhǔn)確率如表1所示。

        表1 雙流CNN與單流CNN肌電手勢(shì)識(shí)別準(zhǔn)確率對(duì)比 %

        由表1可見,在同樣使用sEMG圖像和DWTC圖像作為輸入的前提下,本文所提出雙流CNN模型的手勢(shì)識(shí)別準(zhǔn)確率顯著超過了兩種單流CNN模型,證明本文所提雙流CNN模型相比傳統(tǒng)單流CNN模型具有更優(yōu)的肌電手勢(shì)識(shí)別性能。

        3.4.2 輸入圖像的對(duì)比實(shí)驗(yàn)

        為驗(yàn)證所提出方法使用DWTC圖像結(jié)合sEMG圖像進(jìn)行肌電手勢(shì)識(shí)別的有效性,將所提出方法與以下兩種方法進(jìn)行對(duì)比:

        (1)將sEMG圖像輸入單流CNN模型進(jìn)行手勢(shì)識(shí)別,其中單流CNN結(jié)構(gòu)與所提出雙流CNN模型用于處理sEMG圖像流的CNN分支結(jié)構(gòu)相同,依次為2個(gè)卷積層、2個(gè)局部連接層、神經(jīng)元數(shù)量為512的全連接層、神經(jīng)元數(shù)量為128的全連接層、G-way全連接層、Softmax分類器。每個(gè)卷積層均采用3×3的濾波器(卷積核),每個(gè)卷積層生成的卷積特征圖數(shù)量均為64,局部連接層均采用1×1的濾波器,每個(gè)局部連接層生成的特征圖數(shù)量均為64。

        (2)將DWTC圖像輸入單流CNN模型進(jìn)行手勢(shì)識(shí)別,其中單流CNN結(jié)構(gòu)與所提出雙流CNN模型用于處理DWTC圖像流的CNN分支結(jié)構(gòu)相同,依次為2個(gè)卷積層、2個(gè)局部連接層、神經(jīng)元數(shù)量為1024的全連接層、神經(jīng)元數(shù)量為512的全連接層、G-way全連接層、Softmax分類器。每個(gè)卷積層均采用2×2的濾波器(卷積核),每個(gè)卷積層生成的卷積特征圖數(shù)量均為64,局部連接層均采用1×1的濾波器,每個(gè)局部連接層生成的特征圖數(shù)量均為64。

        本文方法、僅基于DWTC圖像的方法以及僅基于sEMG圖像的方法在3個(gè)數(shù)據(jù)集中的肌電手勢(shì)識(shí)別準(zhǔn)確率如表2所示。

        表2 不同輸入圖像的肌電手勢(shì)識(shí)別準(zhǔn)確率對(duì)比 %

        由表2可見,本文所提出結(jié)合DWTC圖像與sEMG圖像的方法在手勢(shì)識(shí)別準(zhǔn)確率方面顯著超過了另外兩種方法。

        3.4.3 深度神經(jīng)網(wǎng)絡(luò)模型的對(duì)比實(shí)驗(yàn)

        表3對(duì)比了本文所提出雙流CNN模型與近年來肌電手勢(shì)識(shí)別相關(guān)研究工作[7,9,19,21-22]所提出的深度神經(jīng)網(wǎng)絡(luò)模型在3個(gè)數(shù)據(jù)集中基于150 ms與200 ms兩種不同長度滑動(dòng)采樣窗口所獲得的肌電手勢(shì)識(shí)別準(zhǔn)確率。同時(shí),還通過多數(shù)原則投票(majority voting)計(jì)算并對(duì)比了基于整段手勢(shì)動(dòng)作的手勢(shì)識(shí)別準(zhǔn)確率,其中多數(shù)原則投票可描述為:每段手勢(shì)動(dòng)作重復(fù)的標(biāo)簽為分類器對(duì)其中所有200 ms滑動(dòng)采樣窗口的識(shí)別結(jié)果中出現(xiàn)次數(shù)最多的預(yù)測標(biāo)簽。

        由表3可見,所提出雙流CNN模型在3個(gè)數(shù)據(jù)集中的肌電手勢(shì)識(shí)別準(zhǔn)確率均超越了相關(guān)工作[7,9,19,21-22]所提出的深度神經(jīng)網(wǎng)絡(luò)模型。當(dāng)滑動(dòng)采樣窗口長度為150 ms時(shí),所提模型在NinaProDB2、NinaProDB3、NinaProDB4上識(shí)別所有手勢(shì)動(dòng)作的準(zhǔn)確率分別為83.9%、66.4%、69.1%。當(dāng)滑動(dòng)采樣窗口長度為200 ms時(shí),所提方法在NinaProDB2、NinaProDB3、NinaProDB4上識(shí)別所有手勢(shì)動(dòng)作的準(zhǔn)確率分別為84.9%、67.8%、71.6%。當(dāng)應(yīng)用多數(shù)原則投票計(jì)算基于整段手勢(shì)動(dòng)作的識(shí)別準(zhǔn)確率時(shí),所提方法在NinaProDB2、NinaProDB3、NinaProDB4上識(shí)別所有手勢(shì)動(dòng)作的準(zhǔn)確率分別為97.9%、81.3%、82.4%。

        在對(duì)比的深度神經(jīng)網(wǎng)絡(luò)模型中,WEI等[9]提出的多視角CNN(Multi-View CNN, MV-CNN)模型所取得的手勢(shì)識(shí)別準(zhǔn)確率與本文所提出雙流CNN模型最為接近。MV-CNN的輸入為包含離散小波變換系數(shù)、離散小波包變換系數(shù)、Phinyomark特征集[20]在內(nèi)的多種手工信號(hào)特征集通過肌電信號(hào)通道重排列所構(gòu)成的圖像,用于提取多種信號(hào)特征的額外計(jì)算開銷會(huì)增加計(jì)算時(shí)間、降低手勢(shì)識(shí)別效率。相比MV-CNN,本文所提出雙流CNN模型僅使用離散小波變換系數(shù)與原始多通道表面肌電信號(hào)所轉(zhuǎn)化的圖像作為輸入即實(shí)現(xiàn)了更高的手勢(shì)識(shí)別準(zhǔn)確率,在肌電手勢(shì)識(shí)別精度和效率上均優(yōu)于MV-CNN。

        4 結(jié)束語

        面向高性能的肌電控制系統(tǒng),本文提出一種基于雙流CNN的肌電信號(hào)手勢(shì)識(shí)別方法,其特點(diǎn)在于將傳統(tǒng)特征工程方法與基于CNN的特征學(xué)習(xí)方法相結(jié)合,將表面肌電信號(hào)和包含信號(hào)時(shí)頻域信息的信號(hào)離散小波變換系數(shù)轉(zhuǎn)化為圖像,分別輸入雙流CNN模型的兩個(gè)分支學(xué)習(xí)高層特征,并通過高層特征融合模塊實(shí)現(xiàn)了兩個(gè)數(shù)據(jù)流高層特征之間更為充分和頻繁的信息交互與傳遞。在3個(gè)大規(guī)模手勢(shì)動(dòng)作基準(zhǔn)數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果證明了雙流CNN模型結(jié)構(gòu)的有效性,以及使用表面肌電信號(hào)結(jié)合信號(hào)離散小波變換系數(shù)進(jìn)行手勢(shì)識(shí)別的有效性,同時(shí)也表明本文所提出雙流CNN模型相較于近年來肌電手勢(shì)識(shí)別相關(guān)工作[7,9,19,21-22]所提出的深度神經(jīng)網(wǎng)絡(luò)模型可實(shí)現(xiàn)更高的手勢(shì)識(shí)別準(zhǔn)確率。

        為便于與相關(guān)工作進(jìn)行手勢(shì)識(shí)別性能對(duì)比,本文在大規(guī)模公開手勢(shì)動(dòng)作基準(zhǔn)數(shù)據(jù)集中進(jìn)行的實(shí)驗(yàn)采用了一種被本領(lǐng)域相關(guān)工作[6,9,12,19]所廣泛采用的手勢(shì)識(shí)別測試方法。然而,該測試方法依然屬于一種被試內(nèi)測試方法,即訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集來自于同一被試。在實(shí)際應(yīng)用場景中,還可能出現(xiàn)訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集來自于不同被試或不同數(shù)據(jù)采集會(huì)話的情景,因此下一步將嘗試使用被試間測試方法對(duì)所提出方法進(jìn)行進(jìn)一步的測試和優(yōu)化,從而使所提方法能夠適用于真實(shí)的應(yīng)用環(huán)境。

        猜你喜歡
        雙流肌電電信號(hào)
        方一帆
        四川省成都市雙流區(qū)東升迎春小學(xué)
        盆底肌電刺激聯(lián)合盆底肌訓(xùn)練治療自然分娩后壓力性尿失禁的臨床觀察
        基于聯(lián)合聚類分析的單通道腹部心電信號(hào)的胎心率提取
        雙流板坯側(cè)面鼓肚與邊角掛鋼原因與對(duì)策
        四川省成都雙流中學(xué)實(shí)驗(yàn)學(xué)校
        基于Code Composer Studio3.3完成對(duì)心電信號(hào)的去噪
        科技傳播(2019年24期)2019-06-15 09:29:28
        基于隨機(jī)森林的航天器電信號(hào)多分類識(shí)別方法
        經(jīng)皮神經(jīng)肌電刺激治療上肢周圍神經(jīng)損傷的療效
        女生穿運(yùn)動(dòng)鞋與高跟鞋步行腰背肌電比較
        激情一区二区三区视频| 午夜精品久久久久成人| 中国年轻丰满女人毛茸茸| 尤物AV无码色AV无码麻豆| 一区二区三区在线乱码| 免费看美女被靠到爽的视频| 熟女人妇交换俱乐部| 纯肉无遮挡H肉动漫在线观看国产 国产精品自产拍在线观看免费 | 在线观看av不卡 一区二区三区| 未满十八18禁止免费无码网站| 国产又爽又粗又猛的视频| 亚洲熟妇一区无码| 亚洲国产一区二区精品| 天堂网av一区二区三区在线观看| 天天躁日日躁狠狠久久| 欧美成人中文字幕| 经典亚洲一区二区三区| 国产一区二区三区日韩精品| 中文字幕人妻熟女人妻洋洋 | 少妇高潮尖叫黑人激情在线| 中文不卡视频| 男人一插就想射的原因 | 国产精品无码一本二本三本色| 国产一级毛片AV不卡尤物| 美女被搞在线观看一区二区三区| 天堂av在线美女免费| 韩国无码av片在线观看网站| 国产欧美曰韩一区二区三区 | 免费人成网站在线视频| 精品欧洲av无码一区二区14 | 亚洲妇女av一区二区| 人妻中文字幕在线中文字幕| 人妻少妇精品无码专区二区 | 日韩在线精品视频一区| 99精品国产一区二区三区| 在线观看无码一区二区台湾| 一区二区日本免费观看| 国产精品视频一区二区三区不卡| 2019年92午夜视频福利| 女同另类激情在线三区| 亚洲精品国产精品乱码视色|