王小晨 朱明星 楊子健 汪 鑫 黃劍平 陳世雄 李光林

1(中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院 深圳 518055)

2(中國(guó)科學(xué)院大學(xué)深圳先進(jìn)技術(shù)學(xué)院 深圳 518055)

1 引 言

說(shuō)話(huà)是人類(lèi)特有的表達(dá)情感、傳遞信息、參與社會(huì)活動(dòng)的交流方式[1]，是人類(lèi)正常生活中最重要的技能之一。無(wú)論是在生活還是在工作中，都不可避免地需要通過(guò)說(shuō)話(huà)與他人交流。說(shuō)話(huà)是一個(gè)非常復(fù)雜的面頸部多塊肌肉在中樞神經(jīng)系統(tǒng)的控制下協(xié)同收縮運(yùn)動(dòng)的過(guò)程，這伴隨著肌肉電信號(hào)的產(chǎn)生[2-3]。發(fā)不同的音時(shí)，發(fā)音肌肉的收縮模式、收縮力量和協(xié)同方式是不同的，對(duì)應(yīng)的肌肉電信號(hào)特征也會(huì)不同[4]。表面肌電圖法(Surface Electromyography，sEMG)是目前采集肌電信號(hào)的常用方法，能通過(guò)無(wú)創(chuàng)、簡(jiǎn)單、穩(wěn)定的操作，檢測(cè)到可靠的肌肉電生理信息[5]，因此被廣泛用于肌電語(yǔ)音識(shí)別研究。

早在 1985 年，第一個(gè)使用肌電信號(hào)進(jìn)行語(yǔ)音識(shí)別的研究就在 Sugie 和 Tsunoda[6]的實(shí)驗(yàn)室展開(kāi)，他們采集口腔附近的肌電信號(hào)對(duì) 5 種日語(yǔ)元音字母進(jìn)行分類(lèi)。1989 年，Morse 等[7]提取sEMG 信號(hào)幅值、方差等特征值分類(lèi) 10 個(gè)英文單詞，分類(lèi)精度達(dá)到了 60%。2018 年，Srisuwan等[8]在受試者的面頸部共 6 個(gè)位置貼上肌電電極，以評(píng)估 14 個(gè)特征評(píng)估標(biāo)準(zhǔn)及 4 種分類(lèi)器對(duì)單個(gè)泰語(yǔ)單詞進(jìn)行分類(lèi)時(shí)的性能，并找到一種接近最佳的標(biāo)準(zhǔn)和分類(lèi)算法。Janke 等[9]對(duì)從受試者發(fā)音時(shí)面頸部 6 個(gè)位置采集到的肌電數(shù)據(jù)進(jìn)行研究，捕捉到從發(fā)音肌肉運(yùn)動(dòng)時(shí)產(chǎn)生的 sEMG 信號(hào)到語(yǔ)音波形的映射。Jong 和 Phukpattaranont[10]招募 7 名健康受試者和 5 名構(gòu)音障礙受試者開(kāi)發(fā)了一個(gè)語(yǔ)音識(shí)別系統(tǒng)。該系統(tǒng)使用從 12 名受試者臉部和頸部共 5 個(gè)通道里記錄的 sEMG 信號(hào)對(duì) 9 個(gè)泰國(guó)音節(jié)進(jìn)行分類(lèi)。Diener 等[11]使用sEMG 技術(shù)在語(yǔ)音識(shí)別方面做了大量工作，提出了使用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從表面肌電信號(hào)到目標(biāo)聲學(xué)語(yǔ)音輸出的映射。

上述研究中，設(shè)置的電極數(shù)量均較少，且選取的電極位置都不同，分類(lèi)結(jié)果也有顯著差異。由于發(fā)音過(guò)程涉及到的肌肉多達(dá) 30 余塊[12]，使用肌電信號(hào)進(jìn)行語(yǔ)音分類(lèi)時(shí)，電極的位置和數(shù)量會(huì)對(duì)分類(lèi)準(zhǔn)確性產(chǎn)生重要影響[13]。而目前基于sEMG 的語(yǔ)音識(shí)別方法選取電極位置及數(shù)量時(shí)沒(méi)有一個(gè)客觀的指標(biāo)，也不清楚與發(fā)音相關(guān)的面頸部左右兩側(cè)對(duì)稱(chēng)位置電極對(duì)肌電語(yǔ)音識(shí)別的貢獻(xiàn)是否存在冗余[14-15]。

為解決后一個(gè)問(wèn)題，本文提出使用幾乎覆蓋全部發(fā)音肌肉的高密度肌電電極，探究面、頸部左右兩側(cè)對(duì)稱(chēng)位置電極對(duì)肌電語(yǔ)音識(shí)別的貢獻(xiàn)。首先，使用關(guān)于面中部、頸中部對(duì)稱(chēng)的共 120 通道電極采集 8 名發(fā)音正常的受試者的表面肌電信號(hào)。其中，發(fā)音測(cè)試為 5 個(gè)中文單詞和 5 個(gè)英文單詞。然后，對(duì)信號(hào)預(yù)處理后分組提取 4 種時(shí)域特征輸入支持向量機(jī)(Support Vector Machine，SVM)分類(lèi)器，進(jìn)行語(yǔ)音分類(lèi)。最后，對(duì)分類(lèi)結(jié)果進(jìn)行分析，比較面、頸部對(duì)稱(chēng)位置肌電信號(hào)在語(yǔ)音識(shí)別時(shí)的貢獻(xiàn)程度。

2 實(shí)驗(yàn)方法

2.1 信號(hào)采集方法

本研究共招募 8 名健康受試者(sub1～8)，其中 6 名男生、2 名女生，年齡為 22～26 歲(平均年齡為 24 歲)。所有受試者均未患有可能影響實(shí)驗(yàn)結(jié)果的說(shuō)話(huà)和吞咽問(wèn)題。實(shí)驗(yàn)開(kāi)始前，受試者均閱讀知情同意書(shū)并簽字，且允許出于科學(xué)目的公開(kāi)發(fā)表他們的照片和數(shù)據(jù)。

本實(shí)驗(yàn)使用荷蘭 TMS 公司研發(fā)的高密度肌電采集系統(tǒng)(REFA 128-model system)，以 2 048 Hz采樣率采集面、頸部共 120 通道高密度肌電信號(hào)。其中，電極對(duì)稱(chēng)放置于受試者面、頸部，分為面部左側(cè)(20 個(gè)通道)、面部右側(cè)(20 個(gè)通道)、頸部左側(cè)(40 個(gè)通道)、頸部右側(cè)(40 個(gè)通道)4 個(gè)區(qū)域，如圖 1(a)所示。通道以面、頸部中間位置為對(duì)稱(chēng)軸左右對(duì)稱(chēng)放置，行、列編號(hào)如圖 1(b)所示。實(shí)驗(yàn)前，使用酒精棉擦拭電極位置，清除皮膚表面的油脂和角質(zhì)。實(shí)驗(yàn)在屏蔽房中進(jìn)行，以保證測(cè)試過(guò)程相對(duì)安靜，受試者發(fā)音不被影響。整個(gè)實(shí)驗(yàn)過(guò)程符合中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院人體實(shí)驗(yàn)倫理道德規(guī)范(審批編號(hào)為 SIAT-IRB-170815-H0178)。

圖1 高密度表面肌電電極在面頸部左右兩側(cè)的分布Fig.1 Distribution of the high density sEMG electrodes on the left and right sides of the face/neck regions

2.2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)時(shí)，受試者調(diào)整舒服的姿勢(shì)坐在椅子上，保持 40 s 的靜息狀態(tài)(不說(shuō)話(huà)、也不做任何身體運(yùn)動(dòng))，記錄下此時(shí)的肌電信號(hào)作為基線(xiàn)(P11)。隨后，受試者按照平時(shí)說(shuō)話(huà)的音量及音調(diào)進(jìn)行 10 組發(fā)音任務(wù)，包含英文 5 組單詞：“Thanks”(P1)、“Yes”(P2)、“No”(P3)、“Hello”(P4)和“Goodbye”(P5)，以及對(duì)應(yīng)著相同含義的中文 5 組日常短語(yǔ)：“謝謝”(P6)、“是的”(P7)、“不是”(P8)、“你好”(P9)和“再見(jiàn)”(P10)，具體如表 1 所示。每組任務(wù)包括1 s 的發(fā)音過(guò)程和 3 s 的休息，兩過(guò)程交叉連貫，共重復(fù) 6 次，以采集整個(gè)過(guò)程的表面肌電信號(hào)。

表1 5組英文和 5組中文發(fā)音任務(wù)Table 1 Speaking tasks of five Chinese words and five English words

2.3 信號(hào)處理

由于采集到的原始肌電信號(hào)不夠干凈，即混雜著心電、運(yùn)動(dòng)偽跡、工頻等各種噪聲，故分析肌電特征前需對(duì)信號(hào)做預(yù)處理工作。首先，使用30～500 Hz 的巴特沃斯帶通濾波器濾除大量心電干擾和面部偽跡；然后，設(shè)置 50 Hz 及其倍數(shù)頻率的陷波濾波器去除工頻干擾，得到較為干凈的肌電信號(hào)(數(shù)據(jù)維度為：120×信號(hào)長(zhǎng)度)。

使用長(zhǎng)度為 250 ms 的分析窗口對(duì)濾波后的各通道信號(hào)計(jì)算均方根(Root Mean Square，RMS)，再利用計(jì)算出的高密度表面肌電信號(hào)的最大和最小 RMS 值對(duì)所有通道的 RMS 值進(jìn)行歸一化得到歸一化均方根(Normalized Root Mean Square，NRMS)，并畫(huà)出左右對(duì)稱(chēng)位置的 NRMS疊加圖。由于一段發(fā)音過(guò)程持續(xù)時(shí)間較短，保留的特征點(diǎn)不足，故首先根據(jù)肌電信號(hào)原始波形，確定每段發(fā)音過(guò)程的起始點(diǎn)與結(jié)束點(diǎn)，對(duì)濾波后的信號(hào)進(jìn)行人工截取，得到 14 段發(fā)音活動(dòng)的肌電信號(hào)；然后，將這些信號(hào)進(jìn)行拼接，得到整段全為發(fā)音過(guò)程的肌電信號(hào)，處理過(guò)程如圖 2 所示；最后，提取零交叉(Zero Crossing，ZC)、斜率符號(hào)變化(Slope Sign Change，SSC)、波形長(zhǎng)度(Waveform Length，WL)和平均絕對(duì)值(Mean Absolute Value，MAV)4 個(gè)特征[16]，得到11×4×N維度的數(shù)據(jù)。其中，11 為類(lèi)別數(shù)；4 為特征數(shù)；N為通道數(shù)。四種特征的定義如下：

(1)零交叉(ZC)是在時(shí)域中定義 EMG 信號(hào)頻率信息的度量，為單位時(shí)間窗口內(nèi)信號(hào)通過(guò)零幅值的次數(shù)，其定義如公式(1)～(2)所示。

其中，xi為i點(diǎn)的 EMG 信號(hào)；N為 EMG 信號(hào)的長(zhǎng)度。

(2)斜率符號(hào)變化(SSC)記錄了在單位時(shí)間窗內(nèi) EMG 信號(hào)斜率的改變次數(shù)，其定義如公式(3)～(4)所示。

圖2 肌電信號(hào)處理過(guò)程Fig.2 sEMG signal processing

(3)波形長(zhǎng)度(WL)是 EMG 波形在某個(gè)時(shí)間段上的累計(jì)長(zhǎng)度積分，其定義如公式(5)所示。

(4)平均絕對(duì)值(MAV)是 EMG 信號(hào)分析中最常用的一種時(shí)域特征，表示一段 EMG 信號(hào)幅值絕對(duì)值的平均值，可反映肌電的強(qiáng)度，其定義如公式(6)所示。

將特征值輸入 SVM 分類(lèi)器作分類(lèi)，使用 5倍交叉驗(yàn)證方法來(lái)減少生成訓(xùn)練和測(cè)試數(shù)據(jù)的可變性。其中，SVM 是一種二分類(lèi)模型，有兩大主要優(yōu)勢(shì)：更高的速度、用更少的樣本(千以?xún)?nèi))取得更好的表現(xiàn)[17]。這使得該算法非常適合本文分類(lèi)問(wèn)題。另外，使用統(tǒng)計(jì)方法比較面部和頸部肌肉左右兩側(cè)對(duì)稱(chēng)陣列的分類(lèi)精度。

3 實(shí)驗(yàn)結(jié)果

3.1 發(fā)音時(shí)面、頸部左右兩側(cè)肌肉間的相關(guān)程度

圖3 展示了一名受試者說(shuō)一次“Hello”時(shí)的面部(a)、頸部(b)左右對(duì)稱(chēng)通道疊加的 NRMS波形。圖中藍(lán)線(xiàn)表示面部/頸部左側(cè)的 NRMS 波形，而紅線(xiàn)則表示面部/頸部右側(cè)的 NRMS 波形。從圖 3 可以看出，所有的 NRMS 波形均呈現(xiàn)相同的特點(diǎn)：隨著發(fā)音過(guò)程慢慢上升，達(dá)到峰值后開(kāi)始下降直至靜息時(shí)的水平，面部整體峰值低于頸部。面部和頸部左側(cè)的 NRMS 波形與右側(cè)的波形以相似的速率變化。

圖3 面、頸部左右兩側(cè)高密度肌電信號(hào)的 NRMS 波形疊加圖Fig.3 Superposition of NRMS waveforms of high density sEMG recordings from the left and right sides of the facial and neck muscles

相關(guān)系數(shù)是用于反映變量之間相關(guān)關(guān)系密切程度的統(tǒng)計(jì)指標(biāo)，能夠刻畫(huà)兩個(gè)變量之間的相關(guān)程度，P值可以描述相關(guān)程度計(jì)算結(jié)果的“顯著程度”[18]。分析面部、頸部左右兩側(cè)肌肉之間的相關(guān)性有助于理解發(fā)音過(guò)程中面、頸部對(duì)稱(chēng)位置的運(yùn)動(dòng)模式相似程度。使用相關(guān)系數(shù)、P值計(jì)算公式對(duì)面部、頸部對(duì)稱(chēng)通道的 NRMS 波形相似性進(jìn)行統(tǒng)計(jì)，結(jié)果如表 2 和 3 所示。表中的序號(hào)下標(biāo)分別對(duì)應(yīng)圖 3 波形疊加圖的行、列編號(hào)，如 F11 表示圖 3(a)中 1 行 1 列。可以看出，面部左、右兩側(cè)對(duì)稱(chēng)通道 NRMS 波形的相關(guān)系數(shù)范圍為 0.395 5～0.929 5，平均值和標(biāo)準(zhǔn)偏差為0.714 9±0.165 3；頸部對(duì)稱(chēng)通道 NRMS 波形的相關(guān)系數(shù)范圍為 0.464 2～0.988 5，平均值和標(biāo)準(zhǔn)偏差為 0.840 5±0.150 6。顯然，面部左右兩側(cè)的相關(guān)性比頸部低，但整體上存在相關(guān)性。同時(shí)，只有 F21、F31、F41、N12、N13 這 5 個(gè)靠近面、頸部邊緣對(duì)稱(chēng)位置的 NRMS 波形間無(wú)顯著相關(guān)，其余位置的 NRMS 波形間均顯著相關(guān)。

3.2 使用面部左右兩側(cè)對(duì)稱(chēng)位置肌電信號(hào)的語(yǔ)音分類(lèi)精度對(duì)比

表4 和 5 分別為使用一名受試者面部左右兩側(cè)對(duì)稱(chēng)位置的肌電信號(hào)進(jìn)行語(yǔ)音分類(lèi)的結(jié)果。表中對(duì)角線(xiàn)上加粗的數(shù)據(jù)是正確分類(lèi)的精度，而其余數(shù)值則是誤識(shí)別為其他發(fā)音任務(wù)的概率。

從表 4 可以看出，靜息狀態(tài)(P11)的分類(lèi)精度最高，為 1；P1、P3 和 P4 的分類(lèi)準(zhǔn)確率較高，均超過(guò) 0.9；而 P6 的分類(lèi)準(zhǔn)確率最低，為0.647 9。面部左側(cè)的平均分類(lèi)精度和標(biāo)準(zhǔn)偏差值為 0.823 8±0.106 6。從表 5 可以看出，使用面部右側(cè)肌電信號(hào)的分類(lèi)精度僅在 P1、P3 和 P11 識(shí)別任務(wù)處高于 0.8；有 6 個(gè)識(shí)別任務(wù)的分類(lèi)精度低于 0.7，最低為 0.664 5(P9)；無(wú)聲模式的分類(lèi)精度同樣為 1。面部右側(cè)的平均分類(lèi)精度和標(biāo)準(zhǔn)偏差為 0.752 8±0.108 8。由此可見(jiàn)，面部右側(cè)的平均分類(lèi)精度較左側(cè)低，左右兩側(cè)的偏差范圍均大于 0.1，波動(dòng)非常大。比較表 4 和 5 也能看出，除了 P6 外，其余發(fā)音任務(wù)的分類(lèi)精度都是面部左側(cè)較高。

表2 面部左右兩側(cè)對(duì)稱(chēng)通道 NRMS 波形的相關(guān)系數(shù)Table 2 Correlation coefficients of NRMS waveforms on the left and right sides of the facialmuscles

表3 頸部左右兩側(cè)對(duì)稱(chēng)通道 NRMS 波形的相關(guān)系數(shù)Table 3 Correlation coefficients of NRMS waveforms on the left and right sides of the neckmuscles

由于大部分受試者靜息狀態(tài)(P11)的分類(lèi)精度幾乎都達(dá)到了 1，故將它排除在外后，再對(duì)所有受試者的其余 10 個(gè)發(fā)音任務(wù)的分類(lèi)精度進(jìn)行統(tǒng)計(jì)，結(jié)果如圖 4 所示。圖中柱狀圖的高度代表受試者的 10 個(gè)發(fā)音任務(wù)分類(lèi)精度的平均值，上下的垂直誤差條表示標(biāo)準(zhǔn)偏差范圍。藍(lán)色柱狀圖表示受試者面部左側(cè) 20 個(gè)通道肌電信號(hào)；紅色柱狀圖表示受試者面部右側(cè) 20 個(gè)通道肌電信號(hào)。從圖 4 可以看出，使用面部左側(cè)肌電信號(hào)的平均分類(lèi)精度中只有 sub6 超過(guò) 0.8；面部右側(cè)肌電信號(hào)的平均分類(lèi)精度中 sub4、sub7 都高于0.8。sub7 的垂直誤差條的長(zhǎng)度最短，標(biāo)準(zhǔn)偏差不超過(guò) 0.1；其余的受試者波動(dòng)范圍都大于 0.1。此外，sub2、sub4、sub6、sub7、sub8 的左右平均分類(lèi)精度高度差較大，均高于 0.5。使用t檢驗(yàn)方法對(duì)面部?jī)蓚?cè)平均分類(lèi)精度進(jìn)行比較發(fā)現(xiàn)，sub2、sub4、sub6、sub7、sub8 的左右兩側(cè)間均存在顯著性差異。

表4 使用面部左側(cè)肌電信號(hào)的 11 種語(yǔ)音分類(lèi)精度Table 4 Classification accuracies of 11 speaking tasks using the left side of facial SEMG signals

表5 使用面部右側(cè)肌電信號(hào)的 11 種語(yǔ)音分類(lèi)精度Table 5 Classification accuracies of 11 speaking tasks using the right side of facial SEMG signals

3.3 使用頸部左右兩側(cè)對(duì)稱(chēng)位置肌電信號(hào)的語(yǔ)音分類(lèi)精度對(duì)比

圖4 所有受試者使用面部左、右側(cè)不同通道組合的平均分類(lèi)精度與標(biāo)準(zhǔn)偏差Fig.4 Average classification accuracy and standard deviation for all subjects using different channels of facial muscles

使用同一受試者頸部左、右兩側(cè)對(duì)稱(chēng)位置的肌電信號(hào)進(jìn)行語(yǔ)音分類(lèi)的結(jié)果如表 6 和 7 所示。與面部相同，靜息狀態(tài)的分類(lèi)精度同樣為 1，可見(jiàn)靜息狀態(tài)與發(fā)音時(shí)的肌電特征有著顯著區(qū)別。從表 6 可以看出，使用頸部左側(cè)肌電信號(hào)對(duì) 11 類(lèi)發(fā)音任務(wù)進(jìn)行分類(lèi)時(shí)，所有的單詞分類(lèi)精度都超過(guò) 0.8，且 P3、P4 的分類(lèi)精度超過(guò) 0.9；頸部左側(cè)的平均分類(lèi)精度和標(biāo)準(zhǔn)偏差值為 0.877 9±0.059 8。從表 7 可以看出，使用發(fā)音任務(wù) P6、P9 和 P10在頸部右側(cè)處的肌電信號(hào)的分類(lèi)精度較低，小于0.8，而 P2、P4 的分類(lèi)精度高于 0.9；頸部右側(cè)的平均分類(lèi)精度和標(biāo)準(zhǔn)偏差為 0.858 7±0.071 9。

與面部相似，使用受試者頸部左右兩側(cè)對(duì)稱(chēng)位置的高密度表面肌電信號(hào)的同一單詞的分類(lèi)精度并不完全相同。在 P1、P3、P6、P7、P9 和P10 中，使用頸部左側(cè)通道信號(hào)的分類(lèi)精度高于使用頸部右側(cè)通道的分類(lèi)精度，其余單詞則相反。但頸部的分類(lèi)精度整體高于面部，且頸部?jī)蓚?cè)分類(lèi)精度的差異略小于面部。

表6 使用頸部左側(cè)肌電信號(hào)的 11 種語(yǔ)音分類(lèi)精度Table 6 Classification accuracies of 11 speaking tasks using the left side of neck SEMG signals

表7 使用頸部右側(cè)肌電信號(hào)的 11 種語(yǔ)音分類(lèi)精度Table 7 Classification accuracies of 11 speaking tasks using the right side of neck SEMG signals

對(duì)所有受試者頸部左、右兩側(cè)的肌電信號(hào)進(jìn)行分類(lèi)，得到的分類(lèi)精度如圖 5 所示。從圖 5 可以看出，只有使用 sub8 頸部右側(cè)的表面肌電信號(hào)進(jìn)行分類(lèi)時(shí)，平均分類(lèi)精度低于 0.8；sub4 的兩側(cè)、sub5 的左側(cè)以及 sub8 的右側(cè)標(biāo)準(zhǔn)偏差均略高于 0.1，且只有 sub8 左右平均分類(lèi)精度高度差大于 0.5，差異比較明顯。

圖5 所有受試者使用頸部左、右側(cè)不同通道組合的平均分類(lèi)精度與標(biāo)準(zhǔn)偏差Fig.5 Average classification accuracy and standard deviation for all subjects using different channels of neck muscles

比較圖 4 和 5 可以發(fā)現(xiàn)，頸部的平均分類(lèi)精度比面部高，且標(biāo)準(zhǔn)偏差更低、差異更小，分類(lèi)效果更穩(wěn)定。使用t檢驗(yàn)方法對(duì)頸部左右兩側(cè)平均分類(lèi)精度進(jìn)行比較發(fā)現(xiàn)，只有 sub8 左右兩側(cè)間存在顯著性差異。

4 討 論

語(yǔ)音的產(chǎn)生是一個(gè)面部和頸部肌肉共同運(yùn)動(dòng)的過(guò)程，而肌肉活動(dòng)產(chǎn)生肌電信號(hào)[19]。因此，分析肌電信號(hào)對(duì)了解語(yǔ)音產(chǎn)生過(guò)程中肌肉活動(dòng)的詳細(xì)信息非常有幫助。前人已經(jīng)使用 sEMG 技術(shù)在語(yǔ)音識(shí)別方面做了大量工作，但實(shí)驗(yàn)設(shè)置的電極數(shù)量較少，選取的電極位置依賴(lài)實(shí)驗(yàn)操作者的經(jīng)驗(yàn)，分類(lèi)結(jié)果也具有顯著差異[6-11]，最高的分類(lèi)精度是 Jong 和 Phukpattaranont[10]在 2019 年的研究中對(duì)健康受試者的泰語(yǔ)識(shí)別，為 0.945。由于面頸部肌肉結(jié)構(gòu)復(fù)雜，少數(shù)幾個(gè)電極不能完整覆蓋發(fā)音肌電活動(dòng)。為精準(zhǔn)量化電極數(shù)量、確定電極位置，本文利用高密度電極對(duì)發(fā)音相關(guān)的面、頸部左右兩側(cè)對(duì)稱(chēng)位置肌電在語(yǔ)音識(shí)別中的貢獻(xiàn)進(jìn)行了初步考察。

本研究使用關(guān)于面中部、頸中部對(duì)稱(chēng)的共120 通道高密度表面肌電電極采集 8 名發(fā)音正常的受試者分別發(fā) 5 個(gè)中文單詞和 5 個(gè)英文單詞時(shí)的表面肌電信號(hào)。首先，對(duì)面部、頸部左右對(duì)稱(chēng)位置的 NRMS 波形進(jìn)行分析比較發(fā)現(xiàn)，面部和頸部左右兩側(cè)的 NRMS 波形具有相同的變化特性，但面部的波形相關(guān)性比頸部低。這說(shuō)明面頸部左右兩側(cè)肌肉發(fā)音的規(guī)律是相同的，但面部左右差異更大。這可能與頸部肌肉活動(dòng)是被動(dòng)的，而面部肌肉可以主觀控制有關(guān)。然后，將不同通道肌電信號(hào)按照分布區(qū)域分為 4 組，提取 ZC、SSC、WL 和 MAV 四種特征值，并將其輸入 SVM 分類(lèi)器進(jìn)行 11 種語(yǔ)音模式的分類(lèi)。結(jié)果顯示，所有通道電極的平均分類(lèi)精度均可達(dá)0.98，高于 Jong 和 Phukpattaranont[10]研究成果中最高的 0.945，表明高密度電極相較于少數(shù)憑經(jīng)驗(yàn)放置的電極能提升分類(lèi)精度。同時(shí)，使用同一受試者面部左右兩側(cè)通道(各 20 個(gè))信號(hào)對(duì)相同單詞的分類(lèi)精度存在明顯差異，而頸部?jī)蓚?cè)的差異則略小。所有受試者面部、頸部左右兩側(cè)不同通道組合的平均分類(lèi)精度與標(biāo)準(zhǔn)偏差顯示，頸部左右兩側(cè)的分類(lèi)精度差異相較于面部對(duì)稱(chēng)位置是比較小的，表明頸部對(duì)稱(chēng)位置肌肉電活動(dòng)對(duì)語(yǔ)音識(shí)別的一致性更高。因此，使用頸部對(duì)稱(chēng)位置的sEMG 信號(hào)進(jìn)行語(yǔ)音分類(lèi)時(shí)的貢獻(xiàn)具有一致性。

5 結(jié) 論

本研究提出使用面、頸部對(duì)稱(chēng)位置的高密度肌電信號(hào)對(duì) 11 種語(yǔ)音模式進(jìn)行分類(lèi)，以比較面、頸部對(duì)稱(chēng)位置肌電信號(hào)在語(yǔ)音識(shí)別時(shí)的貢獻(xiàn)程度。結(jié)果表明，面、頸部左右兩側(cè)肌肉發(fā)音的規(guī)律是相同的，但面部左右兩側(cè)間差異更大。單獨(dú)使用頸部左右兩側(cè)的肌電信號(hào)分類(lèi)結(jié)果差異不大，但單獨(dú)使用面部左右位置的肌電信號(hào)分類(lèi)精度差異較明顯。因此，頸部對(duì)稱(chēng)位置的 sEMG 信號(hào)對(duì)語(yǔ)音識(shí)別貢獻(xiàn)程度具有一致性，而面部則不具有。該實(shí)驗(yàn)結(jié)果有助于減少記錄電極的數(shù)量，為選擇語(yǔ)音識(shí)別通道的最佳位置奠定了基礎(chǔ)。