汪 雷 黃 劍 段 濤 伍冬睿 熊蔡華 崔雨琦

手勢作為一種自然、有效的交流方式,在人機交互的應(yīng)用中發(fā)揮著重要的作用[1],并已成為操縱人機接口的主流方法之一[2].對于手部截肢患者等在運動控制和運動功能方面有困難的殘障人群,基于手勢識別技術(shù)的人機接口及其應(yīng)用有助于通過智能假肢恢復(fù)他們?nèi)笔У淖匀皇植抗δ?因而相關(guān)研究對于此類弱勢群體而言至關(guān)重要.

當(dāng)前,基于穿戴式生物信號采集裝置的手勢識別研究大多利用肌電圖(Electromyogram,EMG)實現(xiàn)[3?6].由于EMG 信號通常比較微弱(亞毫伏級別),因而存在對于電噪聲敏感、需要笨重的濾波放大電路等外圍設(shè)備、不可重復(fù)等缺點.此外,肌肉通常在皮膚下交錯以肌肉群的方式出現(xiàn),且在獲取EMG 信號時,傳感器必須直接附著在皮膚上甚至侵入皮膚,所以EMG 也存在串?dāng)_、易受汗液和肌肉疲勞影響等缺陷.近年來,肌動圖(Mechanomyogram,MMG) 逐漸受到科研人員的重視[7?11],它具有信號強、采集方便、非侵入等優(yōu)點,更重要的是MMG 對于出汗、電噪聲等不利影響有很好的魯棒性.此外,MMG 與肌力呈近似線性關(guān)系,這種線性關(guān)系受肌肉疲勞影響很小[12].這些優(yōu)點使得MMG可為人機交互提供優(yōu)質(zhì)的信號來源.然而,截至目前國內(nèi)利用肌動圖信號進行手勢識別,特別是識別截肢者手勢并用于假肢手控制的相關(guān)研究尚不多見.

從方法上來看,設(shè)計分類能力強和具有學(xué)習(xí)能力的智能模式識別方法仍是這一領(lǐng)域的主要研究方向.一些典型的研究工作包括基于人工神經(jīng)網(wǎng)絡(luò)[13?14]和基于模糊系統(tǒng)[15?16]的手勢識別方法等.自適應(yīng)神經(jīng)模糊推理系統(tǒng) (Adaptive neural fuzzy inference system,ANFIS) 由于具備模糊系統(tǒng)的可解釋性和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)性優(yōu)點,在處理非線性問題上有很好的效果,也是手勢識別領(lǐng)域潛在的有效工具之一[17?18].但傳統(tǒng)ANFIS 只有一個輸出節(jié)點,通常適合于解決二分類問題,在解決多分類問題時存在泛化性能差、訓(xùn)練速度慢等缺點.如何提高ANFIS 的學(xué)習(xí)效率和分類精度,是其應(yīng)用于手勢識別領(lǐng)域亟待解決的難點問題.

考慮到在獲取MMG 時一般會用到加速度計和麥克風(fēng),這兩種傳感器僅適用于實驗室環(huán)境,而基于氣壓肌動圖(Pressure-based mechanomyogram,pMMG) 能夠很好地解決適用范圍的問題,本文采用pMMG 作為健康人和殘疾人手勢識別研究的信號來源,設(shè)計了基于氣壓肌動圖的穿戴式信號采集裝置.同時針對多分類問題中ANFIS 存在訓(xùn)練效率低的問題,提出了一種高效的多分類自適應(yīng)神經(jīng)模糊推理系統(tǒng) (Multi-classification adaptive neural fuzzy inference system,MC_ANFIS),其特點在于僅需要訓(xùn)練一個MC_ANFIS,就可以完成對于多種手勢的分類任務(wù),用以實現(xiàn)多手勢分類中分類器的高效訓(xùn)練.

本文的主要工作歸納如下:1) 通過拓展傳統(tǒng)Takagi-Sugeuo-Kang (TSK) 模糊系統(tǒng)的解模糊層,提出了一種適用于多分類任務(wù)的神經(jīng)模糊推理系統(tǒng),該系統(tǒng)具有很高的訓(xùn)練效率和快速的分類速度;提出了一種新的高性能自適應(yīng)多分類算法MC_TS_UR (Multi-class with typical sampling and uniform regularization),用改進的抽樣方法和正則化技術(shù)又極大地提升了所提系統(tǒng)的訓(xùn)練效率,解決了傳統(tǒng)ANFIS 泛化能力差的問題;2) 設(shè)計了穿戴式氣壓肌動圖信號采集裝置,開展了健康人和殘疾人兩類受試者的手勢識別實驗,與經(jīng)典的機器學(xué)習(xí)算法以及近期相關(guān)研究結(jié)果進行性能對比,驗證了所提系統(tǒng)和方法的有效性.

1 基于氣壓肌動圖的手勢數(shù)據(jù)采集

本節(jié)主要敘述pMMG 原理,手勢數(shù)據(jù)的采集方法,預(yù)處理和特征提取方法.

1.1 氣壓肌動圖原理

如圖1(a)所示,將肌肉看作橫截面積Am、長為xm的均勻圓柱體.記初始橫截面積為Am0,長為xm0,假定肌肉總體積Vm0不變.

Hill 提出的肌肉生物力學(xué)方程如下[19]:

其中,F為肌力,v為肌肉收縮速度,a、b和F0均為與肌肉相關(guān)的常量,且a ?F、b ?v.由式 (1)可得,在肌肉活動過程中,即肌肉收縮速度v0時,F與v近似反比,記比例系數(shù)為k.肌肉激活時,長度變化量為 dxm,則肌力計算如下:

如圖1(b)所示,假定氣囊將肌肉表面全覆蓋,且被臂環(huán)固定,則氣囊與肌肉的總橫截面積不變.氣囊橫截面積為Ab,氣壓為Pb.記氣囊初始橫截面積為Ab0,初始?xì)鈮簽镻b0.肌肉激活時,氣囊橫截面積變化 dAb,氣壓變化 dPb,肌肉橫截面積變化 dAm.假定氣囊長度為lb0不變,則由氣囊的理想氣體方程、肌肉體積和氣囊與肌肉總橫截面積不變的假設(shè)可得:

圖1 pMMG 原理圖Fig.1 The schematic diagram of pMMG

其中,n僅與氣囊的初始狀態(tài)有關(guān),Rb為常量,T為氣體溫度.忽略氣體溫度變化,則式(3)右邊為僅與氣囊初始狀態(tài)有關(guān)的常量.化簡式(3)、式(4)并代入式(5)可得:

兩邊同時對時間求微分,易得:

將式 (7) 代入式(2) 可得肌力F的計算公式如下:

由式(8) 可以看出,在肌肉運動過程中,肌力與氣囊氣壓變化率有關(guān),即能夠用氣壓的變化率表征肌肉運動情況.更進一步,從式(8) 中可以得到如下信息:

1) 根據(jù)前面提出的假設(shè),k為與個體相關(guān)的變量,Ab0、xm0、Vm0、Pb0均為與氣囊初始狀態(tài)有關(guān)的常量,所以對于特定個體,kAm0Pb0/(xm0Ab0) 也為常量.即肌力與氣囊氣壓變化率的倒數(shù)線性相關(guān),且系數(shù)僅與裝置的初始情況有關(guān).

2) 肌力與氣壓變化率呈靜態(tài)關(guān)系,所以知道氣壓變化率之后,可立即推算出肌力的大小.

3) 不需要對信號作進一步處理即可得到肌肉活動信息,與肌電圖方法相比更加簡潔直觀,且不用擔(dān)心復(fù)雜的濾波、特征提取過程帶來的遲滯效應(yīng).

注意到雖然式(8)給出了肌力和氣壓之間的量化關(guān)系,表明pMMG 具有和EMG 類似的功能,但是手勢和肌力或氣壓之間的關(guān)系卻并不明確,因此仍需研究智能的非線性分類器實現(xiàn)基于pMMG 的手勢識別.

1.2 氣壓肌動信號采集

本文招募了7 名上肢健全和1 名上肢殘疾的受試者 (表1 給出了每名受試者的信息),設(shè)計了如圖2(a) 所示的硬件裝置記錄每名受試者前臂運動過程中的氣壓肌動信號.該裝置主要由6個單向氣囊、6個200 kHz 采樣頻率氣壓傳感器、1個GY953慣性測量單元 (Inertial measurement unit,IMU)、1 對藍(lán)牙收發(fā)裝置以及2 條低成本臂環(huán)組成.氣壓傳感器測量手部運動中的pMMG 信號,同時IMU傳感器測量前臂的姿態(tài)信號 (返回歐拉角數(shù)據(jù)),主要用于補償手臂位姿帶來的氣壓肌動圖差異.盡管氣壓傳感器的采樣頻率很高,但是受限于IMU 和藍(lán)牙的傳輸速率,該硬件裝置的采樣頻率為200 Hz.

表1 參與手勢識別實驗的受試者信息Table 1 Information of the subjects participating in the gesture recognition experiment

pMMG 手勢數(shù)據(jù)的獲取流程如下.受試者首先按照圖2(b)所示佩戴好裝置,然后按照以下范式采集手勢數(shù)據(jù).先休息2 s,接著以10 s 為周期做每次運動,首先以最大的力量執(zhí)行屈腕 (Wrist flexion,WF) 手勢,保持6 s 后休息4 s,每種手勢運動重復(fù)5 次;然后按照保持6 s,休息4 s 的規(guī)律依次執(zhí)行伸腕 (Wrist extension,WE)、伸掌 (Hand open,HO)、握拳 (Hand close,HC)、尺側(cè)傾 (Ulnar deviation,UD)、橈側(cè)傾 (Radial deviation,RD),每完成6 種手勢的運動記為一輪.每一輪手勢數(shù)據(jù)采集過程如圖3 所示,每名受試者重復(fù)采集8 輪數(shù)據(jù).對于每一個手勢周期,休息期間的手勢數(shù)據(jù)沒有被記錄下來,每種手勢的樣本數(shù)基本相等.

圖2 手勢識別裝置及其佩戴位置Fig.2 The gesture recognition device and it＇s wearing position

圖3 每一輪的手勢數(shù)據(jù)采集過程Fig.3 Each round of gesture data acquisition process

殘疾人受試者也依據(jù)以上相同范式進行數(shù)據(jù)采集,和健康受試者不同的是,實驗過程中他需要在研究人員的指導(dǎo)和幫助下,注視鏡子中的健手做6種手勢運動,同時想象殘肢和鏡像健手做同樣的手勢運動.在此過程中,殘肢在運動想象的帶動下將會有相應(yīng)的肌肉運動,這些運動信息可以被手勢識別裝置實時記錄.

該裝置檢測的是氣囊接觸位置的氣壓大小,所以對于受試者手腕的干濕程度、清潔程度沒有要求.

圖4 給出了6 種手勢對應(yīng)的pMMG 原始信號圖(Subject-4),相對于EMG 信號而言,pMMG 原始信號更加光滑且具有更高的幅值,對電噪聲具有較強的魯棒性.

圖4 采集的原始手勢數(shù)據(jù)流Fig.4 The collected raw gesture data stream

1.3 預(yù)處理和特征提取

盡管文獻[20]指出,與隨機和高度可變的表面肌電信號不同,肌動圖與肌力圖(Force myogram,FMG) 通過機械過程自然過濾,可以將原始壓力傳感器信號直接用作分類特征.然而,第1.1 節(jié)中得到的肌力與氣壓變化率的關(guān)系僅為理想狀況下的近似.實際上前臂肌肉之間的聯(lián)系非常復(fù)雜,而且存在不同程度的相互干擾.因此,仍然有必要對獲取的pMMG 數(shù)據(jù)作相應(yīng)的預(yù)處理.

由于所使用的MC_ANFIS 的結(jié)構(gòu)中規(guī)則數(shù)與輸入維度的指數(shù)線性相關(guān),為避免計算冗余,對采集到的手勢數(shù)據(jù)作降維處理很有必要.

最后將降維處理后的手勢數(shù)據(jù)隨機分為訓(xùn)練集(80%)和測試集(20%).PCA 處理后的手勢數(shù)據(jù)作為降維特征用于MC_ANFIS 的訓(xùn)練.數(shù)據(jù)處理過程如圖5 所示.

圖5 手勢數(shù)據(jù)處理過程Fig.5 Gesture data processing

2 改進的多類神經(jīng)模糊推理系統(tǒng)

傳統(tǒng)ANFIS 的單個輸出節(jié)點適合解決二分類問題,在解決多分類任務(wù)時需要根據(jù)類別數(shù)設(shè)計分類策略、訓(xùn)練多個分類器,因而訓(xùn)練效率較低,且包含了ANFIS 泛化性能較差的缺陷.針對以上問題,本節(jié)首先構(gòu)造一種多分類的ANFIS,然后又提出一種高性能學(xué)習(xí)算法MC_TS_UR 解決其泛化性能較差的問題.改進的多類神經(jīng)模糊推理系統(tǒng) (Improved multicalss neural fuzzy inference system,IMNFIS) 是兩者結(jié)合的高性能多分類系統(tǒng).

2.1 MC_ANFIS 分類器

在最近的研究中,許多跨領(lǐng)域的技術(shù)應(yīng)用取得了很好的效果.本文通過利用卷積神經(jīng)網(wǎng)絡(luò)中的全連接層拓展經(jīng)典TSK 模糊系統(tǒng)的解模糊層,使單個拓展后的TSK 模糊系統(tǒng)具備多分類的能力.其結(jié)構(gòu)如圖6 所示,其中方形節(jié)點代表含系統(tǒng)參數(shù)的自適應(yīng)節(jié)點,圓形節(jié)點代表無系統(tǒng)參數(shù)的固定節(jié)點.

圖6 MC_ANFIS 結(jié)構(gòu)圖Fig.6 Structure of MC_ANFIS

第4 層:計算每條規(guī)則的加權(quán)輸出

第5 層:解模糊.用權(quán)矩陣V ∈RR×P將所有規(guī)則輸出映射到每個類別得分.第r條規(guī)則對應(yīng)類別p的權(quán)重記為vrp ∈V,vrp與wr,m,br,0共同組成后件參數(shù).每個類別的得分計算如下

第6 層:將類別得分轉(zhuǎn)化為類別概率

第7 層:將最大概率對應(yīng)的類別記為最終的分類結(jié)果.例如,假設(shè)為第6 層輸出的最大值,則分類器輸出類別為p.

這樣,通過權(quán)矩陣V拓展后,MC_ANFIS 具備多分類能力.即僅需訓(xùn)練好一個MC_ANFIS 分類器的系統(tǒng)參數(shù),就可以完成多分類任務(wù),能夠大幅節(jié)省計算量,縮短訓(xùn)練時間.

由于MC_ANFIS 的每一層節(jié)點函數(shù)都連續(xù)可導(dǎo),所以直接由鏈?zhǔn)椒▌t和誤差反向傳播更新參數(shù).在反向傳播過程中,記代價函數(shù)為C(認(rèn)為C中不包含與系統(tǒng)參數(shù)直接相關(guān)的項),結(jié)構(gòu)風(fēng)險函數(shù)為J.則目標(biāo)函數(shù)O=C+J對于MC_ANFIS 的前件參數(shù)和后件參數(shù)梯度計算如下:

2.2 MC_TS_UR 融合算法

從第2.1 節(jié)可知,MC_ANFIS 提供了一種通用的多分類器架構(gòu),通過誤差反向傳播而具有自學(xué)習(xí)的能力.因此,MC_ANFIS 具體的學(xué)習(xí)效果受損失函數(shù)的選擇、梯度更新的策略影響較大,需要合適的算法優(yōu)化分類器的性能.MC_ANFIS 是拓展的ANFIS,繼承了ANFIS 所具備的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)、建模能力和TSK 模糊系統(tǒng)的知識表達(dá)特性,所以神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)的優(yōu)化算法同樣適用于MC_ANFIS.

在分類器的訓(xùn)練過程中,為了綜合提升訓(xùn)練質(zhì)量和訓(xùn)練效率,通常用簡單隨機抽樣的方式從訓(xùn)練集中抽取數(shù)量為BS的小批量樣本代替整個訓(xùn)練集進行訓(xùn)練.注意到小批量樣本的質(zhì)量直接關(guān)系到算法的學(xué)習(xí)質(zhì)量,而簡單隨機抽樣沒有考慮到訓(xùn)練集樣本分布的影響,所以訓(xùn)練得到的分類器泛化性能不能得到保證.

典型抽樣 (Typical sampling,TS) 是最近提出的一種神經(jīng)網(wǎng)絡(luò)優(yōu)化算法[21].通過設(shè)定閾值γT,將訓(xùn)練集按概率密度劃分為概率密度高的典型集H和概率密度低的非典型集L兩種,然后分別從H和L中隨機抽取數(shù)量為BS的樣本組成每次訓(xùn)練用的小批量樣本Bts. 通過調(diào)節(jié)閾值γT和小批量樣本Bts中抽取的H和L樣本比例αT,可以讓小批量樣本最大限度地符合總體的分布特點.注意到每次迭代中實際參與訓(xùn)練的為Bts中的BS個實例.在使用TS 算法后,式(21) 應(yīng)修改為:

在TSK 模糊系統(tǒng)學(xué)習(xí)過程中,容易出現(xiàn)各規(guī)則觸發(fā)強度不均勻的情況,在極端情況下,一些規(guī)則的觸發(fā)強度甚至接近于零.這不僅會浪費計算機的計算量,甚至?xí)p害系統(tǒng)的性能.

標(biāo)準(zhǔn)正則化 (Uniform regularization,UR) 是最近提出的一種TSK 模糊系統(tǒng)優(yōu)化算法[22].通過增加結(jié)構(gòu)風(fēng)險函數(shù)Ju的方式,讓各規(guī)則的觸發(fā)強度盡可能相等,從而提高系統(tǒng)的性能.記UR 的系數(shù)為λu,則Ju計算如下:

注意到Ju與MC_ANFIS 后件參數(shù)無關(guān),所以代入到目標(biāo)函數(shù)O中之后,后件參數(shù)的梯度計算不變.

為增加系統(tǒng)泛化性能,還需要加入較小的L2正則化結(jié)構(gòu)風(fēng)險項J2,降低后件參數(shù)的結(jié)構(gòu)風(fēng)險.記L2正則化系數(shù)為λ2,J2由下式計算得到:

引入上述優(yōu)化后,神經(jīng)模糊系統(tǒng)的學(xué)習(xí)過程顯著變化,相應(yīng)的反向傳播的梯度同樣改變,重新推導(dǎo)如下:

本文提出的MC_TS_UR 優(yōu)化算法是在MC_ANFIS 的架構(gòu)上,融合最近提出的神經(jīng)系統(tǒng)優(yōu)化算法TS、模糊系統(tǒng)優(yōu)化算法UR、L2正則化以及adaBound 等經(jīng)典機器學(xué)習(xí)優(yōu)化算法的融合自適應(yīng)算法.MC_TS_UR 融合算法流程見算法1.

算法 1.MC_TS_UR 融合算法

從TS、UR 兩種算法本身的特點來看,所提融合算法具備以下特性:1) 能精確反映總體特性,即有優(yōu)秀的泛化能力;2) 優(yōu)化系統(tǒng)結(jié)構(gòu),讓所有規(guī)則都能發(fā)揮其應(yīng)有的作用,即能表現(xiàn)出很好的性能.

3 手勢識別實驗

本節(jié)通過手勢識別離線實驗驗證所提手勢識別方法的性能.

3.1 實驗設(shè)置

本文主要識別6 種手腕手勢:屈腕、伸腕、伸掌、握拳、尺側(cè)傾和橈側(cè)傾,如圖7 所示.控制6 種手腕手勢對應(yīng)的肌肉信息在表2 中給出.

表2 6 種手腕手勢對應(yīng)的肌肉信息Table 2 Muscles information of the corresponding six gestures

圖7 本文研究的6 種手勢Fig.7 Six gestures studied in this paper

本文研究中手勢識別的方案如下:先用可穿戴式設(shè)備采集對應(yīng)的6 塊肌肉氣壓肌動圖以獲取原始手勢數(shù)據(jù),然后通過數(shù)據(jù)降維、格式轉(zhuǎn)換等方法預(yù)處理數(shù)據(jù).數(shù)據(jù)采集方法詳見第1.2 節(jié),預(yù)處理的方法詳見第1.3 節(jié).經(jīng)8 位受試者手勢數(shù)據(jù)預(yù)處理,得到PCA 降維后的維度為M=7.將處理后的數(shù)據(jù)打上標(biāo)簽后劃分訓(xùn)練集 (80%) 和測試集 (20%),用5 折交叉驗證的方式訓(xùn)練IMNFIS 以及測試IMNFIS的訓(xùn)練效果.本文實驗是在一臺配置為16G RAM、3.2 GHz core i7 8700K 的計算機上進行的.

3.2 模型和算法

本次實驗比較了幾種經(jīng)典分類算法,如支持向量機 (Support vector machine,SVM)、梯度增強決策樹 (Gradient boosting decision tree,GBDT)、線性判別分析 (Linear discriminant analysis,LDA)、一種基于ANFIS 的經(jīng)典神經(jīng)模糊系統(tǒng)優(yōu)化方法(TSK_GD_LSE),以及幾種基于MC_ANFIS和小批量梯度下降的TSK 模糊系統(tǒng)優(yōu)化算法 (MC、MC_TS、MC_UR 和MC_TS_UR).模型和算法的設(shè)置如下.

1) SVM:在Python 中調(diào)用Scikit-learn 庫函數(shù)實現(xiàn).使用5 折交叉驗證從 {0.05,0.1,1,10,20}中選擇懲罰系數(shù),使用 ‘rbf’ 核,‘a(chǎn)uto’ 核系數(shù),‘ovr’決策函數(shù)以及默認(rèn)的其他參數(shù)初始化分類器.

2) GBDT:在Python 中調(diào)用Scikit-learn 庫函數(shù)實現(xiàn).使用5 折交叉驗證從 {3,4,5,6} 中選擇最大深度,其余參數(shù)設(shè)置為默認(rèn).

3) LDA:在Python 中調(diào)用Scikit-learn 庫函數(shù)實現(xiàn).使用5 折交叉驗證從 {0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9} 中選擇懲罰項 ‘shrinkage’,使用 ‘eigen’ 求解器,其余參數(shù)設(shè)置為默認(rèn).

4) TSK_GD_LSE:用一般ANFIS 的分類器模型.通過 ‘ovr’ 的分類策略,將多分類問題轉(zhuǎn)化為多個ANFIS 的二分類問題.最后比較所有二分類器的結(jié)果,決定最終的分類結(jié)果,按照以下方法訓(xùn)練每個二分類器.系統(tǒng)參數(shù)均初始化為0.在前向傳播中使用迭代最小二乘法確定先行參數(shù),在反向傳播中使用梯度下降結(jié)合L2正則化確定后件參數(shù).所有超參數(shù)均設(shè)置為默認(rèn)或者典型值 (λ2=0.05).

5) MC:用MC_ANFIS 的分類器模型.系統(tǒng)參數(shù)初始化為0.先用簡單隨機抽樣的方式從訓(xùn)練集中隨機選取mini-batch,然后用L2正則化結(jié)合AdaBound 更新參數(shù).所有超參數(shù)均設(shè)置為默認(rèn)或者典型值 (λ2=0.05,β2=0.999).

6) MC_TS:用MC_ANFIS 的分類器模型.系統(tǒng)參數(shù)初始化為0.先用典型抽樣的方式從訓(xùn)練集中隨機選取mini-batch,然后用L2正則化結(jié)合AdaBound 更新參數(shù).所有超參數(shù)均設(shè)置為默認(rèn)或者典型值 (γT=0.8,αT=0.8,λ2=0.05,β2=0.999).

7) MC_UR:用MC_ANFIS 的分類器模型.系統(tǒng)參數(shù)初始化為0.先用簡單隨機抽樣的方式從訓(xùn)練集中隨機選取mini-batch,然后用UR+L2正則化結(jié)合AdaBound 更新參數(shù).使用5 折交叉驗證從 {0.1,1,10,100} 中選擇UR 系數(shù)λu,其余超參數(shù)均設(shè)置為默認(rèn)或者典型值 (λ2=0.05,β2=0.999).

8) MC_TS_UR:用MC_ANFIS 的分類器模型.系統(tǒng)參數(shù)初始化為0.先用典型抽樣的方式從訓(xùn)練集中隨機選取mini-batch,然后用UR+L2正則化結(jié)合AdaBound 更新參數(shù).使用5 折交叉驗證從{0.1,1,10,100} 中選擇UR 系數(shù)λu,其余超參數(shù)均設(shè)置為默認(rèn)或者典型值 (γT=0.8,αT=0.8,λ2=0.05,β2=0.999).

3.3 評價指標(biāo)

本文設(shè)計了以下指標(biāo)評價識別性能:1) 混淆矩陣 (Confusion matrix,CM);2) 原始錯誤率 (Raw error rate,RER);3) 平衡錯誤率 (Balanced error rate,BER);4) kappa 系數(shù)κ;5) 訓(xùn)練時間Tt.評價指標(biāo)1)～4)根據(jù)訓(xùn)練的小批量樣本以及測試集的CM 計算得到,是一般分類任務(wù)的常用指標(biāo);評價指標(biāo)5)用于評估算法的訓(xùn)練效率.

這些指標(biāo)的計算如下:

1)混淆矩陣CM.混淆矩陣中每一行代表真實標(biāo)簽為該行數(shù)的分類情況.例如,混淆矩陣中第i行j列的數(shù)值為該分類器將真實標(biāo)簽為第i類的數(shù)據(jù)判定為第j類的樣本占真實標(biāo)簽為第i類的總樣本數(shù)的百分比.CM 對角線原素越大越好.

2)原始錯誤率RER

其中,

p為類別索引,即第p類;

P為分類的類別數(shù),本文中對6 種手腕手勢分類,即P=6;

T(p) 為標(biāo)簽為第p類的樣本被正確分類的數(shù)目;

F(p) 為標(biāo)簽為第p類的樣本被錯誤分類的數(shù)目.

3)平衡錯誤率BER

4)κ系數(shù).一種用于評價所設(shè)計分類器或算法效率的系數(shù),用于涉及到識別兩個以上類的多類問題.該系數(shù)的數(shù)值越高,表示結(jié)果越好.

其中,

M為待分類樣本總數(shù),即測試集大小;

mp,p為標(biāo)簽為第p類且同時被分類器判定為第p類的樣本數(shù);

Gp為標(biāo)簽為第p類的樣本總數(shù);

Cp為被分類器判定為第p類的樣本總數(shù).

5)訓(xùn)練時間Tt.訓(xùn)練時間包括:a) 數(shù)據(jù)降維、標(biāo)簽數(shù)據(jù)格式轉(zhuǎn)換和數(shù)據(jù)集劃分等將采集的原始手勢、標(biāo)簽數(shù)據(jù)轉(zhuǎn)化為分類器可直接操作數(shù)據(jù)的數(shù)據(jù)預(yù)處理時間;b) 數(shù)據(jù)預(yù)處理后,從分類器初始化到分類器學(xué)習(xí)過程完成的純粹用于分類器自學(xué)習(xí)的總時間.Tt越小,分類器的實用性和學(xué)習(xí)效率越高,更適合用于開發(fā)手勢識別的在線產(chǎn)品.

以上指標(biāo)用于評估本研究中的機器學(xué)習(xí)方法在手勢識別中的性能.其中,CM 可以驗證單個類別的識別性能,Tt可以驗證算法的可拓展性,其余指標(biāo)可以驗證分類器整體的識別性能.

3.4 離線實驗結(jié)果

本節(jié)對于健康人和殘疾人兩種對象分別給出第3.2 節(jié)列出的8 種機器學(xué)習(xí)算法的離線手勢分類結(jié)果,并對其進行分析與討論.

考慮到收集到的數(shù)據(jù)集較大(每名受試者約50 萬組數(shù)據(jù))且MATLAB 能夠使用的內(nèi)存有限,直接讀取所有數(shù)據(jù)的話,會有內(nèi)存溢出的風(fēng)險.因此,按照每10 萬組數(shù)據(jù)為一個數(shù)據(jù)集,將實驗數(shù)據(jù)5 等分進行手勢識別的離線實驗.分別在每個子數(shù)據(jù)集上用5 折交叉驗證的方式訓(xùn)練,然后將5個子數(shù)據(jù)集的平均分類錯誤率作為每個受試者的最終平均分類錯誤率.

融合算法在每名受試者數(shù)據(jù)集上的混淆矩陣如圖8 所示.由圖8 可知,利用肌動圖識別手腕手勢時,伸腕手勢和伸掌的識別效果較差且容易互相混淆.這可能是因為受試者們在采集手勢數(shù)據(jù)的過程中動作不夠標(biāo)準(zhǔn)引起的,在采集伸腕手勢數(shù)據(jù)時不自覺地也有輕微的伸掌動作.而握拳、手尺側(cè)傾和手橈側(cè)傾則不容易與其他手勢混淆,所以識別效果更好,在受試者的數(shù)據(jù)集上幾乎都達(dá)到98.5% 以上.

圖8 MC_TS_UR 融合算法在每名受試者數(shù)據(jù)集上的混淆矩陣Fig.8 The CM of the MC_TS_UR fusion algorithm applied to the datasets of every subject

最后在7 名健康人受試者的數(shù)據(jù)集上,用第3.2 節(jié)提到的8 種算法計算第3.4 節(jié)中給出的指標(biāo).表3 和表4 分別給出了健康人與殘疾人實驗的平均結(jié)果,該結(jié)果由健康人和殘疾人兩種對象的所有受試者實驗結(jié)果取平均得到.可以看到在健康人的數(shù)據(jù)集上,相比于SVM、GBDT 等傳統(tǒng)機器學(xué)習(xí)算法,本文所提的融合算法在測試集誤差上有明顯的減少而κ系數(shù)明顯提高.基于ANFIS 的分類性能高于SVM 等傳統(tǒng)機器學(xué)習(xí)算法,這與文獻[23?24]中所述的結(jié)論一致.4 種基于MC_ANFIS 的算法的結(jié)果均優(yōu)于傳統(tǒng)ANFIS 優(yōu)化方法且訓(xùn)練時間Tt更短,說明MC_ANFIS 的結(jié)構(gòu)在處理多分類問題時有更大的優(yōu)勢.訓(xùn)練時間更短的原因在第2.1 節(jié)已經(jīng)分析過,是因為需要訓(xùn)練的分類器數(shù)量少,節(jié)省了大量數(shù)據(jù)預(yù)處理時間和學(xué)習(xí)時間.分類效果更好可能是因為在 ‘ovr’ 的分類策略中,每個類的分類器之間的訓(xùn)練是獨立的,而MC_ANFIS 則是在第5 層中綜合了全部的類別輸出信息.融合算法相比于純MC 方法,測試誤差更小并小于訓(xùn)練誤差,平均訓(xùn)練時間更是縮短了一半以上,說明融合算法除了分類性能好、泛化能力強以外,計算效率也得到了很大的提升.

而在殘疾人的數(shù)據(jù)集上,本文提出的MC_TS_UR 融合算法表現(xiàn)出的性能同樣優(yōu)秀.在錯誤率極低的情況下,同樣大幅縮減了訓(xùn)練時間.與表3 相比,表4 中8 種算法在CER、BER 等指標(biāo)上有不同程度的上升而κ系數(shù)略有減少.這可能是因為相比于健康人受試者,殘疾人受試者的腕部肌肉功能已經(jīng)發(fā)生了遺忘或退化,所以殘疾人受試者的手勢意圖不夠明確、準(zhǔn)確.盡管如此,MC_TS_UR 融合算法依然達(dá)到了97.25%的手勢識別準(zhǔn)確率,比健康受試者的手勢識別準(zhǔn)確率僅差0.93%.

表3 8 種算法在健康人數(shù)據(jù)集上的離線實驗結(jié)果Table 3 The offline experiment results of eight algorithms on datasets of the normal

表4 8 種算法在殘疾人數(shù)據(jù)集上的離線實驗結(jié)果Table 4 The offline experiment results of eight algorithms on datasets of the disabled

3.5 分析與討論

圖9 給出了4 種基于MC_ANFIS 框架的分類算法的誤差隨訓(xùn)練時間的變化曲線.從曲線中容易看出,用UR 優(yōu)化后,訓(xùn)練時間變化不大,收斂特性有所提升;TS 優(yōu)化會略微增加一部分訓(xùn)練時間,泛化性能得到了增強;而融合算法在泛化性能和系統(tǒng)收斂特性都提高的同時,訓(xùn)練時間也得到了大幅縮減.這可能是因為TS 和UR 兩種優(yōu)化方法在融合過程中出現(xiàn)了更深層次的結(jié)合,從而加快了收斂速度,讓訓(xùn)練效率和質(zhì)量都大幅提升.本文提出的手勢識別方法優(yōu)于傳統(tǒng)機器學(xué)習(xí)算法,而相比于一般MC_ANFIS 分類方法,能節(jié)省大量的訓(xùn)練時間,更適合用于開發(fā)在線的殘疾人手勢識別產(chǎn)品.

圖9 4 種基于MC_ANFIS 的算法在訓(xùn)練過程中的分類誤差隨時間變化曲線Fig.9 The classification error changes curve of four MC_ANFIS based algorithms with time during the training process

本文與近期手勢識別研究工作的比較如表5 所示.可以看到,與同類研究工作相比,在研究對象為健康人時,在手勢類別數(shù)相當(dāng)?shù)那闆r下,本文所提的手勢識別方法取得的分類精度最高;而在研究對象為殘疾人時,本文所提方法在所用的傳感器通道數(shù)差別不大的情況下,同樣得到了最高的手勢識別精度.綜合來看,本文所提的手勢識別方法在識別的手勢類別數(shù)相當(dāng)?shù)那闆r下,在健康人和殘疾人兩種類型的受試者上均表現(xiàn)優(yōu)秀.

表5 與近期同類研究工作文獻的比較Table 5 Comparison with similar research work literature

4 結(jié)束語

為克服殘疾人的肢體缺陷,設(shè)計能被殘疾人普遍接受的手勢識別產(chǎn)品,本文提出了基于pMMG和IMNFIS 的手勢識別方法.該方法融合了多分類的神經(jīng)模糊系統(tǒng)結(jié)構(gòu)、神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)優(yōu)化方法,在分類效果優(yōu)秀的同時極大地縮短了訓(xùn)練所需的時間.通過健康人實驗和殘疾人實驗,分別驗證了本文所提的手勢識別方法在健康人和殘疾人數(shù)據(jù)集上的有效性和可拓展性.相比于許多近些年發(fā)表文獻中的方法,本文提出的MC_TS_UR 融合算法、6個pMMG 傳感器和1個IMU 傳感器的手勢識別方法對于6 種手腕手勢的識別能力更高.

本文實驗僅考慮了離線情形,而從離線實驗到轉(zhuǎn)化為殘疾人能夠直接使用的產(chǎn)品還有很大的差距,且本文實驗中僅研究了8 名受試者的6 種手腕手勢,實驗對象和手勢類別都十分有限.考慮到使用在線的學(xué)習(xí)方法可以適應(yīng)不同用戶的需求,后續(xù)的研究工作會集中在:優(yōu)化代碼結(jié)構(gòu)降低訓(xùn)練時間,離線轉(zhuǎn)在線的學(xué)習(xí)方法的開發(fā),以及識別更多種類手勢能力的推廣.