梅武松，李忠新

(南京理工大學(xué) 機(jī)械工程學(xué)院， 南京 210094)

士兵訓(xùn)練軍用作戰(zhàn)手勢(shì)時(shí)，主要由士官認(rèn)定手勢(shì)是否正確，無(wú)統(tǒng)一的手勢(shì)正確與否的判別標(biāo)準(zhǔn)，可借助手勢(shì)識(shí)別系統(tǒng)作為判斷的客觀媒介。開(kāi)展軍用手勢(shì)識(shí)別工作，還可運(yùn)用于控制機(jī)器人進(jìn)行排爆、偵察和打擊等任務(wù)，進(jìn)行人機(jī)交互，具有很大的應(yīng)用前景。

手勢(shì)識(shí)別作為人機(jī)交互的重要組成，其應(yīng)用研究包含民用和軍用兩類。在民用領(lǐng)域，王朋等[1]設(shè)計(jì)了一種基于MYO臂環(huán)的肌電假肢手手勢(shì)識(shí)別系統(tǒng)，可以在線識(shí)別8種靜態(tài)手形手勢(shì)。鮑磊等[2]提出了一種融合表面肌電和加速度信號(hào)的動(dòng)態(tài)手勢(shì)識(shí)別方法，將兩種信號(hào)特征融合為一組特征向量，分類了6種中國(guó)手語(yǔ)。在民用研究領(lǐng)域，靜態(tài)手勢(shì)識(shí)別率高且實(shí)時(shí)性好，手勢(shì)種類較多，因此研究工作集中在提高動(dòng)態(tài)手勢(shì)識(shí)別率和增加手勢(shì)種類上。在軍用領(lǐng)域，手勢(shì)識(shí)別研究工作較少，主要集中在靜態(tài)手勢(shì)識(shí)別上，動(dòng)態(tài)手勢(shì)研究很少。在軍用靜態(tài)手勢(shì)研究中，黨耀江等[3]提出了一種用手勢(shì)操作火炮的虛擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)，使用數(shù)據(jù)手套獲取手指彎曲角度數(shù)據(jù)，定義并識(shí)別了7種靜態(tài)手形手勢(shì)，實(shí)現(xiàn)了對(duì)炮架、高低機(jī)和方向機(jī)等部件的控制，手勢(shì)種類偏少，未涉及姿態(tài)手勢(shì)研究。沈先耿等[4]提出了一種基于深度圖像和稀疏表示的作戰(zhàn)指揮手勢(shì)識(shí)別算法，使用Kinect視覺(jué)傳感器識(shí)別了20個(gè)軍用靜態(tài)手形手勢(shì)，不同光線條件下都取得了較好魯棒性，也未涉及姿態(tài)手勢(shì)研究。在軍用動(dòng)態(tài)手勢(shì)研究中，Ruttum等[5]通過(guò)慣性傳感器獲取位置、速度、加速度信號(hào)識(shí)別了4種海軍陸戰(zhàn)隊(duì)動(dòng)態(tài)姿態(tài)手勢(shì)，用于機(jī)器人控制，識(shí)別率較高但手勢(shì)種類偏少，未涉及手形手勢(shì)研究。在軍用手勢(shì)識(shí)別研究中，靜態(tài)手勢(shì)上取得了較好的識(shí)別效果，動(dòng)態(tài)手勢(shì)研究中主要是姿態(tài)手勢(shì)識(shí)別，極少涉及手形動(dòng)作識(shí)別，很多精細(xì)手形手勢(shì)無(wú)法識(shí)別，導(dǎo)致識(shí)別種類偏少，很多軍用手勢(shì)在后續(xù)研究中都很難加入到手勢(shì)庫(kù)中，在應(yīng)用上有一定的局限性。

為了提高軍用手勢(shì)識(shí)別的實(shí)用性，本文提出了一種基于手形和姿態(tài)的軍用手勢(shì)實(shí)時(shí)識(shí)別方法，提取肌電和加速度信號(hào)，實(shí)時(shí)識(shí)別14種復(fù)雜軍用動(dòng)態(tài)手勢(shì)。

1 軍用手勢(shì)識(shí)別

軍用手勢(shì)大部分是復(fù)雜的動(dòng)態(tài)手勢(shì)，因此選擇使用性價(jià)比較高的MYO臂環(huán)來(lái)獲取肌電和加速度信號(hào)，分別用于識(shí)別手形動(dòng)作和姿態(tài)動(dòng)作。軍用手勢(shì)實(shí)時(shí)識(shí)別過(guò)程如圖1所示，使用MYO獲取表面肌電和加速度信號(hào)，通過(guò)藍(lán)牙將信號(hào)傳到PC端，在PC端對(duì)兩種信號(hào)進(jìn)行濾波處理，結(jié)合移動(dòng)平均閾值法確定動(dòng)作起止區(qū)間，根據(jù)信號(hào)特點(diǎn)分別提取兩種信號(hào)的特征，將兩類特征輸入到支持向量機(jī)(support vector machines，SVM)中進(jìn)行手形和姿態(tài)手勢(shì)分類，當(dāng)手形動(dòng)作和姿態(tài)動(dòng)作按既定的時(shí)序輸出時(shí)，則可識(shí)別為軍用手勢(shì)。

圖1 軍用手勢(shì)實(shí)時(shí)識(shí)別過(guò)程框圖

1.1 軍用手勢(shì)種類

待識(shí)別的軍用手勢(shì)一共有14種：(1)我，用食指指向自己，(2)你，用食指指向隊(duì)員，(3)我們，用食指指向受命人物前方打圈，(4)偵察，掌心向目標(biāo)方向掃過(guò)，(5)停止及戒備，舉高拳頭于空中，(6)蹲下，掌心慢慢向地壓下，(7)集合，食指向天打圈，(8)?；穑菩南蛘胺缴舷聰[動(dòng)，(9)向前移動(dòng)，屈曲手臂，掌心向正前方，向前推，(10)手槍，伸出大拇指及食指，互為90°，(11)門口，用食指由下方向上，向左再向下，作開(kāi)口矩形的手勢(shì)，代表門口的形狀，(12)窗戶，用食指由下向上，向右，向下再向左作出一個(gè)閉合矩形的手勢(shì)，(13)發(fā)現(xiàn)狙擊手，手指彎曲，像握著圓柱狀物體放在眼前，(14)指令已收到，伸開(kāi)手，大拇指和食指呈圓形狀，同“ok”的手勢(shì)相同。如圖2所示，軍用動(dòng)態(tài)手勢(shì)“停火”動(dòng)作序列：初始狀態(tài)為手臂放松狀態(tài)，先做手形動(dòng)作掌心朝前，然后向前伸出手臂，接著向上然后向下回到起始位置，最后再重復(fù)一次向上和向下動(dòng)作。

圖2 “停火”動(dòng)作序列圖

1.2 信號(hào)獲取

MYO臂環(huán)可以采集8通道的肌電信號(hào)和3通道的加速度信號(hào)[6]，利用藍(lán)牙將信號(hào)傳輸?shù)絇C端，設(shè)計(jì)算法完成對(duì)信號(hào)的獲取工作。

在采集過(guò)程中，為了識(shí)別軍用手勢(shì)，肌電信號(hào)對(duì)應(yīng)的手形動(dòng)作需要采集7種：食指伸出，五指并攏且掌心朝下，五指并攏且掌心朝前，握拳，拇指和食指伸出，呈“手槍”狀，五指彎曲呈圓柱狀，拇指與食指貼合，其余三指伸出，呈“ok”狀，如圖3所示。加速度信號(hào)對(duì)應(yīng)的姿態(tài)手勢(shì)也要采集7種：向上、下、左、右、前、后和畫圈，如圖4所示。

圖3 手形動(dòng)作圖

圖4 姿態(tài)動(dòng)作圖

1.3 信號(hào)預(yù)處理

肌電信號(hào)比較微弱，容易受通道間的相互影響，加速度信號(hào)則存在由于顫抖和傳感器自身帶的噪音，需要對(duì)獲取的信號(hào)進(jìn)行濾波處理。MYO肌電傳感器的頻率一般在200 Hz，加速度傳感器主要在低頻段，分別采用巴特沃斯帶通和低通濾波進(jìn)行預(yù)處理。

巴特沃斯濾波器的特點(diǎn)是通頻帶內(nèi)有最大平坦的幅度特性，而在阻頻帶則逐漸下降為零。巴特沃斯低通濾波器的幅值平方與頻率間關(guān)系的數(shù)學(xué)表示為[7]

(1)

式(1)中:n為濾波器階數(shù)；wc為截止頻率。

1.4 數(shù)據(jù)分割

數(shù)據(jù)分割即確定動(dòng)作的起止區(qū)間，常用的方法有移動(dòng)平均法[8]、包絡(luò)線法、閾值法以及人工神經(jīng)網(wǎng)絡(luò)法[9]等。本文采用的數(shù)據(jù)分割方法為移動(dòng)平均閾值法，計(jì)算量小，實(shí)時(shí)性好。

根據(jù)信號(hào)的頻率大小，選擇窗口長(zhǎng)度R，然后以小于窗口長(zhǎng)度的增量(R-t)遞增，窗口重疊部分為t，對(duì)信號(hào)完成窗口的劃分。計(jì)算出窗口多通道信號(hào)的平均能量(式(2))，與閾值T(式(3))比較確定起點(diǎn)A。由于保持手勢(shì)，肌電信號(hào)和加速度信號(hào)不會(huì)立即回到閾值之下，影響系統(tǒng)實(shí)時(shí)性。考慮到手勢(shì)執(zhí)行時(shí)間非常接近，選數(shù)據(jù)長(zhǎng)度N為定值，最后終點(diǎn)B由式(4)確定。

多通道信號(hào)平均能量計(jì)算公式：

(2)

式(2)中：k為通道序號(hào)；K為通道總數(shù)(肌電信號(hào)K為8，加速度信號(hào)K為3)；xki為第k通道第i點(diǎn)信號(hào)值。閾值計(jì)算公式:

T=e+b×m

(3)

式(3)中：e是保持不動(dòng)時(shí)能量的平均值；m是執(zhí)行該動(dòng)作到最大幅度時(shí)的能量值，系數(shù)b用來(lái)調(diào)整閾值的最優(yōu)性能[10]，這里取4%。終點(diǎn)計(jì)算公式：

B=A+N

(4)

1.5 特征提取

確定信號(hào)起止區(qū)間后，需要在動(dòng)作區(qū)間里提取特征值。對(duì)于非平穩(wěn)隨機(jī)信號(hào)，主要有基于時(shí)域和頻域的特征提取方法。本文提取時(shí)域特征，能較好的表征手勢(shì)動(dòng)作的特征，且計(jì)算簡(jiǎn)單，具有更好的實(shí)時(shí)性[11]。對(duì)于各通道肌電信號(hào)，提取平均絕對(duì)值(mean absolute value，MAV)、平均絕對(duì)值斜率(mean absolute slope，MAVS)、波形長(zhǎng)度(wave length，WL)和方差(variance，VAR)4個(gè)時(shí)域特征；對(duì)于各通道加速度信號(hào)，由于信號(hào)頻率低，直接選取動(dòng)作區(qū)間的信號(hào)點(diǎn)作為特征。

平均絕對(duì)值可以描述信號(hào)的幅值特點(diǎn)，計(jì)算公式如下：

(5)

平均絕對(duì)值斜率是指相鄰?fù)ǖ榔骄^對(duì)值的差值，可以描述不同通道之間的信號(hào)差異特點(diǎn)，其計(jì)算公式如下：

MAVSk=MAVk+1-MAVk

(6)

波形長(zhǎng)度可以描述信號(hào)的長(zhǎng)度特點(diǎn)，其計(jì)算公式如下：

(7)

方差可以描述信號(hào)變化程度的特點(diǎn)，其計(jì)算公式如下：

(8)

1.6 分類器

本文采用SVM和BP神經(jīng)網(wǎng)絡(luò)兩種分類器對(duì)手勢(shì)進(jìn)行分類，并選擇識(shí)別率高的為最終分類器。

SVM是一種基于統(tǒng)計(jì)學(xué)習(xí)的機(jī)器學(xué)習(xí)算法，其基本原理如下:有兩類訓(xùn)練數(shù)據(jù)各含多個(gè)樣本，每個(gè)樣本都是一組特征向量，尋找一個(gè)分離超平面將特征空間化為兩部分，一部分是正類，一部分負(fù)類。符合要求的分離超平面可能很多，利用兩類特征向量到超平面的距離最大求最優(yōu)分離超平面[12-13]，該平面表示以充分大的確信度對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行分類。

手形和姿態(tài)手勢(shì)識(shí)別是多分類問(wèn)題，需要組合多個(gè)二分類器來(lái)實(shí)現(xiàn)多分類器的構(gòu)造，主要方法有一對(duì)多和一對(duì)一兩種[14]。由于一對(duì)多方法分類精度相對(duì)較低，本文采用一對(duì)一法構(gòu)造SVM分類器。在任意2個(gè)類間構(gòu)造SVM分類器，M類則有M(M-1)/2個(gè)分類器，在測(cè)試時(shí)選出得票最多的類為分類結(jié)果。

BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。若輸出層的實(shí)際輸出與期望的輸出不符，則將誤差分?jǐn)偨o各層的所有單元，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。

在BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中，本文設(shè)計(jì)了三層BP神經(jīng)網(wǎng)絡(luò)算法，包含輸入層、隱含層和輸出層。輸入層神經(jīng)元個(gè)數(shù)取樣本特征向量數(shù)，輸出層神經(jīng)元個(gè)數(shù)取手勢(shì)種類數(shù)，隱含層神經(jīng)元個(gè)數(shù)由經(jīng)驗(yàn)式(9)確定。對(duì)于初始權(quán)值，一般選取較小的數(shù)，可以使每個(gè)神經(jīng)元的輸入小，本文取0～1之間的隨機(jī)數(shù)[15]。學(xué)習(xí)率一般取0.01～1，大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定，但小的學(xué)習(xí)速率導(dǎo)致收斂太慢，本文取0.1。隱含層神經(jīng)元個(gè)數(shù)計(jì)算式：

(9)

式中：i為輸入層神經(jīng)元個(gè)數(shù)；o為輸出層神經(jīng)元個(gè)數(shù)。

2 實(shí)驗(yàn)與結(jié)果

2.1 信號(hào)預(yù)處理結(jié)果

對(duì)肌電信號(hào)進(jìn)行巴特沃斯帶通濾波預(yù)處理，以軍用手勢(shì)“?；稹敝械淖觿?dòng)作“掌心朝前”為例，濾波前如圖5所示各通道信號(hào)曲線在動(dòng)作區(qū)間上有較多毛刺，而且比較尖銳。濾波處理后如圖6所示信號(hào)曲線比較平滑，更具規(guī)律性，預(yù)處理效果較好。

圖5 子動(dòng)作“掌心朝前”的肌電信號(hào)濾波前曲線

圖6 子動(dòng)作“掌心朝前”的肌電信號(hào)濾波后曲線

對(duì)加速度信號(hào)進(jìn)行巴特沃斯低通濾波預(yù)處理，以軍用手勢(shì)“停火”中的子動(dòng)作“向前”為例，如圖7所示，濾波前動(dòng)作區(qū)間上有很多的噪聲，執(zhí)行動(dòng)作時(shí)曲線波動(dòng)比較大，采用巴特沃斯低通濾波后，曲線明顯光滑，除去了噪聲的干擾，預(yù)處理效果很好。

圖7 子動(dòng)作“向前”的加速度濾波前后曲線

2.2 數(shù)據(jù)分割結(jié)果

在確定動(dòng)作區(qū)間時(shí)，起點(diǎn)A可由閾值T確定，在執(zhí)行軍用手勢(shì)時(shí)，會(huì)保持手勢(shì)，信號(hào)一般不會(huì)立即回到閾值之下。此時(shí)如果增大閾值，則會(huì)損失過(guò)多的動(dòng)作區(qū)間值，考慮到子手勢(shì)執(zhí)行時(shí)間相近，可以選動(dòng)作區(qū)間長(zhǎng)度N為定值。由于采樣率不同，加速度信號(hào)和肌電信號(hào)的區(qū)間長(zhǎng)度不一樣。

在肌電信號(hào)中，如圖8是軍用手勢(shì)“?；稹眲?dòng)作的子手勢(shì)“掌心朝前”的能量曲線。能量值與閾值的交點(diǎn)為起點(diǎn)A，在第2個(gè)波谷之后信號(hào)保持在一定能量值(圖8中為25)附近，可以看出此時(shí)動(dòng)作區(qū)間已經(jīng)結(jié)束，由于一直保持子手勢(shì)沒(méi)有回到閾值之下，故終點(diǎn)B取第2個(gè)波谷，進(jìn)而得出區(qū)間長(zhǎng)度N為180。按上述方法確定肌電信號(hào)其余手勢(shì)的區(qū)間長(zhǎng)度，最終N取各手勢(shì)區(qū)間長(zhǎng)度平均值160。

圖8 “stop”動(dòng)作能量曲線

在加速度信號(hào)中，如圖9所示是軍用手勢(shì)“?；稹眲?dòng)作的子手勢(shì)“向前”的能量曲線，為了方便觀察，能量值和閾值已經(jīng)同時(shí)減去信號(hào)平穩(wěn)時(shí)的能量值e。能量值與閾值的交點(diǎn)為起點(diǎn)A，可以直觀地看出起點(diǎn)后的第2個(gè)波谷動(dòng)作結(jié)束，故終點(diǎn)B取第2個(gè)波谷，進(jìn)而得出數(shù)據(jù)長(zhǎng)度N為34。按上述方法確定加速度信號(hào)其余手勢(shì)的區(qū)間長(zhǎng)度，最終N取各手勢(shì)區(qū)間長(zhǎng)度平均值36。

圖9 “向前”動(dòng)作能量曲線

2.3 特征提取結(jié)果

MYO肌電信號(hào)有8個(gè)通道，每個(gè)通道動(dòng)作區(qū)間長(zhǎng)度為160。對(duì)動(dòng)作區(qū)間的數(shù)據(jù)進(jìn)行特征提取，每個(gè)通道提取了4個(gè)特征:MAV、MAVS、WL和VAR，所以每個(gè)手形手勢(shì)樣本都有32個(gè)特征向量。MYO可以提取3個(gè)通道的加速度信號(hào)，每個(gè)通道動(dòng)作區(qū)間長(zhǎng)度N為36。將動(dòng)作區(qū)間值作為特征，所以每個(gè)姿態(tài)手勢(shì)樣本共有108個(gè)特征。以軍用手勢(shì)“?；稹钡淖邮謩?shì)“向前”和“向上”動(dòng)作為例，如圖10所示，圖10中有3個(gè)訓(xùn)練樣本，分別是2個(gè)“向前”樣本和1個(gè)“向上”樣本的特征向量。從圖10中可以看出相同手勢(shì)每通道的特征點(diǎn)都聚在一起，不同手勢(shì)間特征點(diǎn)距離較遠(yuǎn)，說(shuō)明以加速度值為特征有較好的區(qū)分度，易于區(qū)分不同種手勢(shì)。

圖10 “向上”和“向前”動(dòng)作的特征曲線

2.4 分類結(jié)果

軍用手勢(shì)動(dòng)作基本上是動(dòng)態(tài)手勢(shì)，根據(jù)定義可把軍用手勢(shì)分解為若干個(gè)手形子手勢(shì)和姿態(tài)子手勢(shì)，子手勢(shì)按既定的時(shí)序輸出可識(shí)別為軍用動(dòng)態(tài)手勢(shì)。以軍用手勢(shì)“?；稹睘槔?dāng)系統(tǒng)依次輸出“掌心朝前”、“向前”、“向上”、“向下”、“向上”和“向下”時(shí)，才能最終識(shí)別為軍用手勢(shì)“停火”。以上6個(gè)子手勢(shì)只要有1個(gè)及以上識(shí)別有誤，則最終手勢(shì)識(shí)別為“未知軍用手勢(shì)”。因此，識(shí)別軍用手勢(shì)需要先識(shí)別手形子手勢(shì)和姿態(tài)子手勢(shì)。

待識(shí)別的手形手勢(shì)和姿態(tài)手勢(shì)均為7類。以手形手勢(shì)為例，訓(xùn)練時(shí)每類手勢(shì)取15個(gè)樣本共105個(gè)訓(xùn)練樣本，分別輸入到SVM和BP神經(jīng)網(wǎng)絡(luò)中訓(xùn)練模型。測(cè)試樣本為7類已定義手勢(shì)和1類未定義手勢(shì)(與已定義手勢(shì)相近的手勢(shì)，如“同時(shí)伸出食指和中指”和“同時(shí)伸出食指、中指和拇指”)，每類手勢(shì)使用兩種不同分類器分別實(shí)時(shí)測(cè)試50次，共測(cè)試100次，8類手勢(shì)共測(cè)試800次。測(cè)試時(shí)，當(dāng)識(shí)別的手勢(shì)結(jié)果對(duì)應(yīng)的識(shí)別率高于p時(shí)，輸出該手勢(shì)結(jié)果，否則均識(shí)別為“未定義手勢(shì)”。在SVM中p取0.5，BP神經(jīng)網(wǎng)絡(luò)中p取0.7。在姿態(tài)手勢(shì)中未定義手勢(shì)則為“左上”和“右下”，各25個(gè)測(cè)試樣本。

2.4.1 手形手勢(shì)識(shí)別結(jié)果

如表1所示，在兩種分類器中7種手形手勢(shì)識(shí)別的整體識(shí)別率分別為96.3%和92%，未定義手勢(shì)(Und)識(shí)別率分別為96%和94%。已定義手勢(shì)和未定義手勢(shì)識(shí)別率都比較高，說(shuō)明手勢(shì)識(shí)別方法既可區(qū)分已定義手勢(shì)，亦可識(shí)別士兵測(cè)試時(shí)的不規(guī)范手勢(shì)，歸類為未定義手勢(shì)。同時(shí)也能看出SVM分類效果優(yōu)于BP神經(jīng)網(wǎng)絡(luò)，本文最終選擇SVM分類器分類軍用手形手勢(shì)。在測(cè)試時(shí)低于整體識(shí)別率的手勢(shì)集中在手形動(dòng)作較接近的手勢(shì)上，如“掌心朝下”與“ok”手勢(shì)，只有拇指與食指動(dòng)作不一樣，其余都相同，肌電信號(hào)比較微弱，易受影響，識(shí)別率會(huì)降低。

表1 手形手勢(shì)識(shí)別情況

2.4.2 姿態(tài)手勢(shì)識(shí)別結(jié)果

如表2所示，在兩種分類器中7種姿態(tài)手勢(shì)識(shí)別的整體識(shí)別率分別為98%和96.6%，未定義手勢(shì)(Und)識(shí)別率為96%。在姿態(tài)手勢(shì)識(shí)別中，兩種分類器分類效果很接近，且精度很高，可以很好滿足軍用手勢(shì)的識(shí)別要求。本文最終選擇識(shí)別率更高的SVM分類器分類軍用姿態(tài)手勢(shì)。

表2 姿態(tài)手勢(shì)識(shí)別情況

2.4.3 軍用動(dòng)態(tài)手勢(shì)識(shí)別結(jié)果

本文選取的軍用作戰(zhàn)手勢(shì)共14種，如表3所示定義了各軍用手勢(shì)的子手勢(shì)組成，如軍用手勢(shì)“我們”依次由手形子手勢(shì)“伸出食指”和姿態(tài)子手勢(shì)“向前”、“畫圈”組成。先識(shí)別子手勢(shì)，按既定的時(shí)序輸出可識(shí)別為軍用手勢(shì)。訓(xùn)練模型使用上兩節(jié)手形子手勢(shì)和姿態(tài)子手勢(shì)訓(xùn)練的SVM模型，每類手勢(shì)測(cè)試50次，14類手勢(shì)共測(cè)試700次。

從表3可以計(jì)算出軍用作戰(zhàn)手勢(shì)的整體識(shí)別率達(dá)91%，識(shí)別率較高，能很好地幫助士兵訓(xùn)練軍用作戰(zhàn)手勢(shì)。出現(xiàn)識(shí)別率較低的是“集合”，主要原因是測(cè)試時(shí)該動(dòng)作的最后一個(gè)子動(dòng)作“畫圈”是在水平面上執(zhí)行，而采集訓(xùn)練樣本時(shí)是在豎直平面上進(jìn)行的。此外，軍用手勢(shì)子手勢(shì)偏多，也會(huì)導(dǎo)致識(shí)別率低于整體識(shí)別率，比如“?；稹焙汀按皯簟眲?dòng)作，子手勢(shì)數(shù)目較多，識(shí)別率低于平均水平。

表3 軍用作戰(zhàn)手勢(shì)實(shí)時(shí)識(shí)別率

2.5 軍用手勢(shì)可視化及測(cè)試

為了便于士兵訓(xùn)練使用，開(kāi)發(fā)了軍用手勢(shì)實(shí)時(shí)識(shí)別界面，可實(shí)時(shí)顯示信號(hào)波形、測(cè)試次數(shù)和識(shí)別率等。如圖11所示，本輪測(cè)試了14次，“集合”指令識(shí)別錯(cuò)誤，其余13個(gè)指令均識(shí)別正確，平均識(shí)別率為92.9%。最后一個(gè)識(shí)別的指令是“?；稹?，由6個(gè)子手勢(shì)組成，6個(gè)子手勢(shì)均識(shí)別正確，最終結(jié)果顯示為“?；稹?。只有當(dāng)所有子動(dòng)作依次識(shí)別正確，測(cè)試結(jié)果才會(huì)顯示對(duì)應(yīng)的軍用手勢(shì)。

圖11 軍用手勢(shì)實(shí)時(shí)識(shí)別界面

為了研究軍用手勢(shì)識(shí)別方法對(duì)不同個(gè)體識(shí)別的效果，隨機(jī)選取3名在校大學(xué)生上機(jī)實(shí)時(shí)測(cè)試。訓(xùn)練模型采用上節(jié)的SVM模型(非測(cè)試人員樣本訓(xùn)練的模型)，測(cè)試樣本則實(shí)時(shí)來(lái)源于測(cè)試人員。測(cè)試前先對(duì)每名測(cè)試人員進(jìn)行簡(jiǎn)單的培訓(xùn)，對(duì)軍用手勢(shì)有一定了解。測(cè)試時(shí)每名測(cè)試人員對(duì)每類軍用手勢(shì)測(cè)試50次，分2組進(jìn)行，每組完成休息3分鐘，14類手勢(shì)共測(cè)試700次。

3名測(cè)試人員的軍用手勢(shì)識(shí)別結(jié)果如圖12所示，可以計(jì)算出14類手勢(shì)整體識(shí)別率依次為88.1%、88%和88.9%，進(jìn)而可得3名測(cè)試人員軍用手勢(shì)的平均識(shí)別率為88.3%，可見(jiàn)識(shí)別率較高，軍用手勢(shì)識(shí)別方法也適用于不同個(gè)體的動(dòng)作識(shí)別，能取得很好的識(shí)別效果。通過(guò)比較訓(xùn)練者測(cè)試的手勢(shì)識(shí)別率(91%)和隨機(jī)選取3名測(cè)試人員的手勢(shì)識(shí)別率(88.3%)，可以發(fā)現(xiàn)信號(hào)的個(gè)體差異對(duì)手勢(shì)識(shí)別有一定的影響，識(shí)別率下降了2.7%。

圖12 測(cè)試人員軍用手勢(shì)識(shí)別曲線

3 結(jié)論與期望

本文提出了一種軍用作戰(zhàn)動(dòng)態(tài)手勢(shì)實(shí)時(shí)識(shí)別方法，結(jié)合肌電信號(hào)特點(diǎn)提取MAV、MAVS、WL、VAR特征分類了7種手形手勢(shì)，平均識(shí)別率最高達(dá)96.3%。提取加速度信號(hào)動(dòng)作區(qū)間值特征分類了7種姿態(tài)手勢(shì)，平均識(shí)別率最高達(dá)98%。使用SVM分類手形子手勢(shì)和姿態(tài)子手勢(shì)效果優(yōu)于BP神經(jīng)網(wǎng)絡(luò)，最終軍用動(dòng)態(tài)手勢(shì)分類使用SVM分類器。14種由手形和姿態(tài)動(dòng)作組成的復(fù)雜軍用動(dòng)態(tài)手勢(shì)的整體識(shí)別率可達(dá)91%，隨機(jī)選取的3名測(cè)試人員軍用手勢(shì)平均識(shí)別率達(dá)88.3%，說(shuō)明軍用手勢(shì)識(shí)別方法識(shí)別率較高且適用于不同個(gè)體的動(dòng)作識(shí)別，可以很好地輔助士兵判別手勢(shì)的正誤，用于日常軍用作戰(zhàn)手勢(shì)訓(xùn)練。

由于軍用手勢(shì)基本上是由手形手勢(shì)和姿態(tài)手勢(shì)組成，手勢(shì)庫(kù)擴(kuò)充方便，具有很大的應(yīng)用前景。后期研究還可圍繞擴(kuò)充軍用手勢(shì)庫(kù)和提高識(shí)別率開(kāi)展。增加子手勢(shì)類型可以擴(kuò)充手勢(shì)庫(kù)，增加訓(xùn)練樣本可以減小相近手勢(shì)和不同采集面對(duì)識(shí)別率的影響，也能降低肌電信號(hào)個(gè)體差異影響。