邢 倩，方全彪，許夢文，宋曉娜，王新勇

( 河南科技大學(xué)，河南 洛陽 471000)

隨著社會的進(jìn)步，聾啞人正逐步融入大眾生活，但是對于正常人來說能使用手語的人卻很少，這也造成了聾啞人在日常生活中與普通人的交流障礙。聾啞人與正常人之間的交流主要有兩種方式:手語翻譯和書面表達(dá)[1]。但是手語翻譯需要專業(yè)人員和高昂的費用，書面表達(dá)主要通過畫圖或文字交流，效率不高且不方便。在這個背景下，本文提出一種基于彎曲傳感器的手語識別裝置，不僅能夠降低手語翻譯成本，而且能夠?qū)崿F(xiàn)便捷高效的手語識別。

1 總體設(shè)計

圖1 總體結(jié)構(gòu)圖

本手語識別裝置總體結(jié)構(gòu)主要由STM32微控制器、RFP彎曲傳感器、MPU6050加速度傳感器、藍(lán)牙模塊、顯示模塊、語音模塊組成。本裝置由STM32作主控，通過彎曲傳感器和加速度傳感器分別采集手指、手腕的運動信息并轉(zhuǎn)化為電壓信號傳給主控，再與已建立好的手語模塊庫數(shù)據(jù)相比較，從而判定所示手語含義，由顯示屏顯示同時由語音模塊播報?？傮w結(jié)構(gòu)圖如圖1所示。

2 功能實現(xiàn)

2.1 基于彎曲傳感器的手指彎曲識別

RFP彎曲傳感器是柔性可穿戴的薄膜式彎曲傳感器(如圖2所示)，可對任何接觸面的壓力進(jìn)行靜態(tài)和動態(tài)測量[2]，將傳感器感應(yīng)區(qū)所受壓力轉(zhuǎn)換成電阻信號，然后通過分壓電路將電阻信號轉(zhuǎn)化為電壓信號。當(dāng)傳感器處于伸直狀態(tài)，傳感器阻值為30 kΩ，當(dāng)彎曲約90°時， 傳感器阻值約是50 kΩ。 結(jié)合傳感器本身特性，搭建分壓測量電路，傳感器兩端電壓大小即代表彎曲程度的大小，利用 STM32微控制器自身所帶的 AD采集功能[3]，對所測量的電壓進(jìn)行模數(shù)轉(zhuǎn)換并存儲，等待進(jìn)一步處理。

圖2 薄膜式彎曲傳感器

2.2 手指語模板庫的建立

由實驗測量可知，當(dāng)手指伸直時，采集彎曲傳感器兩端電壓約為1.6 V,當(dāng)手指完全彎曲大約為2 V左右。STM32的AD采集分辨率是12位，即將0～3.3V均分為0～4096，所以對應(yīng)單片機所采集到的值應(yīng)該是1986～2482左右，兩者相差500個值。以50個數(shù)為界將手指分為十個不同的彎曲程度，來表示手指當(dāng)前的狀態(tài)，建立手指語的模板庫。定義一個數(shù)組，每個元素代表一個手指，元素的值代表手指的彎曲程度，在未接受訓(xùn)練計劃前，對系統(tǒng)采用均分制，將1980～2480均分為十份以0～9代表不同的程度。例如手勢A只有一個大拇指伸直，則對應(yīng)的數(shù)組可以表示為 {2,9,9,9,9 ,9,9,9,9,9}。

另外模板庫可以通過使用者的訓(xùn)練來進(jìn)行完善，讓系統(tǒng)根據(jù)使用者的自身習(xí)慣建立適合的數(shù)據(jù)庫。

2.3 手指語的實現(xiàn)

系統(tǒng)運行中會不斷地進(jìn)行彎曲電阻的電壓值采集，將電壓值劃分為0～9不同的等級，10個手指的彎曲程度記錄在一維數(shù)組中，一次采集完成即對模板庫進(jìn)行對比，尋找是否相對應(yīng)的詞條，如果找到匹配詞條輸出數(shù)據(jù)。手指電壓采集可能是{2080，2472，2462，2466，2468，2467，2477，2453，2480，2446}對應(yīng)的彎曲等級是{2，9，9，9，9，9，9，9，9，9}。這樣在模板庫里就能找出對應(yīng)的詞條A。

2.4 手勢語的識別

手語不僅包括手指語，通常還有手掌的空間運動，二者結(jié)合共同構(gòu)成手語。所以如果要更全面的進(jìn)行手語識別，需要在手指語的基礎(chǔ)上添加手掌的姿態(tài)解算。

2.4.1 手掌姿態(tài)的檢測

本系統(tǒng)采用MPU605六軸陀螺儀傳感器，可以測量三軸加速度、三軸角速度，并且內(nèi)部自帶了硬件濾波，可以減少程序的繁瑣。本設(shè)計所采用的MPU6050傳感器自帶數(shù)字運動處理器DMP，且InvenSense公司提供了一個MPU6050傳感器的嵌入式運動驅(qū)動庫，可以將原始數(shù)據(jù)結(jié)合DMP輸出的6軸姿態(tài)解算數(shù)據(jù)，直接轉(zhuǎn)換成四元數(shù)輸出，可以很方便地計算出歐拉角,從而得到俯仰角(P)，橫滾角(R)，航向角(Y)[4]。核心計算:四元數(shù)就是包含四個元的一種數(shù)，可表示為Q=q0-qv=q0+q1i+q2j+q3k其中，q0,q1,q2和q3都是實數(shù)，q0稱為實部、qv=q1i+q2j+q3k稱為虛部。

q0=quat[0]/q30;

q1=quat[1]/q30;

q2=quat[2]/q30;

q3=quat[3]/q30;

P=asin(-2*q1*q3+2*q0*q2)*57.3+P-error

R=atan2(2*q2*q3+2*q0*q1,-2*q1*q1-2*q2*q2+1)*57.3+R-error

Y=atan2(2*(q1*q2+q0*q3),0*q0+q1*q1-q2*q2-q3*q3)*57.3+Y-error

其中P-error,R-error,Y-error為誤差糾正數(shù)

上述公式就是將一次的姿態(tài)變換分別用四元數(shù)矩陣和歐拉角矩陣表示出來[5]。

同時我們也可以從MPU6050中獲得手掌運動狀態(tài)中的三軸加速度，通過加速度積分可以得到速度，速度積分可以得到位移[6]。對于計算機控制系統(tǒng)，采樣時間極短，可以認(rèn)為這段時間內(nèi)的加速度是恒定的，根據(jù)公式X=V0*T+1/2AT^2，V=V0+a*T ,可以計算出該時間段內(nèi)的位移大小，并且將末速度作為下次計算的初速度。這樣就能得出手掌在空間的位移情況。

2.5 手語模板庫的建立

每個手語過程在基于香農(nóng)采樣定理的前提下，將運動過程進(jìn)行時間細(xì)分。如一個手語動作在1 s內(nèi)完成，將其過程記錄為10組數(shù)據(jù)，每組數(shù)據(jù)中包括100MS內(nèi)的位移情況和姿態(tài)(俯仰角、橫滾角、航向角)。這樣一個動作的手掌運動就可以用10*6的多維數(shù)組。再加上手指語的手指彎曲情況也按照時間細(xì)分即為10*10的多維數(shù)組，基于這160個數(shù)據(jù)來表示一個完整的手語詞條。手語模板庫同手指模板庫的建立過程相同，但是手語復(fù)雜多樣，所以需要在使用者訓(xùn)練數(shù)據(jù)基礎(chǔ)上建立。

2.6 隱馬爾可夫模型(HMM)的數(shù)據(jù)分析

隱馬爾可夫模型(Markov Model)是一種統(tǒng)計模型，廣泛應(yīng)用在語音識別，詞性自動標(biāo)注，音字轉(zhuǎn)換，概率文法等各個自然語言處理等應(yīng)用領(lǐng)域[7]。手語識別傳感器數(shù)據(jù)與語音數(shù)據(jù)類似，都是時序序列，因此本系統(tǒng)選用在語音識別領(lǐng)域應(yīng)用廣泛的隱馬爾科夫模型作為手勢識別模型。將隱馬爾可夫模型應(yīng)用于手語識別系統(tǒng)，它可以根據(jù)用戶的歷史數(shù)據(jù)，來提高手語的識別能力。主要流程圖如圖3所示。

圖3 隱馬爾科夫模型主要流程圖

一個隱馬爾科夫模型分為兩部分，一個是馬爾科夫鏈，用π，A描述輸出狀態(tài)序列；另一個是隨機過程由B描述，產(chǎn)生觀察值序列，所以HMM模型可以寫成一個三元組(π, A, B)。如果一個系統(tǒng)可以作為HMM模型被描述，就可以用來解決三個基本問題：使用前向算法(forward algorithm)，針對一個觀察序列匹配最可能的系統(tǒng)；使用Viterbi算法，對于一個已生成的觀察序列，確定最可能的隱藏狀態(tài)序列；使用前向-后向算法(forward-backward algorithm)，針對已生成的觀察序列，決定最可能的模型參數(shù)。算法主要分為兩步：

第1步：使用前向后向算法對經(jīng)過特征提取的手指彎曲、手掌運動序列，即觀察值序列，進(jìn)行訓(xùn)練學(xué)習(xí)得到該手勢對應(yīng)的HMM模型參數(shù)。

第2步，使用前向算法將手語特征序列作為輸入，計算產(chǎn)生此序列的概率，找出它最大時的模型，該模型對應(yīng)的手勢即為識別結(jié)果。

為驗證作品的識別效果，每種動作采集50組數(shù)據(jù)，其中10組用于訓(xùn)練HMM模型，40組用于識別。識別效果如表1所示。手勢從左到右依次對應(yīng)1-4的編號。

3 總結(jié)

手語的研究不僅有助于改善聾啞人的生活、學(xué)習(xí)和工作條件，同時也可以應(yīng)用于動畫的制作、醫(yī)療研究、游戲娛樂等諸多方面。本設(shè)計利用計算機控制系統(tǒng)的方法對手語的提取、識別設(shè)計了新穎的算法思路，但是由于隱馬爾科夫模型算法實現(xiàn)對主控芯片要求極大，若不計成本換用高級芯片，則必然與設(shè)計初衷相悖。而且在實際的操作中仍有著很多的難題?？傊嬎銠C控制系統(tǒng)推動著我們的發(fā)展，但是它仍有不足的地方需要我們一起完善。

表1 訓(xùn)練HMM模型的實驗數(shù)據(jù)