張肖寧，毛曉波，陳婉杰，李浩亮，孫世璞

（1.鄭州大學物理工程學院，河南鄭州450001；2.鄭州大學電氣工程學院，河南鄭州450001）

?

便攜式智能手語翻譯系統(tǒng)

張肖寧1，毛曉波2，陳婉杰1，李浩亮2，孫世璞2

（1.鄭州大學物理工程學院，河南鄭州450001；2.鄭州大學電氣工程學院，河南鄭州450001）

摘要：介紹一款便攜式智能化手語實時翻譯系統(tǒng)。利用F1ex2.2彎曲傳感器、MPU-6050六軸傳感器采集手勢特征信息，傳送至STM32微處理器，經(jīng)算法處理，判斷當前的手語信息，并通過語音合成模塊和OLED顯示屏對手語信息進行實時的語音翻譯和文本顯示。手語信息經(jīng)藍牙傳輸至用戶智能手機，APP可將其編輯為短信息。采用人性化、個性化的手套外觀設計，具有處理速度快、識別率高、適應能力強、操作簡單等特點，應用前景廣闊。

關鍵詞：STM32；微處理器；手勢特征信息；手勢識別；手語翻譯

據(jù)中國殘聯(lián)提供的數(shù)據(jù)，目前國內(nèi)聽力殘疾人達2054萬人，語言殘疾人達130萬人，占中國人口總數(shù)的1.67%。他們大都使用手語進行交流，而真正能理解手語的普通人卻很少，無法及時正常地交流溝通，這給聾啞人的生活帶來了極大的困擾。同時不同地區(qū)、民族的手語也略有不同，這就造成了聾啞人之間的相互交流不順暢等問題。然而，目前市場上尚未出現(xiàn)普及性的實時手語翻譯設備。在此介紹一款功能齊全、新穎實用的便攜式手語翻譯系統(tǒng)。

此款便攜式智能手語實時翻譯系統(tǒng)在集成實時監(jiān)測手指彎曲度、手部空間運動軌跡等多項手勢特征信息實現(xiàn)準確匹配手語庫的同時，結合當下快速普及的Androjd智能系統(tǒng)，將最大化地為用戶提供方便。

同時，算法可對數(shù)據(jù)進行優(yōu)化處理，通過個性化校準，建立具有個人手勢特征信息的手語庫，使得該系統(tǒng)適用于不同的用戶，此外，用戶可根據(jù)個人使用情況自定義手勢。通過簡單的操作，該系統(tǒng)就能通過實時翻譯手語、手勢編輯短信息等途徑為用戶提供便利。

1　總體結構與工作原理

系統(tǒng)基于安全可靠、實時處理、經(jīng)濟方便等原則，采用模塊化設計的思想。以STM32微處理器為控制和處理核心，結合F1ex2.2彎曲傳感器、MPU-6050六軸傳感器等器件［1］采集手勢特征信息［2- 5］，通過智能算法對手勢特征信息進行處理，然后與手語庫進行匹配，即可識別和判斷出當前的手語信息，控制語音系統(tǒng)輔助發(fā)音、OLED顯示屏顯示手語的文本信息，實現(xiàn)對手語的實時翻譯功能。同時，經(jīng)藍牙模塊與智能手機進行無線通信，可實現(xiàn)通過手勢編輯文字的功能。系統(tǒng)總體結構如圖1所示。

圖1　系統(tǒng)總體結構圖

2　系統(tǒng)設計

2.1硬件電路設計

2.1.1手指彎曲度檢測模塊設計

手指彎曲度是手勢特征信息的重要組成部分，本模塊選擇了F1ex2.2彎曲傳感器來檢測手指的彎曲程度。F1ex2.2是一款單向彎曲傳感器，當它受到應力發(fā)生彎曲變形時，其電阻值即發(fā)生變化，彎曲程度越大，電阻值越大?？稍?35～+80℃之間彎曲變化，穩(wěn)定性較好，配合帶有A/D轉換的控制器特別適合于手指彎曲度檢測、機器人、醫(yī)療器械、樂器等產(chǎn)品。

人手部尺寸雖不相同，但各關節(jié)的活動范圍卻大致接近，并且各傳感器的原始數(shù)據(jù)與關節(jié)角度成線性關系［3］。根據(jù)該特點本系統(tǒng)選用10個彎曲傳感器分別放置于指掌骨關節(jié)、近指掌骨關節(jié)及拇指指骨關節(jié)處［4］，用來檢測各個關節(jié)的彎曲角度。其中，傳感器1、2、3、4、5位于指掌骨關節(jié)處，傳感器6位于拇指指骨關節(jié)，傳感器7、8、9、10位于近指掌骨關節(jié)處。彎曲傳感器的分布如圖2所示。

圖2　彎曲傳感器分布圖

隨著手指彎曲度的變化，各個彎曲傳感器的電阻值發(fā)生變化，彎曲傳感器與一定的電阻串連分壓，通過STM32的ADC的10個規(guī)則通道將彎曲傳感器上的電壓變化采集下來，對應到實際的手指彎曲角度的變化，便可實時獲取彎曲角度值。STM32與10個彎曲傳感器的連接電路如圖3所示。

需要對采集到的原始數(shù)據(jù)進行處理和個性化校準。通過ADC采集的原始數(shù)據(jù)會因參考電壓的不同而不同，因此，需要對采集到的原始數(shù)據(jù)進行一定的處理之后才能得到測量的彎曲傳感器的輸入電壓值［4- 5］。

數(shù)據(jù)處理的計算公式為：

其中，R為A/D的轉換原始結果，N為A/D轉換器的分辨率，Vref是基準電壓。由公式（1）可以得出A/D輸入通道的電壓：Vin=（R/2N）*Vre

在該手指彎曲檢測模塊中N=12，Vref=3.3 V，因此，化簡之后的A/D輸入通道的電壓公式為：Vjn= R*（3.3/4096）。

Vjn與關節(jié)角度成線性關系，根據(jù)該特點本文針對不同用戶手勢進行個性化校準，要求用戶佩戴手套完成一些特定的手勢，系統(tǒng)將初始狀態(tài)以及各個關節(jié)角度展開到最大狀態(tài)時的數(shù)據(jù)記錄下來，即可對用戶的其他手勢進行個性化校準。具體的處理方法如下：

圖3　STM32與彎曲傳感器的電路連接圖

K：個性化校準系數(shù)；

B：任意手勢值；

C：自然狀態(tài)值（最小值）；

D：個性化基準值（最大值）。

然后根據(jù)本系統(tǒng)內(nèi)置的個性化校準系數(shù)K與關節(jié)彎曲角度A的映射表進行對應。這些措施保證了該系統(tǒng)對不同用戶的適用性以及通過算法進行一定角度范圍與手語庫匹配的準確性。

2.1.2手部運動檢測模塊設計

手部運動檢測模塊主要實現(xiàn)在手運動、做各種手勢時檢測手相對于水平方向的偏轉情況。該部分選用高精度的陀螺加速度計MPU-6050，模塊內(nèi)部自帶電壓穩(wěn)定電路，可以兼容3.3 V /5 V的嵌入式系統(tǒng)，連接方便。模塊保留了MPU-6050 的I2C接口，以滿足高級用戶希望訪問底層測試數(shù)據(jù)的需求。采用先進的數(shù)字濾波技術，能有效降低測量噪聲，提高測量精度。模塊內(nèi)部集成了姿態(tài)解算器，配合動態(tài)卡爾曼濾波算法，能夠在動態(tài)環(huán)境下準確輸出模塊當前姿態(tài)，姿態(tài)測量精度0.01度，穩(wěn)定性極高。STM32與MPU-6050的連接電路如圖4所示。

圖4　STM32與MPU-6050的電路連接圖

MPU-6050模塊［6］發(fā)送至上位機每幀數(shù)據(jù)分為3個數(shù)據(jù)包，分別為加速度包、角速度包和角度包，3個數(shù)據(jù)包依次輸出。通過MPU6050模塊的加速度計檢測的是加速度在芯片坐標系中X、Y、Z軸中的分量值，通過陀螺儀測量角度，因為陀螺儀讀出的是角速度，角速度對時間積分得到的就是轉過的角度。測量加速度與角度示意圖如圖5所示。

圖5　測量加速度與角度示意圖

加速度的計算公式為：

ax=（AxH＜＜8）|AxL）/32768*16g ax=（AxH＜＜8）|AxL）/32768*16g ax=（AxH＜＜8）|AxL）/32768*16g（g為重力加速度，可取9.8 m/s2）

角速度計算公式：

wx=（wxH＜＜8）|wxL）/32768*2000 wy=（wyH＜＜8）|wyL）/32768*2000 wz=（wzH＜＜8）|wzL）/32768*2000角度計算公式（單位°）：

滾轉角（x軸）Ro11=（Ro11H＜＜8）|Ro11L）/32768*180

俯仰角（y軸）Pjtch=（PjtchH＜＜8）|PjtchL）/32768*180

偏航角（z軸）Yaw=（YawH＜＜8）|YawL）/32768*180

其中，AxH是X軸加速度高字節(jié)，AxL是X軸加速度低字節(jié)，對于AyH、AyL、AzH、AzL依次類推。wxH是X軸角速度高字節(jié)，wxL是X軸角速度低字節(jié)，對于wyH、wyL、wzH、wzL依次類推。Ro11H是X軸角度高字節(jié)，Ro11L是X軸角度低字節(jié)，對于PjtchH、PjtchL、YawH、YawL依次類推。

2.1.3手語翻譯模塊

手勢特征信息通過與手語庫匹配，可得到手語信息，語音及文本顯示功能將手語信息實時翻譯出來。手語翻譯模塊部分采用XFS5152CE語音合成芯片和SSD1306OLED液晶顯示屏，分別完成語音翻譯及文本信息顯示的功能。

XFS5152CE是一款高集成度的語音合成芯片，可實現(xiàn)中文、英文語音合成，集成了語音編碼、解碼功能，可支持用戶進行錄音和播放，支持UART、I2C、SPI 3種通訊方式。還創(chuàng)新性地集成了輕量級的語音識別功能，支持30個命令詞的識別，并且支持用戶的命令詞定制需求。它與STM32的連接非常簡單，只需將兩者的串行發(fā)送TXD和串行接收RXD分別對應相連即可。

OLED顯示技術具有自發(fā)光特性，采用非常薄的有機材料涂層和玻璃基板，視角廣、畫質(zhì)均勻、分辨率高、反應速度快、較易彩色化、驅(qū)動電壓低、能耗低。符合輕薄短小的原則，外形尺寸超薄，應用范圍屬于中小尺寸面板。

2.1.4藍牙無線通信模塊

匹配所得手語信息需經(jīng)藍牙傳送至智能手機，APP可將其編輯為短信息。藍牙通信模塊采用英國CSR公司B1ueCore4-Ext芯片BLK-MD-BCO4-B，遵循V2.1+EDR藍牙規(guī)范，支持USRT，USB，SPI，PCM，SPDIF等接口，并支持SPP藍牙串口協(xié)議，具有成本低、體積小、功耗低、收發(fā)靈敏性高等優(yōu)點，配備少許的外圍元件就能實現(xiàn)其強大功能。

2.2軟件設計

系統(tǒng)的軟件設計部分分為本地軟件設計和客戶端軟件設計兩部分。

本地軟件設計部分即以STM32為應用平臺，完成對數(shù)據(jù)的記錄、處理的應用程序，實現(xiàn)實時語音翻譯、文本顯示及遠端傳送的功能。通過彎曲傳感器和MPU-6050采集手勢特征信息，STM32記錄并通過算法處理相關數(shù)據(jù)，與手語庫匹配成功后即可獲取手語信息，并完成實時語音翻譯及文本顯示的功能。同時，STM32可將該手語信息經(jīng)藍牙傳送至智能手機。工作流程如圖6（a）所示。

客戶端軟件設計部分以Androjd智能系統(tǒng)作為軟件應用平臺，在智能手機端開發(fā)APP應用程序，實現(xiàn)手勢編輯文字的功能。打開手機的藍牙功能，連接成功后，智能手機即可與系統(tǒng)通信。智能手機通過藍牙功能接收手語信息，APP可實時將手語信息編輯為短信息。工作流程圖如圖6（b）所示。

圖6　軟件設計部分

3　系統(tǒng)調(diào)試

用戶先戴上手套，固定好裝置盒，打開電源開關，先做出一定的手勢并記錄下個性化基準值，可對該用戶的其他手勢進行個性化校準。然后用戶做出手語，語音模塊實時進行語音翻譯，OLED顯示屏實時顯示出手語的文本信息。同時打開電腦的藍牙功能，通過STM32對串口的寫操作命令，將STM32讀取到的各個傳感器的數(shù)值通過藍牙傳輸?shù)诫娔X，并在電腦界面上顯示出來，方便觀察、調(diào)試。

圖7　實驗結果圖

當用戶做出“你”的手勢時，串口接收的數(shù)據(jù)及OLED顯示屏顯示的文本信息圖7（a）、（b）、（c）所示。

系統(tǒng)與智能手機通信時，手語信息通過藍牙傳輸至智能手機，APP將其編輯為短信息，如圖7（d）所示。

4　結束語

此款便攜式智能手語翻譯系統(tǒng)通過采集手勢特征信息，通過與手語庫匹配，可實時獲取手語信息，語音系統(tǒng)進行實時語音翻譯、OLED顯示屏實時顯示文本信息，上位機通過串口可實時接收手勢特征信息。結合當下快速普及的智能手機，手語信息通過藍牙無線傳送至智能手機，APP實時將其編輯為短信息。人性化的手語實時翻譯功能，具有識別率高、操作簡單、使用方便等特點，應用前景廣闊。

參考文獻：

［1］曲波，肖圣兵，呂建平.工業(yè)常用傳感器選型指南［M］.北京：清華大學出版社，2002.

［2］蔡興泉，郭天航，臧坤，等.基于無線數(shù)據(jù)手套的手勢識別方法研究［J］.系統(tǒng)仿真學報，2014（1）：72-75.

［3］I A Kapandjj The Physjo1ogy of the Jojnts Vo1ume I［M］.Churchj11 Ljvjngstone Press，1970.

［4］安明，陳善廣，劉玉慶.基于數(shù)據(jù)手套的虛擬手精確建模的研究與發(fā)現(xiàn)［J］.計算機仿真，2010（1）：241-244.

［5］高鷹，黃昌正，周子航，等.基于ARM的數(shù)據(jù)手套及其手語識別系統(tǒng)的設計與實現(xiàn)［J］.廣州大學學報：自然科學報，2012 （4）：68-74.

［6］InvenSense Inc. MPU-6000 and MPU-6050 Regjster Map and Descrjptjons Revjsjon 3.2［EB/OL］.［2015-03-14］. http：// www.jnvensense.com.

The Portable lntelllgent slgn language translatlon system

ZHANG Xjao-njng1，MAO Xjao-bo2，CHEN Wan-jje1，LI Hao-1jang2，SUN Shj-pu2
（1.School of Physical Engineering，Zhengzhou University，Zhengzhou 450001，China；2.School of Electrical Engineering，Zhengzhou University，Zhengzhou 450001，China）

Abstract:A portab1e jnte11jgent rea1-tjme sjgn 1anguage trans1atjon system js jntroduced. The system uses F1ex2.2 bend sensor，MPU6050 sjx-axjs sensor to acqujre gesture feature jnformatjon whjch wj11 be transferred to the STM32 mjcroprocessor. When gesture feature jnformatjon js processed by the a1gorjthm，sjgn 1anguage jnformatjon wj11 be gajned whjch can be trans1ated jnto vojce and text messages jn rea1 tjme by speech synthesjs modu1e and OLED djsp1ay. Sjgn 1anguage jnformatjon js transmjtted to the user's smart phone vja B1uetooth whjch can be edjted jnto a short message by APP. Adoptjng the humane and persona1jzed g1ove desjgns，the system has broad app1jcatjon prospects wjth hjgh processjng speed，hjgh recognjtjon rate，strong adaptabj1jty，sjmp1e operatjon and many other features.

Key words:STM32；gesture feature jnformatjon；gesture recognjtjon；sjgn 1anguage trans1atjon

中圖分類號：TN6

文獻標識碼：A

文章編號：1674-6236（2016）07-0160-04

收稿日期：2015-04-24稿件編號：201504273

基金項目：鄭州大學2014年度大學生創(chuàng)新創(chuàng)業(yè)訓練計劃（2014xjxm075）

作者簡介：張肖寧（1993—），女，河南開封人。研究方向：智能儀器儀表。