成都理工大學(xué)信息科學(xué)與技術(shù)學(xué)院 張 文 李松林 徐大杰

基于嵌入式智能手語翻譯手套設(shè)計(jì)

成都理工大學(xué)信息科學(xué)與技術(shù)學(xué)院 張 文 李松林 徐大杰

本系統(tǒng)設(shè)計(jì)一款能翻譯手語的便攜低功耗數(shù)據(jù)手套，旨在解決正常人與聾啞人的溝通障礙問題。數(shù)據(jù)手套能輸出用戶手勢(shì)的姿態(tài)角、手指彎曲度、以及手部的加速度等。本系統(tǒng)使用模板匹配的方式，比較用戶輸入手勢(shì)數(shù)據(jù)與模板庫中手勢(shì)的相似度，找出手勢(shì)庫中與輸入手勢(shì)差異最小的手勢(shì)。根據(jù)需要改進(jìn)了加權(quán)的動(dòng)態(tài)時(shí)間規(guī)劃算法，把手勢(shì)的加速度、姿態(tài)角度作為權(quán)值，與彎曲度數(shù)據(jù)有效融合，最終正確的識(shí)別出用戶的手勢(shì)。

數(shù)據(jù)手套；手勢(shì)翻譯；模板匹配；動(dòng)態(tài)時(shí)間規(guī)劃

0 引言

第六次全國人口普查公布的數(shù)據(jù)顯示，全國各類殘疾人總數(shù)為8502萬人，其中聽力殘疾2054萬人，言語殘疾130萬人，分別在殘疾人總數(shù)的24.16%和1.53%。聾啞人只能通過手語進(jìn)行相互交流，他們與正常人的交流存在極大的障礙。本系統(tǒng)設(shè)計(jì)了一款低功耗便攜式的智能手語翻譯手套，相比于上述的手勢(shì)捕獲技術(shù)，具有眾多優(yōu)勢(shì)。該手套能精確的記錄手勢(shì)的空間數(shù)據(jù)，不存在手勢(shì)死區(qū)，并且智能手套處理的數(shù)據(jù)量小，算法相對(duì)簡單，識(shí)別速度快。

1 系統(tǒng)構(gòu)架

本系統(tǒng)手勢(shì)識(shí)別分為3個(gè)部分，數(shù)據(jù)采集及預(yù)處理、數(shù)據(jù)段捕獲和識(shí)別手勢(shì)。數(shù)據(jù)采集通過彎曲度傳感器、MPU9250獲得；但由于外界環(huán)境等因素，數(shù)據(jù)會(huì)受到干擾，系統(tǒng)使用濾波達(dá)到較好效果。數(shù)據(jù)段捕獲主要是尋找手勢(shì)的起點(diǎn)和終點(diǎn)，其采用門限判定法來分割手勢(shì)。用戶做手勢(shì)時(shí)，手部的姿態(tài)、加速度、手指彎曲度有顯著變化，通過設(shè)定門限值，確定有效數(shù)據(jù)段。識(shí)別手勢(shì)主要采用加權(quán)動(dòng)態(tài)時(shí)間規(guī)劃，計(jì)算與模板庫手勢(shì)歐式距離，當(dāng)兩者總距離值最小，且小于設(shè)定的閾值時(shí)，則判定為同一手勢(shì)。

2 識(shí)別算法設(shè)計(jì)

2.1 數(shù)據(jù)采集和預(yù)處理

彎曲度傳感器采用模數(shù)轉(zhuǎn)換得到手指的彎曲度。轉(zhuǎn)換時(shí)，易受到電源波動(dòng)和環(huán)境等影響，故在每次采集時(shí)，進(jìn)行模數(shù)轉(zhuǎn)換5次，采用冒泡排序，舍棄最大和最小值，求平均，最后送滑動(dòng)窗口濾波。MPU9250集成加速度計(jì)、地磁計(jì)和陀螺儀，通過特定的算法解算出加速度和歐拉角。對(duì)其進(jìn)行數(shù)據(jù)歸一化到[0,1]，即：

2.2 數(shù)據(jù)段捕獲

人在做出手勢(shì)時(shí)，手指彎曲度、加速度、角度均有明顯的差異。通過差分法可對(duì)手勢(shì)的起止和終止做出判斷，從而捕獲到有效的手勢(shì)信息。即：

為排除系統(tǒng)偶然性，以連續(xù)多次采樣數(shù)據(jù)作為判決數(shù)據(jù)。當(dāng)幾次數(shù)據(jù)均滿足起始條件，判斷手勢(shì)開始；同時(shí)滿足三個(gè)終止條件，判斷手勢(shì)結(jié)束；其他情況下，判斷為有效數(shù)據(jù)段。

2.3 識(shí)別核心算法

本部分使用動(dòng)態(tài)時(shí)間規(guī)劃算法，尋找輸入與模板序列之間的最佳時(shí)間規(guī)正函數(shù)，使輸入與模板的距離最短。設(shè)模板手勢(shì)時(shí)間序列和輸入手勢(shì)時(shí)間序列。定義規(guī)整序列，規(guī)整點(diǎn)組。輸入手勢(shì)與模板手勢(shì)的相似度用歐式距離來評(píng)價(jià)，即：

構(gòu)建一個(gè)的矩陣網(wǎng)格，每一個(gè)網(wǎng)格代表輸入與模板序列的歐拉距離值，用表示。且有：

為輸入與模板手勢(shì)的總歐拉距離值。越小，兩者越相似，反之，越不相似。

以上為傳統(tǒng)的動(dòng)態(tài)時(shí)間規(guī)劃，匹配過程中，把每個(gè)路徑點(diǎn)同等看待。但實(shí)際過程中，每個(gè)采樣點(diǎn)重要性不同，且彎曲度、角度、加速度數(shù)據(jù)在識(shí)別的貢獻(xiàn)也不同。以彎曲度為主識(shí)別數(shù)據(jù)，角度、加速度為輔數(shù)據(jù)，以加權(quán)的方式突出不同采樣點(diǎn)在匹配中的影響大小，得歐式距離遞推式。

式中、為分別為加速度、角度在加權(quán)中的貢獻(xiàn)比重。

圖1 加權(quán)DTW算法流程

3 調(diào)試結(jié)果

在文獻(xiàn)[4]中選出198個(gè)常用孤立手語詞手勢(shì)，選擇3名健康的受試者，對(duì)所有選取手勢(shì)采集5遍，得到15個(gè)樣本集，從中選取1組作為標(biāo)準(zhǔn)模板手勢(shì)集，另外均作為測(cè)試手勢(shì)樣本集。分別使用加權(quán)DTW和傳統(tǒng)DTW做匹配，結(jié)果如圖2、3所示。

圖2 未加權(quán)DTW路徑匹配

圖3 加權(quán)DTW路徑匹配

通過加速度、角度加權(quán)，把不同手勢(shì)的特征差異放大，讓手勢(shì)匹配路徑更優(yōu)，總歐式距離值更小，從而減少匹配過程中手勢(shì)的誤識(shí)和拒識(shí)率。在實(shí)驗(yàn)中，不同權(quán)重的加速度、角度組合，對(duì)手勢(shì)匹配等錯(cuò)誤率EER有很大影響。由于，試驗(yàn)時(shí)，從0起始，以0.05步進(jìn)，到1結(jié)束，得出與等錯(cuò)誤率ERR的關(guān)系。使用最佳參數(shù)點(diǎn)，，對(duì)上述三名手語受試者測(cè)試，得出手勢(shì)的平均識(shí)別率88.1%和平均識(shí)別時(shí)間125ms。

4 結(jié)論

本系統(tǒng)設(shè)計(jì)了一款便攜低功耗智能翻譯手套，將手語數(shù)據(jù)經(jīng)改進(jìn)的動(dòng)態(tài)時(shí)間算法識(shí)別，最終翻譯成文本信息輸出。實(shí)驗(yàn)得出，對(duì)于不同手勢(shì)，該數(shù)據(jù)手套平均識(shí)別率為88.1%，平均識(shí)別時(shí)間為125ms。該系統(tǒng)對(duì)常見手勢(shì)的識(shí)別率高，識(shí)別速度快，并且結(jié)構(gòu)簡單、便于攜帶、功耗低，可廣泛運(yùn)用于聾啞人與正常人的交流中，具有很好的前景和應(yīng)用市場(chǎng)。

[1]趙燕潮．中國殘聯(lián)發(fā)布我國最新殘疾人口數(shù)據(jù)[J]．殘疾人研究,2012．

[2]李航．統(tǒng)計(jì)學(xué)習(xí)方法[M]．北京:清華大學(xué)出版社,2012．

[3]夏斐．基于動(dòng)態(tài)規(guī)劃和DTW匹配的時(shí)間序列索引方法研究[D]．大連理工大學(xué),2015．

[4]GB/T 24435-2009．中國手語基本手勢(shì)[S]．2009．