林鵬程，林培杰，程樹英

(1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116； 2.福州大學(xué) 微納器件與太陽能電池研究所，福建 福州 350116)

?

基于自編碼的中國手語識別研究

林鵬程1,2，林培杰1,2，程樹英1,2

(1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116； 2.福州大學(xué) 微納器件與太陽能電池研究所，福建 福州 350116)

針對動態(tài)手語上下文聯(lián)系強的特點，采用LSTM(Long Short-Term Memory)循環(huán)神經(jīng)網(wǎng)絡(luò)用于識別，同時，利用自編碼實現(xiàn)動態(tài)手語的無監(jiān)督學(xué)習(xí)。該方法將數(shù)據(jù)手套作為采集設(shè)備，在獲取手語信息后，通過編碼器、解碼器生成手語的重構(gòu)矢量。在實驗過程中，將采集的數(shù)據(jù)集進(jìn)行模型的訓(xùn)練，并與監(jiān)督學(xué)習(xí)的結(jié)果進(jìn)行比較。實驗結(jié)果表明，該方法能夠有效進(jìn)行手語識別的無監(jiān)督學(xué)習(xí)。

長短期記憶；自編碼；數(shù)據(jù)手套；手語識別

0 引言

手勢的發(fā)展過程中，逐漸形成手語作為聾啞人之間的主要交流方式。同時，可穿戴設(shè)備和便攜式設(shè)備的出現(xiàn)，急需新的人機交互來代替鍵鼠，讓設(shè)備更加人性化，手語具有直接、方便、快速的特點，成為了這類設(shè)備的首選。因此，手語識別技術(shù)具有很強的社會意義和工程意義。

中國是具有聽障人士最多的國家[1]，中國手語作為他們最主要的交流方式，對中國手語的識別研究具有很大的應(yīng)用價值。《中國手語》[2]中目前收錄了5 000多個詞匯，分為手指語和手勢語兩種[3]，手指語即字母，這與鍵盤沒有本質(zhì)上的區(qū)別，因此研究的重點在于手勢語的識別上。手勢語都是由手勢和手形共同組成，為了獲取這些特征，目前研究包括了兩類：(1)基于機器視覺；(2)基于數(shù)據(jù)手套。機器視覺的方式目前穩(wěn)定性差，受到了環(huán)境、系統(tǒng)響應(yīng)速度、識別率低的影響，很難在近期進(jìn)入市場。另一方面，隨著傳感器價格不斷下降，數(shù)據(jù)手套的方式在保證數(shù)據(jù)精確度的同時，價格更加親民化，使得該方法很適合普及應(yīng)用，是目前手語識別的研究重點。

手語識別的研究上，分靜態(tài)手語和動態(tài)手語，兩者區(qū)別在于時間序列中動作是否有變化，如今的研究重點在于動態(tài)手語的識別。Mohandes[4]利用支持向量機對數(shù)據(jù)手套采集的100個手語進(jìn)行分類，準(zhǔn)確率達(dá)到99.6%，但是這些手語都是靜態(tài)的；Lichtenauer[5]結(jié)合動態(tài)時間規(guī)劃(DTW)和二次分類進(jìn)行分類，平均識別率為92.3%，但DTW需要事先建立模板，工作量巨大。為了解決模板問題，后人對隱馬爾可夫模型進(jìn)行改進(jìn)并用于手語識別。曹翔[6]使用分幀隱馬爾可夫模型(Hidden Markov Model, HMM)對30個中國手語進(jìn)行識別，準(zhǔn)確率達(dá)到了97.1%左右；Antwarg[7]用具有HMM結(jié)構(gòu)的決策樹來進(jìn)行動作序列的預(yù)測，并在兩個數(shù)據(jù)集上進(jìn)行驗證，相比HMM算法準(zhǔn)確率提高了5%；Tzuu-Hseng[8]結(jié)合HMM、K-means、蟻群算法用于臺灣手語識別，平均識別率達(dá)到91.3%，但數(shù)據(jù)集只有11個詞匯。HMM雖然能解決連續(xù)手語的問題，但目前大多應(yīng)用在小數(shù)據(jù)集的手語識別上，并且它有只與上一狀態(tài)有關(guān)的缺點，使其離應(yīng)用仍有很長的路要走，而且上述的研究模型是采用監(jiān)督學(xué)習(xí)的方式，需要對數(shù)據(jù)集進(jìn)行標(biāo)注，帶來了附加的工作量。

本文針對上述研究的主要缺點，構(gòu)建了一種用于中國手語識別的無監(jiān)督模型。模型使用LSTM型循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行中國手語的識別，同時，利用自編碼的結(jié)構(gòu)實現(xiàn)數(shù)據(jù)的無監(jiān)督學(xué)習(xí)。

1 基于自編碼的中國手語識別

1.1 自編碼框架

為了實現(xiàn)中國手語的無監(jiān)督學(xué)習(xí)從而進(jìn)行識別，本文構(gòu)建了基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)自編碼來達(dá)到這一效果。其基本思想是通過將手語的數(shù)據(jù)進(jìn)行重構(gòu)，生成連續(xù)手語數(shù)據(jù)的向量。圖1為無監(jiān)督學(xué)習(xí)手語的框架流程，采集的手語向量通過輸入層，再通過利用LSTM層所組成的編碼器進(jìn)行編碼，進(jìn)而獲得手語數(shù)據(jù)的重構(gòu)向量。為了實現(xiàn)無監(jiān)督學(xué)習(xí)，需要將這些重構(gòu)的向量再轉(zhuǎn)化成與輸入序列相應(yīng)的向量，并比較獲得的誤差，再將誤差回傳，不斷改善參數(shù)。因此，將重構(gòu)所得的向量再經(jīng)過3層LSTM神經(jīng)網(wǎng)絡(luò)組成的解碼器進(jìn)行解碼，獲得與輸入數(shù)據(jù)相同維度的數(shù)據(jù)，與其進(jìn)行比較獲得誤差，并將誤差回傳，不斷更新模型參數(shù)，最終實現(xiàn)手語數(shù)據(jù)的無監(jiān)督學(xué)習(xí)。

圖1 無監(jiān)督手語識別框架

圖3 特征向量

1.2 LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)

LSTM型循環(huán)神經(jīng)網(wǎng)絡(luò)由于在進(jìn)行識別時無需了解數(shù)據(jù)，能有效地區(qū)別出輸入數(shù)據(jù)之間的差異，并能針對時間序列提供強大的互聯(lián)網(wǎng)絡(luò)，在語義分析、情感分析、語音識別[9-10]等諸多領(lǐng)域取得很好的效果。其核心在于能通過基本單元操作內(nèi)存對數(shù)據(jù)進(jìn)行存儲，再根據(jù)數(shù)據(jù)之間的關(guān)系來形成相應(yīng)的關(guān)系網(wǎng)絡(luò)。LSTM的基本單元中包括了輸入層、隱藏層、輸出層，并通過輸入門、輸出門、遺忘門來控制其與其他基本單元之間的聯(lián)系。當(dāng)輸入的序列為I=(I1,I2,…,IT)時(其中T為輸入序列的長度，IT為T時刻的輸入)，基本單元通過式(1)控制信息的流動。

(1)

其中，W為權(quán)重矩陣，b為偏置矩陣，I、F、c、O、m分別代表輸入門、遺忘門、狀態(tài)單元、輸出門以及LSTM結(jié)構(gòu)的輸出[11]；σ為控制門的激勵函數(shù)，h為狀態(tài)激勵函數(shù)，如式(2):

(2)

2 數(shù)據(jù)集說明

圖2 數(shù)據(jù)手套

為了評價所構(gòu)建的框架，并讓其他研究者可以進(jìn)行比較，本文中采用了自行設(shè)計的數(shù)據(jù)手套進(jìn)行采集，數(shù)據(jù)手套包括了用于采集加速度的加速度傳感器、采集角速度的陀螺儀、測量地磁的磁力計和用于獲取手指彎曲程度的彎曲度傳感器，共有兩只分別用于采集左右手信息。圖 2展示了數(shù)據(jù)手套的結(jié)構(gòu)。

采集過程中，分別讓5個不同的志愿者佩戴手套，采集了12 000組數(shù)據(jù)，囊括120個手語詞匯，每組數(shù)據(jù)包括28個特征，部分特征可視化效果如圖3所示。

數(shù)據(jù)集中包括的手語詞匯都是日常常用的手語，部分詞匯如表1所示。

表1 手語詞匯

3 模型訓(xùn)練

3.1 數(shù)據(jù)預(yù)處理

為了驗證本文所提出模型的有效性，將兩個數(shù)據(jù)集分別用于無監(jiān)督學(xué)習(xí)，同時為了驗證模型有效性，將部分?jǐn)?shù)據(jù)集進(jìn)行相應(yīng)的標(biāo)注，用于監(jiān)督學(xué)習(xí)，與無監(jiān)督學(xué)習(xí)的效果進(jìn)行比較，最后在測試集上進(jìn)行準(zhǔn)確率的比較。數(shù)據(jù)集具體用途如表2所示。

表2 數(shù)據(jù)用途

3.2 數(shù)據(jù)訓(xùn)練

首先，利用數(shù)據(jù)訓(xùn)練本文所采用的無監(jiān)督模型，訓(xùn)練完成得到編碼器和解碼器的權(quán)重和偏置參數(shù)。無監(jiān)督所使用的數(shù)據(jù)，即采集的數(shù)據(jù)，輸入的數(shù)據(jù)也是相應(yīng)的標(biāo)簽數(shù)據(jù)，解碼產(chǎn)生的輸出將與輸入數(shù)據(jù)進(jìn)行比較，計算損失函數(shù)，計算方法如式(3)所示，其中OT為T時刻的解碼器輸出。

(3)

接著將解碼器部分移除，并添加相應(yīng)的LSTM分類器，用于將重構(gòu)后的手語向量識別成相應(yīng)的手語詞匯，其結(jié)構(gòu)如圖4所示。

圖4 編碼-分類器

4 實驗結(jié)果與分析

為了說明本文構(gòu)建的模型在無監(jiān)督學(xué)習(xí)方面的有效性，與劉濤[12]所采用的LSTM型分類器用于手語識別的結(jié)果進(jìn)行比較。

本文采用損失和準(zhǔn)確度兩個參數(shù)進(jìn)行比較。

模型在訓(xùn)練過程中，從圖5可以看出，本文使用的算法損失函數(shù)更低，并且損失函數(shù)下降速度更快，不需要大量的迭代計算。從圖6可以看出，本文所使用的方法有很大的改進(jìn)，準(zhǔn)確率相比LSTM分類器有很大的提高，并且準(zhǔn)確率上升速度快，大大減小了迭代的計算次數(shù)。

圖5 算法損失函數(shù)結(jié)果比較

圖6 算法準(zhǔn)確率結(jié)果比較

為了進(jìn)一步說明算法的有效性，分別在測試集上進(jìn)行算法的驗證，測試集由2 000個手語數(shù)據(jù)組成，模型是由上述訓(xùn)練數(shù)據(jù)經(jīng)過10個周期的迭代計算所生成。兩種算法在測試集上的驗證結(jié)果如表3所示，可以看出本文所使用的方法在訓(xùn)練階段和識別階段，識別率都比LSTM分類器好。

表3 算法測試集結(jié)果比較

綜上可知，本文中基于自編碼的中國手語識別方法具有一定的先進(jìn)性。

5 結(jié)論

本文針對中國手語識別中數(shù)據(jù)難獲取、標(biāo)注量大的特點，構(gòu)建基于自編碼的識別方式比較實現(xiàn)無監(jiān)督學(xué)習(xí)。通過與監(jiān)督學(xué)習(xí)的方式來定量評價所設(shè)計的模型的有效性。實驗結(jié)果表明，與LSTM型分類器識別中國手語的方式相比，自編碼的識別方式能有效地識別中國手語，在提高識別率的同時，訓(xùn)練速度大大提高，為實際中中國手語識別的研究設(shè)計提供有效的支持。

[1] 馮永, 劉亞蘭. 從遺傳性聾基因篩查到基因診斷——我們的路還有多遠(yuǎn)[J]. 中國耳鼻咽喉頭頸外科,2015,22(2):55-56.

[2] 中國殘疾人聯(lián)合會教育就業(yè)部中國聾人協(xié)會. 中國手語(上下修訂版)[M]. 北京: 華夏出版社, 2003.

[3] 楊全, 彭進(jìn)業(yè). 采用SIFT-BoW和深度圖像信息的中國手語識別研究[J]. 計算機科學(xué), 2014,41(2):302-307.

[4] MOHANDES M A. Recognition of two-handed arabic signs using the cyberGlove[J]. Arabian Journal for Science and Engineering, 2012,38(3):669-677.

[5] LICHTENAUER J F, HENDRIKS E A, REINDERS M J. Sign language recognition by combining statistical DTW and independent classification[J]. IEEE Transactions on Pattern Analysis and Machline Intelligence, 2008,30(11):2040-2046.

[6] 曹翔. 可穿戴手語翻譯器研制[D]. 合肥:中國科學(xué)與技術(shù)大學(xué),2015.

[7] ANTWARG L, ROKACH L, SHAPIRA B. Attribute-driven hidden markov model trees for intention prediction[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2012,42(6):1103-1119.

[8] LI T H S, KAO M C, KUO P H. Recognition system for home-service-related sign language using entropy-based K-Means algorithm and ABC-Based HMM[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2016,46(1):150-162.

[9] WENINGER F, GEIGER J, W?LLMER M, et al. Feature enhancement by deep LSTM networks for ASR in reverberant multisource environments [J]. Computer Speech & Language, 2014,28(4):888-902.

[10] 梁軍, 柴玉梅, 原慧斌，等. 基于極性轉(zhuǎn)移和LSTM遞歸網(wǎng)絡(luò)的情感分析[J]. 中文信息學(xué)報, 2015,29(5):152-159.

[11] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997,9(8):1735-1780.

[12] LIU T, ZHOU W, LI H. Sign language recognition with long short-term memory[C]. IEEE International Conference on Image Processing. IEEE, 2016: 2871-2875.

Chinese sign language recognition research based on auto-encoder

Lin Pengcheng1,2, Lin Peijie1,2, Cheng Shuying1,2

(1. College of Physics and Information Engineering, Fuzhou University, Fuzhou 350116, China；2. Institute of Micro/Nano Devices & Solar Cells, Fuzhou University，F(xiàn)uzhou 350116, China)

Because dynamic sign language has strong context-sensitive feature,we use recurrent neural networks based on LSTM to recognise it. At the same time, auto-encoder is used to realize unsupervised learning with data glove as the collecting device.After obtaining the information of sign language,the data is used to reconstruct vector of sign language through encoder and decoder.During the experiment,the collected data is used to train the model and compare with the result of supervised learning. Experimental results demonstrate the effectiveness of the proposed auto-encoder on unsupervised learning sign language.

long short-term memory; auto-encoder; data glove; sign language recognition

TP391.4

A

10.19358/j.issn.1674- 7720.2017.13.018

林鵬程，林培杰，程樹英.基于自編碼的中國手語識別研究[J].微型機與應(yīng)用，2017,36(13)：59-61,65.

2017-02-14)

林鵬程(1992-)，男，碩士，主要研究方向：嵌入式系統(tǒng)、模式識別。

林培杰(1982-)，男，碩士，講師，主要研究方向：圖像處理、嵌入式系統(tǒng)。

程樹英(1966-)，女，博士，教授，主要研究方向：圖像處理、光伏電池及其應(yīng)用系統(tǒng)。