吳煥斌 張文山 俞 政

?

基于數(shù)據(jù)手套的動態(tài)手勢識別嵌入式平臺

吳煥斌 張文山 俞 政

本文論述了嵌入式環(huán)境下的動態(tài)手勢平臺搭建方法以及基于數(shù)據(jù)手套的動態(tài)手勢識別方案框架，分析了需要采用的關鍵技術。

近年來，虛擬現(xiàn)實領域發(fā)展迅速，虛擬現(xiàn)實領域的發(fā)展為現(xiàn)代社會提供了全新的人機交互方式，用戶可以利用人類本能的方式與計算機信息打交道。正是由于虛擬現(xiàn)實技術的發(fā)展，基于鼠標、鍵盤的交互工具和傳統(tǒng)的交互界面已不能適應在虛擬環(huán)境中進行交互的需要，而手勢、立體顯示等更自然的交互通道極大地提高了人機交互的自然性和高效性，逐漸成為國內(nèi)外研究的熱點。手勢識別技術是虛擬現(xiàn)實領域中十分重要的研究方向，目前在手勢識別軟件的研究上有基于視覺的手勢識別和數(shù)據(jù)手套手勢識別軟件，但是都是基于通用電腦來實現(xiàn)，其設備龐大，應用不方便。當前手勢識別技術在嵌入式軟件的應用僅停留在動作感知技術，主要應用是在手機上的動作感知，用戶通過揮動、搖動、滾動手機來實現(xiàn)瀏覽圖片、播放音樂和進行游戲操作，無法真正實現(xiàn)手部動作的手勢識別。

本文提出了一種面向動態(tài)手勢識別數(shù)據(jù)手套產(chǎn)品嵌入式系統(tǒng)，通過對數(shù)據(jù)手套的擴展應用、運行于嵌入式系統(tǒng)以實現(xiàn)動態(tài)手勢識別，可實時的識別手部動作并通過圖像、文字或聲音的方式展示出來，應用于嵌入式系統(tǒng)中。本項目的研究和應用可有力促進動態(tài)手勢識別技術在嵌入式系統(tǒng)上的應用和發(fā)展，成果可以廣泛應用于人機交互科普展項設計、聾啞人群與正常人之間的交流等場合。

系統(tǒng)架構方案

本文提出了一種基于數(shù)據(jù)手套的動態(tài)手勢識別嵌入式平臺，該平臺由傳感器、ZigBee終端節(jié)點、ZigBee協(xié)調(diào)器、室內(nèi)嵌入式平臺組成室內(nèi)局域網(wǎng)絡，并通過智能網(wǎng)關、路由器將初步采集處理的數(shù)據(jù)經(jīng)由互聯(lián)網(wǎng)發(fā)送到云端服務器進行融合分析處理，遠端嵌入式平臺進行也可隨時接收數(shù)據(jù)。具體的系統(tǒng)構圖如圖1所示。

如系統(tǒng)結構圖所示，數(shù)據(jù)手套各個節(jié)點的數(shù)據(jù)通過控制器與zigbee節(jié)點進行數(shù)據(jù)傳輸。智能網(wǎng)關連接ZigBee協(xié)調(diào)器和室內(nèi)嵌入式平臺，采用ENC28J60以太網(wǎng)模塊編程實現(xiàn)，用于將ZigBee局域網(wǎng)中的數(shù)據(jù)轉(zhuǎn)化成可以在以太網(wǎng)傳輸。通過路由器的轉(zhuǎn)發(fā)，可以將傳感器的數(shù)據(jù)傳輸至云端的服務器。云端服務器相比較于本地服務器而言，維護成本較低，并且只要用戶可以訪問互聯(lián)網(wǎng)，就能通過Android控制終端在任何地點訪問獲取云服務器中的數(shù)據(jù)。云端服務器采用阿里云的云服務器架構，并對其進行二次開發(fā)。用于接收傳感器數(shù)據(jù)，并進行處理分析。室內(nèi)和遠端的嵌入式平臺可以采用Android平臺，室內(nèi)直接采集智能網(wǎng)關中的數(shù)據(jù)，遠端的接收云端服務器傳輸?shù)臄?shù)據(jù)，用戶可以在上面查看數(shù)據(jù)手套的數(shù)據(jù)模型。

平臺搭建關鍵技術

本文提出的嵌入式平臺主要采用基于linux內(nèi)核的Android平臺，搭建該平臺的關鍵技術如下。

（1）Android嵌入式環(huán)境下的Java虛擬機（Dalvik）性能優(yōu)化技術

Java虛擬機（Dalvik）由于對平臺無關性的要求，采用執(zhí)行字節(jié)碼（bytecode）的方式一般說來會導致其執(zhí)行速度會稍慢。從最底層對虛擬機的實現(xiàn)進行深入研究，使JVM可基于應用程序本身的運行條件和底層環(huán)境自動調(diào)整它自己的行為，從而交付貫穿應用程序生存期的最佳性能、可伸縮性和可靠性。其中自適應優(yōu)化的技術難點是：如何建立執(zhí)行方式的自適應調(diào)度模型，通過監(jiān)視代理機制，根據(jù)代碼的執(zhí)行情況，智能動態(tài)地選擇按解釋技術或本地代碼執(zhí)行方式。

（2）Android嵌入式環(huán)境下3D動態(tài)手勢還原虛擬技術

圖1　系統(tǒng)架構圖

Android嵌入式環(huán)境下3D動態(tài)手勢還原虛擬技術就是建立Android嵌入式環(huán)境下的OpenGL ES 3D游戲引擎，利用android.opengl的API來實現(xiàn)。通過OpenGL 的 API ， Android 能夠提供高性能的 3D 圖像。OpenGL 的 EGL 接口，是 OpenGL ES 和底層 Native平臺視窗系統(tǒng)之間的接口。

（3）嵌入式環(huán)境3D建模運動控制技術

整個建模技術操作系統(tǒng)平臺建立在嵌入式操作系統(tǒng)的基礎上，如Android操作系統(tǒng)（內(nèi)核為Linux操作系統(tǒng)）進行Opengl3維模型，有的嵌入式終端硬件平臺直接支持Opengl平臺，為3D模型構建好了平臺。以高效，快速的開發(fā)工具迅速構建高度逼真的3D手部模型為基礎，采用科學的數(shù)據(jù)以及主流的編程語言為結構為手段，搭建以智能嵌入式終端為載體，擁有自主知識產(chǎn)權和專利的手語識別的算法的核心技術產(chǎn)品。

結束語

本文著重提出了嵌入式環(huán)境下的動態(tài)手勢平臺搭建方法以及基于數(shù)據(jù)手套的動態(tài)手勢識別方案框架，主要的創(chuàng)新點如下。

（1）創(chuàng)新的使用加速度傳感器偵測手部動作

本文數(shù)據(jù)手套采用加速度傳感器來偵測手部的平移、轉(zhuǎn)動、翻轉(zhuǎn)等動作，根據(jù)加速度傳感器檢測的矢量加速度值結合三維空間運動矢量關系，通過拉格朗日函數(shù)可以精確的計算出傳感器的在三維空間中姿勢的矢量數(shù)據(jù)，達到動作識別效果。

（2）基于彎曲傳感器的手指運動偵測算法研究

本文數(shù)據(jù)手套采用壓電式彎曲傳感器來偵測手指的彎曲、伸展等動作，通過安裝在手部各個手指關節(jié)位置的彎曲傳感器，可以實時的把手指的彎曲狀態(tài)通過傳感器的電阻變化反映出來，彎曲傳感器的電阻值的變化與彎曲角度通過特定的算法呈對應關系。

（3）基于動作承續(xù)的手勢語識別算法

本文研究的基于動作承續(xù)的手勢語識別算法，是一種不同于基于時間幀手勢語識別的算法，采用先進的數(shù)據(jù)存儲結構排列，支持海量詞組或語句的大規(guī)模識別，可以快速識別相對應的手勢語并翻譯，因為不受手勢語動作發(fā)生的時間間隔限制，大大提高了手語識別精度，效率，可操作性和靈活性。

（4）智能動態(tài)手勢識別及嵌入式3D動態(tài)手勢應用展現(xiàn)模式

本文研發(fā)的面向動態(tài)手勢識別數(shù)據(jù)手套產(chǎn)品的嵌入式軟件是一款基于Android系統(tǒng)的動態(tài)手勢識別應用軟件，可廣泛適用于基于Android平臺的各種智能移動終端，為動態(tài)手勢識別技術在嵌入式軟件應用領域發(fā)展開創(chuàng)了一個新的篇章。

吳煥斌1張文山1俞 政2

1.廣東科學中心；2.華南理工大學

10.3969/j.issn.1001-8972.2016.11.018