陳 龍 白友恒 薛皓天 張玉林

（武漢科技大學(xué)城市學(xué)院信息工程學(xué)部 武漢 430083）

1 引言

隨著科技水平的不斷發(fā)展和計算機(jī)技術(shù)的飛速進(jìn)步，人機(jī)交互必定會朝著貼合人類的自然動作、減少對特定輸入設(shè)備的依賴的方向發(fā)展。本設(shè)計的智能設(shè)備產(chǎn)品以其獨特的傳感方式和優(yōu)異的技術(shù)性能，在精準(zhǔn)捕捉人類最主要交互部位——手部的動作，同時能夠真正免去了對特定輸入設(shè)備的依賴，完全符合人們對新一代交互設(shè)備的需求，擁有無與倫比的廣闊市場和巨大的商業(yè)價值［1］。

本設(shè)計的科技產(chǎn)品運用先進(jìn)的傳感器技術(shù)、精準(zhǔn)的算法和優(yōu)秀的軟硬件架構(gòu)，以其新穎的可穿戴設(shè)備的形式，緊密貼合手部輪廓，完美捕捉用戶每一個細(xì)微的手勢動作，并以此為基礎(chǔ)開創(chuàng)了一套全新的人機(jī)交互方式，用戶僅需自然地做出手勢，而無需借助其它任何設(shè)備就能夠?qū)崿F(xiàn)與計算機(jī)設(shè)備的交互，特別適用于VR體驗、游戲交互、宣講演示等場合。

2 設(shè)計理念

首先，本設(shè)計的科技產(chǎn)品能夠?qū)崿F(xiàn)對用戶手勢和某些手部動作的精確捕捉，并通過對精確算法處理數(shù)據(jù)，實現(xiàn)了以手勢傳感為核心的手勢識別、VR操作、游戲控制、手勢輸入等功能的智能交互手套，能為人機(jī)交互帶來了嶄新的方式和優(yōu)秀的體驗。在接下來進(jìn)一步的設(shè)計研究中，本產(chǎn)品還將根據(jù)市場調(diào)研的需求和用戶反饋不斷設(shè)計這款人機(jī)交互的智能產(chǎn)品，增加和維護(hù)更多的功能，推動新形式人機(jī)交互設(shè)備的演進(jìn)和發(fā)展。

然后，本產(chǎn)品率先以手套為載體設(shè)計的人機(jī)交互的可穿戴智能設(shè)備，緊密貼合手部輪廓，精準(zhǔn)捕捉手勢數(shù)據(jù)，基于手勢傳感的創(chuàng)新輸入方式，可直接用手勢直接輸入，用手代替鼠標(biāo)鍵盤，顯著提高交互性和可移動性，帶來了輸入和操控的新體驗。

最后，本產(chǎn)品基于不同于市面上是用攝像頭和聲波進(jìn)行動作捕捉的科技產(chǎn)品，本產(chǎn)品采用的是先進(jìn)的彎曲傳感器設(shè)計方案，創(chuàng)新地將彎曲傳感器用于可穿戴設(shè)備，實現(xiàn)對手勢的感應(yīng)，完美解決了傳統(tǒng)傳感技術(shù)的局限克服了攝像頭和聲波帶來的時間、空間限制的問題，實現(xiàn)了不限位置不限運動狀態(tài)的手勢傳感、手勢傳感、慣性測量的結(jié)合，實現(xiàn)對手部動作的全方位捕捉，顯著提高了數(shù)據(jù)的精度，開創(chuàng)人機(jī)交互的新形式［2］。

3 產(chǎn)品設(shè)計原理

3.1 硬件組成及關(guān)鍵設(shè)備設(shè)計

本設(shè)計的產(chǎn)品硬件部分是由彎曲傳感器陣列、陀螺儀、絕對距離測量設(shè)備、通信設(shè)備、交互設(shè)備組成，以下我們將依次對各個模塊的功能進(jìn)行概要介紹：

1）彎曲傳感器陣列：這一功能模塊通過傳感器陣列傳感得到手指關(guān)節(jié)的屈伸程度［2］，然后將數(shù)據(jù)經(jīng)過調(diào)理、整形和濾波后交由后級模塊處理，如圖1所示。

圖1 彎曲傳感器陣列模型圖

2）陀螺儀：這一功能模塊用于感知用戶手部的運動狀態(tài)，采用陀螺儀等imu慣性測量設(shè)備監(jiān)測并獲取用戶手部的運動數(shù)據(jù)，從而實現(xiàn)對用戶手部運動的定位和追蹤，如圖2所示。

圖2 MEMS陀螺儀

現(xiàn)在，當(dāng)前較為先進(jìn)并且得到廣泛應(yīng)用的慣性測量元件是采用基于MEMS技術(shù)的陀螺儀元件，MEMS（即微機(jī)電系統(tǒng)）是在微電子技術(shù)（半導(dǎo)體制造技術(shù)）的基礎(chǔ)上發(fā)展起來的，融合了光刻、腐蝕、薄膜、LIGA、硅微加工、非硅微加工和精密機(jī)械加工等技術(shù)制作的高科技電子機(jī)械器件。MEMS（即微機(jī)電系統(tǒng)）是集微傳感器、微執(zhí)行器、微機(jī)械結(jié)構(gòu)、微電源微能源、信號處理和控制電路、高性能電子集成器件、接口、通信等于一體的微型器件或系統(tǒng)。

MEMS是一項革命性的新技術(shù)，廣泛應(yīng)用于高新技術(shù)產(chǎn)業(yè)，是一項關(guān)系到國家的科技發(fā)展、經(jīng)濟(jì)繁榮和國防安全的關(guān)鍵技術(shù)。MEMS是一個獨立的智能系統(tǒng)，可大批量生產(chǎn)，其系統(tǒng)尺寸在幾毫米乃至更小，其內(nèi)部結(jié)構(gòu)一般在微米甚至納米量級。常見的產(chǎn)品包括MEMS陀螺儀、MEMS加速度計、MEMS麥克風(fēng)、微馬達(dá)、微泵、微振子、MEMS光學(xué)傳感器、MEMS壓力傳感器、MEMS濕度傳感器、MEMS氣體傳感器等以及它們的集成產(chǎn)品［3］。

3）絕對距離測量設(shè)備：這一模塊用于幫助系統(tǒng)克服陀螺儀測量結(jié)果的相對性和對被測目標(biāo)加速度限制嚴(yán)格的局限性；從世界坐標(biāo)系的視角，為某些主要功能的實現(xiàn)提供絕對定位數(shù)據(jù)，并融合陀螺儀的測量結(jié)果，做到對用戶手部運動精準(zhǔn)穩(wěn)定的感知和追蹤。

圖3 紅外測距傳感器

紅外測距是相當(dāng)成熟并且得到廣泛應(yīng)用的絕對距離測量方法之一，該方案以其小體積、高精度、低功耗、非接觸、無次生污染等特點在消費電子領(lǐng)域得到大規(guī)模應(yīng)用，如圖3所示［12］。

此類傳感器的的理論基礎(chǔ)為三角測距原理，如圖4所示。

圖4 三角測距原理

紅外發(fā)射器按照一定的角度發(fā)射紅外光束［4］，當(dāng)遇到物體以后，光束會反射回來，如圖4所示。反射回來的紅外光線被CCD檢測器檢測到以后，會獲得一個偏移值L，利用三角關(guān)系，在知道了發(fā)射角度a，偏移距L，中心矩X，以及濾鏡的焦距f以后，傳感器到物體的距離D就可以通過幾何關(guān)系計算出來，如圖5所示。

圖5 測距遠(yuǎn)-激光距離傳感器曲線圖

4）通信設(shè)備：這一模塊用于建立手套與外部設(shè)備的數(shù)據(jù)通聯(lián)。我們采用WIFI通信方案連接手套與外部器件。手套通過WIFI接入局域網(wǎng)網(wǎng)絡(luò)，最終通過成熟的網(wǎng)絡(luò)協(xié)議完成命令的傳達(dá)和數(shù)據(jù)收發(fā)工作。

通信網(wǎng)絡(luò)由接入網(wǎng)關(guān)、WIFI模塊組成。WIFI模塊具有功耗低、體積小等特點，可植入手套中。我們采用模擬芯片領(lǐng)域國際巨頭TI公司的CC3200方案作為WIFI通信解決方案。CC3200方案經(jīng)過之前數(shù)代革新，在功耗控制和通信穩(wěn)定性方面達(dá)到了同級別產(chǎn)品的巔峰水平，令人咋舌的低功耗效果的同時，仍保持了良好的穩(wěn)定性和優(yōu)秀的通信品質(zhì)，在業(yè)內(nèi)有口皆碑，完全滿足了本產(chǎn)品的設(shè)計需求，如圖7所示和圖8所示。

圖6 CC3200模擬芯片

由于WIFI模塊聚焦于小體積和低功耗，在通信距離、組網(wǎng)性能方面犧牲較大。因此其更為適合作為通信鏈路的“第一棒”。在WIFI模塊發(fā)出數(shù)據(jù)后，需要由無線網(wǎng)關(guān)對信號進(jìn)行接收轉(zhuǎn)換，最終將數(shù)據(jù)在局域網(wǎng)絡(luò)中傳輸，完成通信過程。

圖7 CC3200 MOD

在日常使用的情景中，本設(shè)計的產(chǎn)品對無線接入點的要求不高，常用的穩(wěn)定可靠的家用路由器就可作為本產(chǎn)品的無線接入點，大大增強(qiáng)了本產(chǎn)品的使用范圍和易用性，如圖8所示［16］。

5）交互設(shè)備：這一模塊連接在被控制的智能設(shè)備上，根據(jù)接收到的指令向計算機(jī)或其他智能設(shè)備發(fā)出執(zhí)行命令或傳遞數(shù)據(jù)信息，并與在計算機(jī)中安裝的軟件部分配合，最終完成數(shù)據(jù)的傳送和控制命令的執(zhí)行，從信息流的角度看，這一模塊是硬件部分的最后一站［5］。

圖8 網(wǎng)絡(luò)拓?fù)鋱D

3.2 軟件構(gòu)架設(shè)計

本設(shè)計產(chǎn)品的軟件可分為嵌入式軟件和上位機(jī)軟件兩個主要部分。其中，嵌入式軟件的工作任務(wù)使用在嵌入式硬件設(shè)備中，負(fù)責(zé)操作硬件實現(xiàn)功能。上位機(jī)軟件工作在要操控的PC、VR設(shè)備等智能設(shè)備中，負(fù)責(zé)執(zhí)行控制命令和傳送數(shù)據(jù)。除此之外，嵌入式軟件部分采用了成熟的嵌入式實時操作系統(tǒng)來實現(xiàn)。主要由有效判定、模式匹配、命令收發(fā)三部分組成，主要工作邏輯如圖9所示。

圖9 軟件邏輯示意圖

首先，有效判定模塊接收數(shù)據(jù)采集模塊提供的測量數(shù)據(jù)，并結(jié)合有效條件判定數(shù)據(jù)是否有效可用。

然后，模式匹配模塊利用測量數(shù)據(jù)與用戶在設(shè)定手勢時的初始化數(shù)據(jù)進(jìn)行匹配，若吻合則通知命令收發(fā)模塊發(fā)送相應(yīng)指令。

其次，命令收發(fā)模塊顧名思義，根據(jù)模式匹配的結(jié)果發(fā)送相應(yīng)命令。若有上位機(jī)命令到來，則接收并處理。

最后，智能手套上同時運行者大量傳感器、通信設(shè)備、測量設(shè)備。因此作為整個系統(tǒng)“大腦”的數(shù)據(jù)解算和控制單元必須保證實時正常讀取數(shù)據(jù)的同時，快速及時地完成數(shù)據(jù)解算工作；此外在有通信任務(wù)之時，必須快速響應(yīng)，及時完成通信。上述各個步驟都需要得到有效組織和精確調(diào)度以保證整個系統(tǒng)的實時性。因此，為了實現(xiàn)我們所設(shè)計得目標(biāo)，采用嵌入式實時操作系統(tǒng)對上述任務(wù)進(jìn)行調(diào)度。這一方案一方面提高了處理器利用效率，另一方面又能做到及時響應(yīng)各種內(nèi)外部任務(wù)，保證了系統(tǒng)的實時性。

上位機(jī)軟件部分由通信模塊、命令執(zhí)行模塊、數(shù)據(jù)傳輸模塊組成。通信模塊負(fù)責(zé)與連接在PC或VR設(shè)備等智能設(shè)備上的智能手套信息接收裝置聯(lián)系，從中采集得到手套傳來的數(shù)據(jù)或是命令，并根據(jù)所收到的數(shù)據(jù)的性質(zhì)分發(fā)之。

命令執(zhí)行模塊負(fù)責(zé)根據(jù)收到的命令在設(shè)備中調(diào)用操作系統(tǒng)的API執(zhí)行命令。從而實現(xiàn)手勢控制功能。數(shù)據(jù)傳輸模塊接收的手勢數(shù)據(jù)、測量數(shù)據(jù)等數(shù)據(jù)，并轉(zhuǎn)換成游戲、VR等應(yīng)用軟件所能接收的數(shù)據(jù)格式，最終實現(xiàn)手勢操作功能［6］。

3.3 開發(fā)環(huán)境

嵌入式軟件采用Keil MDK進(jìn)行開發(fā)。

Keil MDK，也稱 MDK-ARM，Realview MDK、I-MDK、uVision4等。目前Keil MDK由三家國內(nèi)代理商提供技術(shù)支持和相關(guān)服務(wù)［7］。

MDK-ARM軟件為基于Cortex-M、Cortex-R4、ARM7、ARM9處理器設(shè)備提供了一個完整的開發(fā)環(huán)境。MDK-ARM專為微控制器應(yīng)用而設(shè)計，不僅易學(xué)易用，而且功能強(qiáng)大，能夠滿足大多數(shù)苛刻的嵌入式應(yīng)用。

MDK-ARM所有版本均提供一個完善的C/C++開發(fā)環(huán)境，其中MDK-Professional還包含大量的中間庫。

上位機(jī)軟件采用Microsoft Visual Studio開發(fā)，Microsoft Visual Studio（簡稱VS）是美國微軟公司的開發(fā)工具包系列產(chǎn)品。VS是一個基本完整的開發(fā)工具集，它包括了整個軟件生命周期中所需要的大部分工具，如UML工具、代碼管控工具、集成開發(fā)環(huán)境（IDE）等。所寫的目標(biāo)代碼適用于微軟支持的所有平臺［13］。

3.4 靜態(tài)手勢識別技術(shù)

靜態(tài)手勢以別過程分為三個步驟：手勢提取、特征描述、手勢分類。本設(shè)計研究產(chǎn)品的靜態(tài)手勢識別過程中，首先，手勢提取包含從Kined傳感器獲取RGB彩色圖像，然后，細(xì)分手勢區(qū)域、特征提取包含取距離信息、高度信息、手勢區(qū)域特證、手勢識別將所有的手掌特證信息綜合到一個多分類的支持向量機(jī)中完成識別［15］，本算法主要研究設(shè)計支持多分類向量機(jī)算法，圖9為算法的整體流程圖［14］。

圖10 靜態(tài)手勢識別算法流程圖

支持向量機(jī)方法可以利用線性函數(shù)將二維空間中的兩個有差別的線性可分的樣本正確的分離開來，也可以通過加入核函數(shù)，將二維空間中線性不可分的樣本通過轉(zhuǎn)化到高維空間，從而實現(xiàn)線性可分，其優(yōu)點是在所謂的樣本統(tǒng)計量有限時，也仍能得較好的規(guī)律統(tǒng)計。其理論是由機(jī)器學(xué)習(xí)專家Vapnik和Cortes經(jīng)過多年研究在1995年時提出［11］。

在線性分類中，一般是利用一個合適的分類函數(shù)將兩類有差別的樣本正確區(qū)分開，如數(shù)據(jù)點用Xi表示，則判別函數(shù)為

上式中x為樣本的向量表示，若在n維空間中，ω將變成n維向量。從上式可知，兩類樣本的分界線并非唯一，只要保證不把兩類數(shù)據(jù)分錯，旋轉(zhuǎn)分界線仍可達(dá)到分類效果。當(dāng)對兩個相同的樣本進(jìn)行分類時，如果有多個函數(shù)都可將兩類樣本正確分開，應(yīng)在這多個數(shù)中尋找那個最優(yōu)的分類函數(shù)，所以必須找一個可以量化的標(biāo)準(zhǔn)來尋找那個最優(yōu)分類函數(shù)，這個量化的標(biāo)準(zhǔn)被你為“分類間隔”。對于一個由向量Xi和標(biāo)記 yi，組成的樣本可定義一個樣本點到某個超平面的表面間隔，然后對參做歸一化處理將得到相應(yīng)的幾何間隔，表示樣本點到相應(yīng)超平面的歐氏距離為

接著將定義一個點的集合到某個超平面的距離為此集合中離超平面距離最短的點的集合，將二分類問題轉(zhuǎn)換成二次規(guī)劃問題，求出其全局最優(yōu)解也即最優(yōu)分類線，圖11為最優(yōu)分類線表示圖。

圖11 最優(yōu)分類線示意圖

以上分類算法可將兩類樣本進(jìn)行分類，但在研究中大多數(shù)為多分類問題，在二分類算法的基礎(chǔ)上構(gòu)造多分類算法可使用直接法或間接法。

為了利用本算法上述特征提取方法獲得的三個特征描述子，本算法將利用間接法構(gòu)造一個多分類的支持向量機(jī)對手勢分類。每個手勢被一個特征向量F描述，F(xiàn)通過以上獲得的三個不同的特征向量組成 F=［ F1，F(xiàn)c，F(xiàn)a］，F(xiàn)1，F(xiàn)c，F(xiàn)a一起描述了一個手勢的多方面特征。多分類支持向量機(jī)構(gòu)造算法還包括一類對余類法、一類對一類法、決策二又樹法、決策導(dǎo)向無環(huán)圖法以及糾錯輸出編碼法等。

4 產(chǎn)品研發(fā)規(guī)劃設(shè)計

第一階段：手勢傳感全部采用慣性測量設(shè)備，測量絕對角度，然后再經(jīng)過慣性力補(bǔ)償和數(shù)學(xué)變換得到手指的屈伸角度。這種設(shè)備價格低廉，但其利用慣性為參考的原理，可能無法完全適用于活動的手部，這樣所有慣性測量設(shè)備測到的角度數(shù)據(jù)都將面臨嚴(yán)重的可信度問題，本研究的產(chǎn)品能夠做到對手勢和手部動作這一人類最自然、最慣常的交互方式的精準(zhǔn)捕捉和穩(wěn)定監(jiān)測。

第二階段：采用通用元件搭建的驗證版，僅為了驗證方案的可行性，未考慮產(chǎn)品化問題。因此，身形臃腫，體積龐大。導(dǎo)線糾纏不休，元件欲拒還迎。連接時斷斷續(xù)續(xù)，信號若有若無。這也就決定了該產(chǎn)品會迎來全新的一代［8］。在當(dāng)前人機(jī)交互朝著自然化、便捷化、可穿戴化發(fā)展的大背景下，本設(shè)計的研究產(chǎn)品更是擁有作為下一代計算機(jī)通用輸入設(shè)備進(jìn)而得到廣泛使用的前景此外，由于本產(chǎn)品作為可穿戴設(shè)備，具有貼身性且易于長時間連續(xù)使用的特點，因此更可以在診療復(fù)健、康復(fù)監(jiān)測等醫(yī)療輔助市場大展宏圖。

第三階段：以手套為載體的可穿戴智能交互設(shè)備的科技產(chǎn)品，緊密貼合手部輪廓，實現(xiàn)了手勢數(shù)據(jù)的精準(zhǔn)捕捉，采用彎曲傳感器方案，實現(xiàn)了不限位置、不限運動狀態(tài)的手勢傳感基于手勢傳感的創(chuàng)新輸入方式，帶來輸入和操控的新體驗，從此，本設(shè)計研發(fā)的產(chǎn)品將開創(chuàng)人機(jī)交互的新形式。雖然在當(dāng)前的產(chǎn)品研發(fā)和市場探索階段，產(chǎn)品主要面向VR和游戲操控領(lǐng)域；未來本產(chǎn)品的應(yīng)用范圍遠(yuǎn)遠(yuǎn)超出VR和游戲領(lǐng)域。因此，本產(chǎn)品不論是在傳統(tǒng)的通用人機(jī)交互設(shè)備領(lǐng)域、新近的VR和游戲操控領(lǐng)域還是更進(jìn)一步的可穿戴設(shè)備和醫(yī)療輔助領(lǐng)域都具有廣闊的市場和巨大的商機(jī)。

5 結(jié)語

當(dāng)前，本設(shè)計研發(fā)的產(chǎn)品立足于VR和游戲操控領(lǐng)域，已經(jīng)基本實現(xiàn)了基于手勢傳感的游戲操作和VR操控，并且能夠?qū)⑹謩輸?shù)據(jù)以標(biāo)準(zhǔn)的格式提交給計算機(jī)及其他智得心應(yīng)手智能手套能設(shè)備使用［9］。

在接下來的進(jìn)一步開發(fā)中，本設(shè)計研發(fā)的產(chǎn)品將立足于本產(chǎn)品已具備的的手勢傳感的特點和優(yōu)勢，進(jìn)一步增加功能，把日常生活中人的手部動作，如觸摸、搓捻、彈按、移動等全部采集到，并且加以處理，得到計算機(jī)可識別、可處理、可計算的有效數(shù)據(jù)信息，真正解放人們的雙手，使用戶在人機(jī)交互的過程中真正做到自然、隨意。我們將致力于使我們的產(chǎn)品成為推動下一代人機(jī)交互設(shè)備發(fā)展演進(jìn)的力量。

本產(chǎn)品率先以手套為載體設(shè)計的較為成熟可穿戴設(shè)備，緊密貼合手部輪廓，精準(zhǔn)捕捉手勢數(shù)據(jù)，基于手勢傳感的創(chuàng)新輸入方式，可直接用手勢直接輸入，用手代替鼠標(biāo)鍵盤，顯著提高交互性，帶來輸入和操控的新體驗豐富市場同類型產(chǎn)品的種類［10］。

本產(chǎn)品不同于市面上是用攝像頭和聲波進(jìn)行動作捕捉的產(chǎn)品，采用的是先進(jìn)的彎曲傳感器方案，創(chuàng)新地將彎曲傳感器用于可穿戴設(shè)備實現(xiàn)對手勢的感應(yīng)，完美解決了傳統(tǒng)傳感技術(shù)的局限克服了攝像頭和聲波帶來的時間空間限制的問題，實現(xiàn)了不限位置不限運動狀態(tài)的手勢傳感。手勢傳感和慣性測量的結(jié)合，實現(xiàn)對手部動作的全方位捕捉，顯著提高了數(shù)據(jù)的精度，開創(chuàng)人機(jī)交互的新形式［2］。