陳雪嬌，繆文南

（華南理工大學(xué)廣州學(xué)院電子信息工程學(xué)院，廣東廣州 510800）

體感娛樂(lè)運(yùn)動(dòng)項(xiàng)目適合不同時(shí)期的少年兒童，可開(kāi)發(fā)智力、鍛煉腦力、促進(jìn)手眼協(xié)調(diào)，促進(jìn)少年兒童的健康成長(zhǎng)。另外，當(dāng)今是一個(gè)快節(jié)奏的時(shí)代，很多人沒(méi)有時(shí)間、沒(méi)有空間運(yùn)動(dòng)，能夠在有限的時(shí)間和空間內(nèi)進(jìn)行各種體感娛樂(lè)運(yùn)動(dòng)，不僅釋放了職場(chǎng)上的壓力，而且鍛煉了身體，遠(yuǎn)離疾病的困擾。而動(dòng)作識(shí)別作為人機(jī)交互的一種重要技術(shù)，一直是模式識(shí)別領(lǐng)域的研究熱點(diǎn)之一。在動(dòng)作識(shí)別研究中主要有兩個(gè)方向:基于視覺(jué)傳感器的動(dòng)作識(shí)別[1-4]和基于可穿戴傳感器的動(dòng)作識(shí)別［5-10］?；诩铀俣葌鞲衅鞯膭?dòng)作識(shí)別技術(shù)屬于后者，由于加速度傳感器具有能耗低、體積小、成本低的特點(diǎn)被廣泛使用［11-13］。例如：各種賽車(chē)游戲，用戶(hù)通過(guò)雙手作出各種組合手勢(shì)來(lái)操控系統(tǒng)，在智力和體力之間讓用戶(hù)獲得無(wú)窮樂(lè)趣。但現(xiàn)有的手勢(shì)識(shí)別式設(shè)備，大多數(shù)采用視頻識(shí)別雙手手勢(shì)方法，通過(guò)攝像頭對(duì)手部進(jìn)行拍照，然后應(yīng)用圖像識(shí)別技術(shù)識(shí)別雙手手勢(shì)操控游戲，這種攝像頭識(shí)別雙手手勢(shì)方法雖比較直觀，但數(shù)學(xué)計(jì)算復(fù)雜、識(shí)別速度慢且手部空間位置識(shí)別范圍有限，識(shí)別相對(duì)誤差較大[14-16]。針對(duì)上述問(wèn)題，文中設(shè)計(jì)了一種基于雙手手勢(shì)識(shí)別體感交互系統(tǒng)，通過(guò)雙手手勢(shì)體感操控交互界面選擇的游戲。設(shè)計(jì)的智能手環(huán)成本低、靈敏度高、操控空間不受限等，能夠迅速得到用戶(hù)的青睞和市場(chǎng)推廣。

1 系統(tǒng)總體方案設(shè)計(jì)

系統(tǒng)架構(gòu)由一對(duì)數(shù)據(jù)采集模塊（智能手環(huán)）、中繼器、可視化人機(jī)交互界面3 部分組成，如圖1 所示。智能手環(huán)以微控制器為核心，主要包含加速度傳感器、電池管理模塊、無(wú)線模塊；中繼器主要功能通過(guò)無(wú)線模塊接收智能手環(huán)上的信息，然后以串口的方式傳輸給上位機(jī)；可視化人機(jī)交互界面由VB 語(yǔ)言編輯，主要功能是讀取串口數(shù)據(jù)并進(jìn)行判斷和匹配，設(shè)置模擬按鍵和加載相關(guān)的游戲。

圖1 系統(tǒng)架構(gòu)圖

2 系統(tǒng)的硬件設(shè)計(jì)

系統(tǒng)中智能手環(huán)選擇STC12芯片作為微處理器，由nrf24L01 無(wú)線模塊、MMA845251 加速度傳感器、LED 指示燈、開(kāi)關(guān)、電源管理模塊等部分組成。體感手環(huán)固定于手腕上，用于采集手勢(shì)動(dòng)作的加速度信號(hào)，其無(wú)線模塊和加速度傳感器與STC12LE5A60S2的硬件接線圖如圖2 所示。

圖2 器件與STC12LE5A60S2的接線圖

當(dāng)加速度傳感器感知到手部的三維活動(dòng)時(shí)，獲取的模擬加速度信號(hào)被轉(zhuǎn)換為數(shù)字信號(hào)，計(jì)算和處理后的數(shù)據(jù)通過(guò)無(wú)線傳輸模塊傳送到中繼器，然后中繼器通過(guò)串口將數(shù)據(jù)以文本形式保存在計(jì)算機(jī)上。利用計(jì)算機(jī)讀取文本數(shù)據(jù)，進(jìn)行傳感器數(shù)據(jù)的特征提取和手勢(shì)動(dòng)作匹配等分析工作，其原理圖如圖3 所示。

圖3 系統(tǒng)硬件原理圖

其中，中繼器主要用于數(shù)據(jù)傳輸，采用了具有較高處理速度的STM32 芯片和nrf24L01 無(wú)線模塊，實(shí)現(xiàn)了左右配對(duì)和一對(duì)多通信數(shù)據(jù)傳輸，及用串口與計(jì)算機(jī)傳輸數(shù)據(jù)。

3 交互系統(tǒng)軟件流程及算法

3.1 智能手環(huán)工作流程設(shè)計(jì)

左右手環(huán)在配對(duì)和切換左右手操作時(shí)，手環(huán)無(wú)線收發(fā)器轉(zhuǎn)化為接收模式，等待中繼器把新的地址碼發(fā)給手環(huán)，手環(huán)微處理器使用E2PROM 存儲(chǔ)器存儲(chǔ)新的地址碼，利用指示燈變化判別手環(huán)的配對(duì)是否成功。配對(duì)完成后，微處理器讀取加速度的值，通過(guò)定時(shí)器定時(shí)1 min 確定加速度的值是否在改變，當(dāng)判別超過(guò)1 min 無(wú)操作時(shí)，單片機(jī)自動(dòng)進(jìn)入掉電模式；同時(shí)在單片機(jī)掉電模式下，定時(shí)器定時(shí)喚醒單片機(jī)，判斷手環(huán)的加速度傳感器角度的變化，其工作流程圖如圖4 所示。

圖4 智能手環(huán)工作流程

3.2 智能手環(huán)加速度傳感器算法設(shè)計(jì)

MMA8451Q 三軸加速度傳感器運(yùn)用三軸角度生成器和三軸運(yùn)動(dòng)數(shù)據(jù)編碼器可采集人體動(dòng)作數(shù)據(jù)，具體算法是在立體平面內(nèi)對(duì)傳感器進(jìn)行受力分析如圖5 所示。

圖5 加速度傳感器三軸受力分析示意圖

首先設(shè)定x軸閾值dx，y軸閾值dy，z軸閾值dz，假設(shè)在Tn（n=0,1,2,…，其中T0為初始時(shí)刻）時(shí)刻下，采集x軸的輸出電壓變化量為Δxn、y軸的輸出電壓變化量為Δyn，z軸的輸出電壓變化量為Δzn；然后判斷|Δxn|是否小于dx，| Δyn|是否小于dy，和|Δzn|是否小于dz；若都是則繼續(xù)往下執(zhí)行，否則重新采集數(shù)據(jù)；同時(shí)根據(jù)三軸角度公式計(jì)算x軸與重力加速度的夾角αn，y軸與重力加速度的夾角βn，和z軸與重力加速度的夾角γn；三軸角度公式為：

其中，g為重力加速度，kx為x軸靈敏度，ky為y軸靈敏度，kz為z軸靈敏度，g、kx、ky和kz均為常量；

上述計(jì)算得出的αn、βn和γn通過(guò)濾波公式（2）進(jìn)行濾波。

若αn、βn和γn符合濾波公式（2），則輸出至三軸運(yùn)動(dòng)數(shù)據(jù)編碼器，并且更新時(shí)刻Tn=Tn+1，進(jìn)入下一個(gè)三軸角度生成過(guò)程；若αn、βn和γn不符合濾波公式，則直接更新時(shí)刻Tn=Tn+1，進(jìn)入下一個(gè)三軸角度生成過(guò)程。

根據(jù)上述處理輸出的αn、βn和γn，使用三軸偏轉(zhuǎn)量生成式（3），并生成三軸偏轉(zhuǎn)量數(shù)據(jù)組合集，對(duì)生成的三軸偏轉(zhuǎn)量數(shù)據(jù)組合集分段，如三軸加速度生成器讀到x軸時(shí)，進(jìn)行判斷，若-1 ≤Xn＜-0.5，則更新Xn=1；若-0.5 ≤Xn＜0，則更新Xn=2；若0 ≤Xn＜0.5，則更新Xn=3；若0.5 ≤Xn≤1，則更新Xn=4，y軸、z軸數(shù)據(jù)處理流程與x軸數(shù)據(jù)處理流程相同。產(chǎn)生三軸偏轉(zhuǎn)量數(shù)據(jù)組合集后，為保證數(shù)據(jù)處理和數(shù)據(jù)傳輸?shù)乃俣燃拜^高的精度，三軸運(yùn)動(dòng)數(shù)據(jù)編碼器中，將三軸偏轉(zhuǎn)量數(shù)據(jù)組合集分段建立的坐標(biāo)系按每軸4 分段進(jìn)行坐標(biāo)編碼序號(hào)處理，如表1 所示。生成的左右手對(duì)應(yīng)的手勢(shì)坐標(biāo)編碼序號(hào)存儲(chǔ)在微處理器E2PROM 中，并發(fā)送給交互系統(tǒng)與手勢(shì)進(jìn)行對(duì)比和匹配，進(jìn)而操控游戲。

表1 三軸偏轉(zhuǎn)量數(shù)據(jù)組合序列號(hào)

其中，Xn、Yn和Zn是在Tn時(shí)刻下x、y、z軸的偏轉(zhuǎn)量，取值范圍為-1～1。

3.3 中繼器程序流程設(shè)計(jì)

中繼器的功能是接收左右手環(huán)運(yùn)動(dòng)組合序列號(hào)并與左右手環(huán)匹配，然后將數(shù)據(jù)上傳給可視化界面終端，具體流程如圖6 所示。無(wú)線傳輸模塊nrf24L01利用6 通道特性實(shí)現(xiàn)左右手環(huán)一對(duì)多的通信，實(shí)現(xiàn)兩個(gè)手環(huán)匹配一個(gè)中繼器，在左右手環(huán)配對(duì)時(shí)通過(guò)不同通道的地址碼進(jìn)行區(qū)分。為了終端建立識(shí)別左右手手勢(shì)動(dòng)作的識(shí)別庫(kù)，實(shí)現(xiàn)左右手勢(shì)運(yùn)動(dòng)序列的差異性，如左手手勢(shì)運(yùn)動(dòng)序列范圍為0～63；右手手勢(shì)運(yùn)動(dòng)序列范圍為64～127，將無(wú)線收發(fā)器通道1 接收的數(shù)據(jù)發(fā)送給終端，通道2 接收的數(shù)據(jù)加64 再發(fā)送給終端，其中通道0 為公用通道。

圖6 中繼器軟件流程圖

4 可視化界面終端設(shè)計(jì)

可視化界面包含游戲配置主界面和游戲加載界面，其中游戲配置主界面主要有按鍵設(shè)置模塊、串口連接模塊、游戲管理模塊，主要功能是對(duì)接收到的左右手手勢(shì)運(yùn)動(dòng)序列進(jìn)行區(qū)分，并進(jìn)行分析和匹配，控制加載的游戲動(dòng)作達(dá)到娛樂(lè)效果，游戲加載界面主要功能是加載或卸載游戲、更改游戲名稱(chēng)和啟動(dòng)游戲等[17]。游戲配置主界面程序設(shè)計(jì)主要采用了command按鈕控件、option選擇控件、picturebox 控件、Combo 選項(xiàng)控件和ImageList 控件等，而游戲加載界面程序設(shè)計(jì)采用了command 按鈕控件、text 文本控件、picturebox 控件和list 列表控件等，游戲管理界面如圖7 所示。

圖7 游戲管理界面

5 系統(tǒng)測(cè)試

5.1 手環(huán)和中繼器硬件測(cè)試

手環(huán)外殼加工由亞克力板六層疊加而成，利用螺絲孔固定，頂層亞克力板預(yù)留兩個(gè)按鈕和螺絲開(kāi)孔，底層亞克力板預(yù)留了4 個(gè)表帶開(kāi)孔和兩個(gè)螺絲開(kāi)孔，手環(huán)和中繼器電路板經(jīng)Altium Designer 電路圖和PCB 設(shè)計(jì)、打樣、焊接、調(diào)試等環(huán)節(jié)，智能手環(huán)和中繼器實(shí)物圖如圖8 所示。

圖8 智能手環(huán)和中繼器實(shí)物圖

5.2 加速度傳感器角度誤差測(cè)試

MMA8451Q 加速度傳感器硬件調(diào)試完成后，微處理器與電腦串口相連，打開(kāi)串口調(diào)試助手窗口，調(diào)試加速度傳感器位置的變化查看調(diào)試助手顯示窗口三維角度的變化，測(cè)試10 組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行誤差計(jì)算和分析，測(cè)試實(shí)際角度和理論值進(jìn)行誤差比較，保證操控角度準(zhǔn)確操控游戲方向，實(shí)驗(yàn)測(cè)試結(jié)果符合預(yù)期，實(shí)驗(yàn)數(shù)據(jù)測(cè)試結(jié)果如表2 所示。

表2 加速度傳感器三軸角度實(shí)驗(yàn)測(cè)量數(shù)據(jù)

5.3 可視化界面終端測(cè)試

可視化界面終端測(cè)試主要有串口連接測(cè)試、游戲管理界面啟動(dòng)列表測(cè)試和按鍵設(shè)置測(cè)試，經(jīng)程序編寫(xiě)、窗口布局、圖片插入、功能調(diào)試、操作流程調(diào)試等測(cè)試，測(cè)試效果良好、操作便捷。

5.4 系統(tǒng)聯(lián)調(diào)

該系統(tǒng)選擇win8 操作系統(tǒng)，加載了《咖菲貓跑丁車(chē)》游戲，游戲界面如圖9 所示。對(duì)智能手環(huán)功能進(jìn)行測(cè)試，首先進(jìn)行了手勢(shì)體感操作測(cè)試，測(cè)試結(jié)果如下：用戶(hù)左手抬起，右手水平放置時(shí)，賽車(chē)前進(jìn)；左手放下，右手水平放置時(shí)，賽車(chē)后退；右手抬起，左手水平放置時(shí)，換擋；玩家雙手同時(shí)左傾時(shí)，賽車(chē)左轉(zhuǎn)；雙手同時(shí)右傾時(shí)，賽車(chē)右轉(zhuǎn)；雙手水平放置時(shí)，賽車(chē)保持原狀態(tài)。然后進(jìn)行手環(huán)配對(duì)和切換左右手功能進(jìn)行測(cè)試，即在上位機(jī)開(kāi)啟配對(duì)模式后，手環(huán)按下功能鍵，指示燈顏色由紅變藍(lán)，說(shuō)明配對(duì)成功，切換左右手功能正常，反之異常；最后進(jìn)行智能手環(huán)掉電模式測(cè)試，即將手環(huán)置于桌面，10 min 后指示燈熄滅，說(shuō)明自動(dòng)待機(jī)功能正常，反之異常。

圖9 游戲界面示意圖

6 結(jié)論

文中針對(duì)雙手手勢(shì)識(shí)別及交互系統(tǒng)進(jìn)行了設(shè)計(jì)，提出了系統(tǒng)的整體架構(gòu)，分別對(duì)智能手環(huán)、中繼器硬件和外殼進(jìn)行設(shè)計(jì)，重點(diǎn)對(duì)智能手環(huán)配對(duì)、左右手切換、加速度傳感器算法和編碼、無(wú)線模塊數(shù)據(jù)傳送流程展開(kāi)了研究和設(shè)計(jì)，上位機(jī)實(shí)現(xiàn)了可視化游戲管理、動(dòng)作分析匹配、游戲加載等功能。實(shí)驗(yàn)測(cè)試證明，智能手環(huán)加載的游戲具有低功耗、高靈敏度且識(shí)別過(guò)程精簡(jiǎn)、操作空間不受限等良好特點(diǎn)，操作游戲能使用戶(hù)產(chǎn)生親切感和依賴(lài)感，大大提高了用戶(hù)體驗(yàn)度。