陳鵬展， 李　杰, 羅　漫

(華東交通大學(xué) 電氣與電子工程學(xué)院，江西 南昌 330013)

?

網(wǎng)絡(luò)化手勢(shì)運(yùn)動(dòng)跟蹤系統(tǒng)設(shè)計(jì)*

陳鵬展， 李杰, 羅漫

(華東交通大學(xué) 電氣與電子工程學(xué)院，江西 南昌 330013)

摘要:設(shè)計(jì)了一種基于微機(jī)電慣性傳感器的數(shù)據(jù)手套。根據(jù)慣性導(dǎo)航和剛體動(dòng)力學(xué)原理，構(gòu)建了基于微型傳感器的體感網(wǎng)絡(luò)，并通過多傳感器數(shù)據(jù)的融合解算以獲取運(yùn)動(dòng)姿態(tài)信息，實(shí)現(xiàn)對(duì)手指各關(guān)節(jié)運(yùn)動(dòng)數(shù)據(jù)的捕獲。結(jié)合計(jì)算機(jī)圖形技術(shù)構(gòu)建三維虛擬手捕獲系統(tǒng)進(jìn)行性能對(duì)比評(píng)估，實(shí)驗(yàn)結(jié)果表明：所設(shè)計(jì)的系統(tǒng)具有良好的穩(wěn)定性和適應(yīng)性，能夠?qū)κ诌\(yùn)動(dòng)信息進(jìn)行實(shí)時(shí)有效地捕獲。

關(guān)鍵詞：運(yùn)動(dòng)捕獲； 慣性導(dǎo)航； 剛體動(dòng)力學(xué)； 慣性傳感器

0引言

手勢(shì)作為日常生活中人們廣泛使用的一種自然而直觀、易于學(xué)習(xí)和高效的交流方式，有很強(qiáng)的表意能力，伴隨虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，虛擬手成為了一種新的人機(jī)接口應(yīng)用，利用高效的數(shù)據(jù)手套可以有效地捕獲手勢(shì)動(dòng)作參數(shù)，實(shí)時(shí)獲取手部動(dòng)作的信息，可在人機(jī)交互過程中完成操作和交流等功能，有效地拓寬了人機(jī)交互通道，在體育、醫(yī)學(xué)、軍事等方面有著廣闊的應(yīng)用前景[1]。

手勢(shì)動(dòng)作測(cè)量系統(tǒng)在工程和科學(xué)技術(shù)領(lǐng)域常用的檢測(cè)系統(tǒng)主要有光學(xué)式[2,3]和機(jī)械式[4]兩大類。光學(xué)式對(duì)背景、光線等外部環(huán)境依賴性強(qiáng)；機(jī)械式設(shè)計(jì)結(jié)構(gòu)復(fù)雜，成本昂貴,且使用存在不便。

MEMS慣性傳感器可實(shí)現(xiàn)對(duì)運(yùn)動(dòng)信息的檢測(cè)，為手勢(shì)動(dòng)作信息的捕獲帶來了新的基礎(chǔ)工具和應(yīng)用環(huán)境[5～7]，具有結(jié)構(gòu)設(shè)計(jì)簡(jiǎn)單，價(jià)格低廉，安裝和使用便捷等優(yōu)點(diǎn)，且不受光線影響。

本文針對(duì)現(xiàn)有技術(shù)中存在的不足，提出了一種基于慣性傳感器的數(shù)據(jù)手套實(shí)現(xiàn)方案，利用安裝在手套內(nèi)部的微慣性傳感器來組成傳感器網(wǎng)絡(luò)，根據(jù)慣性導(dǎo)航和剛體動(dòng)力學(xué)原理[8]對(duì)各節(jié)點(diǎn)采集的數(shù)據(jù)進(jìn)行姿態(tài)融合計(jì)算，并通過計(jì)算機(jī)圖形技術(shù)構(gòu)建虛擬手模型，將解算的結(jié)果映射到模型中對(duì)應(yīng)的關(guān)節(jié)處，完成數(shù)據(jù)驅(qū)動(dòng)，以便實(shí)時(shí)捕捉和還原手勢(shì)的動(dòng)作信息。

1數(shù)據(jù)手套系統(tǒng)結(jié)構(gòu)

數(shù)據(jù)手套可實(shí)時(shí)有效地捕獲手勢(shì)的動(dòng)作，并以姿態(tài)信息對(duì)其各關(guān)節(jié)進(jìn)行表示，主要由安裝在手套內(nèi)部的多個(gè)微慣性傳感器和嵌入式中央處理器構(gòu)成。這些慣性傳感器合理地布局于手套相關(guān)的運(yùn)動(dòng)部位，通過數(shù)據(jù)計(jì)算可以得出對(duì)應(yīng)手關(guān)節(jié)的姿態(tài)信息，并結(jié)合計(jì)算機(jī)虛擬手模型精確地還原使用者手勢(shì)的運(yùn)動(dòng)情況。

1.1數(shù)據(jù)手套模型與映射

人手是一個(gè)多關(guān)節(jié)相連結(jié)構(gòu)，由4個(gè)手指、1個(gè)大拇指和手掌構(gòu)成，因此，手勢(shì)的動(dòng)作變化可以通過各指段和關(guān)節(jié)的空間姿態(tài)信息來描述。

參照人手生物學(xué)模型的通用標(biāo)準(zhǔn)，定義了如圖1所示虛擬手模型，其中，MP為手指的基部，除去拇指外，PIP和DIP分別為手指的中間關(guān)節(jié)處和末端關(guān)節(jié)處，大拇指則單獨(dú)設(shè)置中間關(guān)節(jié)為TP,并以手掌為基點(diǎn)，鏈接5個(gè)手指，每個(gè)手指以各子關(guān)節(jié)點(diǎn)線性分布鏈接(MP→PIP→DIP)，從而組成以手掌為基點(diǎn)，各手指為分支的一個(gè)樹形數(shù)據(jù)結(jié)構(gòu)，其樹中的各節(jié)點(diǎn)匹配對(duì)應(yīng)的關(guān)節(jié)，且相互間具有運(yùn)動(dòng)關(guān)聯(lián)特性。

圖1　手部模型Fig 1　Hand model

將手部關(guān)節(jié)骨骼之間的運(yùn)動(dòng)特性看成是剛體和相應(yīng)指段組合而成的關(guān)聯(lián)樹型結(jié)構(gòu)，將慣性傳感器安裝在手套內(nèi)部對(duì)應(yīng)的手關(guān)節(jié)部位，并使各關(guān)節(jié)點(diǎn)的姿態(tài)解算信息與手模型樹形結(jié)構(gòu)中的節(jié)點(diǎn)進(jìn)行綁定，將真實(shí)手和虛擬手之間的驅(qū)動(dòng)關(guān)系進(jìn)行數(shù)據(jù)映射。

1.2硬件設(shè)計(jì)

手勢(shì)的運(yùn)動(dòng)信息主要由手關(guān)節(jié)在空間中的姿態(tài)、位置的變化來體現(xiàn)，而空間姿態(tài)和位置主要通過運(yùn)動(dòng)中的姿態(tài)角來闡述，姿態(tài)角最終能夠通過加速度、角速度和地磁儀數(shù)據(jù)融合計(jì)算得到。基于以上關(guān)系，本系統(tǒng)主要通過檢測(cè)手勢(shì)運(yùn)動(dòng)過程中特征部位的加速度、角速度、磁力信息及姿態(tài)角來對(duì)手勢(shì)的運(yùn)動(dòng)姿態(tài)進(jìn)行估算。

MPU9150是一種集成了加速度傳感器、陀螺儀傳感器和磁力傳感器的九軸MEMS傳感器芯片，具有體積小、重量輕和可靠性好等特點(diǎn)，且可以通過內(nèi)置的DMP 數(shù)字處理引擎減少復(fù)雜的融合演算數(shù)據(jù)﹑感測(cè)器同步化和姿勢(shì)感應(yīng)等帶來的負(fù)荷，能夠較為準(zhǔn)確地詮釋運(yùn)動(dòng)過程中的加速度、角速度和磁力信息的變化。

同時(shí)，姿態(tài)采集系統(tǒng)需要選擇合適的運(yùn)算處理核心。Nordic推出的nRF51822不僅擁有BLE 4.0低功耗藍(lán)牙模塊，而且集成了32位高速運(yùn)算處理內(nèi)核Cortex—M0，具備標(biāo)準(zhǔn)通信接口和低功耗等特點(diǎn)。

數(shù)據(jù)手套姿態(tài)采集系統(tǒng)由1個(gè)處理控制單元和多個(gè)傳感器組成，以MPU9150為信息的采集節(jié)點(diǎn)，nRF51822為數(shù)據(jù)處理和收發(fā)單元，人手主要關(guān)節(jié)的運(yùn)動(dòng)信息通過MPU9150傳感器進(jìn)行測(cè)量，經(jīng)過數(shù)據(jù)預(yù)處理和多傳感數(shù)據(jù)融合計(jì)算后傳遞給計(jì)算機(jī)中的虛擬手軟件捕捉系統(tǒng)，以使其準(zhǔn)確地還原操作者的手勢(shì)運(yùn)動(dòng)。系統(tǒng)框圖如圖2所示。

圖2　系統(tǒng)框圖Fig 2　Block diagram of system

1.3數(shù)據(jù)手套信號(hào)流程

在系統(tǒng)運(yùn)行過程中，利用MPU9150傳感模塊采集各手關(guān)節(jié)運(yùn)動(dòng)過程中的加速度、角速度和磁場(chǎng)信息，通過I2C接口與NRF51822模塊進(jìn)行通信，信號(hào)經(jīng)過數(shù)據(jù)濾波和姿態(tài)的融合解算處理后，借助NRF51822內(nèi)部集成的低功耗藍(lán)牙4.0通信模塊傳遞給遠(yuǎn)程PC虛擬手模型測(cè)試環(huán)境中，以實(shí)時(shí)還原出手勢(shì)運(yùn)動(dòng)信息的直觀顯示。信號(hào)流程如圖3。

圖3　信號(hào)流程Fig 3　Signal process

2手勢(shì)姿態(tài)解算

在手姿態(tài)信息的計(jì)算過程中，用四元數(shù)對(duì)姿態(tài)角進(jìn)行表示，其計(jì)算時(shí)間短，精度高，表示簡(jiǎn)便，且可對(duì)方向余弦矩陣和歐拉角等常規(guī)姿態(tài)角表示方法進(jìn)行相互轉(zhuǎn)換。

2.1手姿態(tài)的解算策略

陀螺儀傳感器分別測(cè)量載體沿X,Y和Z坐標(biāo)系方向的角速度，具有良好的動(dòng)態(tài)響應(yīng)性能，通過采集該角速度信息，并結(jié)合采樣時(shí)間進(jìn)行積分，算出傳感器的姿態(tài)，并用四元數(shù)進(jìn)行表示，如式(1)

(1)

考慮到聯(lián)合計(jì)算的時(shí)間和結(jié)果精確性，采用FQA四元數(shù)分解算法[9]對(duì)多傳感器數(shù)據(jù)進(jìn)行融合計(jì)算，該方法可以很好地濾除外界磁場(chǎng)干擾對(duì)解算結(jié)果的影響，并且在解算過程中簡(jiǎn)化了三角函數(shù)值的直接計(jì)算，有效提升了計(jì)算的速度和系統(tǒng)響應(yīng)性。FQA算法對(duì)應(yīng)用環(huán)境的要求為載體無線性加速度和外界磁場(chǎng)干擾，因此,在進(jìn)行傳感器數(shù)據(jù)融合時(shí)加入如下約束：

約束1：加速度和磁力傳感器的數(shù)據(jù)超過預(yù)設(shè)定的閾值時(shí)，即載體加速度或外界磁干擾大時(shí)，將不進(jìn)入姿態(tài)信息融合解算，以陀螺儀數(shù)據(jù)解算為準(zhǔn)。

約束2：在相反情況下，將3只傳感器的數(shù)據(jù)進(jìn)行協(xié)同融合，更準(zhǔn)確地描述姿態(tài)信息。

2.2傳感器的校準(zhǔn)

1) 陀螺儀的校準(zhǔn)：在對(duì)手勢(shì)運(yùn)動(dòng)數(shù)據(jù)采集中陀螺儀的校準(zhǔn)主要是去除傳感器的零偏，以降低因陀螺儀漂移而產(chǎn)生的隨機(jī)干擾，即檢測(cè)值減去靜止時(shí)所求偏移量即可，其偏移量的求法如下：首先將MPU9150傳感器水平靜止放置，將模塊反面水平朝下，此時(shí)只有+Z軸方向受重力的影響，并記錄一定采樣時(shí)間內(nèi)X,Y,Z軸的輸出，并通過均值運(yùn)算得到每軸角速度的偏移。

2) 磁力計(jì)的校準(zhǔn)：當(dāng)使用環(huán)境中存在著干擾磁場(chǎng)時(shí)，磁力計(jì)所檢測(cè)到的磁場(chǎng)數(shù)據(jù)為外界干擾磁場(chǎng)數(shù)據(jù)和地磁場(chǎng)數(shù)據(jù)之和，本系統(tǒng)中通過計(jì)算大量采樣數(shù)據(jù)中的磁場(chǎng)強(qiáng)度求得偏移，并以此對(duì)檢測(cè)數(shù)據(jù)進(jìn)行校準(zhǔn)。

3) 加速度計(jì)預(yù)處理：在加速度信號(hào)處理中，選擇限幅濾波和滑動(dòng)加權(quán)平均濾波的方法進(jìn)行數(shù)據(jù)預(yù)處理，以降低因抖動(dòng)而引起的干擾，同時(shí)剔除外界可能突發(fā)的脈沖干擾。

2.3傳感器信號(hào)漂移補(bǔ)償

在傳感器靜止時(shí)，陀螺儀輸出角度信息包括了常值漂移誤差和白噪聲干擾等，因積分時(shí)間不能無限小，單一依靠陀螺儀傳感器計(jì)算姿態(tài)信息會(huì)造成計(jì)算結(jié)果隨時(shí)間出現(xiàn)線性漂移和誤差較大等情況，如圖4所示。

圖4　融合前姿態(tài)變化Fig 4　Attitude change before fusion

因此，結(jié)合加速度傳感器和磁力傳感器來對(duì)姿態(tài)信息進(jìn)行修正和聯(lián)合解算，有效地對(duì)漂移進(jìn)行補(bǔ)償，避免了因單一角速度數(shù)據(jù)隨時(shí)間積分帶來的誤差累積。在系統(tǒng)中加速度傳感器測(cè)量載體沿空間坐標(biāo)系的加速度，主要感知載體水平方向的傾斜，用于修正陀螺儀所計(jì)算載體在俯仰(pitch)和滾動(dòng)(roll)方向的偏移，磁力傳感器測(cè)量載體所處環(huán)境的三維地磁強(qiáng)度，用于提供對(duì)載體航向角(yaw)的初始對(duì)準(zhǔn)和修正所計(jì)算航向角的線性漂移，如圖5所示。

圖5　融合后姿態(tài)變換Fig 5　Attitude change after fusion

3實(shí)驗(yàn)驗(yàn)證

3.1單關(guān)節(jié)捕捉精度評(píng)估

將兩段剛體支架通過微型電機(jī)進(jìn)行連接，控制電機(jī)轉(zhuǎn)動(dòng)模擬手指單關(guān)節(jié)運(yùn)動(dòng)，為了對(duì)整個(gè)系統(tǒng)的性能進(jìn)行評(píng)估，實(shí)驗(yàn)分為靜態(tài)測(cè)試和動(dòng)態(tài)測(cè)試。

1)靜態(tài)測(cè)試:將傳感器固定在一支架上，控制其繞另一支架停放不同的角度，通過對(duì)解算的姿態(tài)信息和真實(shí)轉(zhuǎn)動(dòng)的角度進(jìn)行靜態(tài)定姿對(duì)比，以評(píng)估定姿解算精度性能，如表1所示。

表1　靜態(tài)測(cè)試結(jié)果

2)動(dòng)態(tài)測(cè)試：通過變換傳感器的安置方向和控制電機(jī)的運(yùn)轉(zhuǎn)速度，達(dá)到通過控制支架轉(zhuǎn)動(dòng)模擬關(guān)節(jié)運(yùn)動(dòng)的全姿態(tài)信息，觀察對(duì)比控制轉(zhuǎn)速結(jié)果和傳感器的解算結(jié)果，圖6為對(duì)比結(jié)果。

圖6　動(dòng)態(tài)角度對(duì)比Fig 6　Comparison of dynamic angle

3.2系統(tǒng)評(píng)估

為了對(duì)整個(gè)系統(tǒng)進(jìn)行性能捕捉評(píng)估，本文在VS2012開發(fā)環(huán)境下，結(jié)合3DS MAX軟件和OpenGL圖形庫技術(shù)，構(gòu)建了三維虛擬手模型運(yùn)動(dòng)捕捉顯示窗口，對(duì)真實(shí)手部運(yùn)動(dòng)過程進(jìn)行實(shí)時(shí)還原，該窗口通過接收傳感器解算的姿態(tài)信息對(duì)模型進(jìn)行數(shù)據(jù)驅(qū)動(dòng)，刷新頻率為50 Hz，能較準(zhǔn)確地對(duì)真實(shí)手運(yùn)動(dòng)進(jìn)行跟蹤和捕捉，以中指運(yùn)動(dòng)和手部握拳為參考姿態(tài)，進(jìn)行測(cè)試，捕捉效果如圖7、圖8所示。

圖7　中指運(yùn)動(dòng)過程捕捉效果Fig 7　Motion process capture effect of middle finger

圖8　單手逐漸握拳的捕捉效果Fig 8　Capture effect of single-hand make fist gradually

4結(jié)束語

本文基于微慣性傳感器實(shí)現(xiàn)了手部運(yùn)動(dòng)信息捕獲的數(shù)據(jù)手套設(shè)計(jì)，利用慣性導(dǎo)航算法進(jìn)行多傳感器多數(shù)據(jù)的融合處理，通過樹型層次化建模方法構(gòu)建了一種數(shù)據(jù)驅(qū)動(dòng)的三維虛擬手關(guān)節(jié)模型，并使用解算的姿態(tài)信息進(jìn)行真實(shí)手部運(yùn)動(dòng)狀態(tài)的實(shí)時(shí)跟蹤與還原。本文的設(shè)計(jì)思想可為今后數(shù)據(jù)手套研究和設(shè)計(jì)提供新的借鑒思路，具有一定的創(chuàng)新性和應(yīng)用價(jià)值。

參考文獻(xiàn):

[1]陳浩磊,鄒湘軍,陳燕.虛擬現(xiàn)實(shí)技術(shù)的最新發(fā)展與展望[J].中國(guó)科技論文,2011(1):1-5.

[2]劉曉平,張靜,曹力,等.基于計(jì)算機(jī)視覺的虛擬手的實(shí)現(xiàn)[J].工程圖學(xué)學(xué)報(bào),2007(4)：30-35.

[3]劉澤華.基于MEMS傳感器群的人體運(yùn)動(dòng)捕獲[J].傳感器與微系統(tǒng),2012,31(9):18-21.

[4]相瑞排,石廣田,李帥.機(jī)械式運(yùn)動(dòng)捕捉系統(tǒng)應(yīng)用中的若干問題研究[J].蘭州交通大學(xué)學(xué)報(bào),2013(4)：44-47.

[5]Mannini A,Sabtini A M.Machine learning methods for classifying human physical activity from on-body accelerometers[J].Sensors,2010,10(2):1154-1175.

[6]李國(guó)峰,王錦,張勇,等.基于MEMS加速度傳感器的智能輸入系統(tǒng)[J].傳感技術(shù)學(xué)報(bào),2009,22(5):643-646.

[7]Schlomer T,Poppinga B,Henze N,et al.Gesture recognition with a wii controller[C∥Proceedings of the 2nd International Confe-rence on Tangible and Embedded Interaction,New York:ACM,2008:11-14.

[8]張榮輝，賈宏光，陳濤，等.基于四元數(shù)法的捷聯(lián)式慣性導(dǎo)航系統(tǒng)的姿態(tài)解算[J].光學(xué)精密工程，2008,16(10)：1963-1970.

[9]Yun Xiaoping,Bachmann E R,Mc Ghee R B.A simplified quaternion-based algorithm for orientation estimation from earth gravity and magnetic field measurements[J].IEEE Trans on Instrumentation and Measurement,2008,57(3):638-650.

Design of hand motion tracking system based on sensor network*

CHEN Peng-zhan, LI Jie, LUO Man

(College of Electrical and Electronic Engineering,East China Jiaotong University,Nanchang,330013,China)

Abstract:A data glove based on MEMS inertial sensors is designed.According to inertial navigation and rigid body dynamics theory,somatosensory network based on micro-sensor is constructed and obtain motion gesture information through fusion of multi-sensor data,realize data capture of finger movement of each joint.A kind of 3D virtual hand capture systems based on computer graphics technology is constructed to evaluate performance contrast.Experimental results show that the system has good stability and adaptability,which can effectively capture motion information of fingers in real time.

Key words:motion capture; inertial navigation; rigid-body dynamics； inertial sensor

DOI:10.13873/J.1000—9787(2016)02—0067—04

收稿日期：2015—05—15

*基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(61164011)；江西省自然科學(xué)基金資助項(xiàng)目(20114BAB201023)

中圖分類號(hào)：TP 391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1000—9787(2016)02—0067—04

作者簡(jiǎn)介:

陳鵬展(1975-)，男，湖北武穴人，博士，副教授，主要研究方向?yàn)槿藱C(jī)交互、動(dòng)作捕捉、現(xiàn)場(chǎng)總線。