摘 要：將Kinect傳感器與裝有重力傳感器的移動(dòng)終端作為輸入設(shè)備，捕獲人體的骨骼信息和移動(dòng)終端的位置狀態(tài)，轉(zhuǎn)化為相應(yīng)的指令，傳送給面向消息的中間件。面向消息的中間件接收傳送來(lái)的指令，根據(jù)不同設(shè)備的輸入信號(hào)，轉(zhuǎn)化為相應(yīng)的命令，輸出到Ventuz軟件，展示相應(yīng)的內(nèi)容。此系統(tǒng)豐富了Ventuz軟件的輸入形式，使人機(jī)交互的輸入更加多樣化。

關(guān)鍵詞：Ventuz；Kinect傳感器；移動(dòng)終端；重力傳感器；面向消息的中間件

中圖分類號(hào)：TP391.41

Ventuz軟件可以進(jìn)行實(shí)時(shí)圖像創(chuàng)建、編輯和播放控制，適用于任何領(lǐng)域的高端視聽(tīng)展示，例如視頻墻、多點(diǎn)觸控應(yīng)用和廣播圖像。這款軟件是一套為設(shè)計(jì)師制作高品質(zhì)的實(shí)時(shí)影像而開(kāi)發(fā)的3D設(shè)計(jì)平臺(tái)，已長(zhǎng)期應(yīng)用于廣播電視制作、大型會(huì)議和娛樂(lè)活動(dòng)的實(shí)時(shí)動(dòng)態(tài)影像處理。Ventuz軟件具有很高的穩(wěn)定性和全面的功能，可以集成到復(fù)雜的硬件和軟件系統(tǒng)中。

Ventuz軟件公司于2013年4月推出的Ventuz 4軟件主要由Designer、Director和Runtime三部分組成。其中Ventuz Designer軟件的工作流程是基于節(jié)點(diǎn)節(jié)點(diǎn)結(jié)構(gòu)的，通過(guò)簡(jiǎn)單的拖放，可以導(dǎo)入和排列電影編輯片段、圖像、文本和外部數(shù)據(jù)，并且可以實(shí)時(shí)查看展示效果。利用數(shù)據(jù)連接、狀態(tài)邏輯動(dòng)畫和實(shí)時(shí)的交互，設(shè)計(jì)師可以自由地創(chuàng)作。Ventuz Runtime是用于展示Ventuz Designer所創(chuàng)建的項(xiàng)目，其多樣化的輸出選擇為現(xiàn)有的任務(wù)提供了完美的解決方案。

圖1 Ventuz軟件界面

1 基于 Kinect傳感器的人機(jī)交互實(shí)現(xiàn)

1.1 Kinect傳感器

1.1.1 簡(jiǎn)介

圖2 Kinect傳感器

Kinect傳感器是微軟公司2011年發(fā)布的一款游戲機(jī)感設(shè)備，具有動(dòng)態(tài)捕捉、影像辨識(shí)、語(yǔ)音識(shí)別等功能。通過(guò)捕獲人體的骨骼數(shù)據(jù)，對(duì)人的肢體動(dòng)作進(jìn)行識(shí)別。

1.1.2 硬件組成

圖3 kinect硬件組成

Kinect傳感器關(guān)鍵部件及功能如下：（1）紅外線發(fā)射器：投射近紅外光線到物體上，形成隨機(jī)的反射斑點(diǎn)，從而能被紅外攝像頭讀取。（2）紅外深度攝像頭：通過(guò)分析反射的近紅外光，創(chuàng)建一定范圍內(nèi)的人體與物體的深度圖像。（3）彩色攝像頭：捕獲視角范圍內(nèi)的彩色圖像。（4）麥克風(fēng)陣列：4個(gè)麥克風(fēng)組成的陣列采集音頻信號(hào)，可用來(lái)定位聲源（5）仰角控制馬達(dá)：用于獲取Kinect傳感器的最佳視角。

1.2 骨骼跟蹤技術(shù)

圖4 骨骼空間坐標(biāo)系

Kinect骨架追蹤技術(shù)的核心是紅外深度攝像頭，此攝像頭不受周圍環(huán)境的光照的影響，通過(guò)黑白光譜的方式來(lái)感知環(huán)境，其中純黑表示無(wú)窮遠(yuǎn)，純白代表無(wú)窮近。黑白間的灰色地帶代表物體到Kinect的物理距離。

骨骼點(diǎn)追蹤采用了人工智能的機(jī)器學(xué)習(xí)技術(shù)。Kinect對(duì)深度圖像進(jìn)行像素級(jí)的評(píng)估，來(lái)區(qū)別人體的不同部位，其基本思想是先采用分割策略，將人出背景環(huán)境中區(qū)別出來(lái)，到人體部位的深度圖后，將深度圖像傳進(jìn)一個(gè)可辨別人體部位的機(jī)器學(xué)習(xí)系統(tǒng)中。該系統(tǒng)將給出某個(gè)特定像素屬于身體某個(gè)部位的可能，然后將概率數(shù)據(jù)輸入到集群系統(tǒng)中，來(lái)訓(xùn)練Kinect在像素級(jí)辨別人體部位的能力。Kinect會(huì)追蹤到20個(gè)關(guān)節(jié)點(diǎn)來(lái)生成一副人體骨骼圖。

圖5 Kinect骨骼構(gòu)架圖

1.3 手勢(shì)識(shí)別與定義

圖6 kinect設(shè)備分析器

發(fā)往到MOM的數(shù)據(jù)格式：Mark：Sensor；ID：設(shè)備ID號(hào)；Data：手勢(shì)命令。

表1 手勢(shì)名稱對(duì)應(yīng)的命令

手勢(shì)名稱左手向上點(diǎn)擊右手向上點(diǎn)擊左手右揮右手左揮

對(duì)應(yīng)命令leftUpClickingrightUpClickingleftWaverightWave

2 基于移動(dòng)終端的人機(jī)交互實(shí)現(xiàn)

2.1 重力感應(yīng)器

2.1.1 簡(jiǎn)介

重力感應(yīng)器通過(guò)測(cè)量?jī)?nèi)部一片重物的重力在正交兩個(gè)方向的分力大小，來(lái)判定水平方向。三軸重力傳感器按測(cè)量方向可分為X，Y，Z軸，X軸是手機(jī)低端左側(cè)到右側(cè)的方向，Y坐標(biāo)軸是手機(jī)底端到頂端的方向，Z坐標(biāo)軸正方向是面向使用者的方向。當(dāng)重力改變時(shí)，各軸上的x，y，z值也會(huì)隨著改變。

圖7 移動(dòng)終端的重力坐標(biāo)系

2.1.2 手機(jī)位置狀態(tài)

左橫：手機(jī)屏幕向左側(cè)放置（X軸朝天）的時(shí)候，（x，y，z）的值分別為9

右橫：手機(jī)屏幕向右側(cè)放置（X軸朝地）的時(shí)候，（x，y，z）的值分別為-10

正豎：Y軸豎直（Y軸朝天）向上的時(shí)候，（x，y，z）的值分別為x=0，9

倒豎：Y軸豎直（Y軸朝地）向下的時(shí)候，（x，y，z）的值分別為x=0，-10

根據(jù)重力感應(yīng)器測(cè)的X，Y，Z的值，分類出手機(jī)的狀態(tài)，為了提高分類的準(zhǔn)確性和魯棒性，只是識(shí)別移動(dòng)終端的四種狀態(tài)，如下圖所示：

圖8 移動(dòng)終端的四種位置狀態(tài)

發(fā)往到MOM的數(shù)據(jù)格式：Mark：Sensor；ID：設(shè)備ID號(hào)；Data：手勢(shì)命令。

表2 手機(jī)位置狀態(tài)與命令的映射關(guān)系

位置狀態(tài)正豎倒豎左橫右橫

對(duì)應(yīng)命令ScreenStraightUpScreenStraightDownScreenLeftScreenRight

圖9 移動(dòng)終端截圖

3 系統(tǒng)總體設(shè)計(jì)

圖10 系統(tǒng)總體架構(gòu)圖

圖11 面向消息的中間件（MOM）

表3 面向消息的中間件轉(zhuǎn)換映射表

輸入信號(hào)leftUpClickingrightUpClickingScreenStraightUpScreenStraightDownleftWaverightWaveScreenLeftScreenLeft

輸出信號(hào)/leftUpClicking/rightUpClicking/ScreenStraightUp/ScreenStraightDown/leftWave/rightWaveScreenRight/ScreenLeft

面向消息的中間件接受Kinect傳感器處理單元與移動(dòng)終端重力傳感器處理單元傳送來(lái)的相應(yīng)信號(hào)，并根據(jù)相應(yīng)的映射關(guān)系，通過(guò)OSC協(xié)議，將指令傳送給Ventuz軟件，展示相應(yīng)的內(nèi)容。

4 結(jié)束語(yǔ)

手勢(shì)識(shí)別是體感交互應(yīng)用的核心，減輕了對(duì)傳統(tǒng)鼠標(biāo)鍵盤的依賴，使交互更加自然、更高效；體感操作Ventuz軟件的展示，增強(qiáng)了用戶的沉浸感。開(kāi)發(fā)實(shí)例證明，Kinect體感交互能為用戶提供便捷的交互手段，并且加入人們熟悉的移動(dòng)手機(jī)終端，使與Ventuz軟件的交互形式更加地多樣化。

參考文獻(xiàn)：

[1]陳瑤，邱開(kāi)金，徐海，朱凡超.基于重力感應(yīng)器的盲人手機(jī)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子測(cè)試，2013（06）：110-111.

[2]石曼銀.Kinect技術(shù)與工作原理的研究[J].哈爾濱師范大學(xué)自然科學(xué)學(xué)報(bào)，2013（03）：83-86.

[3]鄧頔，華澤璽.基于Kinect的體感電子相冊(cè)的設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代計(jì)算機(jī)，2013（02）：54-58.

[4]淦創(chuàng).基于3D體感技術(shù)的動(dòng)態(tài)手勢(shì)識(shí)別[J].光電技術(shù)應(yīng)用，2012（04）：55-58+63.

作者簡(jiǎn)介：李晉宏（1965-），教授，北京科技大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)獲博士學(xué)位，現(xiàn)任單位知識(shí)工程研究所所長(zhǎng)，研究方向：工業(yè)生產(chǎn)智能系統(tǒng)，數(shù)據(jù)挖掘等；李淑偉（1986.11-），男，河南商丘人，工學(xué)碩士，研究方向：數(shù)據(jù)挖掘。

作者單位：北方工業(yè)大學(xué)，北京 10044