鄒 俞，晁建剛，楊 進

?

航天員虛擬交互操作訓(xùn)練多體感融合驅(qū)動方法研究

鄒 俞，晁建剛，楊 進

(中國航天員科研訓(xùn)練中心，北京 100094)

針對航天員虛擬訓(xùn)練中的人機自然交互問題，基于體態(tài)/手勢識別和人體運動特性，提出一種多通道數(shù)據(jù)融合的虛擬驅(qū)動與交互方法。結(jié)合Kinect設(shè)備能夠完整識別人體姿態(tài)特點及LeapMotion設(shè)備能精確識別手勢姿態(tài)的優(yōu)勢，提出了基于判斷的數(shù)據(jù)傳遞方法，在人體關(guān)節(jié)識別的基礎(chǔ)上對手部關(guān)節(jié)進行識別與數(shù)據(jù)處理計算，采用多通道體感識別融合方法將二者結(jié)合，并進行了實驗。結(jié)果表明，通過采用LeapMotion和Kinect對手部識別的判別，當(dāng)手勢在LeapMotion識別范圍內(nèi)，能夠在實現(xiàn)人體體感識別的基礎(chǔ)上增加較為精確的手勢識別。此方法成功實現(xiàn)了人體姿態(tài)識別和手勢精確識別的結(jié)合，可應(yīng)用于航天員虛擬訓(xùn)練中的人機自然交互中去。

航天員；虛擬訓(xùn)練；體感識別；數(shù)據(jù)融合；交互

近年來，隨著虛擬現(xiàn)實(virtual reality, VR)技術(shù)工程應(yīng)用的逐步成熟，利用數(shù)字仿真，構(gòu)建虛擬空間和交互環(huán)境的方法也逐漸發(fā)展，為航天員訓(xùn)練提供了一種新的方式。通常模式下，航天員虛擬交互選用數(shù)據(jù)手套，實際訓(xùn)練中無形增加了操作的非自然性和干涉性，工程實用性欠佳。基于視覺體感交互的虛擬訓(xùn)練方式的引入，使航天員在虛擬環(huán)境中的自然交互操作訓(xùn)練成為可能[1]。

目前，市場上成熟的視覺體感交互設(shè)備主要分為兩種：一種是以Kinect為代表的采集全身姿態(tài)的體感設(shè)備，用以驅(qū)動全身虛擬交互；另一種是以LeapMotion為代表的采集手部姿態(tài)的體感設(shè)備，用以驅(qū)動手部虛擬交互。但在實際工程應(yīng)用中，前者很難精確采集到交互主體手部的精細化動作，后者又無法采集人體整體姿態(tài)。單一設(shè)備使用無法構(gòu)建實際訓(xùn)練中以手部操作為主體、以全身姿態(tài)為基礎(chǔ)的整個人在回路中的虛擬自然交互環(huán)境。

針對上述工程應(yīng)用問題，本文基于體態(tài)/手勢識別和人體運動特性，在航天員訓(xùn)練中提出一種多通道數(shù)據(jù)融合的虛擬驅(qū)動與交互方法。在交互識別上發(fā)揮Kinect識別范圍大，能夠?qū)φ麄€人體的三維深度圖像進行追蹤和姿態(tài)識別的優(yōu)勢，結(jié)合LeapMotion對手部的三維深度圖像進行精確地追蹤和手勢識別的特點，采用多通道體感識別融合的方法在人體關(guān)節(jié)識別基礎(chǔ)上，對手部關(guān)節(jié)進行識別與數(shù)據(jù)處理計算，形成了逼真的人在回路中的虛擬自然交互訓(xùn)練系統(tǒng)[2]。

1 研究現(xiàn)狀與基本原理

1.1 國內(nèi)外研究現(xiàn)狀

美國宇航局(National Aeronautics and Space Administration，NASA)以及美國國防部自上世紀(jì)80年代開始進行了航天員虛擬訓(xùn)練仿真研究。隨著VR技術(shù)的日益成熟，航天員虛擬訓(xùn)練仿真研究取得令人矚目的成果。美國國家航空航天局虛擬手套(NASA Virtual GloveboX，簡稱VGX)系統(tǒng)[3-5]利用數(shù)據(jù)手套和力反饋設(shè)備采集輸入手姿態(tài)信息，通過立體顯示和計算機實時仿真實現(xiàn)一種桌面半沉浸式仿真訓(xùn)練系統(tǒng)，如圖1所示，利用該設(shè)備可以進行航天員虛擬操作仿真實驗。如圖2所示，歐洲空間局的航天員訓(xùn)練虛擬環(huán)境技術(shù)(Virtual Environment Technology for Astronaut Training, VETAT)測試系統(tǒng)利用連接外骨骼的數(shù)據(jù)手套實現(xiàn)手勢識別，采用頭戴式顯示器進行立體顯示，該系統(tǒng)已經(jīng)廣泛地運用到航天員訓(xùn)練中。

圖1 VGX虛擬手套箱設(shè)備

圖2 VETAT測試系統(tǒng)

國內(nèi)也已將VR技術(shù)引入到航天員訓(xùn)練中，并取得初步成果。如圖3所示，中國航天員中心研制的數(shù)字組合體采用立體顯示技術(shù)將空間站等場景展示給航天員，能夠?qū)崿F(xiàn)控制航天員在虛擬太空場景進行漫游。

圖3 數(shù)字組合體操作展示

中國航天員中心在航天員虛擬訓(xùn)練中已開展了基于視覺手勢識別的研究[6]，并建立了一套航天員虛擬操作訓(xùn)練系統(tǒng)，來解決虛擬訓(xùn)練中航天員手勢操作問題。主要包括抓持、點按等手勢操作，如圖4、5所示。

圖4 航天虛擬操作系統(tǒng)儀表操作

圖5 航天虛擬訓(xùn)練系統(tǒng)虛擬手抓持研究

在VR體感識別研究中，以Kinect為代表的人體姿態(tài)體感識別設(shè)備具有追蹤人體姿態(tài)的特點，是目前國內(nèi)外研究開發(fā)的熱點。同樣以LeapMotion為代表的手部識別設(shè)備對手勢的精確識別也得到了國內(nèi)外開發(fā)者的一致認可。但目前在工程應(yīng)用上，還沒有一種設(shè)備能同時精確采集人體姿態(tài)和手部典型操作姿態(tài)。而在航天員虛擬訓(xùn)練中，如圖6所示，在航天員多人協(xié)同操作中，大場景的運動需要對航天員人體姿態(tài)的整體進行識別，同時在交互操作中也需對航天員的手部動作進行精確識別，從而在協(xié)同操作中能看到交互完整的人體姿態(tài)以及精確的手勢操作姿態(tài)，實現(xiàn)更好地配合操作[7]。針對航天員虛擬訓(xùn)練，本文提出將Kinect對完整人體姿態(tài)的識別，與LeapMotion精確的手勢識別二者融合的方法。其優(yōu)勢在于：①保留了Kinect對人體姿態(tài)的識別，保證了其識別精度和識別范圍；②利用LeapMotion實現(xiàn)手勢的精確識別，為驅(qū)動VR訓(xùn)練系統(tǒng)中的航天員模型在虛擬場景中完成多種手勢操作提供了可能；③采用計算機視覺的方式進行識別，避免了數(shù)據(jù)手套對訓(xùn)練產(chǎn)生的影響，可以更加逼真地模擬訓(xùn)練。結(jié)合二者的優(yōu)勢，可以實現(xiàn)更好的體感交互體驗[8]，為航天員在虛擬場景中完成人體姿態(tài)交互和更加精確的手勢操作提供可能[9]。

圖6 多人協(xié)同操作

1.2 體感識別原理

體感技術(shù)是一種VR技術(shù)，人們可以直接地使用肢體動作，與周邊的裝置或環(huán)境互動，而無需使用任何復(fù)雜的控制設(shè)備，便可讓人們身歷其境地與內(nèi)容做互動。

依照體感方式與原理的不同，目前市場上體感交互設(shè)備主要分為3種：光學(xué)感測、慣性感測和慣性及光學(xué)聯(lián)合感測。本文選用光學(xué)感測的體感交互設(shè)備，一是其不需要手持設(shè)備，便能更好地實現(xiàn)仿真訓(xùn)練的效果；二是隨著傳感器等硬件的發(fā)展，其識別精度可滿足仿真訓(xùn)練的需求[10]。

光學(xué)感測類體感設(shè)備的基本原理是利用攝像頭，采用類似“動作捕捉”方式來識別用戶的姿勢動作。首先通過計算機圖形視覺技術(shù)，包括邊緣檢測、噪聲閾值處理、對目標(biāo)特征點的分類等，將識別目標(biāo)從背景環(huán)境中區(qū)分出來得到識別圖像；然后識別圖像的每一個像素并傳送到一個辨別人體部位的機器學(xué)習(xí)系統(tǒng)中，系統(tǒng)給出某個特定像素屬于哪個身體部位的可能性；再將捕捉到的影像與內(nèi)部存有的模型匹配，每一個符合內(nèi)部已存模型的物體就會被創(chuàng)建成相關(guān)的骨骼模型；最后系統(tǒng)將該模型轉(zhuǎn)換成虛擬角色，并通過識別該骨骼模型的關(guān)鍵部位進行動作觸發(fā)，從而實現(xiàn)體感操作。其中手部動作數(shù)據(jù)采集和識別后，可以進一步通過碰撞檢測達到虛擬交互的目的。

1.3 人體姿態(tài)識別建模

航天員虛擬交互訓(xùn)練中，需要對人體進行幾何建模渲染，以表達虛擬人運動最基礎(chǔ)的方式，但實際中不可能對人體進行全部建模。人體建模通常采用主要運動關(guān)節(jié)點建模的方法進行簡化建模，其足以驅(qū)動人體的運動。

Kienct的人體建模采用了如圖7所示的人體骨骼簡化模型。其包含了人體主要的20個關(guān)節(jié)節(jié)點及19個骨骼段。按照人體構(gòu)造結(jié)構(gòu)，任意2個關(guān)節(jié)之間建立Kinect關(guān)節(jié)點父子關(guān)系，形成一個簡化的人體骨骼模型。其中，臀部中心關(guān)節(jié)點是整個人體骨骼模型的根節(jié)點，其三維坐標(biāo)數(shù)據(jù)完全能決定人體模型的移動軌跡。臀部中心關(guān)節(jié)點有6個自由度，分別為3個平移自由度與3個旋轉(zhuǎn)自由度，其他節(jié)點僅僅包括3個旋轉(zhuǎn)自由度[11]。

圖7 Kinect骨骼模型

1.4 手部姿態(tài)識別建模

虛擬交互訓(xùn)練中，手部是最重要的操作數(shù)據(jù)采集對象。采集目的一是為了顯示手部的虛擬渲染；二是通過主要手部關(guān)節(jié)的采集，滿足對手部的抓握等進行包圍盒檢測[12]。最終在滿足精確顯示、定位的同時，也要滿足實時計算需要，在實時計算和顯示渲染、檢測之間達到折衷。

圖8為右手部骨骼模型，圖8(a)LeapMotion手部模型中，手指存在4個關(guān)節(jié)，以中指1，2，3和4為例，4個關(guān)節(jié)點的旋轉(zhuǎn)角分別決定了指尖關(guān)節(jié)、遠指關(guān)節(jié)、近指關(guān)節(jié)和指掌關(guān)節(jié)骨骼的旋轉(zhuǎn)。在圖8(b) Kinect手部模型中，手指存在3個關(guān)節(jié)，以中指的1，2和3為例，其旋轉(zhuǎn)角分別決定了指尖關(guān)節(jié)，遠指關(guān)節(jié)和近指關(guān)節(jié)骨骼的旋轉(zhuǎn)。在二者的結(jié)合中，驅(qū)動姿態(tài)識別和手勢識別融合的數(shù)據(jù)主要是關(guān)節(jié)點的旋轉(zhuǎn)角。

(a) LeapMotion手部骨骼模型

(b) Kinect手部骨骼模型

圖8 LeapMotion與Kinect手部骨骼模型

2 總體設(shè)計與關(guān)鍵技術(shù)

2.1 體感融合的虛擬訓(xùn)練設(shè)計

航天員虛擬訓(xùn)練系統(tǒng)一般由數(shù)字仿真計算、虛擬場景渲染、虛擬顯示、虛擬操作采集與交互等部分組成。通常采用數(shù)字仿真進行飛行器的動力學(xué)和運動學(xué)仿真、太空場景物理學(xué)仿真、船載設(shè)備功能邏輯狀態(tài)等的數(shù)學(xué)仿真；虛擬場景渲染通過計算圖形學(xué)生成飛行器、太空以及航天員在回路中的場景；VR通過虛擬頭盔將生成的場景投射到訓(xùn)練者視覺系統(tǒng)中；虛擬操作采集與交互部分進行訓(xùn)練系統(tǒng)回路中的航天員與虛擬場景人機交互的動作采集和計算[13]。本文著重關(guān)注航天員在回路中的運動，采集航天員的運動數(shù)據(jù)處理后驅(qū)動虛擬人，帶入生成的預(yù)設(shè)場景如太空，船艙等，實現(xiàn)虛擬人與場景的交互，再反饋到顯示器中，從而實現(xiàn)航天員虛擬訓(xùn)練。

如圖9所示，虛擬動作采集通過體感設(shè)備來完成，Kinect置于訓(xùn)練航天員前面，用于人體動作的采集。在頭盔顯示器前部配置LeapMotion，用于交互手部動作的采集。采用本文融合方法實現(xiàn)兩種體感識別技術(shù)的結(jié)合，將Kinect獲取的人體姿態(tài)識別數(shù)據(jù)和LeapMotion采集的手部姿態(tài)識別數(shù)據(jù)進行處理、融合，與模型匹配后生成動作。結(jié)合訓(xùn)練場景設(shè)計，生成人被識別后在虛擬訓(xùn)練環(huán)境下的圖像。生成圖像傳輸?shù)斤@示器和頭盔顯示器。通過此設(shè)計方案，滿足航天員在虛擬訓(xùn)練中，大場景的運動對人體姿態(tài)整體識別的需求，以及交互操作中對手部動作識別的需求，當(dāng)手部在LeapMotion識別范圍內(nèi)，同時也是在“眼前”，能夠在人體姿態(tài)識別的基礎(chǔ)上添加手勢識別。

圖9 虛擬訓(xùn)練設(shè)計

2.2 體感融合關(guān)鍵技術(shù)

本文設(shè)計的場景是通過Kinect進行人體姿態(tài)的識別，并通過LeapMotion獲取精確的手勢識別數(shù)據(jù)。進行人體姿態(tài)識別時，Kinect遠距離可以對整個人體20個關(guān)節(jié)點進識別，其中包括手掌節(jié)點；當(dāng)需要精準(zhǔn)識別手部動作時，近距離可以對手部15個關(guān)節(jié)點進行識別。但手部和身體姿態(tài)是不能同時獲得的。Kinect手臂和手部的姿態(tài)信息是獲取關(guān)節(jié)點旋轉(zhuǎn)角數(shù)據(jù)驅(qū)動人體模型。而LeapMotion實現(xiàn)精確的手勢識別，也是獲取手部及腕部關(guān)節(jié)點的旋轉(zhuǎn)角數(shù)據(jù)驅(qū)動手部模型。二者均為數(shù)據(jù)融合提供了可能。

為了精確識別航天員的運動動作，既要保證手部運動和全身運動姿態(tài)采集的準(zhǔn)確性，又要保證采集后的節(jié)點融合后整體姿態(tài)不失真[14]。本文對兩者采集的數(shù)據(jù)進行融合，提出了基于判斷的數(shù)據(jù)傳遞方法，即實時判斷手部是否在LeapMotion范圍內(nèi)，當(dāng)手部在其識別范圍內(nèi)，將LeapMotion采集的手部關(guān)節(jié)點數(shù)據(jù)處理后傳到Kinect的手部關(guān)節(jié)點中，Kinect同時識別人體大姿態(tài)；當(dāng)不在LeapMotion識別范圍內(nèi)，選擇Kinect驅(qū)動包括手部在內(nèi)的完整人體姿態(tài)，此時不包含手指的操作[15]。

2.2.1 判斷選擇

如圖10所示，實際人在虛擬交互系統(tǒng)中，Kinect始終在采集人體姿態(tài)信息。當(dāng)手在“眼前”(LeapMotion粘貼在頭盔顯示器前面)時，此時手在LeapMotion識別范圍內(nèi)，手部姿態(tài)信息被采集。此時判斷機制獲取到LeapMotion已采集手部姿態(tài)信息的信號，終止Kinect對虛擬人手部姿態(tài)的驅(qū)動，從而實現(xiàn)LeapMotion驅(qū)動虛擬人手部姿態(tài)。當(dāng)手不在LeapMotion識別范圍內(nèi)，重新初始化Kinect驅(qū)動中的手部姿態(tài)信息。二者通過上述原理實現(xiàn)融合的關(guān)鍵點如下：

圖10 原理示意圖

(1) 識別交接處選取。要考慮的是兩種傳感器識別交接處的處理。實際人在做手部動作時，對腕部及肘部關(guān)節(jié)點旋轉(zhuǎn)之間的影響很小，所以將腕部關(guān)節(jié)點和肘部關(guān)節(jié)點作為LeapMotion與Kinect識別的劃分。由于LeapMotion識別包括手指、手掌及腕部關(guān)節(jié)，所以在其識別范圍內(nèi)時，上述關(guān)節(jié)點的識別驅(qū)動交由LeapMotion實現(xiàn)，此時肘部的關(guān)節(jié)點依然由Kinect識別。通過這種關(guān)節(jié)點識別劃定，肘部和腕部分別由Kinect和LeapMotion識別，由中間的小臂作為識別過渡。從而在交接處小臂虛擬渲染顯示時，最大程度地減少了兩種傳感器識別帶來的仿真效果不佳的影響。

(2) 識別交接時更新。在Kinect和LeapMotion交替識別的過程中，假設(shè)識別到第幀，此時手部在LeapMotion識別范圍內(nèi)，進行了精確的手勢識別，且在第+1幀時手部不在其識別范圍內(nèi)，此時手部姿態(tài)數(shù)據(jù)得不到更新，識別的手勢會保持在第幀的姿態(tài)直至手部再次出現(xiàn)在LeapMotion識別范圍內(nèi)。這是不符合預(yù)期的。所以需要實現(xiàn)Kinect手指關(guān)節(jié)點旋轉(zhuǎn)角初始化的重新寫入，以保證當(dāng)手部不在LeapMotion識別范圍內(nèi)時，手勢識別可正常進行。以中指和腕部為例，通過局部坐標(biāo)系旋轉(zhuǎn)角賦值進行初始化，如圖11所示，參考人體模型自然狀態(tài)下手指關(guān)節(jié)點旋轉(zhuǎn)角數(shù)據(jù)，如式(1)~(3)。

圖11 正常手姿

左手中指初始化，即

右手中指初始化

雙手腕部

2.2.2 數(shù)據(jù)處理

如圖12所示，由于只簡單地基于判斷選擇，并直接傳遞數(shù)據(jù)，會因為Kinect及LeapMotion驅(qū)動中手部關(guān)節(jié)點的世界坐標(biāo)系定義不同，導(dǎo)致手勢數(shù)據(jù)傳遞后識別錯誤，出現(xiàn)手指朝手背抓握甚至平行于手掌抓握等畸變現(xiàn)象，所以需要對數(shù)據(jù)進行處理。

圖12 手勢畸變

數(shù)據(jù)處理需在局部坐標(biāo)系下進行，將LeapMotion獲取的數(shù)據(jù)處理后傳遞給Kinect實現(xiàn)精確的手勢識別。其原理如下：在三維坐標(biāo)系中，有和兩條線段，已知∠，旋轉(zhuǎn)角∠。求取旋轉(zhuǎn)到''的旋轉(zhuǎn)效果，如圖13所示。

圖13 二維骨骼旋轉(zhuǎn)演示圖

世界坐標(biāo)系下，由相似三角形可以證明∠=∠'，求取旋轉(zhuǎn)后'的位置，再求取旋轉(zhuǎn)后''的位置。在局部坐標(biāo)系下，因為∠的大小沒有改變，即相對于的位置和旋轉(zhuǎn)角均沒有改變。所以只需旋轉(zhuǎn)已知的∠，便能獲取旋轉(zhuǎn)后的效果。由此可知局部坐標(biāo)系進行旋轉(zhuǎn)的轉(zhuǎn)換更利于簡化運算[16-17]。

圖14是手部每個關(guān)節(jié)對應(yīng)的局部坐標(biāo)系，其中根據(jù)人體模型設(shè)計了對應(yīng)、、坐標(biāo)軸及其方向的、、3個軸[18]。手指關(guān)節(jié)的旋轉(zhuǎn)主要是圍繞軸進行的，而繞、軸的相對而言非常少。所以提出只求取繞軸旋轉(zhuǎn)角實現(xiàn)手指運動。并以中指的近指關(guān)節(jié)和相對于指掌關(guān)節(jié)的旋轉(zhuǎn)為例，分兩步實現(xiàn)：

(2) 相對旋轉(zhuǎn)角賦值。將求取的21視作繞軸的旋轉(zhuǎn)角，繞、軸旋的轉(zhuǎn)角賦值為零。本文選用的手部模型中軸對應(yīng)軸，故得21=(0,0,21)。同理，可求取遠指關(guān)節(jié)相對于近指關(guān)節(jié)的旋轉(zhuǎn)角32和指間關(guān)節(jié)相對于遠指關(guān)節(jié)的旋轉(zhuǎn)角43。

在Kinect模型中手指的關(guān)節(jié)點有3個，如 圖8(a)所示，同樣以中指為例，將上文求取的相對旋轉(zhuǎn)角21，32，43分別進行賦值，有1=21，2=32和3=43。由此獲得Kinect的中指關(guān)節(jié)點在局部坐標(biāo)系下的旋轉(zhuǎn)角。

通過上述過程對LeapMotion獲取的手勢識別數(shù)據(jù)進行處理，傳遞給Kinect驅(qū)動虛擬人手部動作，便能在Kinect人體姿態(tài)識別基礎(chǔ)上實現(xiàn)手勢識別。

3 實驗與分析

3.1 實驗設(shè)計

針對傳統(tǒng)視覺體感識別這一問題，通過多通道融合的方法，實現(xiàn)了在識別人體大姿態(tài)的基礎(chǔ)上添加對手勢的識別，并搭建基于該融合方法的體感識別實驗平臺。定義兩種測試姿態(tài)：人體姿態(tài)測試，人體姿態(tài)與手勢姿態(tài)結(jié)合測試對該方法進行驗證。人體姿態(tài)測試取舉手姿態(tài)，目的在于驗證Kinect對人體姿態(tài)的識別；人體姿態(tài)與手勢姿態(tài)結(jié)合測試取人體舉手姿態(tài)與典型手勢姿態(tài)：手部自然伸直、手部握拳、手部OK姿勢，是為了驗證二者結(jié)合后，在保證Kinect對人體姿態(tài)正常識別的同時，添加的手勢識別的效果。在此基礎(chǔ)上通過抓取簡單物體，點按靶標(biāo)的測試，進一步驗證融合后的手姿態(tài)識別精度能否滿足抓取和點按為代表的虛擬訓(xùn)練操作。

按照總體設(shè)計，在建立的虛擬交互系統(tǒng)中，真實的人穿戴好放置了LeapMotion虛擬頭盔，其前方放置Kinect。選取10名實驗者，讓每人按照上述定義的4組測試姿態(tài)以及2種測試方式分別進行測試。通過對比實際人和模型人的動作對實驗結(jié)果進行分析。同時取其中自然伸直手勢和握拳手勢的數(shù)據(jù)進行分析驗證。

3.2 結(jié)果分析

通過實驗，驗證基于判斷的數(shù)據(jù)傳遞方法對人體姿態(tài)和手勢識別結(jié)合的有效性。通過以下4組測試姿態(tài)對實驗結(jié)果進行說明。如圖15所示，僅取人體舉手姿態(tài)，以確定Kinect對人體姿態(tài)的識別。圖16~18為人體姿態(tài)與手勢姿態(tài)結(jié)合測試分別取人體舉手姿態(tài)動作加上手部伸直(自然狀態(tài))、握拳(抓取等操作的基礎(chǔ)手勢)和OK(復(fù)雜的手部姿勢)姿勢測試。其中，圖(a)是實際人操作圖，圖(b)是融合識別驅(qū)動的虛擬圖。

圖15 人體姿態(tài)識別測試

圖16 人體姿態(tài)動作加上手部伸直姿勢測試

圖17 人體姿態(tài)動作加上手部握拳姿勢測試

圖18 人體姿態(tài)動作加上手部OK姿勢測試

手指的狀態(tài)大致可分為兩種：自然伸直和彎曲狀態(tài)。而手部自然伸直和握拳這兩種手勢姿態(tài)最能直觀體現(xiàn)手指自然伸直和彎曲的狀態(tài)。表1、2是將LeapMotion識別手部自然伸直狀態(tài)和手部彎曲狀態(tài)采集并處理后，傳遞給Kinect進行驅(qū)動的數(shù)據(jù)。結(jié)合識別結(jié)果，如圖19、20所示，對局部傳遞法融合后的手勢姿態(tài)識別結(jié)果進行說明。

結(jié)果分析：如圖15所示，對比實際人和虛擬人的手臂舉起的整體姿態(tài)，確定Kinect能準(zhǔn)確識別人體姿態(tài)；如圖16~18通過對比實際人和虛擬人的人體姿態(tài)和手勢姿態(tài)，可以看到人體姿態(tài)在準(zhǔn)確識別的同時，手部自然伸直、握拳和OK姿勢的識別效果很好，虛擬人準(zhǔn)確地反應(yīng)了實際人的手部自然伸直和手部握拳姿勢。結(jié)合表1、2中LeapMotion處理后的數(shù)據(jù)，對識別結(jié)果進一步說明。

表1是手部抓取動作識別，取5組LeapMotion處理后傳遞給Kinect 的食指數(shù)據(jù)，每組數(shù)據(jù)取200個數(shù)據(jù)(Leapmotio更新頻率200 Hz)的平均值，再對5組數(shù)據(jù)取平均值得到近指關(guān)節(jié)點旋轉(zhuǎn)角數(shù)據(jù)為–74.450 83°。圖19(a)為抓取姿態(tài)下實際手食指的近指關(guān)節(jié)點的旋轉(zhuǎn)角∠，并對該角進行測量估計，與求取的近指關(guān)節(jié)點旋轉(zhuǎn)角對比，近指關(guān)節(jié)點–74.450 83°的大小是符合手部握拳姿態(tài)的。手勢識別效果如圖19(b)所示，較為精確地實現(xiàn)手部抓取的識別。

圖19 手部抓取識別

圖20 手部自然伸直識別

表1 手部抓取識別——食指近指關(guān)節(jié)點旋轉(zhuǎn)角數(shù)據(jù)

表2 手部自然伸直識別——食指近指關(guān)節(jié)點旋轉(zhuǎn)角數(shù)據(jù)

表2是手部自然伸直動作識別處理后的數(shù)據(jù)：近指關(guān)節(jié)點旋轉(zhuǎn)角–12.286 94°。如圖20(a)所示，其描述的是自然伸直姿態(tài)下實際手食指的近指關(guān)節(jié)點的旋轉(zhuǎn)角∠，并將其與求取的近指關(guān)節(jié)點旋轉(zhuǎn)角–12.286 94°對比，結(jié)果是符合的。手勢識別效果如圖20(b)所示，較為精確地實現(xiàn)了手部伸直的識別。

實驗通過多組典型手勢姿態(tài)反復(fù)測試及結(jié)果驗證，證實二者結(jié)合后方法，既保留了Kinect對人體姿態(tài)的識別，也發(fā)揮了LeapMotion對手勢的識別能力，達到了預(yù)期目的。

圖21為融合后的手姿態(tài)抓持操作，通過方塊抓取驗證了融合后能實現(xiàn)虛擬訓(xùn)練中抓持操作訓(xùn)練；圖22為融合后的手姿態(tài)點按操作，通過食指點按目標(biāo)物中心的紅點，能實現(xiàn)虛擬訓(xùn)練中儀表操作等點按操作訓(xùn)練。

圖21 抓持操作

圖22 點按操作

訓(xùn)練場景，圖23是在太空艙中的仿真訓(xùn)練的模擬，圖24是VR模式下參訓(xùn)人員在頭盔顯示器中看到的場景。在LeapMotion沒有識別手部時，人體姿態(tài)由Kinect識別，當(dāng)Leap識別到左/右/雙手時，手勢以及腕部識別由LeapMotion識別并將數(shù)據(jù)處理后傳遞給Kinect實現(xiàn)；頭盔顯示器視野也符合VR模式下人的實際視野；在VR模式下，實際人物的位移與模型人物的位移符合，保證了VR模式下視覺位移符合實際位移。

圖23 場景填充后的結(jié)合姿態(tài)識別

圖24 VR模式下的效果

實驗結(jié)果符合預(yù)期。通過判斷，選擇手部姿態(tài)驅(qū)動來源，實現(xiàn)將手勢識別和人體姿態(tài)識別的結(jié)合。實現(xiàn)人體姿態(tài)識別的同時，能夠?qū)崿F(xiàn)抓取、握拳及OK姿勢等手勢，以及抓持物體，點按靶標(biāo)等測試，足以滿足目前航天員虛擬訓(xùn)練對手勢識別的要求。

4 結(jié)束語

本文實現(xiàn)了LeapMotion與Kinect的結(jié)合?；谂袛?、判別選擇，成功將兩種體感設(shè)備的優(yōu)勢發(fā)揮了出來，即保留了Kinect對人體整體的識別，也發(fā)揮了LeapMotion對手勢精確識別的作用。

通過二者的結(jié)合，保證人體姿態(tài)識別的同時，實現(xiàn)了對手部姿態(tài)的識別。結(jié)合后的這種體感交互方法，可以應(yīng)用到更為廣闊的訓(xùn)練平臺。針對航天員訓(xùn)練的更多設(shè)備、更多操作設(shè)計訓(xùn)練實例，例如對儀器儀表的虛擬操作訓(xùn)練，對在軌設(shè)備的組裝、維護、維修訓(xùn)練，對遙控設(shè)備的遠程遙操作訓(xùn)練等。進一步考慮引入增強現(xiàn)實技術(shù)，通過虛實結(jié)合的訓(xùn)練來提高訓(xùn)練效果，服務(wù)于航天員訓(xùn)練。

[1] 晁建剛, 陳善廣, 薛亮, 等. 航天飛行訓(xùn)練模擬器技術(shù)研究與工程實施[J]. 航天醫(yī)學(xué)與醫(yī)學(xué)工程, 2008, 21(3): 233-239.

[2] 陳學(xué)文, 晁建剛, 安明, 等. 基于體態(tài)識別的航天員虛擬訓(xùn)練仿真技術(shù)研究[J]. 載人航天, 2015, 21(3): 217-223.

[3] TWOMBLY I A, SMITH J, BRUYNS C, et al. NASA virtual glovebox: an immersive virtual desktop environment for training astronauts in life science experiments [EB/OL]. [2018-08-02]. https://ntrs.nasa. gov/search. jsp?R=20040012669.

[4] SMITH J D, GORE B F, DALAL K M, et al. Optimizing biology research tasks in space using human performance modeling and virtual reality simulation systems here on earth [EB/OL]. [2018-08-02]. https:// doi.org/10.4271/2002-01-2500.8.

[5] SMITH J, TWOMBLY I A, MAESE C, et al. The virtual glovebox: emerging simulation technology for space station experiment design, development, training and troubleshooting [EB/OL]. [2018-08-02]. https://arc. aiaa.org/doi/abs/10.2514/6.2003-6341.

[6] HU H, CHAO J G, ZHAO Z Q. Study of vision-based hand gesture recognition system for astronaut virtual training [J]. Advanced Materials Research, 2014, 998-999: 1062-1065.

[7] 康金蘭, 晁建剛, 林萬洪, 等. 視覺手勢識別技術(shù)在航天虛擬訓(xùn)練中的應(yīng)用研究[J]. 載人航天, 2014(3): 219-222.

[8] ALBRECHT I, HABER J, SEIDEL H P. Construction and animation of anatomically based human hand models [C]//ACM Siggraph/eurographics Symposium on Computer Animation. Goslar: Eurographics Association Press, 2003: 98-109.

[9] XIA L, CHEN C C, AGGARWAL J K. Human detection using depth information by Kinect [C]//Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2011: 15-22.

[10] 馮志全, 蔣彥. 手勢識別研究綜述[J]. 濟南大學(xué)學(xué)報: 自然科學(xué)版, 2013(4): 336-341.

[11] 李紅波, 冉光勇, 吳渝, 等. 一種基于Kinect的角色骨骼動畫方法[J]. 重慶郵電大學(xué)學(xué)報: 自然科學(xué)版, 2014, 26(4): 530-535

[12] 胡弘, 晁建剛, 林萬洪, 等. Leap Motion虛擬手構(gòu)建方法及其在航天訓(xùn)練中的應(yīng)用[J]. 載人航天, 2015, 21(3): 257-262.

[13] 胡弘, 晁建剛, 楊進, 等. Leap Motion關(guān)鍵點模型手姿態(tài)估計方法[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2015(7): 1211-1216.

[14] MARIN G, DOMINIO F, ZANUTTIGH P. Hand gesture recognition with leap motion and kinect devices [C]// IEEE International Conference on Image Processing. New York: IEEE Press, 2015: 1565-1569.

[15] MARIN G, DOMINIO F, ZANUTTIGH P. Hand gesture recognition with jointly calibrated Leap Motion and depth sensor [J]. Multimedia Tools & Applications, 2016, 75(22): 1-25.

[16] 談家譜, 徐文勝. 基于Kinect的指尖檢測與手勢識別方法[J]. 計算機應(yīng)用, 2015, 35(6): 1795-1800.

[17] 徐崇斌, 周明全, 沈俊辰, 等. 一種基于Leap Motion的直觀體交互技術(shù)[J]. 電子與信息學(xué)報, 2015, 37(2): 353-359.

[18] GOUTSU Y, KOBAYASHI T, OBARA J, et al. Multi-modal gesture recognition using integrated model of motion, audio and video [EB/OL]. [2018-08-10]. https://doi. org/10.3901/CJME.2015.0202.053.

On Multi-Somatosensory Driven Method for Virtual Interactive Operation Training of Astronaut

ZOU Yu, CHAO Jiangang, YANG Jin

(Astronaut Centre of China, Beijing 100094, China)

To solve the problem of human-computer natural interaction in the virtual training of astronauts, a multi-somatosensory driven method is proposed based on posture / gesture recognition and human motion characteristics. With the the advantages of Kinect device which can completely recognize human posture characteristics and LeapMotion device which can accurately identify gestures, the method of data transfer based on judgement is put forward. Hand joints are recognized and the related data are processed and calculated on the basis of the recognition of joints of the whole body. These two are combined by using the multi-somatosensory driven method, and the experiment is carried out. The results show that by using LeapMotion and Kinect to recognize hand joints, when the gesture is within the range of LeapMotion recognition, we can add more precise gesture recognition to the realization of human somatosensory recognition. This method has successfully realized the combination of human posture recognition and precise gesture recognition, and can be applied to the human-computer natural interaction in the virtual training of astronauts.

astronaut; virtual training; somatosensory recognition; data fusion; interaction

TP 301.9

10.11996/JG.j.2095-302X.2018040742

A

2095-302X(2018)04-0742-10

2017-08-27；

2017-12-04

國家重點實驗室基金項目(SYFD160051807)

鄒 俞(1995-)，男，安徽合肥人，碩士研究生。主要研究方向為人機與環(huán)境工程、計算機視覺等。E-mail：1134188239@qq.com

晁建剛(1972-)，男，北京人，研究員，博士，碩士生導(dǎo)師。主要研究方向為人機與環(huán)境工程、計算機仿真等。E-mail：1518037307@qq.com