陳學文,晁建剛,安明,林萬洪,胡福超

(中國航天員科研訓練中心人因工程重點實驗室，北京100094)

基于體態(tài)識別的航天員虛擬訓練仿真技術研究

陳學文,晁建剛,安明,林萬洪,胡福超

(中國航天員科研訓練中心人因工程重點實驗室，北京100094)

以未來空間站任務建設虛擬現(xiàn)實訓練器為需求，為了最大限度地降低虛擬現(xiàn)實設備穿戴給航天員帶來的額外束縛，提出了一種新的基于體態(tài)識別的航天員虛擬訓練仿真系統(tǒng):采用平行雙目視覺原理和偏振立體電視實現(xiàn)立體圖像的生成與顯示；采用人體三層模型實現(xiàn)虛擬航天員表達，采用骨骼動畫實現(xiàn)人體典型動作自動演示、Kinect實現(xiàn)人機交互過程中人體跟蹤和運動控制，適合于空間站任務航天員訓練、工效驗證、典型流程演示等人機交互應用。

空間站；航天員；虛擬訓練仿真；體態(tài)識別；立體；Kinect；人體仿真

1 引言

空間站的建設和運行是一個長期過程，隨著建設的發(fā)展，結(jié)構(gòu)越來越復雜，艙內(nèi)設備/物品越來越多，多批次航天員需在上面工作。即將執(zhí)行任務的航天員和地面支持人員需要一套能夠直觀反映有人參與其中的空間站模擬系統(tǒng)，便于訓練、學習、交流、任務規(guī)劃與工程驗證。但是在地面由于重力和物理條件的限制，無法或很難建設一套能夠反映在軌飛行時空間視覺環(huán)境、物體操作的運動特性和相互力學特性的實物模擬器。目前世界上航天大國紛紛利用虛擬現(xiàn)實技術，采用計算機仿真技術，結(jié)合一些虛擬現(xiàn)實設備，創(chuàng)建出場景逼真、可交互、沉浸感強的虛擬訓練仿真系統(tǒng)[1-3]。但是對于人體位置跟蹤大多采用需要佩戴的設備，如數(shù)據(jù)手套、數(shù)據(jù)衣、位置跟蹤儀等，這些設備給航天員帶來了具有負面效應的束縛感，降低了航天員使用該設備的興趣和效果。同時在虛擬人的交互上，沒有形成用戶與虛擬人的有效融合和交互，導致訓練時虛擬人動畫成分較重，逼真度降低。因此，開展基于體態(tài)識別的虛擬訓練仿真系統(tǒng)研究勢在必行。

本文首先給出了系統(tǒng)組成，然后給出了三維場景立體圖像生成與顯示、虛擬航天員三層表達與典型動作自動演示、自然人機交互中的人體跟蹤與虛擬航天員運動驅(qū)動，形成一套自然人機交互虛擬訓練仿真系統(tǒng)。

2 仿真系統(tǒng)設計

仿真系統(tǒng)首先需要創(chuàng)建逼真的三維虛擬場景，本文以某任務中的實驗艙與軌道艙組合體和其中的航天員為例，在3D Max軟件中建立組合體結(jié)構(gòu)、艙內(nèi)設備、虛擬航天員的幾何結(jié)構(gòu)，并貼上紋理信息，生成逼真的組合體和虛擬航天員三維場景數(shù)據(jù)庫。通過編程，采用OGRE圖形引擎，讀入場景數(shù)據(jù)庫，依據(jù)計算機圖形學原理創(chuàng)建虛擬攝像機，實時渲染出逼真的三維數(shù)字組合體。控制虛擬攝像機的位置和姿態(tài)，向用戶展示艙內(nèi)不同部位的畫面內(nèi)容。在沒有用戶操作的情況下給攝像機一定的路徑，讓其沿著該路徑移動，向用戶動態(tài)展示艙內(nèi)各部分的場景。

用戶可以通過鼠標控制虛擬攝像機的移動和轉(zhuǎn)動，觀察感興趣的物體。對某個設備感興趣時，通過鼠標點選該設備，由Overlay技術在旁邊彈出該設備的功能、工作原理和使用方法的介紹，進而獲得該設備的詳細信息。由于鼠標在屏幕上點擊時直接獲得的是屏幕二維坐標，而被點選的對象在三維空間中，采用射線法實現(xiàn)三維物體的拾取[4]。其基本原理是:過攝像機位置點向鼠標選中點做一條射線并求它和場景中所有實體的交點。在所有和該射線相交的實體中，離攝像機位置點最近的實體就是被選中的物體。

虛擬航天員的模型要能滿足運動控制、碰撞檢測和外形表達的功能。當用于人機交互時，虛擬航天員完全由Kinect采集的人體運動數(shù)據(jù)控制；當用于典型任務，如緊急撤離過程中航天員操作動作流程演示時，可以采用骨骼動畫的方式實現(xiàn)虛擬航天員的運動和相應物體的動態(tài)演示。

用戶可以通過基于光學的體態(tài)識別設備Kinect實時跟蹤人體的運動，實現(xiàn)虛擬航天員運動控制。在三維虛擬場景中，當把虛擬攝像機綁定到虛擬航天員的眼部位置時，模擬出航天員第一視點觀察到的場景內(nèi)容，并隨著用戶頭部的移動作動態(tài)變化。

為了實現(xiàn)上面的功能，仿真系統(tǒng)軟件組成如圖1所示，由數(shù)字組合體仿真軟件和體態(tài)識別軟件組成，后者通過網(wǎng)絡把人體骨架各節(jié)段位置數(shù)據(jù)實時傳遞給數(shù)字組合體仿真軟件，控制虛擬航天員的運動，兩個軟件部署在一臺計算機上。數(shù)字組合體仿真軟件實現(xiàn)組合體三維虛擬場景仿真、立體圖像生成與顯示、虛擬航天員三層表達與仿真、航天員典型活動三維仿真。體態(tài)識別軟件利用Kinect采集的深度圖像，識別人體深度信息，分析計算出人體骨架各個節(jié)段的位置數(shù)據(jù)，并傳遞給數(shù)字組合體仿真軟件。

仿真系統(tǒng)的硬件組成如圖1所示。1臺計算機用于三維虛擬場景仿真、立體圖像生成、虛擬航天員表達與仿真、典型操作動作演示、人體體態(tài)識別。1臺具備偏振立體功能的立體電視機用于三維虛擬場景立體顯示。1臺Kinect體感設備用于人體運動跟蹤。

圖1 系統(tǒng)軟硬件組成Fig.1 Component of software and hardware system

3 關鍵技術實現(xiàn)

3.1 立體圖像生成與顯示

增強用戶的沉浸感和想象性，為用戶提供三維場景的立體顯示是很好的方法。由于左右眼之間有一定的間距，左右眼觀察現(xiàn)實中的物體在大腦中所成的像稍有差別，經(jīng)過人腦對兩幅稍有差別圖像的合成和想象，產(chǎn)生立體感。三維虛擬場景立體顯示時，首先需要設計兩臺攝像機，分別為左眼攝像機和右眼攝像機，兩個攝像機水平相距一個眼距，以一種雙目投影模型分別生成稍有差別的左眼圖像和右眼圖像，然后通過立體顯示設備顯示給用戶，把左眼圖像和右眼圖像分開，使得左眼只能觀察到左眼圖像，右眼只能觀察到右眼圖像。

目前有兩種雙目投影模型:匯聚雙目投影模型、平行雙目投影模型[5]。兩種模型都存在左眼攝像機和右眼攝像機，水平相距一個眼距d，其差別是兩臺攝像機的視軸相對方向不同。匯聚雙目投影模型是兩臺攝像機的視軸(視線方向)相交(如圖2所示)，即兩臺攝像機都向投影平面的中點觀察。該模型實現(xiàn)簡單，只需要把兩臺攝像機的位置相距一個眼距，觀察方向旋轉(zhuǎn)一個角度，使兩臺攝像機視軸水平對稱、相交于投影平面上即可。但是該模型會引入垂直視差，在左眼和右眼圖像的左邊圖像存在差異，同樣右邊圖像也存在差異，兩幅圖像在大腦合成時會產(chǎn)生變形感，給用戶帶來不適，影響立體效果。平行雙目投影模型是兩臺攝像機的視軸平行(如圖3所示)，即兩臺攝像機平行向前觀察，且與投影面垂直，采用垂直對稱、水平不對稱的投影視錐體生成左右眼圖像，不存在匯聚雙目投影模型的變形問題，立體視覺效果好。本文采用平行雙目投影模型。

圖2 匯聚雙目投影模型Fig.2 The convergence binocular projection model

在計算機中進行立體圖像生成時，創(chuàng)建兩臺攝像機，分別代表左眼和右眼，兩臺攝像機相距一個眼距 d。根據(jù)三維圖形學原理，存在左視口(viewport)、右視口和左平截頭體、右平截頭體的概念，視口是顯示窗口中的一個區(qū)域，用來存放三維場景投影后的圖像，左右平截體用來限定投影區(qū)域，相距一個眼距d，每個平截體有近裁剪面、遠裁剪面，用與攝像機的距離ln、lf來表示。投影面也用與攝像機的距離來表示，具體用攝像機的焦距f來表達，如圖4所示。在進行立體效果調(diào)試時，對于某些物體要求出屏效果-負視差(如圖2中的物體A)，即物體與相機的距離小于攝像機的焦距，對于某些物體要求在屏幕內(nèi)部-正視差(如圖2中的物體C)，即物體與相機的距離大于攝像機的焦距，可以調(diào)整攝像機的焦距來實現(xiàn)正視差或負視差。

圖3 平行雙目投影模型Fig.3 The parallel binocular projection model

圖4 投影模型Fig.4 Projection model

在軟件代碼實現(xiàn)時為了簡化對多攝像機的管理，可以只管理一個攝像機、一個視口、一個平截體，在三維場景渲染生成立體圖像之前，對攝像機和平截體的位置左右移動d/2的距離，創(chuàng)建兩個渲染目標(render target)，把渲染后的左右眼圖像放在渲染目標相對應的兩個視口中即可。

3.2 虛擬航天員表達與典型動作自動演示

為了虛擬航天員能夠隨著用戶人體運動，同時滿足人體外形逼真表達和碰撞檢測的要求，對人體采用三層模型表達，并利用該表達模型實現(xiàn)航天員典型動作自動演示。

3.2.1 人體三層模型

為了滿足虛擬航天員模型的多用途，借鑒文獻[6]的三層模型表達法把虛擬航天員模型表達成三層模型，分別為骨骼層、皮膚層和物理模型層。骨骼層描述了人體的骨架結(jié)構(gòu)，各骨骼之間具有父子關系的層次結(jié)構(gòu)，相鄰骨骼通過關節(jié)相連，可以做相對運動。通過改變相鄰骨骼間的夾角、位移，使骨骼轉(zhuǎn)動和移動，并帶動皮膚層一起運動。皮膚層定義了人體的外觀，皮膚是在骨骼影響下可變形的網(wǎng)格。皮膚上網(wǎng)格的每個頂點，根據(jù)它所關聯(lián)骨骼的全局變換矩陣基于骨骼影響權(quán)值(Weight)對頂點進行變換，關節(jié)處皮膚頂點受到關節(jié)鄰近的幾塊關聯(lián)骨骼的影響，影響大小由權(quán)值確定，實現(xiàn)皮膚隨骨骼的轉(zhuǎn)動和移動作相應的變形。建立人體模型時在3D Max中不斷調(diào)整各個頂點的權(quán)值，使得達到較好的變形效果，每個頂點的權(quán)值滿足公式(1):

其中，vi是頂點在第i個關聯(lián)骨骼子空間的局部坐標，Ci是第i個關聯(lián)骨骼的全局變換矩陣，wi是第i個關聯(lián)骨骼的權(quán)值，它們之和為1。

物理模型描述了人體各個節(jié)段外輪廓，采用面模型，大小與人體各個節(jié)段實際一致，節(jié)段之間具有父子關系的層次結(jié)構(gòu)，為了獲得較高的計算速度，其面片數(shù)相對皮膚層少，并且隨著骨骼各節(jié)段的運動而運動。模型分層結(jié)構(gòu)見圖5。

圖5 人體三層模型Fig.5 Three layers model of human body

3.2.2 虛擬航天員骨骼層的表達

按照人體骨骼結(jié)構(gòu)，人體有66個運動骨骼節(jié)段，包括各個手指、腳趾骨骼細節(jié)，結(jié)合體態(tài)識別軟件中的骨架模型，對虛擬航天員骨骼層簡化，由人體肢體、軀干和頭部10節(jié)段表達，如圖6所示，名稱見表1。節(jié)段之間的父子關系如圖7所示，圖中箭頭從父節(jié)段指向子節(jié)段。

圖6 人體簡化骨骼模型及坐標系定義Fig.6 The simplify skeleton model and coordinate system of body

表1 軀體模型標號項對應體段Table 1 Name of body segments

圖7 人體節(jié)段之間父子關系Fig.7 The father and son relationship of body segments

3.2.3 典型動作自動演示

當用于航天員典型操作動作演示時，如組合體內(nèi)緊急情況下需要撤離時，航天員在離開組合體之前要執(zhí)行一系列操作，對組合體相關設備進行狀態(tài)設置。為了直觀展示失重狀態(tài)下航天員撤離時的操作流程，在數(shù)字組合體中采用動畫的方式對人體和物體進行動態(tài)展示是一種合適的方法。對虛擬航天員人體本身采用骨骼動畫，對熱支持軟管收縮過程采用頂點動畫。

骨骼動畫[7]是關節(jié)動畫和關鍵幀動畫的結(jié)合，基于人體骨骼層和皮膚層。對每一個撤離時操作動作，在3DMax中通過調(diào)整相鄰骨骼間的夾角、位移，設置連續(xù)關鍵位置處相應的姿態(tài)，根據(jù)皮膚層網(wǎng)格上頂點變形權(quán)值，皮膚層隨著骨骼一起到達相應的連續(xù)關鍵位置。動畫播放時，通過在連續(xù)關鍵位置之間插值，實現(xiàn)人體連續(xù)動作演示。對于平移采用線性插值，對于旋轉(zhuǎn)采用四元數(shù)球面線性插值。插值公式如式(2):

其中，p、q是需要插值的四元數(shù)，t為0到1之間的參數(shù)。

對熱支持軟管收縮過程的頂點動畫，在3DMax中連續(xù)調(diào)整軟管收縮過程中每一關鍵幀的位置狀態(tài)，并記錄每個頂點的當前位置信息。在動畫播放時，通過在相鄰關鍵幀之間線性插值來更新網(wǎng)格模型中頂點的位置實現(xiàn)軟管收縮動態(tài)過程。該動畫過程，由于頂點位置是直接獲得的，計算量小，滿足實時性的要求。

在程序中分別讀取3DMax創(chuàng)建的人體動畫和軟管動畫信息，根據(jù)用戶操作指令，以操作動作為依據(jù)決定播放人體動畫和軟管動畫，或只播放人體動畫，完成各撤離動作的動態(tài)演示。

3.3 自然人機交互中人體跟蹤與虛擬航天員運動驅(qū)動

在自然人機交互過程中，采用光學設備Kinect實現(xiàn)人體跟蹤，并利用跟蹤獲得的數(shù)據(jù)實時驅(qū)動虛擬人的運動，實現(xiàn)用戶控制虛擬人的運動。

3.3.1 人體跟蹤

本文選用體感設備Kinect[8，9]實現(xiàn)對人體運動信息的采集。Kinect可以實時地從單一深度圖像中分離出目標人體，標注出32個不同的人體部位，確定出20個人體骨架的空間關節(jié)點，構(gòu)造出三維人體骨架。如圖8所示。

骨架不僅包含了人體的局部形狀信息，同時還包含了人體的結(jié)構(gòu)拓撲信息。人體四肢長度是固定的，肢體節(jié)段之間同樣具有父子關系。當人體運動時，通過對骨架深度圖像的連續(xù)分析，計算出人體骨架各個關節(jié)旋轉(zhuǎn)的角度，再結(jié)合骨架各個節(jié)段長度可以計算出各個關節(jié)的位置。

圖8 Kinect人體骨架模型Fig.8 The human body skeleton model of Kinect

3.3.2 虛擬航天員運動驅(qū)動

根據(jù)人體跟蹤骨架模型20個骨架的位置數(shù)據(jù)，選擇與虛擬人體仿真中骨骼模型相對應的10個節(jié)段位置，采用下面的正向運動學，實時計算骨骼模型各個節(jié)段的位置和姿態(tài)，實現(xiàn)虛擬航天員模型的運動驅(qū)動。計算過程變換矩陣采用4×4的齊次矩陣T來表示，T由3×3的旋轉(zhuǎn)變換R和3×1平移變換D構(gòu)成。由末端體坐標系i到基坐標系0的正向運動學變換為式(3):

把計算出的人體骨架數(shù)據(jù)通過網(wǎng)絡傳遞給虛擬航天員模型計算各層模型的運動，仿真流程如圖9所示。

圖9 虛擬航天員仿真流程Fig.9 Flow chart of virtual astronaut simulation

4 仿真結(jié)果

在一臺HP Z820圖形工作站上采用VC 2008開發(fā)并運行程序，機器具體配置為:至強 E5-2680，2.7 GHz，20 MB緩存，Win7 64位專業(yè)版操作系統(tǒng)，顯卡為Nvidia Quadro K5000，內(nèi)存32 G。顯示器為LG 55英寸偏振立體電視，電視與顯卡之間通過HDMI-DP視頻線連接。

仿真程序可實現(xiàn)四種功能:①自動漫游功能，即攝像機沿著一定的路徑動態(tài)移動，生成漫游動態(tài)圖像；②艙載設備的熟悉與定位功能，采用O-verlay技術生成導航菜單，通過點擊菜單，攝像機自動對準相應的設備成像，同時右下角顯示設備的介紹信息，截圖如圖10所示；③基于體態(tài)識別的模擬航天員運動控制功能，采用體態(tài)識別和人體三層仿真模型實現(xiàn)人體運動識別和運動控制，虛擬航天員交互控制第三視點圖像及相應的第一視點圖像如圖11所示；④緊急撤離時航天員操作流程演示功能，采用骨骼動畫和頂點動畫實現(xiàn)緊急撤離時人體和軟管的動畫，部分截圖如圖12所示。生成的偏振立體圖像如圖13所示。

經(jīng)測試，三維數(shù)字組合體場景在打開立體渲染時，幀頻率最低41 Hz，最高77 Hz，在關閉立體渲染時，幀頻率最低76 Hz，最高440 Hz，都能滿足實時性要求。針對立體顯示效果，邀請各類人員對其立體效果進行測試，不斷調(diào)整調(diào)整參數(shù)。最佳的立體參數(shù)為:眼距 d為65 mm，焦距為2.8 m。

圖10 設備導航-虛擬儀表Fig.10 Navigation of virtual instrument

圖11 基于體態(tài)識別的虛擬航天員運動控制Fig.11 Virtual astronaut motion control based on posture recognition

5 結(jié)論

本文以空間站虛擬現(xiàn)實訓練器為需求，開展基于體態(tài)識別的虛擬訓練仿真技術研究，以某任務天宮一號實驗艙與軌道艙的組合體為具體仿真案例，在計算機中創(chuàng)建逼真的三維虛擬組合體艙內(nèi)場景和虛擬航天員，采用平行雙目投影模型和偏振立體電視實現(xiàn)三維場景的立體圖像生成與顯示；采用人體三層模型實現(xiàn)虛擬航天員的多用途表達，對于典型動作采用計算代價小的骨骼動畫和頂點動畫實現(xiàn)緊急撤離時航天員操作過程三維演示；采用Kinect實現(xiàn)人體運動跟蹤和虛擬航天員的運動控制。形成一套虛擬訓練仿真系統(tǒng)，包括自動漫游功能、艙載設備的熟悉與定位功能、基于自然人機交互的模擬航天員運動控制功能、緊急撤離時航天員操作流程演示功能。經(jīng)測試，該仿真系統(tǒng)三維場景逼真，立體顯示效果好，實時性好，人體動作跟蹤準確，緊急撤離動作逼真，可以應用于空間站任務航天員訓練、工效驗證、典型流程演示等。

圖12 緊急撤離Fig.12 Emergency evacuation

圖13 偏振立體圖像Fig.13 Polarized stereo images

（

）

[1]Virtual Reality Laboratory[EB/OL].(2010)[2014].http://www.nasa.gov/centers/johnson/engineering/robotics_simulation/virtual_reality/index.html

[2]Virtual Reality Theatre[EB/OL].(2012)[2015].http://vrt.esrin.esa.int/tiki-index.php？page＝VRT at Work

[3]Charles J G，David J H.Application of Virtual Reality Technology，Including Froce Feedback，for Astronaut Training [C]//International Conference on Artificial Reality and Texlexistence，Japan，1995.143-152.

[4]姚繼權(quán)，李曉豁.計算機圖形學人機交互中三維拾取方法的研究[J].工程設計學報，2006，13(2):116-120.YAO Jiquan，LI Xiaohuo.Research on 3-dimension pick-up of human-computer interaction in computer graphics[J].Journal of Engineering Design，2006，13(2):116-120.(in Chinese)

[5]王良燕，張佑生，高敏.基于OGRE的雙目立體顯示研究與實現(xiàn)[J].計算機系統(tǒng)應用，2013，22(5):168-171.WANG Liangyan，ZHANG Yousheng，GAO Min.Research and implementation of binocular stereoscopic display based on OGRE[J].Computer Systems＆Applications，2013，22(5): 168-171.(in Chinese)

[6]安明，劉玉慶，周伯河，等.失重狀態(tài)下旋轉(zhuǎn)陀螺交互操作的仿真研究[J].載人航天，2014，20(3):214-218.AN Ming，LIU Yuqing，ZHOU Bo-He，et al.Study on realtime interactive simulation of rotating top in weightlessness [J].Manned Spaceflight，2014，20(3):214-218.(in Chinese)

[7]倪晨，邱鵬，王峰，等.Kinect體感技術在人機交互中的應用研究[J].信息技術與信息化，2013(1):87-90.NI Chen，QIU Peng，WANG Feng，et al.The research and application of Kinect techology in the field of human-computer interaction[J].Information Technology and Informatization，2013(1):87-90.(in Chinese)

[8]劉飛.基于Kinect骨架信息的人體動作識別[D].上海:東華大學，2014.LIU Fei.Human Action Recognition Based on Kinect Skeleton Information[D].Shang Hai:Dong Hua University，2014.(in Chinese)

[9]袁會杰.骨骼動畫技術的研究與實現(xiàn)[D].成都:電子科技大學，2010.YUAN Huijie.Research and Implementation of Skeletal Animation technology[D].Cheng Du:University of Electronic Science and Technology of China，2010.(in Chinese)

Research on Simulation Technology of Astronaut Virtual Training Based on Posture Recognition

CHEN Xuewen，CHAO Jiangang，AN Ming，LIN Wanhong，HU Fuchao
(National Key Laboratory of Human Factors Engineering，China Astronaut Research and Training Center，Beijing 100094，China)

Virtual training simulation，as a kind of full digital simulation，can create some special situation that physical or half hardware device is difficult to make.To meet the requirements of astronaut virtual reality trainer in the future space station mission，which can minimize the extra constraint feelings from the traditional virtual reality hardware device，a new astronaut virtual training simulation system based on posture recognition was proposed.It uses the parallel binocular vision principle to generate three-dimensional(3D)stereo image，which can be displayed on polarized 3D stereo TV.The three layers model of human body was adopted to express virtual astronaut，and skeletal animation was used to demo typical human body movement.The Kinect device was applied to track real astronaut body motion to control virtual astronaut body movement.The system is natural during human-computer interaction，which avoided the shackles of wearable virtual reality device for human body moving.It can be applied to astronaut training，ergonomics validation，and typical operation process demonstration in the future mission，etc.

space station；astronaut；virtual training simulation；posture recognition；stereo；Kinect；human simulation

TP391.9

B

1674-5825(2015)03-0217-07

2014-08-01；

2015-04-14

國家自然科學基金(81227001)

陳學文(1978－)，男，碩士，助理研究員，研究方向為虛擬現(xiàn)實及航天員訓練仿真。E-mail:chenxuewen2002＠sohu.com