郭 慶， 薩 路， 黃一峰， 劉昕杰

(中國民航大學 航空工程學院，天津 300300)

沉浸式維修性虛擬驗證平臺開發(fā)與應用

郭 慶， 薩 路， 黃一峰， 劉昕杰

(中國民航大學 航空工程學院，天津 300300)

沉浸式維修性虛擬驗證平臺是基于虛擬現(xiàn)實技術(shù)的實驗設(shè)備。該平臺由動捕設(shè)備、顯示系統(tǒng)和軟件驅(qū)動系統(tǒng)組成。平臺通過采集真實人體的運動數(shù)據(jù)，并將其重新定向到體型不同的虛擬人上同時保留原始人體的動作特性，實現(xiàn)實時的運動重定向。結(jié)合關(guān)節(jié)位置的算法可以糾正關(guān)節(jié)角度的計算偏差，這種數(shù)據(jù)增強技術(shù)能提高關(guān)節(jié)角度和位置的計算精度。通過利用該平臺對發(fā)動機關(guān)鍵部件維修性評估驗證，結(jié)果表明，驗證結(jié)果可靠，使用方便靈活。同時，該平臺也可用于實驗教學。

維修性驗證； 虛擬現(xiàn)實； 沉浸式； 動作重定向

0 引 言

維修性是裝備的基本屬性之一，良好的維修性設(shè)計是提高維修效率和質(zhì)量的重要手段。傳統(tǒng)的維修性研究是基于物理樣機或全尺寸模型開展工作的，因此，維修性評估明顯滯后于產(chǎn)品的整體設(shè)計[1]。這不僅是對設(shè)計資源的浪費，也不利于設(shè)計的整體優(yōu)化。隨著計算機技術(shù)的發(fā)展和廣泛應用，虛擬維修技術(shù)應運而生。虛擬維修是虛擬顯示技術(shù)與維修工程相結(jié)合的成果，是以計算機技術(shù)與虛擬現(xiàn)實技術(shù)為依托，在由計算機生成的、包含了產(chǎn)品數(shù)字樣機與維修人員三維人體模型的虛擬場景中，通過驅(qū)動人體模型來完成整個維修過程仿真的綜合性技術(shù)。將虛擬維修仿真應用于維修性研究，進而形成了維修性虛擬驗證技術(shù)，其可廣泛應用于維修過程規(guī)劃評估、維修過程分析和產(chǎn)品的維修性及其維修過程驗證等內(nèi)容。

根據(jù)虛擬維修實驗方法的不同，維修性驗證可以分為沉浸式和非沉浸式兩種[2]，如圖1所示。非沉浸式又稱為桌面虛擬現(xiàn)實驗證系統(tǒng)，是研究維修性虛擬驗證的必需條件，它要求參與者使用鍵盤和鼠標等輸入設(shè)備，通過計算機屏幕觀察360°范圍內(nèi)的虛擬境界，并操縱其中的物體，但這時參與者不是完全的沉浸，因為它仍然受到周圍環(huán)境的干擾。沉浸式驗證系統(tǒng)提供完全沉浸體驗，使用戶有一種置身于虛擬境界之中的感覺。它利用頭盔顯示器把參與者的視覺封閉起來，并利用動作捕捉設(shè)備使參與者產(chǎn)生身臨其境和沉浸其中的感覺。其最重要的是對虛擬環(huán)境管理、虛擬人員的控制是通過動捕設(shè)備自然的人機交互技術(shù)來實現(xiàn)的。

圖1 維修性虛擬驗證平臺組成

本文主要針對于沉浸式維修性虛擬評估系統(tǒng)的開發(fā)和其關(guān)鍵技術(shù)進行研究，旨在為維修性定量和定性研究提出新的設(shè)備與方法。

1 平臺設(shè)計思路

1.1工作原理

維修性驗證平臺由軟件和硬件兩部分構(gòu)成，如圖2所示，其中硬件主要包括：慣性動捕設(shè)備，頭盔顯示系統(tǒng)和全景演示系統(tǒng)；軟件采用的是Siemens PLM系統(tǒng)軟件中的Tecnomatix Jack模塊。其工作原理可描述為：在Tecnomatix Jack中建立虛擬維修環(huán)境，并對產(chǎn)生的數(shù)據(jù)實現(xiàn)通信和管理。人體運動控制主要用來實現(xiàn)虛擬驗證系統(tǒng)中操作者的化身和操作者自身運動間的映射，利用動捕設(shè)備所采集到的操作者身體各個部分的空間位置來驅(qū)動虛擬環(huán)境中操作者化身的運動，操作者化身的動作姿態(tài)通過頭盔顯示系統(tǒng)反饋給操作者，以便操作者自身做適應性的調(diào)節(jié)，其他參評人員通過第三視角對維修全景進行整體評估。

圖2 沉浸式維修性虛擬驗證平臺示意圖

1.2平臺架構(gòu)

虛擬驗證平臺設(shè)計的主體思路是以慣性動捕設(shè)備和Tecnomatix Jack軟件[3]為基礎(chǔ)構(gòu)建的，通過設(shè)計算法實現(xiàn)實時處理動捕數(shù)據(jù)并重新定向到JACK軟件的仿真過程[4-6]。整體開發(fā)采用模塊化設(shè)計，主要包括運動數(shù)據(jù)采集和提取、運動數(shù)據(jù)處理和優(yōu)化、運動數(shù)據(jù)的重定向三部分。其中運動捕捉模塊實時捕捉真實人體的關(guān)節(jié)位置和角度信息；采集數(shù)據(jù)傳輸模塊將捕獲的數(shù)據(jù)進行發(fā)送；運動數(shù)據(jù)處理模塊處理采集到的實時數(shù)據(jù)，生成虛擬人關(guān)節(jié)位置和角度；運動數(shù)據(jù)優(yōu)化模塊對生成的實時數(shù)據(jù)進行趨勢分析和平滑處理；運動學仿真模塊將處理和優(yōu)化后的數(shù)據(jù)重新定向到JACK 人體模型實現(xiàn)實時驅(qū)動；動力學仿真模塊負責動力學參數(shù)計算與控制；人機功效學模塊則控制仿真過程中的人機功效性。為了保證運動仿真的實時性，采用了多線程機制，每個模塊都是彼此獨立的線程。驗證平臺的架構(gòu)如圖3所示。

圖3 驗證平臺的架構(gòu)

1.3人體建模與模型映射

實時驅(qū)動虛擬人仿真需要將運動捕獲數(shù)據(jù)重定向到目標模型上，如圖4所示。動捕設(shè)備廣泛采用BVH格式進行實時數(shù)據(jù)發(fā)送。然而，BVH(圖4(a))人體骨骼模型與JACK(圖4(b))人體骨骼模型間存在軀體結(jié)構(gòu)的差異[7-8]，即在關(guān)節(jié)數(shù)量、骨骼長度、關(guān)節(jié)的坐標系設(shè)定三方面存在差異。

圖4 動捕設(shè)備人體模型與JACK模型

JACK人體骨骼模型由72個節(jié)點構(gòu)成，其中多數(shù)集中在手部區(qū)域[9]。而通用的簡化人體模型節(jié)點數(shù)量一般20～59個不等，忽略手部細節(jié)特征，通用模型與JACK模型的軀干結(jié)構(gòu)雙方基本一致。對表1所列的關(guān)節(jié)點描述信息進行采集，通過JACK軟件內(nèi)置的逆向運動(IK)算法即可能實現(xiàn)虛擬人仿真驅(qū)動。

表1 關(guān)節(jié)點描述信息

1.4數(shù)據(jù)處理

驅(qū)動JACK人體模型，需要提供表1所列節(jié)點的坐標、偏轉(zhuǎn)角度信息。模型的初始姿勢需定義為：T形雙臂平舉、手心向下，所有關(guān)節(jié)偏轉(zhuǎn)角度都為零(見圖4b)，Y軸始終指向骨骼方向，Z軸指向前方。

表1中列出了JACK模型的軀干關(guān)節(jié)清單，提供的每組關(guān)節(jié)數(shù)據(jù)應包括3個坐標數(shù)據(jù)和3個旋轉(zhuǎn)角度數(shù)據(jù)在內(nèi)共6個自由度。動捕設(shè)備以BVH格式向外發(fā)送數(shù)據(jù)包，處理后的數(shù)據(jù)應以JACK指定的數(shù)據(jù)包協(xié)議傳輸給軟件。

通過采用模塊化設(shè)計，仿真平臺可以多線程同步的實現(xiàn)人體運動數(shù)據(jù)的實時捕捉、處理、優(yōu)化、重定向、以及應用過程，數(shù)據(jù)處理流程如圖5所示。

2 數(shù)據(jù)驅(qū)動關(guān)鍵技術(shù)

運動數(shù)據(jù)映射是通過提取動捕設(shè)備傳輸?shù)膶崟r數(shù)據(jù)，進行坐標系變換計算出人體關(guān)節(jié)的旋轉(zhuǎn)矩陣，再通過坐標系校準得到JACK人體模型對應關(guān)節(jié)的旋轉(zhuǎn)矩陣，進而反求出關(guān)節(jié)旋轉(zhuǎn)角度[10-12]。

2.1初始姿態(tài)校準

動捕設(shè)備人體模型的各節(jié)點在初始狀態(tài)下都采用世界坐標系方向，而JACK人體模型不同關(guān)節(jié)的坐標系的初始方向不同，導致模型關(guān)節(jié)轉(zhuǎn)動角度計算要需要進行角度校準，包括觀察校準角度和生成校準矩陣。

圖5 運動數(shù)據(jù)處理流程

觀察校準角度是指判斷出不同關(guān)節(jié)在初始狀態(tài)時的角度的方向差異，參考圖4，以右肩關(guān)節(jié)為例，JACK模型(右)中的右肩關(guān)節(jié)須繞Z軸旋轉(zhuǎn)90°后才能與絕對坐標系一致，則校準矩陣。

2.2運動數(shù)據(jù)提取

人體運動數(shù)據(jù)的提取過程以某時刻的第i個關(guān)節(jié)為例，設(shè)定動捕設(shè)備傳輸該關(guān)節(jié)的旋轉(zhuǎn)順序為YXZ，角度值為β、α、γ，JACK模型中的旋轉(zhuǎn)順序默認是XYZ，則JACK人體模型上對應關(guān)節(jié)的偏轉(zhuǎn)角計算如下：

相對旋轉(zhuǎn)矩陣

RoMi(t)=RY(β)RX(α)RZ(γ)

絕對旋轉(zhuǎn)矩陣

RRoMi=RRoMi-1RoMi；(RRoM1=RoM1)

JACK模型對應關(guān)節(jié)的旋轉(zhuǎn)矩陣：

由上式得：

(1)

由JACK人體模型關(guān)節(jié)按照XYZ軸順序依次偏轉(zhuǎn)θ、φ、ψ角度與重合，則有：

(2)

θ、φ、ψ滿足下列必要條件：

(3)

2.3運動數(shù)據(jù)的處理

由歐拉旋轉(zhuǎn)公式可知旋轉(zhuǎn)矩陣中的元素都應滿足|aij|≤1(i,j=1,2,3),但是由于數(shù)據(jù)測量和傳遞偏差，會出現(xiàn)式(2)中的某個元素出現(xiàn)|aij|>1的情況并可能造成式(3)無解，為此需要對數(shù)據(jù)經(jīng)行預處理，若|aij|>1，則令aij=aij/|aij|，由式(3)可得：

(4)

則存在8組解滿足條件(3)，為了選取正確的解，將每組解依次代入公式(2)并用最小二乘法計算與式(1)矩陣的偏差值，選取偏差值最小的一組解作為基礎(chǔ)解。

2.4運動數(shù)據(jù)的優(yōu)化和平滑處理

雖然獲得了基礎(chǔ)解使JACK模型的關(guān)節(jié)旋轉(zhuǎn)效果與真實人體關(guān)節(jié)運動近似，但考慮到測量數(shù)據(jù)本身生成和傳遞過程中產(chǎn)生的隨機誤差對計算結(jié)果的影響，還需要在基礎(chǔ)解的基礎(chǔ)上進行一定范圍的優(yōu)化[13-14]，流程如圖6所示。

圖6 運動數(shù)據(jù)的優(yōu)化和平滑處理

優(yōu)化初始令步長d為5°，對任意角度進行優(yōu)化，將優(yōu)化后的結(jié)果代入式(2)并計算與式(1)的偏差，選取使偏差值最小的優(yōu)化角度并將步長減半，考慮到式(2)中矩陣的特殊性，根據(jù)數(shù)據(jù)敏感性的不同，優(yōu)化以φ、θ、ψ的順序進行，合理設(shè)定優(yōu)化次數(shù)滿足最終的偏差值小于1.0。通過多次驗證，優(yōu)化次數(shù)一般不超過3次就能滿足要求，過多過密的設(shè)定優(yōu)化步長和次數(shù)對結(jié)果的影響有限。

運動數(shù)據(jù)的平滑處理，是在獲得當前幀數(shù)據(jù)的基礎(chǔ)上，考慮到由于系統(tǒng)性誤差所產(chǎn)生的壞點，為了保證數(shù)據(jù)的連續(xù)性而對數(shù)據(jù)進行去除壞點和線性擬合的工作，其中線性擬合采用優(yōu)化后的三次樣條差值方法將每幀數(shù)據(jù)與前6幀結(jié)果進行線性擬合[15-16]。

2.5程序開發(fā)

Tecnomatix Jack提供數(shù)據(jù)端口和數(shù)據(jù)通信協(xié)議。所有的動捕設(shè)備提供BVH實時數(shù)據(jù)廣播方式，并提供二次開發(fā)接口。本文通過.NET平臺C#語言實現(xiàn)上述功能開發(fā)。

3 平臺應用

3.1實驗條件

實驗所用的硬件：PC機(Inter Core i7-3770 3.4GHz CPU, 16GB內(nèi)存)， Perception Neuron動捕設(shè)備。軟件開發(fā)環(huán)境： Windows 7, VS 2014, JACK8.0.1-win32, Axis Neuron。

3.2實驗結(jié)果及分析

利用該平臺可直接實時獲得維修性方面的定量和定性的分析，如視野可達，動作可達，維修路徑是否存在干涉的定性分析，還可獲得諸如人體受力分析，疲勞分析，新陳代謝等定量分析。

現(xiàn)采用該平臺針對某型發(fā)動機可調(diào)放氣活門(VBV)作動筒維修性進行驗證評估。試驗場景及驗證結(jié)果如圖7、8所示。

圖7為作動筒拆卸維修性驗證，其中圖7(a)為沉浸式仿真場景，圖7(b)為動作可達性驗證，結(jié)果顯示：由于受到圖示中管道的阻擋，虛擬人不能過于貼近VBV作動筒，同時左手手肘也易與風扇機匣組件發(fā)生干涉。但是虛擬人仍然可以使用左手對VBV作動桿連接部位進行維修操作?？紤]到絕大多數(shù)維修人員慣用手是右手，同時有些操作需要兩只手協(xié)同動作，例如拆卸螺栓等。所以該VBV設(shè)計，在這種維修方式下實體可達性不佳。

(a) 動捕設(shè)備驅(qū)動

(b) 姿態(tài)仿真結(jié)果

(a) 疲勞恢復時間預測

(b) 維修人員OWAS工作姿勢分析

(c) 虛擬人靜強度評估圖表

圖8(a)為疲勞恢復時間預測，結(jié)果表明在設(shè)定的勞動強度下，留有了足夠的休息時間(預留休息的時間2 s,大于所需的1.469 s)，表明虛擬人能夠順利完成工作，勞動強度是舒適適宜的。圖8(b)為維修人員OWAS工作姿勢分析結(jié)果，OWAS工作姿勢分析方法是由芬蘭 Ovako 鋼鐵公司與芬蘭職業(yè)健康研究所聯(lián)合開發(fā)的，用來研究各崗位工人的作業(yè)姿勢是否合理。這種方法適應面較廣，能定性的幫助識別不良的作業(yè)姿勢。模擬結(jié)果表明姿勢(OWAS)代碼為1121，具體內(nèi)容表示虛擬人處于直立垂手雙腳站立小載荷的工作姿態(tài)?？梢娫谡麄€仿真過程中由于都是站立姿態(tài)，且載荷很小，虛擬人始終處于良好的工作姿態(tài)中。圖8(c)為虛擬人靜強度評估圖表，顯示的結(jié)果分別為：能夠完成該任務強度要求的工人百分比；上肢角度(肘、肩、肱骨旋轉(zhuǎn)、膝、踝)和軀干角度(彎曲、旋轉(zhuǎn)、側(cè)彎)；各個關(guān)節(jié)力矩的大?。豢捎藐P(guān)節(jié)的平均力矩大小。在整個仿真過程中所有動作均能被至少95%的虛擬人完成，表明整個維修過程的勞動強度是適宜的，不會對維修人員造成危害。

4 結(jié) 語

從上述實例中可以看出，與傳統(tǒng)維修性分析相比，沉浸式維修性虛擬驗證平臺具有如下特點：①驗證過程和驗證環(huán)境全數(shù)字化，從而支持并行工程在維修領(lǐng)域的實現(xiàn)；②基于虛擬現(xiàn)實技術(shù)的維修性驗證，可以滿足經(jīng)濟性和及時性要求；③虛擬維修過程與實際維修相似一致，因此驗證評估結(jié)果可信度高。

在應用方面，該平臺不僅可適用于維修性科學研究工作，還可應用于維修性設(shè)計實驗教學，因其參與性強，數(shù)據(jù)指標可視化，受到師生的廣泛歡迎。

[1] 郝建平.虛擬維修仿真理論與技術(shù)[M].北京：國防工業(yè)出版社，2008：26-30.

[2] 呂川.維修性設(shè)計分析與驗證[M].北京：國防工業(yè)出版社，2012：287-290.

[3] Siemens Product Lifecycle Management Software Inc. JACK Motion Capture Communication Protocol [EB/OL]. https://www.plm.automation.siemens.com/zh_cn. 2016-07-13.

[4] 汪俊.基于慣性傳感器的動作捕捉系統(tǒng)研究與設(shè)計[D].合肥：中國科學技術(shù)大學，2015.5.

[5] 瞿師. 基于運動捕獲的人體運動生成與編輯關(guān)鍵技術(shù)研究[D].長沙：國防科技大學，2011.6.

[6] Bregler C. Motion capture technology for entertainment in the spotlight[J]. Signal Processing Magazine, IEEE. 2007,24(6): 160-158.

[7] Tan CH, Hou J. Human motion capture data recovery using trajectory-based matrix completion[J].Electronics Letters,2013,49(12):752-755.

[8] Gleicher M. Retargetting motion to new characters[C]//Proceedings of the 25th annual conference on Computer graphics and interactive techniques,1998,32(36): 33-42.

[9] 郭志虎.基于微慣性全姿態(tài)測量的人體運動捕捉系統(tǒng)研究[D].上海：上海交通大學，2013.1.

[10] ZHANG Zhiqiang, WONG Waichoong. Wearable sensors for 3D upper limb motion modeling and ubiquitous estimation[J]. Journal of Control Theory & Applications，2011,9(1):10-17.

[11] Cheen-HauTan, JunHuiHou. Motion capture data recovery using skeleton constrained singular value thresholding [J]. Visual Computer，2014,31(11):1521-1532.

[12] LIU HuaJun, HE FaZhi. Real-time control of human actions using inertial sensors[J]. Sciece China Information Sciences,2014,57(7):1-11.

[13] Noitom Technology Co., Ltd. Neuron datareader runtime API documentation [EB/OL]. http://www.noitom.com.cn, 2016-07-13.

[14] Bernard J, Wilhelm N. Motion explorer: Exploratory search in human motion capture data based on hierarchical aggregation[J]. IEEE Transactions on Visualization and Computer Graphics，2013,19(12):2257-2265.

[15] 戴若犁,劉昊揚.一種組合式運動捕捉系統(tǒng)：中國，201410440797.7[P].2014-09-01.

[16] 蔡山，張浩.基于最小二乘法的分段三次曲線擬合方法研究[J].科學技術(shù)與工程， 2007,7(3):352-355.

ResearchandDevelopmentofImmersionVirtualRealityMaintainabilityVerificationPlatform

GUOQing,SALu,HUANGYifeng,LIUXinjie

(College of Aeronautic Engineering, Civil Aviation University of China, Tianjin 300300, China)

Immersion virtual reality maintainability verification platform is based on virtual reality technique, it consists of motion capture gears, projector system and driven software. Real-time captured human motion was processed and retargeted to another anthropometry virtual-reality model, while preserving the original motion characteristics. Data enhancement algorithm which was based on joint position was used to correct deviation of joint angles calculation, could improve the accuracy in both joint angles and positions. Experimental results show that this platform is reliable, convenient and flexible, and as a by-product, the platform could also be used for experiment and teaching.

maintainability verification; virtual reality; immersion; motion retargeting

TP 391.9

A

1006-7167(2017)09-0092-05

2016-11-15

國家級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目(201610059005)

郭 慶(1976-)，男，湖南郴州人，副教授，碩士生導師，主要研究方向裝備綜合保障。Tel.：13920046759；E-mail：qguo_cauc@sina.com