黃一峰+陸詩楠+吳予忠+王娜+何曦

摘 要：隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，虛擬維修在工業(yè)設(shè)備保障領(lǐng)域越來越受到重視。該文將基于一款國際上廣泛認(rèn)可的人機(jī)功效評估平臺——Jack平臺，以民用航空器使用環(huán)境為背景，進(jìn)行虛擬維修仿真作業(yè)。此處，我們將對航空發(fā)動機(jī)電子樣機(jī)的起動機(jī)維護(hù)項(xiàng)目進(jìn)行虛擬仿真，并在此基礎(chǔ)上，輔之動作捕捉設(shè)備，頭戴式虛擬現(xiàn)實(shí)顯示設(shè)備，進(jìn)行動作捕捉數(shù)據(jù)的骨骼驅(qū)動。

關(guān)鍵詞：虛擬維修 Jack平臺 動作捕捉 虛擬現(xiàn)實(shí)

中圖分類號：TP39 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2017）02（c）-0145-06

Abstract：With the development of virtual reality technology， virtual maintenance in the field of industrial equipment support more and more attention. This article will be based on an internationally recognized human-machine efficiency evaluation platform--Jack， to the civil aircraft environment for the background， the virtual maintenance simulation operations. Here， we will be on the aero engine electronic prototype of the starter maintenance project virtual simulation， and on this basis， supplemented by the motion capture device， head-mounted virtual reality display device， the motion capture data of bone-driven.

Key Words：Virtual maintenance；Jack； Motion Capture；Virtual Reality

從目前航空器等工程機(jī)械的發(fā)展境況來看，維修成為在研發(fā)能力已有保障的前提下，限制工程機(jī)械廣泛、高效應(yīng)用的短板。該類產(chǎn)品的高成本性及整體與部分的緊密聯(lián)系性，是對維修性驗(yàn)證技術(shù)的極大需求。因此，文中技術(shù)的應(yīng)用，可減少設(shè)計階段的迭代次數(shù)，提高維修性。而且，維修手冊的編制也可由該項(xiàng)目的支持更加具有實(shí)用性。同時，Jack平臺的開放性，虛擬現(xiàn)實(shí)設(shè)備的普及化，計算機(jī)技術(shù)的進(jìn)步，為該項(xiàng)目的實(shí)施提供了可行性。

文章主要從兩個方面進(jìn)行闡述，第一個是基于Jack平臺的虛擬維修的仿真作業(yè)（起動機(jī)維護(hù)項(xiàng)目的虛擬仿真）；第二個就是輔之動作捕捉設(shè)備，通過對穿戴人員的動作采集，實(shí)時地傳入計算機(jī)并進(jìn)行數(shù)據(jù)處理，然后導(dǎo)入Jack平臺中，骨骼綁定驅(qū)動平臺中的虛擬人進(jìn)行運(yùn)動，并將所見視野再實(shí)時傳出來。

1 平臺介紹

該部分主要介紹人機(jī)功效評估平臺Jack和動作捕捉設(shè)備（Neuron）。

1.1 Jack平臺

JackTM是一個人體建模與仿真以及人機(jī)工效評價軟件解決方案，幫助各行業(yè)的組織提高產(chǎn)品設(shè)計的工效學(xué)因素和改進(jìn)車間的任務(wù)。JackTM最初是由賓夕法尼亞大學(xué)的人體模型和模擬中心（Center for Human Modeling and Simulation at the University of Pennsylvania） 開發(fā)，目前是西門子PLM旗下的軟件解決方案一員。如圖1所示，使用Jack可以：

（1）建立一個虛擬的環(huán)境；

（2）創(chuàng)建一個虛擬人；

（3）定義人體形狀和生理參數(shù)；

（4）把人加入虛擬環(huán)境中；

（5）給虛擬人指派任務(wù)；

（6）分析虛擬人體如何執(zhí)行任務(wù)；

（7）對于虛擬人進(jìn)行工效學(xué)評價；

（8）支持多種虛擬現(xiàn)實(shí)外設(shè)。

1.2 動作捕捉設(shè)備（Neuron）

Neuron動捕系統(tǒng)是一款輕便、靈活的高性能動作捕捉系統(tǒng)。這個高度模塊化的系統(tǒng)基于Neuron傳感器：全世界最小的，集成了加速度計、陀螺儀以及磁力計的慣性測量傳感器節(jié)點(diǎn)。這套系統(tǒng)的強(qiáng)大之處不僅僅是因?yàn)檫@枚性能優(yōu)秀的超小型傳感器，還在于Neuron研發(fā)團(tuán)隊(duì)對于數(shù)據(jù)融合、人體動力學(xué)和物理法則的深刻理解讓捕捉流暢、自然與低延遲的人體動作成為可能（見圖2）。

2 基于Jack平臺的虛擬仿真

2.1 仿真環(huán)境創(chuàng)建

Jack三維仿真環(huán)境的創(chuàng)建主要是通過向場景中導(dǎo)入實(shí)體來實(shí)現(xiàn)的。Jack軟件自身就提供了豐富的實(shí)體數(shù)據(jù)庫，用戶可以直接在實(shí)體數(shù)據(jù)庫中尋找自己需要的實(shí)體工具，通過導(dǎo)入實(shí)體命令將實(shí)體導(dǎo)入指定的環(huán)境，并通過移動實(shí)體到合適的位置以創(chuàng)建符合用戶需求的三維仿真環(huán)境。

2.2 仿真制作工具

Animation和TSB是Jack軟件提供的兩種仿真動畫制作工具，這兩個工具在使用上和輸出上各有自己的優(yōu)勢和特點(diǎn)。Animation工具可以控制虛擬人的頭部、眼睛、軀干、骨盆、質(zhì)心、手臂、手、腳的動作，而且各部位的動作可以同時進(jìn)行，并且指定時間間隔。TSB工具即人物仿真創(chuàng)建工具，與Animation相比，TSB創(chuàng)建任務(wù)流程更加方便，TSB工具中包含虛擬人和實(shí)體工具的基本運(yùn)動模型。

2.3 起動機(jī)簡介

起動機(jī)驅(qū)動發(fā)動機(jī)，用于發(fā)動機(jī)的起動和運(yùn)行過程中。它是通過將氣體的壓力能轉(zhuǎn)變?yōu)闄C(jī)械能實(shí)現(xiàn)對發(fā)動機(jī)的驅(qū)動。

2.4 維修任務(wù)描述

起動機(jī)位于發(fā)動機(jī)的左前部，擁有兩個端口，一個是進(jìn)氣端，為起動機(jī)供氣，驅(qū)動起動機(jī)工作，另一個端口為輸出端，帶動發(fā)動機(jī)工作，驅(qū)動發(fā)動機(jī)。在起動機(jī)外側(cè)的后端下部，安裝有磁堵，在拆起動機(jī)前，需要先拆下磁堵，放出起動機(jī)殼體中殘存的的滑油（見圖3）。

2.5 起動機(jī)拆卸任務(wù)分解

該任務(wù)由human和human0兩個虛擬人共同完成，為了提高效率，對兩個人的工作進(jìn)行分工，共同完成任務(wù)。

我們將任務(wù)分成3個階段：

（1）放泄滑油，human拆下磁堵，human0使用集油盆接滑油。

（2）拆卸起動機(jī)與其他部位的連接，human 使用扳手拆下連接卡環(huán)，human0用雙手穩(wěn)定起動機(jī)。

（3）拆下起動機(jī)，human0拆下起動機(jī)并加上堵塞，human為供氣管加上堵塞。

2.6 仿真任務(wù)

對于任務(wù)的仿真，根據(jù)分解的仿真流程，編輯出每一個時間段的工作姿勢，將工作姿勢賦予相應(yīng)的工作時間，就可以得到一段段的仿真片段，將每個仿真片段進(jìn)行拼接，得到每個工作階段的仿真動畫，再將各個階段的仿真動畫進(jìn)行調(diào)整拼接，就可以得到一個完整任務(wù)的仿真動畫，因?yàn)槊恳欢蔚男∑味伎梢赃M(jìn)行單獨(dú)編輯，所以當(dāng)某些動作姿態(tài)不協(xié)調(diào)或者不合理時，就可以對單個片段進(jìn)行修改，再進(jìn)行重新拼接，這樣就可以很大程度上減輕工作量。

在創(chuàng)建仿真動畫的過程中將Animation、TSB和channel交替混合使用，可以減輕工作量，加快進(jìn)度，并且能提高仿真的精準(zhǔn)性和真實(shí)性。例如在進(jìn)行抓取動作時，將抓取動作分為抓取前動作和抓取后動作，抓取前的動作可以使用TSB或Animation工具進(jìn)行動作設(shè)計，在使用TSB工具時可以直接將仿真動畫保存為channel文件或者將仿真動畫轉(zhuǎn)換為Animation動畫再將其保存成channel文件，即制作完成抓取動作的仿真（見圖4、圖5）。

3 基于Jack平臺的動作捕捉驅(qū)動

Jack平臺自身是支持動捕設(shè)備的驅(qū)動的，但是由于骨骼匹配的問題，使得一些主流的動捕設(shè)備或者主流的動作捕捉數(shù)據(jù)格式并不能原生支持。在此，我們通過自己的算法對獲取的動捕數(shù)據(jù)進(jìn)行處理，然后進(jìn)行導(dǎo)入驅(qū)動。

3.1 操作流程

具體操作流程見圖6。

3.2 數(shù)據(jù)通訊端口的準(zhǔn)備工作

3.2.1 動作捕捉設(shè)備

首先，要把動作捕捉設(shè)備的配套軟件中的數(shù)據(jù)輸出端口打開，后文會講到具體數(shù)據(jù)格式的使用，考慮到數(shù)據(jù)處理的對比和優(yōu)化，在此選擇全部打開（見圖7）。

3.2.2 Jack平臺的Mocap Communication Port

如圖8所示，我們選用默認(rèn)的端口號4085即可，然后點(diǎn)擊“Start Server”。

3.3 啟動前準(zhǔn)備

系統(tǒng)啟動前還需要對設(shè)備連通性檢查、初始姿態(tài)的校準(zhǔn)，以及Jack虛擬環(huán)境中虛擬人的布置和檢查。在這里，主要取決于所采用的動作捕捉設(shè)備廠商的要求。在完成啟動前的準(zhǔn)備，就可以進(jìn)行動捕驅(qū)動任務(wù)了。

3.4 動作捕捉數(shù)據(jù)的處理

3.4.1 骨骼轉(zhuǎn)換問題

前文有提到，Jack所采用的骨骼結(jié)構(gòu)和我們現(xiàn)采用的動捕設(shè)備的骨骼結(jié)構(gòu)是不一樣的。前者主要是基于賓夕法尼亞人體建模中心所研究出來的人機(jī)工程模型，而后者為標(biāo)準(zhǔn)的BVH骨骼模型。

通俗來講，就是Jack骨骼更像是一個人，完全基于人的機(jī)理所搭建的一個骨骼模型，其受到一些人體生理功能的約束，比如各軀干、肢體的旋轉(zhuǎn)和位移角度都是有限制的；而BVH骨骼模型可以看成是一個機(jī)器人，并沒有太多的約束限制。

除此之外，兩種骨骼的差別還在于關(guān)節(jié)點(diǎn)的不同。此處列出骨骼編號對照表（見表1）。

按照此骨骼編號對照表，寫出相應(yīng)的算法進(jìn)行數(shù)據(jù)的處理。

3.4.2 動捕數(shù)據(jù)的格式

通過一定的實(shí)驗(yàn)，我們發(fā)現(xiàn)采用BVH數(shù)據(jù)流的處理方案累計誤差較大，Jack中的虛擬人關(guān)節(jié)扭曲較明顯，檢查研究后發(fā)現(xiàn)，算法不是主要問題，而在數(shù)據(jù)流的降噪上可能有一定的欠缺，而這部分屬于動捕設(shè)備的內(nèi)部處理，所以研究后決定，采用中間級數(shù)據(jù)（Calculation Data）進(jìn)行處理。

All the data types：

World coordinate displacement：X（X、Y、Z），unit is meter.

World coordinate displacement：V（X、Y、Z），unit is meter per second. World Coordinate modules posture data：Q（W、X、Y、Z）.

Module coordinate accelerated speed：A（X、Y、Z），unit is g.

Module coordinate accelerated speed：M（X、Y、Z），unit is radian per second.

圖9為編寫完成的數(shù)據(jù)處理及發(fā)送軟件。

3.5 Jack平臺中的骨骼驅(qū)動

驅(qū)動Jack人物模型需要輸入20個關(guān)節(jié)點(diǎn)的位置和角度坐標(biāo)。

如表2所示：按順序開啟系統(tǒng)后，我們啟動編寫好的數(shù)據(jù)處理及發(fā)送軟件，然后將處理好的數(shù)據(jù)發(fā)送到Jack平臺中。添加虛擬人，并進(jìn)行骨骼綁定，然后就可以成功驅(qū)動Jack平臺中的虛擬人進(jìn)行運(yùn)動了。

骨骼綁定時，打開Motion Capture選項(xiàng)中的Tracking Setup，選取虛擬人Hunman和骨骼數(shù)據(jù)CaucMan，然后進(jìn)行骨骼綁定（見圖10、圖11）。

3.6 視野返回目標(biāo)對象

為了達(dá)到虛擬現(xiàn)實(shí)的體驗(yàn)效果，我們需要把被驅(qū)動的虛擬人所看到的視野返回到穿戴人員的眼鏡中。此處我們使用Jack平臺中的模擬左右眼視窗的功能，然后對視窗的景深等圖像參數(shù)進(jìn)行一定的調(diào)整后，分別發(fā)送到目標(biāo)對象佩戴的眼鏡中，以此達(dá)到完整的虛擬維修體驗(yàn)效果。

4 結(jié)語

在項(xiàng)目開展過程中，遇到不少問題。比如無線數(shù)據(jù)傳輸問題，骨骼點(diǎn)的轉(zhuǎn)換問題，數(shù)據(jù)處理帶來的延遲問題，尤其是在中間級數(shù)據(jù)（Calculated Data）類型的選取和換算問題上，經(jīng)過反復(fù)試驗(yàn)和優(yōu)化，最后選取以世界絕對坐標(biāo)（Global Position）為主的數(shù)據(jù)進(jìn)行轉(zhuǎn)換、計算來獲得最終所需的結(jié)果數(shù)據(jù)。相比于動捕驅(qū)動，傳統(tǒng)的虛擬維修仿真從技術(shù)難度上講相對要容易一些，但其獨(dú)立于動捕驅(qū)動的優(yōu)點(diǎn)在于該作業(yè)仿真可以進(jìn)行維修性評價分析，從未對維修作業(yè)決策提供很好的參考。

參考文獻(xiàn)

[1] 王異香.基于虛擬維修仿真的人機(jī)工效分析研究[D].南京航空航天大學(xué)，2007.

[2] 王海燕.虛擬現(xiàn)實(shí)環(huán)境下動作分析與人因工效評價方法研究[D].浙江理工大學(xué)，2014.

[3] 劉毅，劉佳.維修技術(shù)發(fā)展綜述[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2009（11）：1519-1534.

[4] 陳萌，陳立平.基于人機(jī)工效學(xué)的人體建模和運(yùn)動仿真[J].機(jī)械科學(xué)與技術(shù)，2001（4）：597-599.