楊俊超， 史　越， 楊達(dá)玲， 周宏偉

(空軍工程大學(xué)裝備管理與安全工程學(xué)院， 陜西 西安 710051)

?

基于動(dòng)作捕捉的航空裝備虛擬維修訓(xùn)練系統(tǒng)

楊俊超， 史越， 楊達(dá)玲， 周宏偉

(空軍工程大學(xué)裝備管理與安全工程學(xué)院， 陜西 西安 710051)

為滿足航空裝備維修訓(xùn)練手段創(chuàng)新的需求，設(shè)計(jì)了一種基于動(dòng)作捕捉技術(shù)的航空裝備虛擬維修訓(xùn)練系統(tǒng)。該系統(tǒng)由動(dòng)作捕捉系統(tǒng)、虛擬人軟件、場(chǎng)景及裝備維修模型、立體投影以及數(shù)據(jù)手套等模塊組成，具備航空維修流程、拆卸裝配、故障分析與排除等虛擬訓(xùn)練功能。以某型飛機(jī)主機(jī)輪拆裝任務(wù)的虛擬維修訓(xùn)練為例進(jìn)行了應(yīng)用分析，結(jié)果表明該系統(tǒng)能滿足設(shè)計(jì)功能要求。

航空裝備； 虛擬維修訓(xùn)練； 動(dòng)作捕捉

航空裝備系統(tǒng)結(jié)構(gòu)復(fù)雜，作戰(zhàn)使用需求多變，對(duì)維修人員的專業(yè)技術(shù)水平與綜合能力要求很高。傳統(tǒng)“理論學(xué)習(xí)、帶教帶練、上崗操作”維修訓(xùn)練方式的能力生成周期長(zhǎng)、效費(fèi)比低，已不能很好地適應(yīng)未來(lái)航空裝備維修訓(xùn)練的需求[1]。隨著虛擬現(xiàn)實(shí)(Visual Reality)技術(shù)的發(fā)展，虛擬維修訓(xùn)練成為一種有效的輔助訓(xùn)練手段，受到了廣泛關(guān)注[2]。但是，作為虛擬現(xiàn)實(shí)系統(tǒng)中最重要的交互體，虛擬人技術(shù)目前尚存在以下難點(diǎn)問(wèn)題：一是虛擬人建模復(fù)雜，必須滿足人體外形、骨骼結(jié)構(gòu)和運(yùn)動(dòng)特征等方面逼真性的要求，自主開(kāi)發(fā)難度極大；二是現(xiàn)有商業(yè)虛擬人(如JACK等)實(shí)現(xiàn)虛擬人運(yùn)動(dòng)過(guò)程與真實(shí)人體運(yùn)動(dòng)的結(jié)合較難，只能通過(guò)預(yù)設(shè)路徑或頻繁人工控制進(jìn)行運(yùn)動(dòng)狀態(tài)的改變，導(dǎo)致實(shí)時(shí)性不佳[3]。

上述問(wèn)題由于動(dòng)作捕捉(Motion Capture)技術(shù)的快速發(fā)展而獲得了一個(gè)很好的解決方案?；趧?dòng)作捕捉的虛擬人運(yùn)動(dòng)控制以真實(shí)的人體運(yùn)動(dòng)參數(shù)為輸入，實(shí)時(shí)性好，精確度高，能有效反映維修人員的運(yùn)動(dòng)特征[4]。將動(dòng)作捕捉技術(shù)引入虛擬維修訓(xùn)練系統(tǒng)，可獲得更好的沉浸感和更自然的交互性，對(duì)提高虛擬維修訓(xùn)練系統(tǒng)的使用效能具有重要的作用。

現(xiàn)實(shí)中，將動(dòng)作捕捉技術(shù)應(yīng)用于虛擬維修訓(xùn)練的技術(shù)難點(diǎn)在于實(shí)現(xiàn)動(dòng)作捕捉系統(tǒng)與虛擬人的交連。本文的解決思路是在成熟虛擬人軟件(JACK)的基礎(chǔ)上進(jìn)行二次開(kāi)發(fā)：1)開(kāi)發(fā)接口程序，解決動(dòng)作捕捉系統(tǒng)與JACK軟件通信與匹配的問(wèn)題；2)基于RBA和Kinematics的虛擬人運(yùn)動(dòng)控制方法，實(shí)現(xiàn)利用動(dòng)作捕捉數(shù)據(jù)驅(qū)動(dòng)JACK虛擬人。最后通過(guò)應(yīng)用分析對(duì)系統(tǒng)的性能及訓(xùn)練效果進(jìn)行驗(yàn)證。

1　基于JACK的二次開(kāi)發(fā)

1.1動(dòng)作捕捉系統(tǒng)與JACK接口程序

JACK是目前非常優(yōu)秀的人體建模仿真軟件(圖1)，擴(kuò)充性、靈活性、開(kāi)放性好，被廣泛應(yīng)用于裝備及產(chǎn)品設(shè)計(jì)的可視化仿真驗(yàn)證、虛擬訓(xùn)練以及人機(jī)工效分析研究[5]。

圖1　JACK軟件

由于JACK只能在已編輯好的虛擬人動(dòng)作庫(kù)中選取動(dòng)作選項(xiàng)并編排使用，不能滿足實(shí)時(shí)交互的需求，且目前版本不能兼容動(dòng)作捕捉系統(tǒng)，因此筆者開(kāi)發(fā)了動(dòng)作捕捉系統(tǒng)與JACK接口程序(OWL for Jack)，以實(shí)現(xiàn)二者的連接。

首先，通過(guò)設(shè)置JACK的API、SDK和DLLs實(shí)現(xiàn)通信操作，主要控制命令包括：1)Recap，提供簡(jiǎn)明編輯、過(guò)濾和連接運(yùn)動(dòng)數(shù)據(jù)功能；2)Paint，顯示和記錄軌跡；3)Robot，按需要應(yīng)用1個(gè)或2個(gè)機(jī)械臂及其他設(shè)備來(lái)表現(xiàn)虛擬現(xiàn)實(shí)/增強(qiáng)顯示景觀；4)Docking，形態(tài)設(shè)置(x，y，z，滾動(dòng)，坡面，偏移)；5)Juggling，虛擬綜合運(yùn)動(dòng)訓(xùn)練。然后，進(jìn)行動(dòng)作捕捉標(biāo)記點(diǎn)與JACK虛擬人關(guān)節(jié)匹配，匹配效果如圖2所示。

圖2　標(biāo)記點(diǎn)與JACK虛擬人匹配效果

1.2JACK虛擬人運(yùn)動(dòng)控制方法

標(biāo)記點(diǎn)與JACK匹配之后，如需運(yùn)用動(dòng)作捕捉數(shù)據(jù)進(jìn)行運(yùn)動(dòng)驅(qū)動(dòng)，則必須解決虛擬人運(yùn)動(dòng)控制問(wèn)題。剛體假設(shè)(Rigid Body Assumption，RBA)把人體各肢體假想成剛體，剛體之間用鉸鏈連接，相鄰剛體之間的自由度可以由設(shè)計(jì)者確定[6]，適合應(yīng)用于基于實(shí)時(shí)數(shù)據(jù)的虛擬人運(yùn)動(dòng)控制。圖3為RBA剛體創(chuàng)建。

圖3　RBA剛體創(chuàng)建

設(shè)定剛體之后，以動(dòng)作捕捉數(shù)據(jù)為輸入，通過(guò)運(yùn)動(dòng)學(xué)(Kinematics)方法，即可解算出其余剛體及末端的空間位置與運(yùn)動(dòng)狀態(tài)參數(shù)。以虛擬人手臂為例，將其定義為由一個(gè)旋轉(zhuǎn)關(guān)節(jié)S2(肘關(guān)節(jié)，1個(gè)自由度，旋轉(zhuǎn)角為θ4)連接2個(gè)受限球關(guān)節(jié)S1與S3(肩關(guān)節(jié)和腕關(guān)節(jié)，3個(gè)自由度，旋轉(zhuǎn)角分別為θ1、θ2、θ3和θ5、θ6、θ7)形成的開(kāi)放運(yùn)動(dòng)鏈，稱為Human Arm Link(HAL)關(guān)節(jié)鏈[7]。手臂HAL關(guān)節(jié)鏈結(jié)構(gòu)如圖4所示。

圖4　手臂HAL關(guān)節(jié)鏈結(jié)構(gòu)

對(duì)于HAL，由于關(guān)節(jié)的旋轉(zhuǎn)角已知，而且關(guān)節(jié)之間的平移固定，因此易得到關(guān)節(jié)之間的變換矩陣。關(guān)節(jié)S3到關(guān)節(jié)S1的變換矩陣表示為

M=T1AT2BT3,

式中：

為S1的平移矩陣，其中，R1(θ1,θ2,θ3)為S1的旋轉(zhuǎn)矩陣，01×3為1×3的0矩陣；

為關(guān)節(jié)S2到關(guān)節(jié)S1的常變換矩陣；

為S2的平移矩陣，其中R2(θ4)為S2的旋轉(zhuǎn)矩陣；

為關(guān)節(jié)S3到關(guān)節(jié)S2的常變換矩陣；

為S3的平移矩陣，其中R3(θ5,θ6,θ7)為S3的旋轉(zhuǎn)矩陣。

對(duì)于關(guān)節(jié)S3局部坐標(biāo)系中的任意一點(diǎn)p0(x0,y0,z0)，在S1局部坐標(biāo)系中的對(duì)應(yīng)坐標(biāo)為(x,y,z)，則有

x=fx(θ1,θ2,θ3,θ4,θ5,θ6,θ7)，

y=fy(θ1,θ2,θ3,θ4,θ5,θ6,θ7)，

z=fz(θ1,θ2,θ3,θ4,θ5,θ6,θ7)。

式中：fx、 fy、 fz為連續(xù)函數(shù)。

經(jīng)二次開(kāi)發(fā)的JACK軟件順利兼容了動(dòng)作捕捉系統(tǒng)，運(yùn)行穩(wěn)定流暢，實(shí)現(xiàn)了很好的運(yùn)動(dòng)控制效果，可用于虛擬維修訓(xùn)練。OWLforJack接口測(cè)試效果如圖5所示。

圖5　OWL for Jack接口測(cè)試效果

2　系統(tǒng)設(shè)計(jì)

2.1系統(tǒng)功能與使用流程設(shè)計(jì)

根據(jù)對(duì)虛擬維修訓(xùn)練系統(tǒng)的功能要求[8-9]，該系統(tǒng)主要功能包括：1)原理結(jié)構(gòu)演示，受訓(xùn)人員能夠通過(guò)視頻、音頻、文字等手段學(xué)習(xí)裝備的原理，展示裝備的外部結(jié)構(gòu)和透視圖；2)拆裝訓(xùn)練，訓(xùn)練受訓(xùn)人員對(duì)裝備分系統(tǒng)或者零部件的正確分解與結(jié)合，可細(xì)分為自動(dòng)的分解與結(jié)合、帶有引導(dǎo)的分解與結(jié)合和考核性的分解與結(jié)合；3)故障排除，演示裝備常見(jiàn)的故障現(xiàn)象，指導(dǎo)受訓(xùn)人員找到故障原因并排除故障；4)評(píng)估考核，對(duì)受訓(xùn)人員的整個(gè)維修過(guò)程進(jìn)行評(píng)估，記錄受訓(xùn)人員的錯(cuò)誤操作，并給出正確的指導(dǎo)，從而起到提高和考核受訓(xùn)人員的作用。系統(tǒng)功能與使用流程如圖6所示。

圖6　系統(tǒng)功能與使用流程

2.2系統(tǒng)軟硬件組成

根據(jù)航空裝備維修訓(xùn)練實(shí)際需求，采用成熟、先進(jìn)的軟硬件技術(shù)與產(chǎn)品，基于動(dòng)作捕捉技術(shù)建立起沉浸感強(qiáng)、交互控制便捷有效的仿真環(huán)境。系統(tǒng)組成如圖7所示，主要包括Phase space動(dòng)作捕捉系統(tǒng)、Jack虛擬人系統(tǒng)、虛擬維修訓(xùn)練場(chǎng)景及裝備維修模型、Vivitek立體投影系統(tǒng)以及數(shù)據(jù)手套(Data Glove)等。

圖7　系統(tǒng)組成

1)Phase space動(dòng)作捕捉系統(tǒng)。包括數(shù)據(jù)服、高清攝像機(jī)、LED發(fā)光點(diǎn)、無(wú)線控制器(Controller)、無(wú)線連接基站和數(shù)據(jù)處理服務(wù)器，如圖8所示。

圖8　Phase space系統(tǒng)硬件組成

Phase space系統(tǒng)通過(guò)3D主動(dòng)光學(xué)式動(dòng)作捕捉技術(shù)與先進(jìn)數(shù)據(jù)處理軟件能力來(lái)獲得很高的捕捉品質(zhì)，攝像機(jī)分辨率為3 600×3 600像素，動(dòng)作捕捉速度可達(dá)480幀/s。在動(dòng)作捕捉過(guò)程中，調(diào)用8個(gè)攝像機(jī)(布置在半徑為4～8 m的圓環(huán))，對(duì)空間中所有貼附在數(shù)據(jù)衣上的超亮紅LED發(fā)光點(diǎn)進(jìn)行高速掃描，對(duì)標(biāo)記點(diǎn)進(jìn)行三角測(cè)量，獲得光標(biāo)點(diǎn)相對(duì)于攝像機(jī)的具體位置信息(在10 m的范圍時(shí)，解析度可達(dá)0.1 mm)。攝像機(jī)對(duì)數(shù)據(jù)進(jìn)行初步處理，通過(guò)高速網(wǎng)線將結(jié)果傳輸給數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)融合再分析，最終確定標(biāo)記點(diǎn)的空間精確位置信息。對(duì)各LED發(fā)光點(diǎn)的空間信息進(jìn)行綜合分析處理，從而獲得整個(gè)人體的運(yùn)動(dòng)數(shù)據(jù)。

2)虛擬維修訓(xùn)練場(chǎng)景及裝備維修模型。虛擬場(chǎng)景及三維模型采用CATIA、Maya等軟件開(kāi)發(fā)，建立維修對(duì)象、維修資源和維修過(guò)程等維修要素，以及訓(xùn)練過(guò)程、訓(xùn)練信息等數(shù)據(jù)模塊[10]。一個(gè)典型的虛擬維修訓(xùn)練場(chǎng)景如圖9所示。

3)Vivitek立體投影系統(tǒng)。主要包括主動(dòng)快門式3D眼鏡、立體投影儀和背投軟幕，實(shí)現(xiàn)沉浸感較強(qiáng)的虛擬維修訓(xùn)練可視化環(huán)境。

3　系統(tǒng)應(yīng)用與分析

以某型飛機(jī)主機(jī)輪拆裝任務(wù)的虛擬維修訓(xùn)練為例進(jìn)行應(yīng)用分析，機(jī)輪拆裝訓(xùn)練過(guò)程片段如圖10所示。

圖10　機(jī)輪拆裝訓(xùn)練過(guò)程片段

3.1內(nèi)容與步驟

1)實(shí)施準(zhǔn)備。在訓(xùn)練前，學(xué)員佩戴主動(dòng)快門式3D眼鏡，穿上動(dòng)作捕捉系統(tǒng)數(shù)據(jù)衣，戴上數(shù)據(jù)手套，開(kāi)啟LED光源。

2)開(kāi)啟動(dòng)作捕捉系統(tǒng)捕捉人體運(yùn)動(dòng)信號(hào)。通過(guò)OWL for Jack接口程序，將采集到的光學(xué)信號(hào)與JACK人體模型相應(yīng)的肢體活動(dòng)點(diǎn)對(duì)應(yīng)綁定，實(shí)現(xiàn)學(xué)員與虛擬人同步運(yùn)動(dòng)。

3)選擇訓(xùn)練科目。登錄維修訓(xùn)練系統(tǒng)，根據(jù)訓(xùn)練科目，從故障特征數(shù)據(jù)庫(kù)中讀取故障數(shù)據(jù)并進(jìn)行模型初始化。本次的訓(xùn)練科目是某型飛機(jī)主機(jī)輪的拆裝，系統(tǒng)從數(shù)據(jù)庫(kù)中讀取“主機(jī)輪到壽”數(shù)據(jù)，并對(duì)機(jī)輪模型進(jìn)行模擬實(shí)現(xiàn)。

4)工具選擇。判斷是否需要檢測(cè)儀器和維修工具，本科目需要使用專用扳手，系統(tǒng)從儀器工具數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)模型并生成儀器工具供學(xué)員使用。

5)診斷。進(jìn)行診斷操作，通過(guò)主機(jī)輪輪胎磨損情況判斷主機(jī)輪已到壽，必須進(jìn)行更換。

6)維修訓(xùn)練操作。學(xué)員通過(guò)沉浸式立體顯示系統(tǒng)，按照維修規(guī)程完成訓(xùn)練任務(wù)。

7)訓(xùn)練評(píng)估。訓(xùn)練操作完成后，由系統(tǒng)判斷任務(wù)是否完成或故障是否排除，對(duì)學(xué)員操作表現(xiàn)、細(xì)節(jié)習(xí)慣和操作時(shí)間等因素進(jìn)行評(píng)估打分，并上傳學(xué)員訓(xùn)練檔案和教員數(shù)據(jù)庫(kù)。

3.2應(yīng)用分析

3.2.1系統(tǒng)性能

應(yīng)用過(guò)程中，系統(tǒng)運(yùn)行流程穩(wěn)定，交互性好，虛擬人運(yùn)動(dòng)較為自然真實(shí)，滿足設(shè)計(jì)功能要求。系統(tǒng)準(zhǔn)備時(shí)間≤1 min，維修響應(yīng)時(shí)間≤2 s，幀頻≥30幀/s，性能滿足虛擬維修訓(xùn)練的實(shí)際需求。

3.2.2訓(xùn)練效果

根據(jù)系統(tǒng)評(píng)估數(shù)據(jù)，并對(duì)學(xué)員進(jìn)行問(wèn)卷調(diào)查，對(duì)基于動(dòng)作捕捉的航空裝備虛擬維修訓(xùn)練系統(tǒng)進(jìn)行訓(xùn)練效果分析。結(jié)果表明：該系統(tǒng)在訓(xùn)練消耗時(shí)間上具備明顯優(yōu)勢(shì)(圖11)；在理解維修目的(訓(xùn)練目標(biāo)1)、熟悉裝備結(jié)構(gòu)(訓(xùn)練目標(biāo)2)、了解維修要求(訓(xùn)練目標(biāo)3)、熟練維修流程(訓(xùn)練目標(biāo)4)和掌握維修方法(訓(xùn)練目標(biāo)5)等方面，學(xué)員具有更高的滿意度(圖12)。

圖11　不同時(shí)間內(nèi)完成訓(xùn)練的人數(shù)分布

圖12　訓(xùn)練目標(biāo)滿意度對(duì)比

4　結(jié)論

筆者綜合運(yùn)用虛擬現(xiàn)實(shí)和動(dòng)作捕捉等技術(shù)，開(kāi)發(fā)了航空裝備虛擬維修訓(xùn)練系統(tǒng)。通過(guò)沉浸式人機(jī)交互操作，向?qū)W員展示航空裝備的結(jié)構(gòu)和組成原理，并對(duì)三維零部件模型實(shí)現(xiàn)拆裝、維修，從而指導(dǎo)學(xué)員完成維修訓(xùn)練科目，達(dá)到維修訓(xùn)練的良好效果。該系統(tǒng)的主要特點(diǎn)如下：

1)采用層次化、模塊化設(shè)計(jì)，對(duì)不同類型的航空裝備有較好的兼容性，增強(qiáng)了系統(tǒng)擴(kuò)展性，降低了系統(tǒng)后期維護(hù)成本。

2)采用動(dòng)作捕捉技術(shù)進(jìn)行虛擬人驅(qū)動(dòng)，實(shí)現(xiàn)了沉浸感較強(qiáng)的人機(jī)交互。動(dòng)作捕捉技術(shù)避免了傳統(tǒng)虛擬人建模與運(yùn)動(dòng)控制的技術(shù)復(fù)雜性，降低了使用難度，提高了系統(tǒng)的易部署性。

3)開(kāi)發(fā)接口軟件實(shí)現(xiàn)了Phase space系統(tǒng)與Jack的有效連接，解決了因Jack虛擬人系統(tǒng)不支持該動(dòng)作捕捉系統(tǒng)而導(dǎo)致交互性不佳的問(wèn)題。

4)可進(jìn)一步對(duì)裝備的維修性和人機(jī)工效等特性進(jìn)行驗(yàn)證評(píng)估，為學(xué)員的科研探索與創(chuàng)新實(shí)踐提供了實(shí)驗(yàn)平臺(tái)支持。

[1]辛文逵,常碩,趙彬.空軍飛機(jī)裝備維修訓(xùn)練現(xiàn)狀、問(wèn)題與對(duì)策[J].航空維修與工程,2010，(3):10-11.

[2]劉佳,劉毅.虛擬維修技術(shù)發(fā)展綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2009,21(11):6-12.

[3]周韜.動(dòng)作捕捉技術(shù)在虛擬現(xiàn)實(shí)中的應(yīng)用[D].西安：西安電子科技大學(xué),2013.

[4]朱彥軍,姜國(guó)華.虛擬現(xiàn)實(shí)中虛擬人體模型概述[J].計(jì)算機(jī)仿真,2004,21(1):11-13.

[5]方傳磊,方傳磊,蘇群星,等.導(dǎo)彈裝備虛擬維修訓(xùn)練系統(tǒng)通用平臺(tái)[J].計(jì)算機(jī)工程,2009,35(3):274-276.

[6]Liu Y, Badler N I. Real-time Reach Planning for Animated Characters Using Hardware Acceleration[C]∥Proceedings of the 16th International Conference on Computer Animation and Social Agents. NJ,USA:IEEE, 2003:86.

[7]Maurel W, Thalmann D. Human Shoulder Modeling Including Scapulothoracic Constraint and Joint Sinus Cones [J]. Compu-ters & Graphics, 2013, 24(2): 203-218.

[8]楊星星.民機(jī)虛擬維修訓(xùn)練關(guān)鍵技術(shù)研究[D].南京:南京航空航天大學(xué),2010.

[9]高玉水，周世海，郭英.某型導(dǎo)彈虛擬維修訓(xùn)練系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].研究與開(kāi)發(fā),2010,(12):66-69.

[10]蔣科藝,郝建平.沉浸式虛擬維修仿真系統(tǒng)及其實(shí)現(xiàn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2005,17(5):1120-1123.

(責(zé)任編輯: 尚彩娟)

Aviation Equipment Virtual Maintenance Training System Based on Motion Capture

YANG Jun-chao, SHI Yue, YANG Da-ling, ZHOU Hong-wei

(Materiel Management and Safety Engineering Institute, Air Force Engineering University, Xi’an 710051, China)

To meet the needs of training instrument innovation for aviation equipment maintenance, an aviation equipment virtual maintenance training system based on motion capture is designed. The system is made up of the phase space motion capture system, JACK virtual human, virtual scene and equipment maintenance model, three-dimensional projector and data glove etc, has the virtual training functions including maintenance flow, teardown and fitting, failure analysis and removal. The virtual maintenance training of wheel disassembly and assembly is used as application example, and the results demonstrate that the system’s configuration is logical and can satisfy the requirements of design function.

aviation equipment; virtual maintenance training; motion capture

1672-1497(2016)04-0078-05

2016-03-04

軍隊(duì)科研計(jì)劃項(xiàng)目

楊俊超(1984-)，男，講師，博士。

E92; TP391.9

A

10.3969/j.issn.1672-1497.2016.04.015