馬　天， 李洪安,， 馬本源， 康寶生

(1. 西安科技大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，陜西 西安 710054；2. 西北大學(xué)信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127)

三維虛擬維護(hù)訓(xùn)練系統(tǒng)關(guān)鍵技術(shù)研究

馬天1， 李洪安1,2， 馬本源1， 康寶生2

(1. 西安科技大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，陜西 西安 710054；2. 西北大學(xué)信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127)

針對三維虛擬維護(hù)訓(xùn)練中設(shè)備拆裝操作復(fù)雜的問題，提出一種通用的拆裝關(guān)系數(shù)據(jù)格式和處理方法，可方便定制各種設(shè)備的拆裝訓(xùn)練應(yīng)用；提出一種高效簡潔的自動軸對齊約束拆裝操作方法，并以此設(shè)計實現(xiàn)了一種二維屏幕空間的移動拖拽器。通過OSG引擎進(jìn)行場景渲染和管理，分析了系統(tǒng)的體系結(jié)構(gòu)和場景組織設(shè)計，開發(fā)了一套虛擬拆裝訓(xùn)練三維仿真系統(tǒng)，實現(xiàn)了拆裝操作記錄的統(tǒng)計和報表輸出。應(yīng)用結(jié)果表明，該系統(tǒng)具有較好的實時性和顯示效果。

虛擬維護(hù)訓(xùn)練；三維仿真；拆裝關(guān)系；軸對齊約束

飛機(jī)、艦船等復(fù)雜設(shè)備的零部件較多、關(guān)系復(fù)雜、價格昂貴，在復(fù)雜設(shè)備保養(yǎng)維護(hù)訓(xùn)練方面，針對已成熟產(chǎn)品的維護(hù)需求，迫切需要引入虛擬裝配和虛擬維修技術(shù)。虛擬裝配仿真技術(shù)主要應(yīng)用于產(chǎn)品的設(shè)計和制造領(lǐng)域，其應(yīng)用主要面向產(chǎn)品設(shè)計工程師，側(cè)重于設(shè)計、分析、驗證、評估和優(yōu)化產(chǎn)品裝配過程[1]；虛擬維修仿真技術(shù)主要應(yīng)用于維修性設(shè)計、保障性規(guī)劃和人員培訓(xùn)等領(lǐng)域[2-3]，其中前兩個領(lǐng)域主要面向產(chǎn)品設(shè)計和維修工程師，側(cè)重于設(shè)計、分析、驗證、評估和優(yōu)化產(chǎn)品維修過程；第三個領(lǐng)域主要面向設(shè)備使用人員，側(cè)重于用戶操作訓(xùn)練。

虛擬維護(hù)訓(xùn)練主要面向設(shè)備日常保養(yǎng)維護(hù)人員，側(cè)重于設(shè)備的拆裝演示和交互訓(xùn)練，使操作人員熟練掌握正確地拆裝操作步驟和過程。嚴(yán)格意義講其并不屬于傳統(tǒng)的虛擬裝配或虛擬維修系統(tǒng)，而是用于維護(hù)操作訓(xùn)練和統(tǒng)計，著重于拆裝標(biāo)準(zhǔn)化順序和裝配關(guān)系的熟悉訓(xùn)練和測評。文獻(xiàn)[4]最早提出虛擬維護(hù)訓(xùn)練桌面式仿真系統(tǒng)，并基于OpenGL設(shè)計實現(xiàn)了離心泵的虛擬車間環(huán)境，可完成基本的拆裝訓(xùn)練，能夠讀取STL模型；文獻(xiàn)[5]基于 OpenGL設(shè)計并實現(xiàn)了一種桌面式虛擬仿真訓(xùn)練教學(xué)系統(tǒng)，但系統(tǒng)的渲染效果和功能擴(kuò)展不夠豐富；文獻(xiàn)[6]針對虛擬維修過程中部件間關(guān)系描述混亂的問題，提出了一種Petri 網(wǎng)和語義網(wǎng)絡(luò)結(jié)合的過程建模方法，在基于OSG 的飛機(jī)電子設(shè)備三維虛擬設(shè)備維修平臺上驗證了方法的有效性，但每個步驟的規(guī)范約束格式不太直觀；文獻(xiàn)[7]針對單點式力反饋器工作空間狹小的問題，研究了改進(jìn)的動態(tài)空間匹配算法和代理點移出視錐體時的漫游技術(shù)，但方法只針對特定設(shè)備；文獻(xiàn)[8]設(shè)計實現(xiàn)了數(shù)字機(jī)床的虛擬拆裝仿真培訓(xùn)系統(tǒng)，但只能進(jìn)行動態(tài)拆裝演示，不能進(jìn)行用戶拆裝交互操作；文獻(xiàn)[9]基于EON軟件平臺開發(fā)了一套推土機(jī)變速箱虛擬維修訓(xùn)練系統(tǒng)；文獻(xiàn)[10]基于VRP軟件平臺實現(xiàn)了船舶柴油機(jī)三維場景及虛擬拆裝仿真過程，該類系統(tǒng)受商業(yè)軟件功能和接口限制，顯示效果和再開發(fā)自由度受到一定限制；文獻(xiàn)[11]基于OSG設(shè)計實現(xiàn)了一套某型號電牽引采煤機(jī)虛擬裝配應(yīng)用系統(tǒng)，重點描述了系統(tǒng)的軟硬件系統(tǒng)的結(jié)構(gòu)、方案和結(jié)合UG和3DMax的精細(xì)建模方法，該系統(tǒng)功能完備、交互性好，但沒有操作步驟規(guī)劃、控制等關(guān)鍵技術(shù)的具體研究。

綜上所述，本文針對三維虛擬維護(hù)訓(xùn)練中設(shè)備拆裝操作復(fù)雜的問題，提出了一種通用的拆裝關(guān)系數(shù)據(jù)格式和處理方法，可方便定制各種設(shè)備的拆裝訓(xùn)練應(yīng)用；提出了一種高效簡潔的自動軸對齊約束拆裝操作方法，并以此設(shè)計實現(xiàn)了一種二維屏幕空間的移動拖拽器。通過OSG進(jìn)行場景渲染和管理，分析了系統(tǒng)的體系結(jié)構(gòu)和場景組織設(shè)計，研究開發(fā)了一套虛擬拆裝訓(xùn)練三維仿真系統(tǒng)，實現(xiàn)了拆裝操作記錄的統(tǒng)計和報表輸出；還實現(xiàn)了拆裝過程中的錯誤點記錄，并可供后續(xù)評價參考。

1　拆裝關(guān)系數(shù)據(jù)處理方法

為滿足可自由定制訓(xùn)練設(shè)備和加載多種格式的設(shè)備三維模型的需求，需將每個設(shè)備的拆裝關(guān)系信息寫在對應(yīng)的數(shù)據(jù)文件里，模型文件可根據(jù)需要選擇3DMax、Maya等主流三維建模工具，以制作高品質(zhì)的設(shè)備模型。

1.1數(shù)據(jù)文件設(shè)計

數(shù)據(jù)文件應(yīng)包括設(shè)備拆裝所需的各個零件的裝配位置、裝配起始位置、拆裝序列、操作類型等信息。為增加操作靈活性，特別定義出同組無序拆裝零件，例如固定某個零件的多組螺釘、螺栓，這樣操作時可隨意拆解某一組，當(dāng)所有組都拆解完畢后方能進(jìn)行后續(xù)的操作；特別定義出非拆除零件，特指還需繼續(xù)拆解的子零件，例如槳轂拆下后不能直接放入物品欄，還要繼續(xù)拆解每一個槳葉。操作類型可簡化為旋轉(zhuǎn)、平移和綜合3種，如轉(zhuǎn)開聯(lián)動軸、卡箍等操作為旋轉(zhuǎn)；取下套管、螺釘?shù)确蛛x操作為平移；拆解螺母需要同時完成旋轉(zhuǎn)和平移操作，為綜合操作。最終設(shè)計的數(shù)據(jù)格式如圖1所示，第1～4行為文件頭數(shù)據(jù)，包括設(shè)備名稱、零件個數(shù)、總步驟數(shù)、同組無序拆裝零件的個數(shù)及其對應(yīng)編號、非拆除零件的個數(shù)及其對應(yīng)編號；第5～n行為零件的基本數(shù)據(jù)(每個零件信息占一行)，包括零件的裝配坐標(biāo)、裝配起始坐標(biāo)、拆裝序列、操作類型、名稱等信息。

圖1　拆裝關(guān)系數(shù)據(jù)文件示例

1.2數(shù)據(jù)處理流程

拆裝關(guān)系數(shù)據(jù)的處理流程如圖2所示，首先讀取設(shè)備數(shù)據(jù)文件，并根據(jù)數(shù)據(jù)初始化每個零件的位置和顯示狀態(tài)，裝配模式需要隱藏拆除零件。然后開始訓(xùn)練操作，拆解模式：直接在零件上點擊進(jìn)行操作拾取，根據(jù)當(dāng)前操作序列判斷拾取是否正確，如果正確則添加拖拽操作器進(jìn)行拆解操作，正確拆解后若是非拆除零件則直接進(jìn)行下一步，如果不是則將拆下零件隱藏，并放入物品欄；裝配模式：直接在物品欄里選擇待裝配零件，根據(jù)當(dāng)前操作序列判斷選擇是否正確，如果正確則從物品欄里刪除該零件、并在場景中顯示該零件，并添加拖拽操作器進(jìn)行裝配操作，正確裝配后直接進(jìn)行下一步。在推進(jìn)拆裝序列前，還要對同組無序拆裝的零件進(jìn)行處理，需要在組內(nèi)進(jìn)行序列推進(jìn)，當(dāng)所有組都拆解完畢后方進(jìn)行整體序列推進(jìn)。最后，當(dāng)拆裝序列推進(jìn)到最大拆裝步驟后，結(jié)束訓(xùn)練操作。

圖2　拆裝關(guān)系處理流程圖

2　自動軸對齊約束方法

對于桌面式的三維拆裝操作，一般用二維鼠標(biāo)操作，但沒有沉浸式的直接在虛擬空間三維操作靈活。為簡化三維空間的移動操作，通過繼承osgManipulator::TranslatePlaneDragger類[12]，設(shè)計了一種二維屏幕空間移動拖拽器，在構(gòu)造函數(shù)時，需將觀察空間的(0,0,1)向量逆向變換到三維世界空間，設(shè)置移動面的法線為變換后向量，以使移動面為正對觀察者的屏幕；在handle()函數(shù)里處理鼠標(biāo)拖拽操作時，需將二維屏幕空間的位移映射到移動面上。當(dāng)選中添加拖拽器時，同時需將拖拽器添加到拾取檢測的節(jié)點路徑里、調(diào)用handle()函數(shù)處理拖拽初始化，以實現(xiàn)直接拖拽選中零件的操作。

因為模型類型、復(fù)雜度無限制，所以沒有引入傳統(tǒng)物理引擎進(jìn)行碰撞檢測，這里提出了一種自動軸對齊約束的方法，通過臨近自動約束與軸對齊，可以避免拆裝時的復(fù)雜碰撞檢測，并可根據(jù)裝配坐標(biāo)和裝配起始坐標(biāo)進(jìn)行拆裝操作完成判斷。具體方法的幾何示意如圖 3所示，虛線框面為移動面，P0點為裝配位置，P′1點為裝配起始位置，L為P0P′1的距離，α為P0P1與P0P′1的夾角。對于拆解操作，如果使用屏幕空間移動拖拽器在移動面上沿著P0P1方向拖動操作，為保證拆解物體根據(jù)約束關(guān)系正確移動，需將位移投影到 P0P′1方向，直到P′1點，即確定拆解后，零件轉(zhuǎn)變成沿著P0P1方向移動，即跟隨鼠標(biāo)拖動。對于裝配操作，初始在拖拽器的移動面進(jìn)行拖動操作，如果當(dāng)前位置與裝配位置P0點的距離小于L，且夾角α小于一定角度，即認(rèn)為接近安裝位置，需將零件從當(dāng)前位置移動到P0P′1的投影位置，即自動進(jìn)行零件軸對齊，確保根據(jù)約束關(guān)系正確移動到裝配位置；當(dāng)與P0點距離小于L/10，即認(rèn)為達(dá)到安裝位置，通過OSG更新回調(diào)實現(xiàn)慢放動畫的形式展示最后一段裝配過程。

圖3　自動軸對齊約束方法示意圖

3　系統(tǒng)設(shè)計實現(xiàn)

3.1數(shù)據(jù)驅(qū)動設(shè)計實現(xiàn)

該虛擬訓(xùn)練系統(tǒng)采用數(shù)據(jù)驅(qū)動方式，數(shù)據(jù)關(guān)系如圖 4所示。通過讀取拆裝關(guān)系數(shù)據(jù)自動加載設(shè)備零件模型、初始化每個零件的狀態(tài)和位置，并根據(jù)數(shù)據(jù)控制拆裝序列判斷、拆裝檢測和操作約束，所有操作過程數(shù)據(jù)都需進(jìn)行記錄，結(jié)束后進(jìn)行統(tǒng)計輸出。整個三維虛擬場景采用OSG進(jìn)行管理和繪制，設(shè)備零件的位置、狀態(tài)、界面和文字信息更新通過OSG的更新回調(diào)機(jī)制實現(xiàn)；用戶鼠標(biāo)、鍵盤的交互操作通過OSG的事件回調(diào)機(jī)制響應(yīng)實現(xiàn)。

圖4　數(shù)據(jù)關(guān)系框圖

3.2場景組織設(shè)計實現(xiàn)

OSG是通過場景圖的方式管理和繪制三維場景，采用一種自頂向下的分層樹形結(jié)構(gòu)來組織數(shù)據(jù)，以提升渲染的效率。場景圖樹結(jié)構(gòu)的頂部是一個根節(jié)點，從根節(jié)點向下延伸，各個組節(jié)點中均包含幾何信息和用于控制其外觀的繪制狀態(tài)信息。場景樹結(jié)構(gòu)如圖 5所示，圖中圓角矩形框為OSG的基本類型結(jié)點，矩形框為實際界面、素材等對象。場景樹分為背景、設(shè)備零件、界面 3個部分，其中：背景和界面部分都是使用相機(jī)類型結(jié)點進(jìn)行管理，能控制背景部分前需渲染以保證不會遮擋其他對象，以保證界面部分后續(xù)渲染對象始終在最上層顯示；設(shè)備結(jié)點部分所有零件都放在自定義的移動控制結(jié)點下，選中結(jié)點并通過添加自定義拖拽器結(jié)點控制拆裝操作。

圖5　場景結(jié)構(gòu)組織

3.3操作記錄統(tǒng)計實現(xiàn)

需要記錄的操作數(shù)據(jù)包括總操作次數(shù)、錯誤操作次數(shù)、錯誤點和錯誤類型，根據(jù)專家評價權(quán)重計分，評價權(quán)重可根據(jù)不同訓(xùn)練設(shè)備進(jìn)行設(shè)置。訓(xùn)練結(jié)束后可直接彈出統(tǒng)計結(jié)果，并生成 Excel統(tǒng)計報表。Excel統(tǒng)計報表的實現(xiàn)是基于開源xlslib庫，設(shè)計了一個Excel報表生成類，通過調(diào)用xlslib庫中workbook、worksheet、cell_t類的功能函數(shù)，實現(xiàn)了Excel表格的常用單元格內(nèi)容、格式設(shè)置等功能函數(shù)。

4　實驗結(jié)果

系統(tǒng)運行硬件環(huán)境：CPU為Inter Core2 Duo T5870/2.0 GHz，內(nèi)存為DDR II 800/2 G，顯卡為NVIDIA GeForce G105 M/512 M，硬盤為SATA 250 G /7200/16 M；操作系統(tǒng)為Windows XP SP3，開發(fā)軟件環(huán)境為Visual Studio 2005 SP1和OSG 2.8.2。基于osgWidget設(shè)計實現(xiàn)了人性化的系統(tǒng)界面，包括右側(cè)菜單欄、底部物品箱欄和工具條等。某型飛機(jī)尾槳設(shè)備的拆裝應(yīng)用效果如圖 6所示，為零件瀏覽時的高亮、透視三維顯示效果。

圖6　某型飛機(jī)尾槳設(shè)備應(yīng)用效果圖

通過在場景中添加渲染狀態(tài)監(jiān)測StatsHandler，實時記錄不同復(fù)雜程度設(shè)備模型在不同狀態(tài)下的幀率，為了與本文提出的自動軸對齊約束方法(簡稱自動對齊法)進(jìn)行拆裝操作效率進(jìn)行對比，分別測試了典型物理引擎 ODE和osgPhysics進(jìn)行安裝碰撞檢測(基于網(wǎng)格形狀檢測)的效率，見表1。

表1　顯示幀率記錄表(幀/秒)

由表1可見，模型面片數(shù)在200萬以下時，該系統(tǒng)的顯示幀率在30幀/秒以上，可完全滿足實時交互訓(xùn)練的要求；當(dāng)超過 200萬時，實時性有所下降，但對于特別復(fù)雜的設(shè)備，進(jìn)行整體拆裝訓(xùn)練過于復(fù)雜，一般需分解成若干子部分，這樣模型面片數(shù)一般都可以控制在 200萬以下。通過本文的自動軸對齊約束方法進(jìn)行拆裝操作時，因為每幀只進(jìn)行裝配距離的判斷，對系統(tǒng)幀率的影響小于0.2，所以基本不影響拆裝交互操作的實時性；而通過ODE和osgPhysics進(jìn)行安裝碰撞檢測時，在模型復(fù)雜度增加后幀率明顯下降，會明顯影響交互感受。表中沒有記錄模型加載時間，當(dāng)面片數(shù)超過 100萬時，初始加載模型可明顯感覺到停頓，這可以通過進(jìn)度條的形式提示加載等待，也不會影響拆裝交互操作的實時性。

5　小　結(jié)

本文設(shè)計實現(xiàn)的復(fù)雜設(shè)備維護(hù)拆裝訓(xùn)練三維仿真系統(tǒng)，屬于桌面式三維虛擬系統(tǒng)，基于 OSG三維渲染引擎開發(fā)。通過提出的通用拆裝關(guān)系數(shù)據(jù)格式和數(shù)據(jù)處理流程，可方便定制各種設(shè)備部件的拆裝訓(xùn)練應(yīng)用，并可自由加載3DMax、Maya等主流三維建模工具制作高品質(zhì)的設(shè)備模型；根據(jù)提出的自動軸對齊約束拆裝操作方法設(shè)計實現(xiàn)的二維屏幕空間移動拖拽器，可協(xié)助正確地進(jìn)行訓(xùn)練操作，避免操作復(fù)雜的碰撞檢測，可提高操作效率；實現(xiàn)了拆裝過程中的錯誤點記錄，并可對訓(xùn)練操作進(jìn)行統(tǒng)計評分。本文沒有考慮實際拆裝過程中人員活動范圍對拆裝操作的影響，使用時可配合人員操作三維動畫進(jìn)行全面演示。該系統(tǒng)可用于復(fù)雜設(shè)備保養(yǎng)維護(hù)人員的拆裝操作培訓(xùn)，成本較低，使用方便，直觀地操作感受，可以提高維護(hù)人員的培訓(xùn)效率，降低拆裝操作風(fēng)險和培訓(xùn)成本。

[1] 劉佳, 劉毅. 虛擬維修技術(shù)發(fā)展綜述[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2009, 21(11): 1519-1534.

[2] 焦玉民, 張琦, 屈宏偉. 虛擬維修技術(shù)研究與展望[J]. 中國工程機(jī)械學(xué)報, 2011, 9(3): 359-366.

[3] 王文舉, 李光耀. 虛擬維修仿真技術(shù)的研究與進(jìn)展[J].系統(tǒng)仿真學(xué)報, 2011, 23(9): 1751-1757.

[4] Li J R, Khoo L P, Tor S B. Desktop virtual reality for maintenance training: an object oriented prototype system (V-REALISM) [J]. Computers in Industry, 2003, 52: 109-125.

[5] 賀少華, 吳新躍. 基于 VC++和 OpenGL 的大型機(jī)械裝置虛擬教學(xué)訓(xùn)練系統(tǒng)的開發(fā)[J]. 系統(tǒng)仿真學(xué)報, 2009, 21(4): 1059-1062.

[6] 劉家學(xué), 劉濤, 耿宏. 基于Petri 網(wǎng)和語義網(wǎng)絡(luò)的虛擬維修過程建模與應(yīng)用[J]. 圖學(xué)學(xué)報, 2013, 34(2): 113-118.

[7] 盧麗婷, 劉林, 熊巍. 基于單點式力反饋器的虛擬裝配研究[J]. 圖學(xué)學(xué)報, 2014, 35(2): 280-284.

[8] 周智勇. 虛擬拆裝仿真培訓(xùn)系統(tǒng)的研究和開發(fā)[D]. 長沙: 湖南大學(xué), 2010.

[9] 王斌, 周建釗, 焦玉民. 一種推土機(jī)變速箱虛擬維修訓(xùn)練系統(tǒng)[J]. 中國制造業(yè)信息化, 2011, 40(9): 66-69.

[10] 潘玉平, 萬隆君, 徐軼群, 等. 船舶柴油機(jī)虛擬拆裝仿真[J]. 交通信息與安全, 2012, 30(2): 103-105.

[11] 王學(xué)文, 秦毅, 楊昕宇, 等. 采煤機(jī)虛擬現(xiàn)實裝配仿真系統(tǒng)研究[J]. 圖學(xué)學(xué)報, 2015, 36(2): 268-273.

[12] Wang R, Qian X L. OpenSceneGraph 3 cookbook [M]. Birmingham: Packt Publishing, 2012: 210-217.

Key Technology of 3D Virtual Maintenance Training System

Ma Tian1,Li Hongan1,2,Ma Benyuan1,Kang Baosheng2

(1. College of Computer Science and Technology, Xi′an University of Science and Technology, Xi′an Shaanxi 710054, China; 2. School of Information Science and Technology, Northwest University, Xi′an Shaanxi 710127, China)

In order to solve the problem of complex operation in 3D virtual maintenance training, a general data format of disassembly and assembly relation was proposed, and the data processing method was realized, which could be used to customize training application for various equipments easily. A simple and efficient disassembly operation method was presented, which has automatic shaft alignment constraint, and a 2D screen space dragger was designed and realized based on that. A 3D virtual maintenance training simulation system was developed, and the virtual scene was rendered and managed through OpenSceneGraph (OSG) engine, which architecture and scene organization were analyzed. The disassembly operation record and report output were realized. The application results show that this system has good performance on real-time and 3D display effect.

virtual maintenance training; 3D visual simulation; disassembly and assembly relation; shaft alignment constraint

TP 391.9

10.11996/JG.j.2095-302X.2016010097

A

2095-302X(2016)01-0097-05

2015-09-21；定稿日期：2015-10-11

陜西省教育廳科研計劃項目(2013JK1148)

馬天(1982–)，男，河南商丘人，副教授，博士。主要研究方向為虛擬現(xiàn)實與三維視景仿真。E-mail：matian@xust.edu.cn