姚壽文，胡子然，柳博文，丁 佳，常富祥，栗麗輝

（1.北京理工大學(xué)機(jī)械與車輛學(xué)院，北京100081；2.河北翼凌機(jī)械制造總廠，河北石家莊050305）

裝備維修訓(xùn)練是裝備全壽命管理的重要環(huán)節(jié)［1］。機(jī)械裝備一般結(jié)構(gòu)復(fù)雜，裝配流程長，維修方式多，而實(shí)體樣機(jī)通常體積和質(zhì)量較大，故實(shí)裝維修訓(xùn)練操作困難、成本高，對(duì)裝備的損傷大，存在較大的安全隱患［2］。虛擬現(xiàn)實(shí)具有沉浸感強(qiáng)、直觀性好、交互便利的特點(diǎn)［3］。利用虛擬現(xiàn)實(shí)技術(shù)輔助維修訓(xùn)練，可在虛擬環(huán)境中復(fù)現(xiàn)維修訓(xùn)練情況，具有高沉浸感，不受時(shí)間和空間的限制，可大大提高維修訓(xùn)練的效費(fèi)比和承訓(xùn)量。

維修是使裝備保持或恢復(fù)到規(guī)定狀態(tài)的一系列活動(dòng)。典型的維修活動(dòng)包括7個(gè)步驟：準(zhǔn)備、診斷（故障檢測(cè)及隔離）、更換（拆卸及安裝）、調(diào)整及校準(zhǔn)、保養(yǎng)、檢驗(yàn)和原件復(fù)原［4］。由于拆卸及重新安裝的時(shí)間在整個(gè)維修事件所需時(shí)間中所占的比重最大，而其他維修活動(dòng)難以在虛擬環(huán)境中實(shí)現(xiàn)，所以目前的虛擬維修主要研究零件的拆卸及安裝過程［5］?，F(xiàn)有的虛擬維修訓(xùn)練系統(tǒng)主要通過動(dòng)畫的形式進(jìn)行拆裝過程演示，未考慮到零件之間的連接和定位關(guān)系，無法確定零件裝配的正確位置。如：楊俊超等［6］設(shè)計(jì)的航空裝備虛擬維修訓(xùn)練系統(tǒng)雖然具備航空裝備維修流程和零件拆卸與裝配、故障分析與排除等功能，但零件的拆裝是通過動(dòng)畫的自動(dòng)播放來演示的；楊兆坤等［7］基于“美騰通用平臺(tái)”，提出了一種沉浸式虛擬維修訓(xùn)練系統(tǒng)的開發(fā)方法，雖然在Unity3D軟件中建立了基本維修科目，形成了訓(xùn)練流程，但零件裝配過程是通過操作者點(diǎn)擊按鈕播放動(dòng)畫來展現(xiàn)的。這些系統(tǒng)都未建立限制零件運(yùn)動(dòng)的零件之間的約束關(guān)系，無法展現(xiàn)實(shí)際的拆裝過程。

在裝備維修訓(xùn)練中，零件數(shù)量繁多、型號(hào)規(guī)格類似、空間布局緊湊且其特征復(fù)雜［8］。在實(shí)際的維修訓(xùn)練中，教員會(huì)對(duì)學(xué)員的維修操作進(jìn)行指導(dǎo)，學(xué)員也可以通過維修手冊(cè)學(xué)習(xí)維修知識(shí)。所以，在虛擬維修訓(xùn)練中，須開發(fā)指導(dǎo)機(jī)制，引導(dǎo)操作者進(jìn)行裝備的維修訓(xùn)練［9］。目前，虛擬維修訓(xùn)練系統(tǒng)的指導(dǎo)方式較少，主要通過圖文說明的方式對(duì)操作者進(jìn)行指導(dǎo)性說明。張玉軍等［10］在Unity3D 環(huán)境中設(shè)計(jì)開發(fā)了沉浸式虛擬維修訓(xùn)練系統(tǒng)，該系統(tǒng)具有基礎(chǔ)理論、特情處理等模塊，可指導(dǎo)操作者進(jìn)行維修訓(xùn)練，但圖文指導(dǎo)只能通過按鈕點(diǎn)擊獲取，并不能以手勢(shì)、視線等直觀性的交互方式來引導(dǎo)操作者自主獲取知識(shí)，不能使其在思考中完成任務(wù)。基于穿戴式數(shù)據(jù)服設(shè)計(jì)的虛擬維修訓(xùn)練系統(tǒng)［11］，是通過有標(biāo)記式的交互方式獲取拆裝指導(dǎo)信息，增加了人機(jī)交互的額外媒介，可減弱虛擬維修訓(xùn)練的沉浸感。

對(duì)操作逼真自然的模擬可以有效提高虛擬維修訓(xùn)練質(zhì)量［12］。在實(shí)際的維修訓(xùn)練中，操作者多用手拾取零件，或用手抓握工具進(jìn)行零件的拆裝。故在虛擬維修訓(xùn)練系統(tǒng)中，模擬操作者使用單雙手與零件或工具的自然交互操作十分重要［13］。但目前的操作仿真還不能體現(xiàn)人機(jī)的自然交互，如僅使用手柄的人機(jī)交互，不能通過虛擬手直接拾取零件，降低了操作真實(shí)感?？紫榻艿龋?4］通過試驗(yàn)得出，動(dòng)作捕捉手套在螺釘安裝等定位敏感型操作中效率較低，必須雙手協(xié)同操作才能提高處理復(fù)雜任務(wù)的效率。郭慶等［15］通過動(dòng)作捕捉設(shè)備采集真實(shí)人體的運(yùn)動(dòng)數(shù)據(jù)，將虛擬人作為操作者嵌入虛擬環(huán)境中，但是沒有對(duì)虛擬手操作進(jìn)行針對(duì)性的開發(fā)，故不能完成單雙手拆裝的復(fù)雜動(dòng)作。張玉軍等［10］雖然將虛擬手引入虛擬維修訓(xùn)練系統(tǒng)，但僅實(shí)現(xiàn)了以簡單手勢(shì)與機(jī)器系統(tǒng)交互，并未進(jìn)行手勢(shì)識(shí)別、虛擬手拾取功能等的研究，故系統(tǒng)的沉浸感和交互性不強(qiáng)。

2014年以來，虛擬現(xiàn)實(shí)（virtual reality，ⅤR）輔助技術(shù)已成為繼計(jì)算機(jī)輔助技術(shù)（computer aided technology，CAD）后新一代仿真輔助技術(shù)［16］。傳統(tǒng)的CAD［17］只是通過設(shè)置指令使零件達(dá)到最終的安裝完成狀態(tài)，或移除須刪除約束的元件的約束，不能體現(xiàn)零件拆裝過程；其可視化和交互方法是基于缺乏直觀性的二維顯示和鼠標(biāo)/鍵盤系統(tǒng)，無法獲得導(dǎo)致裝配錯(cuò)誤的裝配狀態(tài)，例如穿透和不合理的裝配關(guān)系，這些都限制了操作者在維修訓(xùn)練過程中的主動(dòng)思考。而虛擬現(xiàn)實(shí)輔助技術(shù)是使用者通過手勢(shì)、語音等方式與虛擬環(huán)境進(jìn)行交互［18］，人機(jī)交互更加自然和諧。空間定位技術(shù)則實(shí)現(xiàn)了Room Scale（空間范圍）級(jí)別的ⅤR 定位，具有定位精度高、反應(yīng)速度快和分布式處理等優(yōu)勢(shì)［19］。ⅤR定位系統(tǒng)集成了激光傳感器、光敏傳感器，具有高精度系統(tǒng)時(shí)間分辨率［20］，基于PnP解算原理進(jìn)行運(yùn)動(dòng)物體的姿態(tài)估計(jì)，可實(shí)現(xiàn)運(yùn)動(dòng)物體位置的精確求解；具有高刷新率的虛擬顯示可實(shí)現(xiàn)虛擬物體的立體可視化輸出，且圖像自然清晰、穩(wěn)定性好，可表現(xiàn)出零件幾何外形特征等關(guān)鍵信息。通過虛擬現(xiàn)實(shí)軟硬件開發(fā)的交互方式可提升交互功能，幫助操作者將所學(xué)知識(shí)應(yīng)用于拆裝嘗試中，啟發(fā)其更好地完成訓(xùn)練任務(wù)。

為了提高虛擬維修訓(xùn)練中零件裝配的定位精度以及訓(xùn)練指導(dǎo)、人機(jī)交互的直觀性，本文以零件多數(shù)據(jù)信息的裝配約束模型為基礎(chǔ)，對(duì)零件之間常見的裝配關(guān)系及其對(duì)應(yīng)的裝配操作進(jìn)行分析，抽象出4種常見的限制零件運(yùn)動(dòng)的約束，并建立基于裝配特征匹配和裝配特征參數(shù)匹配的裝配約束算法，借助虛擬現(xiàn)實(shí)設(shè)備的高追蹤精度和高數(shù)據(jù)采集與運(yùn)算速率，在虛擬環(huán)境中實(shí)時(shí)感知零件狀態(tài)并建立其正確的約束?；谑謩?shì)識(shí)別、視線碰撞等直觀性交互方式，建立“導(dǎo)師&助教”的多模式指導(dǎo)架構(gòu)。在Unity3D中進(jìn)行虛擬手、虛擬工具的無標(biāo)記交互操作的開發(fā)，并以某型號(hào)洗衣機(jī)為維修訓(xùn)練對(duì)象進(jìn)行測(cè)試。

1 裝配約束實(shí)時(shí)感知與建立技術(shù)

為了降低定位不精準(zhǔn)給零件虛擬維修帶來的影響，研究以裝配約束關(guān)系限制零件自由度的方法。在建立零件多數(shù)據(jù)信息模型的基礎(chǔ)上，借助虛擬現(xiàn)實(shí)設(shè)備及時(shí)更新零件位姿數(shù)據(jù)，建立零件狀態(tài)實(shí)時(shí)感知的裝配約束算法，實(shí)時(shí)感知虛擬環(huán)境中的零件狀態(tài)，分析求解零件之間的位置關(guān)系，建立其正確的裝配約束，以提升虛擬維修訓(xùn)練的效果。

在虛擬維修訓(xùn)練的拆裝過程中，為使零件安裝在正確的位置，逼真地體現(xiàn)出裝配過程，須研究零件的整個(gè)裝配過程。其中裝配關(guān)系是裝配過程中連接各零件之間的紐帶，裝配時(shí)要進(jìn)行與裝配關(guān)系對(duì)應(yīng)的裝配操作［21］。常見的裝配關(guān)系及其對(duì)應(yīng)的裝配操作如表1所示。

表1 常見的裝配關(guān)系及其對(duì)應(yīng)的裝配操作Table 1 Common assembly relation and corresponding assembly operation

空間中的零件不僅有坐標(biāo)位置，還有朝向姿態(tài)，因此所拆裝的零件不能看成一個(gè)質(zhì)點(diǎn)［22］。在空間幾何中，采用四元素法表達(dá)零件的三維旋轉(zhuǎn)，用4×4齊次矩陣來描述零件的位姿，稱作位姿矩陣。位姿矩陣可表示為：

式中：R 和t 分別為零件的旋轉(zhuǎn)矩陣和平移矩陣，其中的元素分別為從零件坐標(biāo)系o'-x'y'z'變換到全局坐標(biāo)系o-xyz時(shí)零件的旋轉(zhuǎn)分量和平移分量。

裝配零件分為裝配基體（以下簡稱為“基體”）和待裝配零件（以下簡稱為“待裝件”）。以基體為參照物，裝配約束表征為待裝件在基體坐標(biāo)系中6個(gè)自由度限制的組合，6 個(gè)自由度即沿x、y、z 軸的平移和繞x、y、z軸的旋轉(zhuǎn)，可表示為零件的翻滾、俯仰和偏擺，如圖1所示。

圖1 零件6個(gè)自由度的表示Fig.1 Representation of six degrees of freedom of a part

結(jié)合虛擬環(huán)境中零件空間位姿變換、拆卸/裝配關(guān)系、拆卸/裝配操作等需求，本文用零件的幾何模型、裝配特征、結(jié)構(gòu)參數(shù)、零件和特征的碰撞包圍盒建立虛擬環(huán)境中零件多數(shù)據(jù)信息模型［23］。零件多數(shù)據(jù)信息模型包含的數(shù)據(jù)信息為：

1）幾何外形信息數(shù)據(jù)。如零件的材質(zhì)及紋理數(shù)據(jù)、貼圖數(shù)據(jù)、坐標(biāo)系原點(diǎn)位置和朝向數(shù)據(jù)等，以便在虛擬環(huán)境中直觀準(zhǔn)確地表征零件模型。

2）物理屬性數(shù)據(jù)。如零件的質(zhì)量、沿各個(gè)軸的轉(zhuǎn)動(dòng)慣量和質(zhì)心位置等，以便分析零件的平移、旋轉(zhuǎn)和碰撞，表征零件模型的姿態(tài)。

3）幾何裝配特征數(shù)據(jù)。包含零件的幾何特征類型、幾何特征位置和幾何特征參數(shù)，其中：零件的幾何特征類型為螺紋、鍵、齒輪、軸和軸肩等；幾何特征位置可根據(jù)零件的定位距離來確定；幾何特征參數(shù)用于區(qū)分和匹配特征，如軸特征只有“直徑”特征參數(shù)［24］。該特征數(shù)據(jù)為識(shí)別與匹配零件模型幾何特征、建立約束、求解零件間的相對(duì)位置關(guān)系提供數(shù)據(jù)基礎(chǔ)。

4）碰撞包圍盒數(shù)據(jù)。建立基于FDH（fixed directions hulls，固定方向凸包）包圍盒的零件碰撞包圍盒，以區(qū)分零件與零件之間的位置關(guān)系，防止零件穿透，以及感知零件與零件之間的特征包圍盒是否發(fā)生接觸。

在裝配過程中，零件在裝配路徑上存在多種約束。約束的建立會(huì)導(dǎo)致零件運(yùn)動(dòng)狀態(tài)發(fā)生變化，即零件自由度發(fā)生變化。通過分析機(jī)械結(jié)構(gòu)常見零件類型、裝配關(guān)系及其對(duì)應(yīng)的裝配操作，抽象出軸和孔兩種基本幾何特征以及限制零件運(yùn)動(dòng)的4種約束：1）同軸不定向約束；2）同軸定向約束；3）同軸不定向面阻擋約束；4）同軸定向面阻擋約束。

1）同軸不定向約束。

該約束限制零件的4個(gè)自由度，此時(shí)零件僅有沿基體軸線移動(dòng)和繞軸線轉(zhuǎn)動(dòng)兩個(gè)自由度。該約束下零件的運(yùn)動(dòng)狀態(tài)如圖2所示。

圖2 同軸不定向約束下零件的運(yùn)動(dòng)狀態(tài)Fig.2 Motion state of parts under coaxial non-directional constraint

2）同軸定向約束。

該約束限制零件的5個(gè)自由度，此時(shí)零件僅有沿基體軸線移動(dòng)一個(gè)自由度。該約束下零件的運(yùn)動(dòng)狀態(tài)如圖3所示。

3）同軸不定向面阻擋約束。

該約束限制零件的4個(gè)自由度，此時(shí)零件有沿基體軸線移動(dòng)和繞軸線轉(zhuǎn)動(dòng)兩個(gè)自由度，但由于受到平面阻擋，零件沿裝配方向的移動(dòng)被限制。該約束下零件的運(yùn)動(dòng)狀態(tài)如圖4所示。

4）同軸定向面阻擋約束。

該約束限制零件的5個(gè)自由度，此時(shí)零件僅有沿基體軸線移動(dòng)一個(gè)自由度，但由于受到平面阻擋，零件沿裝配方向的移動(dòng)被限制。該約束下零件的運(yùn)動(dòng)狀態(tài)如圖5所示。

圖3 同軸定向約束下零件的運(yùn)動(dòng)狀態(tài)Fig.3 Motion state of parts under coaxial directional constraint

分析了在實(shí)際裝配過程中常見的限制零件運(yùn)動(dòng)的4種約束以及在不同約束下零件相應(yīng)的運(yùn)動(dòng)狀態(tài)之后，為了在虛擬環(huán)境中展現(xiàn)零件裝配的過程，以零件模型的幾何外部特征為基礎(chǔ)，建立基于裝配約束的識(shí)別算法。該算法可以使虛擬維修訓(xùn)練系統(tǒng)根據(jù)零件之間的狀態(tài)，自主感知基體和待裝件不同的裝配特征。當(dāng)裝配件到達(dá)指定裝配位置時(shí)，響應(yīng)機(jī)制啟動(dòng)，系統(tǒng)感知約束類型并提供正確的裝配約束；在拆卸零件時(shí)，系統(tǒng)實(shí)現(xiàn)約束解除。因此，建立基于裝配約束的識(shí)別算法可解決多種拆裝問題，具有廣闊的應(yīng)用范圍。為了提高該算法的實(shí)時(shí)性，保證運(yùn)動(dòng)零件的位姿求解速率和定位精度，借助HTC 公司（High Tech Computer Corporation，宏達(dá)國際電子股份有限公司）的Ⅴive 虛擬現(xiàn)實(shí)設(shè)備。該設(shè)備采用outside-in 追蹤方式，Lighthouse定位系統(tǒng)基站的掃描頻率為90 Hz，激光掃描定位精度為毫米級(jí)，其在大空間環(huán)境下具有良好的追蹤精度。配套采用英特爾i7系列處理器和英偉達(dá)RTX2080 高性能顯卡工作站，滿足大規(guī)模渲染并行運(yùn)算和物理仿真求解的計(jì)算速度要求，以滿足算法計(jì)算的實(shí)時(shí)性需求。

在裝配過程中，操作者用手或者工具拾取零件并控制待裝件移動(dòng)，即待裝件的運(yùn)動(dòng)和操作者的動(dòng)作一致，同時(shí)由于存在約束，該運(yùn)動(dòng)只有部分能對(duì)零件產(chǎn)生實(shí)際作用。為了能讓零件跟隨手或工具進(jìn)行平移及旋轉(zhuǎn)，當(dāng)零件被拾取時(shí)，手或工具與零件的位姿須保持一致，以實(shí)現(xiàn)約束零件在拾取條件下的運(yùn)動(dòng)，故采用基于六自由度幾何法的零件位姿修正算法［23］。根據(jù)自由度，對(duì)零件相對(duì)于基體的位姿改變矩陣進(jìn)行修正。得到零件在約束條件下的改變量之后，在基體坐標(biāo)系中將復(fù)合運(yùn)動(dòng)在各軸上的分量分離出來，再根據(jù)約束條件對(duì)被限制量進(jìn)行剔除或修正，并分別計(jì)算在基體局部坐標(biāo)系下待裝件相對(duì)基體各軸的平移量和轉(zhuǎn)角。當(dāng)待裝件存在多個(gè)約束時(shí)，綜合考慮多個(gè)約束對(duì)零件自由度的影響，并重新對(duì)位姿改變量進(jìn)行修正，如圖6所示。

圖4 同軸不定向面阻擋約束下零件的運(yùn)動(dòng)狀態(tài)Fig.4 Motion state of parts under coaxial non-directional surface blocking constraint

為實(shí)時(shí)建立裝配約束，筆者構(gòu)建了裝配約束感知與建立方法的流程，如圖7所示。首先，以零件多數(shù)據(jù)信息的裝配約束模型為基礎(chǔ)，虛擬維修訓(xùn)練系統(tǒng)自主感知基體和待裝件不同的裝配特征；當(dāng)零件與零件發(fā)生碰撞后，立即對(duì)零件特征層次包圍盒進(jìn)行檢測(cè)，如果特征層的包圍盒也發(fā)生了碰撞，則調(diào)用響應(yīng)函數(shù)，提取在Unity3D 軟件中編寫的C#程序文件中對(duì)應(yīng)的特征信息，比對(duì)特征類型和位置參數(shù)等；如果特征和參數(shù)相匹配，則在零件裝配位置建立相應(yīng)的裝配約束，限制零件運(yùn)動(dòng)，如果不匹配，則該次碰撞響應(yīng)不作處理。其中，特征類型的匹配是基于幾何特征參數(shù)，如軸和孔的特征由其“直徑”特征參數(shù)表達(dá)，在執(zhí)行孔零件裝配到軸零件的操作過程中，若孔徑大于或等于軸徑，則特征匹配成功。

圖5 同軸定向面阻擋約束下零件的運(yùn)動(dòng)狀態(tài)Fig.5 Motion state of parts under coaxial directional surface blocking constraint

2 多模式交互指導(dǎo)方法

操作者佩戴虛擬現(xiàn)實(shí)頭盔顯示器（head-mounted display，HMD）進(jìn)行虛擬維修訓(xùn)練，其視覺觀察范圍僅為HMD所顯示的三維虛擬場(chǎng)景，無法使用現(xiàn)實(shí)環(huán)境中的維修手冊(cè)等進(jìn)行參考，也無法觀察到實(shí)際指導(dǎo)人員的指導(dǎo)動(dòng)作。操作者剛進(jìn)入虛擬環(huán)境時(shí)，可能因不熟悉場(chǎng)景中的設(shè)備、零件而出現(xiàn)操作失誤。故須借助虛擬現(xiàn)實(shí)軟件設(shè)計(jì)虛擬環(huán)境中的指導(dǎo)架構(gòu)，開發(fā)基于“導(dǎo)師&助教”機(jī)制的多模式指導(dǎo)方法，使操作者在接受指導(dǎo)時(shí)無需借助額外的媒介，而可以通過手勢(shì)、視線自主與“導(dǎo)師”“助教”交互。這種方式增強(qiáng)了虛擬環(huán)境中指導(dǎo)的直觀性，幫助操作者在多種引導(dǎo)下快速熟悉虛擬維修訓(xùn)練場(chǎng)景，掌握裝備維修技能。

圖6 零件位姿的修正Fig.6 Part position correction

圖7 裝配約束感知與建立方法的流程Fig.7 Flowchart of assembly constraint perception and establishment method

2.1 基于手勢(shì)識(shí)別的多模塊電子手冊(cè)的“導(dǎo)師”指導(dǎo)

為了使操作者在HMD 顯示的三維虛擬環(huán)境中直接進(jìn)行由導(dǎo)師指導(dǎo)的訓(xùn)練，基于層級(jí)劃分與管理技術(shù)，在虛擬環(huán)境中對(duì)電子手冊(cè)進(jìn)行多模塊開發(fā)，將其作為虛擬維修訓(xùn)練的指導(dǎo)。這種導(dǎo)師指導(dǎo)式訓(xùn)練，基于認(rèn)知心理學(xué)，以影像資料、演示動(dòng)畫和圖文說明等在虛擬電子屏上向使用者展示相關(guān)信息，可幫助操作者逐步掌握設(shè)備的組織結(jié)構(gòu)、拆裝步驟、工具儀表使用方法、日常維護(hù)保養(yǎng)、典型故障排除和特殊情況處置等，以提高操作者的記憶與認(rèn)知能力，使操作者在虛擬環(huán)境中的維修訓(xùn)練更高效。

為了使操作者可以通過直觀性交互控制電子手冊(cè)，基于虛擬手手勢(shì)識(shí)別開發(fā)了交互式操作面板。當(dāng)手掌面朝向操作者時(shí)，可以在虛擬環(huán)境中調(diào)出該面板，用虛擬手對(duì)面板上的按鈕進(jìn)行操作來控制電子手冊(cè)屏幕。當(dāng)操作者需要受電子手冊(cè)指導(dǎo)時(shí)，翻轉(zhuǎn)左手至手掌面向自己，便可調(diào)出電子手冊(cè)控制按鈕。按鈕主要分為四大部分：左右兩個(gè)按鈕分別為前進(jìn)和后退按鈕；上方按鈕為場(chǎng)景重置按鈕，當(dāng)裝配過程中出現(xiàn)問題時(shí)，可按下此按鈕返回最初的裝配狀態(tài)；下方按鈕的功能，可自行開發(fā)?；谑謩?shì)識(shí)別的多模塊電子手冊(cè)的“導(dǎo)師”指導(dǎo)如圖8所示。

圖8 基于手勢(shì)識(shí)別的多模塊電子手冊(cè)的“導(dǎo)師”指導(dǎo)Fig.8 Multi-module electronic manual "tutor" guide based on gesture recognition

2.2 基于視線碰撞信息顯示的“助教”指導(dǎo)

在進(jìn)行虛擬維修訓(xùn)練時(shí)，場(chǎng)景中存在諸多設(shè)備、零件，許多零件功能近似、尺寸接近，僅靠外形難以區(qū)分，即便在實(shí)際維修訓(xùn)練中也須對(duì)零件進(jìn)行編號(hào)匹配，確認(rèn)無誤后方可進(jìn)行操作。而且，操作者在虛擬維修訓(xùn)練初期，可能因不熟悉場(chǎng)景中的設(shè)備、零件等而降低訓(xùn)練效率。故基于視線碰撞原理［25］，利用HUD（head up display，抬頭顯示）技術(shù)開發(fā)顯示界面，該顯示界面可隨視角變換位置而視距固定，從而建立以視線碰撞信息顯示的“助教”指導(dǎo)方式。當(dāng)操作者不熟悉、不認(rèn)識(shí)某設(shè)備或零件時(shí)，可使視線與該設(shè)備或零件碰撞，即在HUD界面上獲得該設(shè)備或零件的基本信息，當(dāng)視線切換至其他設(shè)備或零件時(shí)，界面信息隨之改變，從而使操作者認(rèn)識(shí)該設(shè)備或零件，加深記憶，提高訓(xùn)練效率?；谝暰€碰撞信息顯示的“助教”指導(dǎo)如圖9所示。

圖9 基于視線碰撞信息顯示的“助教”指導(dǎo)Fig.9 "Teaching assistant" guide based on sight collision information display

3 虛擬維修訓(xùn)練系統(tǒng)的設(shè)計(jì)與測(cè)試

3.1 虛擬維修訓(xùn)練的操作仿真

操作者在真實(shí)環(huán)境中進(jìn)行裝備維修訓(xùn)練，是通過單雙手或使用工具操作零件。為了將真實(shí)的維修訓(xùn)練過程在虛擬環(huán)境中得到高沉浸感仿真，以虛擬現(xiàn)實(shí)多傳感器采集的人手位姿數(shù)據(jù)為基礎(chǔ)，將真實(shí)的人體運(yùn)動(dòng)與虛擬環(huán)境中的運(yùn)動(dòng)一一映射，開發(fā)虛擬手和虛擬工具，實(shí)現(xiàn)多種直觀性、無標(biāo)記的交互操作，使操作者能以與真實(shí)環(huán)境中相同的操作方式處理裝備維修訓(xùn)練中的問題。

1）虛擬手無標(biāo)記交互操作。

分析裝備維修中人手拾取零件的功能需求，建立適應(yīng)虛擬維修訓(xùn)練的手勢(shì)分類，以多Leap Motion（體感控制器）采集并提取的手掌和手指數(shù)據(jù)為基礎(chǔ)，經(jīng)多Leap Motion數(shù)據(jù)融合算法處理后，建立手型模型，采用計(jì)算2 個(gè)凸體之間最短距離的相交測(cè)試方法，以及虛擬手與工具或零件的多點(diǎn)碰撞檢測(cè)方法［26］，在Unity3D環(huán)境中建立虛擬手模型。在整個(gè)裝配過程中，人的手部運(yùn)動(dòng)可以被系統(tǒng)識(shí)別，使其可以逼真地拾取零件，完成復(fù)雜的拆裝動(dòng)作?；诮佑|碰撞的虛擬手交互操作原理如圖10所示。

2）虛擬工具無標(biāo)記交互操作。

在實(shí)際裝備維修中，操作者常使用工具輔助維修，如螺栓、螺釘?shù)鹊牟鹧b須使用扳手。所以，在虛擬環(huán)境中，基于手持控制器開發(fā)了多種虛擬工具的無標(biāo)記輔助維修方式。Ⅴive 操控手柄具有多種輸入方式，如多功能觸摸面板、抓握鍵、雙階段扳機(jī)、系統(tǒng)鍵和菜單鍵等，在Unity3D平臺(tái)中對(duì)其控制按鈕進(jìn)行開發(fā)，基于按鈕等定義的動(dòng)作來完成多種手勢(shì)難以完成的交互操作，如按住抓握鍵可以拾取虛擬手難以拾取的精細(xì)零件。在Unity3D環(huán)境中建立多種工具模型，如不同規(guī)格的扳手，將虛擬環(huán)境中的手持控制器替代成不同的工具，操作者可以根據(jù)零件的特征，選取相應(yīng)的工具拾取零件。虛擬工具的交互如圖11所示。

圖10 基于接觸碰撞的虛擬手交互操作原理示意Fig.10 Schematic of principle of virtual hand interactive operation based on contact collision

圖11 虛擬工具的交互Fig.11 Ⅴirtual tool interaction

3.2 虛擬維修訓(xùn)練系統(tǒng)的設(shè)計(jì)

利用Leap Motion、手持控制器等設(shè)備，在Unity3D平臺(tái)中開發(fā)虛擬手、虛擬工具等多種交互方式，以及基于手勢(shì)識(shí)別、視線碰撞的“導(dǎo)師&助教”指導(dǎo)機(jī)制。通過HMD的立體可視化顯示，操作者可以觀察到三維立體虛擬場(chǎng)景。開發(fā)虛擬環(huán)境中的聲音功能，讓操作者佩戴耳機(jī)，通過場(chǎng)景反饋、操作提示聲使其感知虛擬維修訓(xùn)練情況。通過顯示屏的二維顯示，教員實(shí)時(shí)觀察維修者的裝備維修情況或受訓(xùn)者的訓(xùn)練學(xué)習(xí)情況，并據(jù)此給他們提供指導(dǎo)意見。虛擬維修訓(xùn)練系統(tǒng)的設(shè)計(jì)如圖12所示。

圖12 虛擬維修訓(xùn)練系統(tǒng)的設(shè)計(jì)Fig.12 Design of virtual maintenance training system

3.3 虛擬維修訓(xùn)練系統(tǒng)的測(cè)試

借助HTC Ⅴive HMD、2個(gè)單手控制器、2個(gè)定位基站、Leap Motion等虛擬現(xiàn)實(shí)設(shè)備，并接入大屏幕和投影設(shè)備，形成虛擬維修訓(xùn)練的第3 視角。在Unity3D 平臺(tái)中將ⅤS ⅠDE（visual studio integrated development environment ，可視化工作室集成開發(fā)環(huán)境）作為開發(fā)工具，利用C#編程語言，進(jìn)行虛擬維修訓(xùn)練系統(tǒng)的設(shè)計(jì)與開發(fā)，并以某型號(hào)洗衣機(jī)模型為例進(jìn)行虛擬維修訓(xùn)練系統(tǒng)的測(cè)試。虛擬維修訓(xùn)練系統(tǒng)的應(yīng)用場(chǎng)景如圖13所示。從屏幕投影可以看出，操作者在虛擬環(huán)境中可以觀察到虛擬維修訓(xùn)練場(chǎng)景、待維修訓(xùn)練的洗衣機(jī)模型、視線前方的電子手冊(cè)和HUD界面顯示的零件信息等。

圖13 虛擬維修訓(xùn)練系統(tǒng)的應(yīng)用場(chǎng)景Fig.13 Application scenario of virtual maintenance training system

在裝配過程中，操作者可以采取多模式交互指導(dǎo)方法進(jìn)行裝配訓(xùn)練。交互式操作面板如圖14 所示，通過它可以遠(yuǎn)程控制多模塊電子手冊(cè)（如圖15所示）。當(dāng)手掌面朝向操作者時(shí)，可以在虛擬環(huán)境中調(diào)出一個(gè)交互式操作面板，并用虛擬手對(duì)面板上的按鈕進(jìn)行操作，從而控制電子手冊(cè)屏幕，指導(dǎo)操作者進(jìn)行虛擬維修訓(xùn)練。

圖14 交互式操作面板Fig.14 Ⅰnteractive operation panel

圖15 多模塊電子手冊(cè)Fig.15 Multi-module electronic manual

為了驗(yàn)證裝配約束實(shí)時(shí)感知與建立技術(shù)和虛擬手、虛擬工具的無標(biāo)記交互操作技術(shù)，對(duì)洗衣機(jī)頂蓋安裝、扳手?jǐn)Q緊螺栓兩項(xiàng)裝配進(jìn)行操作。

當(dāng)操作者的視線與洗衣機(jī)頂蓋發(fā)生碰撞時(shí)，在HUD 界面上顯示頂蓋的相關(guān)信息，如圖16 所示，幫助操作者認(rèn)知零件。當(dāng)操作者使用抓的手勢(shì)移動(dòng)頂蓋至裝配位置即特征碰撞位置，則觸發(fā)相應(yīng)的碰撞響應(yīng)機(jī)制；當(dāng)頂蓋的孔特征與機(jī)身的軸特征匹配時(shí)，則建立同軸不定向約束；若頂蓋的軸肩特征與機(jī)身的軸肩特征匹配，則建立同軸不定向面阻擋約束，頂蓋被安裝到正確位置，裝配完成。

圖16 基于視線碰撞的洗衣機(jī)頂蓋信息的顯示Fig.16 Display of information of the top cover of washing machine based on sight collision

圖17所示為虛擬手抓握扳手，圖18所示為虛擬手使用扳手?jǐn)Q緊螺栓?？梢?，虛擬手可靈活抓握虛擬工具進(jìn)行相應(yīng)的維修操作。

圖17 虛擬手抓握扳手Fig.17 Ⅴirtual hand holding the wrench

圖18 虛擬手使用扳手?jǐn)Q緊螺栓Fig.18 Ⅴirtual hand using a wrench to tighten the bolt

以上測(cè)試表明，在操作者安裝零件的過程中實(shí)現(xiàn)了零件之間準(zhǔn)確約束關(guān)系的建立以及使用虛擬手和虛擬工具進(jìn)行維修訓(xùn)練，而多模塊電子交互手冊(cè)和HUD界面的信息顯示可以用于指導(dǎo)維修訓(xùn)練，滿足了操作者在虛擬拆裝操作中對(duì)零件定位的需求，提升了虛擬維修訓(xùn)練的指導(dǎo)直觀性和人機(jī)交互性能，使操作者可以更好地進(jìn)行維修訓(xùn)練以提升操作技能。

后續(xù)將開展在虛擬環(huán)境與真實(shí)環(huán)境中認(rèn)知績效的差異研究，并進(jìn)行相應(yīng)實(shí)驗(yàn)，進(jìn)一步驗(yàn)證該虛擬維修訓(xùn)練系統(tǒng)的訓(xùn)練效果，以更好地發(fā)揮產(chǎn)品維修訓(xùn)練的指導(dǎo)作用，鍛煉維修者的維修技能。

4 結(jié) 語

虛擬維修訓(xùn)練系統(tǒng)須滿足零件拆裝的定位精度需求、維修訓(xùn)練過程中的指導(dǎo)功能需求以及人機(jī)交互的直觀性需求，反映貼近實(shí)際的操作過程，增強(qiáng)虛擬維修訓(xùn)練的沉浸感。

本文借助虛擬現(xiàn)實(shí)輔助技術(shù)的自然直觀人機(jī)交互、Room Scale（空間范圍）級(jí)別高精度定位、高穩(wěn)定性虛擬環(huán)境圖像立體顯示等優(yōu)勢(shì)，以零件多數(shù)據(jù)信息為基礎(chǔ)，結(jié)合零件之間的裝配關(guān)系及其對(duì)應(yīng)的裝配操作，研究了裝配約束識(shí)別與建立算法。通過該算法可以使系統(tǒng)實(shí)時(shí)感知當(dāng)前的裝配狀態(tài)，自動(dòng)在裝配位置提供正確的裝配約束，提高零件的定位精度，模擬出更真實(shí)的拆裝過程。建立了基于直觀性交互的“導(dǎo)師&助教”指導(dǎo)架構(gòu)，開發(fā)了多模塊電子手冊(cè)和基于視線碰撞信息顯示的多模式指導(dǎo)方法，以Unity3D為開發(fā)平臺(tái)，實(shí)現(xiàn)了多手勢(shì)虛擬手、虛擬工具的無標(biāo)記交互操作方式，并通過HMD將虛擬環(huán)境立體可視化，實(shí)現(xiàn)了虛擬維修訓(xùn)練系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。

以某型號(hào)洗衣機(jī)模型為對(duì)象，進(jìn)行了虛擬維修訓(xùn)練系統(tǒng)的測(cè)試。測(cè)試結(jié)果表明，虛擬維修訓(xùn)練系統(tǒng)可以滿足虛擬拆裝中對(duì)零件安裝定位精度和人機(jī)交互操作的需求，模擬出更逼真的拆裝過程，更加貼近于實(shí)際維修訓(xùn)練。多種直觀性指導(dǎo)方式可以指導(dǎo)操作者更好地完成維修訓(xùn)練任務(wù)，使其能在操作嘗試中不斷豐富維修知識(shí)，鍛煉維修技能。