張旭輝，張雨萌，王 巖+，杜昱陽，王妙云，謝 楠，鞠佳杉

(1.西安科技大學(xué) 機(jī)械工程學(xué)院，陜西 西安 710054；2.陜西省礦山機(jī)電裝備智能監(jiān)測重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054)

0 引言

傳統(tǒng)的機(jī)電設(shè)備維修指導(dǎo)方法存在專業(yè)維修人員知識儲(chǔ)備不足、專家現(xiàn)場指導(dǎo)周期長等問題，尤其在軍事、航空航天和煤礦等特種領(lǐng)域更難滿足設(shè)備維修指導(dǎo)的需求[1-2]。目前煤礦機(jī)電裝備的維修指導(dǎo)多采用傳統(tǒng)維修技術(shù)手冊指導(dǎo)和專家現(xiàn)場指導(dǎo)方式，由于煤礦生產(chǎn)環(huán)境的特殊性，這種維修方式使維修周期增加，甚至導(dǎo)致工作停滯。近年來，虛擬現(xiàn)實(shí)(Virtual Reality, VR)、增強(qiáng)現(xiàn)實(shí)(Augment Reality, AR)和混合現(xiàn)實(shí)(Mixed Reality,MR)技術(shù)的發(fā)展為特種環(huán)境下設(shè)備故障維修指導(dǎo)提出了新的解決思路[3-4]。其中MR技術(shù)具有良好的便攜性，結(jié)合語音、手勢和視線的交互方式使其具備了虛實(shí)場景中實(shí)時(shí)交互與指導(dǎo)的潛力，能夠更好地指導(dǎo)機(jī)電設(shè)備維修過程[5-6]。

以數(shù)據(jù)為核心的數(shù)字孿生(Digital Twin, DT)技術(shù)是構(gòu)建MR輔助維修解決方案的核心驅(qū)動(dòng)力，是連接真實(shí)維修物理環(huán)境和虛擬維修場景的紐帶。數(shù)字孿生技術(shù)最初由美國的Grieves教授提出[7]，同時(shí)定義了由物理實(shí)體、數(shù)字實(shí)體及兩者之間的連接組成的三維模型，該技術(shù)最早被應(yīng)用于航空航天領(lǐng)域的全生命周期管理[8]。在虛擬制造方面，西門子提出基于整合制造流程的生產(chǎn)系統(tǒng)模型的虛擬企業(yè)概念，并對Nanobox PC的生產(chǎn)流程進(jìn)行驗(yàn)證[9]；陶飛團(tuán)隊(duì)提出的數(shù)字孿生五維模型[10]，在三維模型基礎(chǔ)上增加了服務(wù)系統(tǒng)和孿生數(shù)據(jù)，并結(jié)合企業(yè)實(shí)際應(yīng)用對數(shù)字孿生車間制造等展開研究[11]，為數(shù)字孿生生產(chǎn)制造應(yīng)用提供了理論基礎(chǔ)和技術(shù)支撐。在虛擬維護(hù)方面，AIVALIOTIS等[12]通過創(chuàng)建物理設(shè)備的數(shù)字孿生體，結(jié)合設(shè)備可靠性參數(shù)和實(shí)時(shí)狀態(tài)監(jiān)測數(shù)據(jù)實(shí)現(xiàn)設(shè)備的預(yù)測性維護(hù)；劉魁等[13]構(gòu)建了航空發(fā)動(dòng)機(jī)運(yùn)維數(shù)字孿生體，實(shí)現(xiàn)了對物理發(fā)動(dòng)機(jī)的精準(zhǔn)檢測和故障預(yù)測，為數(shù)字孿生技術(shù)在航空發(fā)動(dòng)機(jī)的全生命周期應(yīng)用提供參考。在煤礦領(lǐng)域，張旭輝等[14-16]提出的“虛實(shí)同步、數(shù)據(jù)驅(qū)動(dòng)、遠(yuǎn)程干預(yù)、人機(jī)協(xié)作”煤礦機(jī)電設(shè)備遠(yuǎn)程操控策略，實(shí)現(xiàn)了監(jiān)測數(shù)據(jù)驅(qū)動(dòng)虛擬交互設(shè)備的遠(yuǎn)程操控，并針對常見的礦用機(jī)電設(shè)備虛擬遠(yuǎn)程操控技術(shù)展開研究。結(jié)果表明，數(shù)字孿生技術(shù)的引入有效提升了設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)和維修過程數(shù)據(jù)在MR輔助維修指導(dǎo)決策的價(jià)值，提高了設(shè)備維修指導(dǎo)過程的可靠性。

因此，本文借助DT技術(shù)建立煤礦機(jī)電設(shè)備維修數(shù)字孿生體，充分利用設(shè)備故障數(shù)據(jù)和維修過程數(shù)據(jù)驅(qū)動(dòng)維修指導(dǎo)過程，研究物理維修與真實(shí)維修環(huán)境之間的數(shù)據(jù)交互方法，構(gòu)建適用于煤礦機(jī)電設(shè)備的MR輔助維修指導(dǎo)總體模型，并以采煤機(jī)搖臂傳動(dòng)系統(tǒng)故障維修為例，開發(fā)數(shù)字孿生驅(qū)動(dòng)的MR輔助維修系統(tǒng)。

1 面向數(shù)字孿生的復(fù)雜機(jī)電設(shè)備故障維修MR指導(dǎo)系統(tǒng)

數(shù)字孿生機(jī)電設(shè)備故障維修MR指導(dǎo)系統(tǒng)總體模型如圖1所示。該模型由故障維修MR指導(dǎo)服務(wù)系統(tǒng)、物理維修環(huán)境和虛擬維修環(huán)境組成。借助數(shù)字孿生技術(shù)，故障維修MR指導(dǎo)服務(wù)系統(tǒng)獲得物理維修環(huán)境中的設(shè)備狀態(tài)數(shù)據(jù)，融合維修過程數(shù)據(jù)后驅(qū)動(dòng)MR指導(dǎo)服務(wù)系統(tǒng)，在物理維修環(huán)境與虛擬維修環(huán)境之間建立映射聯(lián)系。

該系統(tǒng)借助孿生數(shù)據(jù)融合來自物理維修環(huán)境的傳感器數(shù)據(jù)，將故障類別數(shù)據(jù)、維修場景數(shù)據(jù)、三維注冊數(shù)據(jù)、交互指令數(shù)據(jù)輸入虛擬維修環(huán)境，實(shí)現(xiàn)服務(wù)系統(tǒng)對虛擬維修環(huán)境的數(shù)據(jù)驅(qū)動(dòng)，使物理維修環(huán)境與虛擬維修環(huán)境進(jìn)行虛實(shí)融合、雙向映射和仿真預(yù)警，為維修人員提供有價(jià)值的維修數(shù)據(jù)信息，實(shí)現(xiàn)人—物理—信息系統(tǒng)之間的數(shù)據(jù)交互。具體功能要求如下：

(1)虛實(shí)融合 在復(fù)雜的維修過程中，需要將虛擬維修解決方案疊加在現(xiàn)實(shí)場景中的設(shè)備關(guān)鍵零部件上，并與其保持高度的幾何一致性、光照一致性和時(shí)間一致性。系統(tǒng)需要實(shí)時(shí)跟蹤目標(biāo)對象和用戶的觀察方位，實(shí)現(xiàn)高精度的虛擬空間三維注冊。

(2)雙向映射 系統(tǒng)實(shí)時(shí)監(jiān)測設(shè)備的機(jī)械、電氣、液壓數(shù)據(jù)，將采集的故障信號發(fā)送到維修指導(dǎo)服務(wù)系統(tǒng)進(jìn)行故障分類，然后匹配維修指導(dǎo)解決方案，調(diào)用存儲(chǔ)在故障維修指導(dǎo)流程庫中對應(yīng)的解決方案。維修人員通過HoloLens上的攝像頭可對現(xiàn)場維修環(huán)境進(jìn)行采集并反饋到服務(wù)系統(tǒng)，以實(shí)時(shí)修正維修指導(dǎo)流程。若遇到難以判斷的故障點(diǎn)時(shí)，可以啟用遠(yuǎn)程專家在線指導(dǎo)對現(xiàn)場維修環(huán)境進(jìn)行干預(yù)，實(shí)現(xiàn)故障維修數(shù)據(jù)在虛擬維修環(huán)境和物理維修環(huán)境之間的雙向映射。

(3)仿真預(yù)警 系統(tǒng)借助Unity3D中的虛擬仿真技術(shù)，采用三維建模技術(shù)、機(jī)械設(shè)備動(dòng)作編程技術(shù)和傳感器數(shù)據(jù)傳輸與存儲(chǔ)技術(shù)，對其設(shè)備維修過程進(jìn)行仿真預(yù)測和設(shè)備維修狀態(tài)數(shù)據(jù)監(jiān)測。系統(tǒng)實(shí)時(shí)跟蹤維修場景，采集維修場景圖像特征，并判斷維修操作的準(zhǔn)確性，避免錯(cuò)誤維修操作對設(shè)備造成二次損傷，保證維修過程的可靠性。

本文以煤礦機(jī)電設(shè)備維修過程為對象，構(gòu)建煤礦機(jī)電設(shè)備故障維修MR輔助維修系統(tǒng)。通過多種檢測手段獲得煤礦機(jī)電設(shè)備的運(yùn)行狀態(tài)，并對其關(guān)鍵零部件位姿進(jìn)行標(biāo)定和故障信息提取，形成物理維修環(huán)境；通過搭建混合現(xiàn)實(shí)開發(fā)環(huán)境，設(shè)計(jì)虛擬維修指導(dǎo)系統(tǒng)，構(gòu)建煤礦機(jī)電設(shè)備虛擬模型，設(shè)計(jì)故障ID和指導(dǎo)流程片段，形成虛擬維修環(huán)境；然后對不同的故障進(jìn)行識別與匹配，處理維修對象的狀態(tài)數(shù)據(jù)，利用自然交互方法對虛擬環(huán)境進(jìn)行注冊融合，完成虛實(shí)維修環(huán)境映射，達(dá)到指導(dǎo)故障維修的目的。

2 面向數(shù)字孿生的故障維修MR指導(dǎo)系統(tǒng)實(shí)施方法

2.1 系統(tǒng)技術(shù)框架

數(shù)字孿生機(jī)電設(shè)備故障維修MR指導(dǎo)系統(tǒng)技術(shù)框架如圖2所示，主要包括故障識別與匹配模塊、故障維修指導(dǎo)模塊、維修環(huán)境感知模塊、虛實(shí)環(huán)境注冊融合模塊和人機(jī)交互模塊。故障識別與匹配模塊負(fù)責(zé)采集真實(shí)設(shè)備上的傳感器故障信號，并對其故障信號進(jìn)行識別和分類，建立設(shè)備關(guān)鍵部位的故障樹模型，形成故障ID識別號，然后存入故障采集庫，與故障維修指導(dǎo)模塊中形成的維修指導(dǎo)解決方案進(jìn)行匹配；故障維修指導(dǎo)模塊根據(jù)不同型號的礦用機(jī)電設(shè)備維修技術(shù)手冊整合出科學(xué)的維修指導(dǎo)方法存入故障維修數(shù)據(jù)庫，然后在虛擬交互界面進(jìn)行維修指導(dǎo)流程虛擬仿真，并采用維修歷史視頻、MR維修指導(dǎo)流程片段、遠(yuǎn)程專家指導(dǎo)等多種方法呈現(xiàn)維修指導(dǎo)方案；維修環(huán)境感知模塊進(jìn)行真實(shí)維修場景的三維數(shù)據(jù)特征點(diǎn)采集、維修目標(biāo)跟蹤和相機(jī)的位姿解算；虛實(shí)環(huán)境注冊融合模塊還原三維場景坐標(biāo)點(diǎn)，匹配HoloLens眼鏡中的MR空間坐標(biāo)系，采用基于自然特征點(diǎn)的匹配方式將維修指導(dǎo)解決方案與真實(shí)維修場景進(jìn)行注冊融合，得到虛實(shí)融合注冊的視覺體驗(yàn)效果；人機(jī)交互模塊具有基于HoloLens眼鏡的視線跟蹤、手勢識別、語音交互等功能，能夠結(jié)合圖像用戶界面(Graphical User Interface, GUI)操作面板對整個(gè)系統(tǒng)進(jìn)行交互操作。

2.2 系統(tǒng)開發(fā)流程

為實(shí)時(shí)監(jiān)控設(shè)備維修指導(dǎo)過程，提出基于BIM-Unity3D-MR的復(fù)雜機(jī)電設(shè)備故障維修指導(dǎo)技術(shù)新理念，采用建筑信息模型(Building Information Modeling, BIM)技術(shù)搭建維修過程數(shù)字三維模型[17-18]，借助第三方虛擬現(xiàn)實(shí)平臺(tái)Unity3D，結(jié)合MR技術(shù)將故障維修指導(dǎo)數(shù)據(jù)信息呈現(xiàn)在便于佩戴的HoloLens眼鏡中，并通過數(shù)據(jù)庫技術(shù)實(shí)現(xiàn)輔助維修過程的信息管理和跨平臺(tái)數(shù)據(jù)交互。

基于BIM-Unity3D-HoloLens平臺(tái)的系統(tǒng)開發(fā)流程如圖3所示，模塊功能及工作原理如下：

(1)BIM開發(fā)模塊 采集傳感器數(shù)據(jù)，將故障數(shù)據(jù)分類后存入數(shù)據(jù)庫，通過數(shù)據(jù)庫將故障數(shù)據(jù)導(dǎo)入Revit中來設(shè)置設(shè)備參數(shù)，并在Revit中建立BIM數(shù)字模型，生成Unity3D可識別格式的文件。

(2)Unity3D開發(fā)模塊 將BIM開發(fā)模塊中生成的.FBX模型文件導(dǎo)入U(xiǎn)nity3D中搭建MR開發(fā)環(huán)境，并設(shè)置相機(jī)參數(shù)，然后對設(shè)備數(shù)字模型進(jìn)行動(dòng)作編程，形成維修指導(dǎo)流程片段。通過編寫數(shù)據(jù)庫接口，將BIM中分類后的故障ID與維修指導(dǎo)流程片段相匹配形成真實(shí)故障指導(dǎo)方案，借助世界坐標(biāo)系與相機(jī)坐標(biāo)系之間的變換關(guān)系匹配虛實(shí)環(huán)境坐標(biāo)系，為準(zhǔn)確高效地指導(dǎo)維修提供支撐。

(3)HoloLens開發(fā)模塊 將匹配后的坐標(biāo)關(guān)系顯示在HoloLens中，達(dá)到虛實(shí)環(huán)境的三維注冊融合視覺體驗(yàn)效果，并利用MR自然交互技術(shù)實(shí)現(xiàn)人機(jī)虛擬交互。維修人員根據(jù)系統(tǒng)呈現(xiàn)的維修指導(dǎo)方案進(jìn)行維修方案可行性驗(yàn)證，如果存在難以判別的故障點(diǎn)，則啟用遠(yuǎn)程專家在線指導(dǎo)。

2.3 系統(tǒng)關(guān)鍵技術(shù)

2.3.1 維修環(huán)境感知

HoloLens眼鏡集成了1個(gè)慣性傳感器、4個(gè)環(huán)境感知攝像頭、1個(gè)深度攝像頭(RGB-D)，虛擬應(yīng)用中慣性傳感器用來感知設(shè)備方向，環(huán)境感知攝像頭進(jìn)行三維場景重建，深度攝像頭用于感知物體的相對位移。通過環(huán)境感知攝像頭實(shí)時(shí)捕捉場景并進(jìn)行畫面分析，深度攝像頭拍攝多張深度圖并進(jìn)行處理和匹配，可以感知維修空間物體的幾何信息。

本文采用RGB-D SLAM方法獲得RGB圖像和場景深度圖[19]。因?yàn)榛诿嬖?surf)的模型表達(dá)方法具有模型準(zhǔn)確、幾何變換靈活、數(shù)據(jù)量小和易于可視化等優(yōu)勢，所以選擇基于面表示的不規(guī)則三角網(wǎng)格模型對物理環(huán)境進(jìn)行掃描。在進(jìn)行模型融合時(shí)，先將每幀的輸入轉(zhuǎn)換為定點(diǎn)、顏色和法向圖，再轉(zhuǎn)換為面元，然后將模型中的面元投影到當(dāng)前深度圖，建立面元之間的匹配關(guān)系。采用上述方法，可以對維修目標(biāo)對象所在的三維場景進(jìn)行重建。

2.3.2 數(shù)據(jù)信息交互

數(shù)字孿生機(jī)電設(shè)備故障維修指導(dǎo)系統(tǒng)的數(shù)據(jù)信息交互主要包括故障數(shù)據(jù)交互和人機(jī)交互，其中故障數(shù)據(jù)交互完成設(shè)備傳感器數(shù)據(jù)與虛擬維修環(huán)境的交互，人機(jī)交互完成虛擬維修環(huán)境和真實(shí)維修環(huán)境中維修操作的交互。通過數(shù)據(jù)交互和人機(jī)交互，在故障MR維修指導(dǎo)系統(tǒng)平臺(tái)上實(shí)現(xiàn)了傳感器數(shù)據(jù)在人—機(jī)—環(huán)之間的數(shù)據(jù)信息交互。

(1)故障數(shù)據(jù)交互 機(jī)械故障、液壓故障和電氣故障是礦用機(jī)電設(shè)備的主要故障類型，以采煤機(jī)搖臂傳動(dòng)系統(tǒng)故障為例。據(jù)礦區(qū)數(shù)據(jù)顯示，搖臂傳動(dòng)系統(tǒng)故障區(qū)可分為高速區(qū)直齒齒輪系、低速區(qū)行星齒輪系和浮動(dòng)密封3大類[20]，其中高速區(qū)故障和低速區(qū)故障占總體故障比例的72%[21]。因此，本文主要研究機(jī)械故障的維修指導(dǎo)方法。將采煤機(jī)搖臂傳動(dòng)系統(tǒng)高速區(qū)和低速區(qū)常見的故障類型進(jìn)行編號，如表1所示。系統(tǒng)對故障采集庫中的故障信號進(jìn)行分類，使其與故障ID對應(yīng)，以便故障維修過程中關(guān)聯(lián)故障ID號，獲得MR維修指導(dǎo)系統(tǒng)中的不同維修對策。

表1 采煤機(jī)搖臂傳動(dòng)系統(tǒng)的常見故障類型編號表

(2)人機(jī)交互 系統(tǒng)采用觸控用戶界面、視線跟蹤、語音交互和手勢識別等交互形式，在Unity3D中繪制相應(yīng)的GUI界面，并添加碰撞觸發(fā)組件，使其具有交互功能。用Main Camera表示用戶佩戴HoloLens眼鏡的頭部位置和朝向，系統(tǒng)獲取頭部位置和頭部朝向狀態(tài)，觸發(fā)射線碰撞檢測實(shí)現(xiàn)視線跟蹤功能；定義手勢識別器獲取手勢姿態(tài)，開啟手勢捕捉功能。同時(shí)為場景添加音頻監(jiān)聽器實(shí)現(xiàn)語音輸入功能。

2.3.3 故障維修指導(dǎo)

故障維修指導(dǎo)模塊包括建立采煤機(jī)數(shù)字模型、設(shè)計(jì)MR維修指導(dǎo)流程、維修歷史視頻指導(dǎo)和遠(yuǎn)程專家在線指導(dǎo)。

(1)采煤機(jī)維修知識 構(gòu)建不同電牽引采煤機(jī)維修數(shù)據(jù)庫，替代傳統(tǒng)紙質(zhì)版維修說明書難以現(xiàn)場使用、維修知識固化等的不足。以MG730型電牽引采煤機(jī)的5:1實(shí)驗(yàn)?zāi)Ｐ蜑榈湫途S修對象，在Revit中建立采煤機(jī)BIM模型，為其添加對應(yīng)的采煤機(jī)設(shè)備類型參數(shù)；將生成的采煤機(jī)數(shù)字模型導(dǎo)入3ds Max中進(jìn)行渲染，并轉(zhuǎn)換為Unity3D支持的.FBX模型文件；在Unity3D中完成虛擬場景搭建和采煤機(jī)動(dòng)作編程等，最終發(fā)布為HoloLens支持的采煤機(jī)MR數(shù)字模型。將采煤機(jī)機(jī)械結(jié)構(gòu)、電液控制，以及常見故障類型與物理部位關(guān)聯(lián)，在MR環(huán)境即可查看相關(guān)的維修知識。采煤機(jī)維修數(shù)字模型建立流程如圖4所示。

(2)設(shè)計(jì)MR維修指導(dǎo)流程 在Unity3D中結(jié)合機(jī)械設(shè)備的動(dòng)作編程和動(dòng)畫編輯形成關(guān)鍵部位的MR維修指導(dǎo)片段，系統(tǒng)中存儲(chǔ)的部分MR虛擬零部件編號如表2所示。根據(jù)不同關(guān)鍵部位制定相應(yīng)的維修指導(dǎo)方案，形成與關(guān)鍵部位故障點(diǎn)相匹配的虛擬零部件序列編號，然后與2.3.2節(jié)的故障ID識別號進(jìn)行匹配，完成設(shè)備關(guān)鍵部位故障數(shù)據(jù)驅(qū)動(dòng)MR維修指導(dǎo)流程。以采煤機(jī)搖臂傳動(dòng)系統(tǒng)齒輪磨損(A)故障為例，該維修指導(dǎo)操作包括打開端蓋、拆除六角螺栓、拔出滾筒軸和更換磨損齒輪等關(guān)鍵步驟，每個(gè)階段需要觸發(fā)的MR虛擬零部件編號序列如表3所示。

表2 采煤機(jī)搖臂傳動(dòng)系統(tǒng)MR虛擬零部件編號表

表3 采煤機(jī)搖臂傳動(dòng)系統(tǒng)齒輪磨損(A)MR虛擬零部件編號序列表

(3)維修歷史視頻指導(dǎo) 錄制規(guī)范的設(shè)備關(guān)鍵部位維修操作視頻，存入維修歷史數(shù)據(jù)庫。操作人員可以通過視線跟蹤、手勢和語音輸入等功能播放和關(guān)閉維修歷史視頻。

(4)遠(yuǎn)程專家在線指導(dǎo) 在物理維修場景中部署HoloLens集成設(shè)備，HoloLens上的攝像頭可采集維修場景視頻并傳輸?shù)竭h(yuǎn)程專家PC端，遠(yuǎn)程專家通過音視頻會(huì)話的方式獲取物理維修環(huán)境概況，然后結(jié)合虛擬標(biāo)注和音視頻會(huì)話與現(xiàn)場物理維修環(huán)境進(jìn)行交互。同時(shí)，HoloLens集成設(shè)備中的傳感器將采集到的遠(yuǎn)程專家交互信息傳輸?shù)饺藱C(jī)交互服務(wù)器，人機(jī)交互服務(wù)器接收信息后生成相應(yīng)的交互指令并集成到HoloLens全息投影屏上，由設(shè)備中安裝的系統(tǒng)APP對交互指令進(jìn)行響應(yīng)。MySQL數(shù)據(jù)庫可同時(shí)為遠(yuǎn)程專家提供維修環(huán)境數(shù)據(jù)、設(shè)備參數(shù)數(shù)據(jù)、維修人員歷史維修數(shù)據(jù)、設(shè)備三維模型數(shù)據(jù)等多種數(shù)據(jù)信息，最終通過態(tài)勢同步服務(wù)器完成遠(yuǎn)程多人協(xié)同維修作業(yè)。

2.3.4 虛實(shí)注冊融合

常用的虛實(shí)注冊融合算法有基于人工標(biāo)識和基于自然特征點(diǎn)兩種，兩種算法均可解決虛擬世界和現(xiàn)實(shí)世界融合中的空間幾何一致性問題?；谌斯?biāo)識的注冊算法精度高、魯棒性強(qiáng)，具有定位效果穩(wěn)定的優(yōu)點(diǎn)，但因?qū)嶋H維修環(huán)境惡劣而容易損毀人工標(biāo)識；相比而言，基于自然特征點(diǎn)的注冊算法能更好地滿足維修過程的無標(biāo)識注冊，但也由于維修物理環(huán)境復(fù)雜多變、關(guān)鍵幀存在累積誤差等，易導(dǎo)致跟蹤目標(biāo)丟失。根據(jù)系統(tǒng)開發(fā)特點(diǎn)，本文研究了基于視頻序列自然特征點(diǎn)的注冊算法，該算法更符合維修人員的交互心理。算法流程如圖5所示。算法主要步驟包括提取場景特征點(diǎn)、匹配特征點(diǎn)、估計(jì)相機(jī)姿態(tài)、修正姿態(tài)和確認(rèn)相機(jī)姿態(tài)等，系統(tǒng)將數(shù)據(jù)庫中的基準(zhǔn)幀圖像與HoloLens攝像頭采集到的當(dāng)前幀圖像進(jìn)行對比，匹配其圖像特征點(diǎn)，通過對虛擬場景進(jìn)行疊加，實(shí)現(xiàn)了虛擬維修指導(dǎo)方案在真實(shí)維修場景中的虛實(shí)融合顯示。

3 采煤機(jī)搖臂傳動(dòng)系統(tǒng)齒輪故障維修指導(dǎo)

3.1 維修目標(biāo)

以MG730型電牽引采煤機(jī)搖臂傳動(dòng)系統(tǒng)的齒輪故障為維修對象，對采煤機(jī)搖臂傳動(dòng)系統(tǒng)結(jié)構(gòu)進(jìn)行分析，搖臂傳動(dòng)系統(tǒng)示意圖如圖6所示。采煤機(jī)搖臂采用4級減速，截割電動(dòng)機(jī)的輸出扭矩通過Z1，Z2，Z3，Z4，Z5，Z6等多型號齒輪的多級減速傳到行星減速器，行星輪中的行星架帶動(dòng)滾筒旋轉(zhuǎn)完成割煤動(dòng)作。為監(jiān)測傳動(dòng)部的工作狀態(tài)并預(yù)測故障，在采煤機(jī)搖臂關(guān)鍵部位安裝振動(dòng)傳感器。為便于描述MR輔助維修過程，假設(shè)通過振動(dòng)信號特征獲取齒輪Z8發(fā)生異常，則對應(yīng)的故障ID編號為A，服務(wù)系統(tǒng)觸發(fā)MR虛擬零部件的編號序列如表3所示。

3.2 系統(tǒng)功能驗(yàn)證

本文實(shí)驗(yàn)主要針對MR煤礦機(jī)電設(shè)備故障維修指導(dǎo)系統(tǒng)的維修環(huán)境感知、數(shù)據(jù)信息交互、虛實(shí)注冊融合和故障維修指導(dǎo)4方面進(jìn)行系統(tǒng)功能驗(yàn)證，其實(shí)驗(yàn)效果如圖7所示。

(1)維修環(huán)境感知 維修人員佩戴HoloLens眼鏡，打開系統(tǒng)APP進(jìn)入實(shí)時(shí)維修模式。系統(tǒng)對物理維修場景進(jìn)行初始化掃描，建立與真實(shí)物理維修空間對應(yīng)的三維感知模型，并掃描需維修的設(shè)備，建立基于三角面片的目標(biāo)設(shè)備三維模型，可知當(dāng)前的目標(biāo)設(shè)備為MG730型采煤機(jī)設(shè)備。

(2)數(shù)據(jù)信息交互 系統(tǒng)通過振動(dòng)傳感器采集當(dāng)前搖臂傳動(dòng)系統(tǒng)的運(yùn)行振動(dòng)數(shù)據(jù)，識別設(shè)備故障后，匹配對應(yīng)的故障ID識別號為A，然后從數(shù)據(jù)庫調(diào)用該故障類別下的MR維修指導(dǎo)流程。維修人員可觀察系統(tǒng)GUI操作面板，通過視線跟蹤和點(diǎn)擊手勢進(jìn)入故障維修指導(dǎo)模塊，根據(jù)需要選擇觸發(fā)相應(yīng)的功能按鈕。

(3)虛實(shí)注冊融合 HoloLens攝像頭掃描目標(biāo)物體后，觸發(fā)虛實(shí)融合注冊，將預(yù)設(shè)虛擬螺栓定位至物理維修場景中的端蓋螺栓孔處，證明該系統(tǒng)具有將虛擬維修工具準(zhǔn)確注冊至物理空間的能力。

(4)故障維修指導(dǎo) 采煤機(jī)搖臂傳動(dòng)系統(tǒng)齒輪故障MR維修指導(dǎo)的關(guān)鍵步驟包括打開端蓋、拆除六角螺栓、拔出滾筒軸和更換磨損齒輪等，維修人員可根據(jù)該流程更換故障齒輪，并結(jié)合語音、文字、虛擬維修工具和零部件模型提示，進(jìn)行虛擬維修環(huán)境與物理維修環(huán)境之間的數(shù)據(jù)交互;其次，當(dāng)系統(tǒng)現(xiàn)有的故障維修指導(dǎo)解決方案不能正確指導(dǎo)維修當(dāng)前環(huán)境中的故障時(shí)，啟用維修歷史視頻或遠(yuǎn)程專家在線指導(dǎo)功能，可以進(jìn)行多人協(xié)同下的輔助維修指導(dǎo)。

3.3 實(shí)驗(yàn)效果評價(jià)

本文針對MR礦用故障維修指導(dǎo)服務(wù)系統(tǒng)的實(shí)時(shí)維修效果進(jìn)行驗(yàn)證。實(shí)驗(yàn)表明，維修人員不但能夠根據(jù)系統(tǒng)給出的維修指導(dǎo)解決方案完成維修操作，而且能夠在觀看維修歷史視頻和遠(yuǎn)程專家在線指導(dǎo)下快速完成整個(gè)維修過程，其不需具備專業(yè)的維修知識和查看維修技術(shù)手冊，只需佩戴一臺(tái)HoloLens眼鏡便可獨(dú)自完成維修操作，解決了現(xiàn)場維修專家指導(dǎo)困難、維修人員知識儲(chǔ)備不足的技術(shù)難題。

4 結(jié)束語

針對煤礦機(jī)電設(shè)備故障維修指導(dǎo)知識獲取過程不直觀、專業(yè)維修不及時(shí)的問題，本文提出借助DT和MR技術(shù)將數(shù)字信息與煤礦機(jī)電設(shè)備輔助維修過程相融合，研發(fā)了基于BIM-Unity3D-HoloLens的機(jī)電設(shè)備故障維修MR指導(dǎo)系統(tǒng)，充分利用設(shè)備故障數(shù)據(jù)和維修過程數(shù)據(jù)驅(qū)動(dòng)維修指導(dǎo)過程，實(shí)現(xiàn)物理維修環(huán)境與真實(shí)維修環(huán)境之間的數(shù)據(jù)交互，構(gòu)建了適用于煤礦機(jī)電設(shè)備的MR輔助維修指導(dǎo)總體模型，搭建采煤機(jī)搖臂傳動(dòng)系統(tǒng)故障維修指導(dǎo)系統(tǒng)實(shí)驗(yàn)平臺(tái)并進(jìn)行了相關(guān)測試。

最后，本文以電牽引采煤機(jī)搖臂傳動(dòng)系統(tǒng)故障維修為例，對MR輔助維修指導(dǎo)系統(tǒng)樣機(jī)進(jìn)行驗(yàn)證，結(jié)果表明了維修環(huán)境感知、數(shù)據(jù)信息交互、虛實(shí)注冊融合和故障維修指導(dǎo)等關(guān)鍵技術(shù)的可行性和合理性，初步解決了物理維修空間與虛擬維修空間的虛實(shí)融合、雙向映射和仿真預(yù)警，所提出的BIM-Unity3D-MR技術(shù)理念為MR故障維修指導(dǎo)系統(tǒng)提供了創(chuàng)新性的數(shù)據(jù)交互方法，促進(jìn)了人—信息—物理系統(tǒng)的數(shù)據(jù)交互，對該領(lǐng)域發(fā)展具有積極的借鑒作用。

目前系統(tǒng)還存在一些不足，例如無標(biāo)識虛實(shí)注冊融合方法存在累積誤差，導(dǎo)致維修目標(biāo)丟失，需要維修人員重新啟動(dòng)系統(tǒng)來清除累計(jì)誤差。因此，下一步將對虛實(shí)注冊融合算法和誤差補(bǔ)償方法進(jìn)行研究，完善系統(tǒng)在煤礦采掘工作面等特殊領(lǐng)域的應(yīng)用。