王 崴，雷松貴，劉海平，李淘金，瞿 玨，邱 盎

(空軍工程大學(xué)防空反導(dǎo)學(xué)院，西安，710051)

隨著軍事科技日益先進(jìn)和戰(zhàn)場環(huán)境日益復(fù)雜，軍事裝備維修面臨巨大的挑戰(zhàn)，軍隊(duì)迫切需要解決傳統(tǒng)的維修與教學(xué)訓(xùn)練方式所存在的成本高、危險(xiǎn)大、效率低等問題?；旌犀F(xiàn)實(shí)(Mixed Reality，MR)具有虛實(shí)場景結(jié)合、實(shí)時(shí)自然交互、真實(shí)沉浸感[1]的技術(shù)特點(diǎn)，支持半實(shí)物訓(xùn)練、無實(shí)物訓(xùn)練和內(nèi)部結(jié)構(gòu)可視化，有效解決了上述問題。本文整理近年來國內(nèi)外MR軍事裝備維修的應(yīng)用及其關(guān)鍵技術(shù)，指出了存在的問題與發(fā)展趨勢。

1 混合現(xiàn)實(shí)維修概述

1.1 MR概念

Milgram和Kishino[2]提出的現(xiàn)實(shí)-虛擬連續(xù)體框架明確了MR的定義，如圖1所示。

圖1 現(xiàn)實(shí)-虛擬連續(xù)體

在此框架中，真實(shí)環(huán)境與虛擬環(huán)境被放在二維連續(xù)體兩端，現(xiàn)實(shí)與虛擬在兩端點(diǎn)間不同程度地結(jié)合在一起。在應(yīng)用中如果真實(shí)物體的比例高于虛擬物體，則可以歸類為增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)；若虛擬物體占主導(dǎo)地位，則可以歸類為增強(qiáng)虛擬(Augmented Virtuality,AV)，兩者共同構(gòu)成MR。

1.2 MR維修系統(tǒng)結(jié)構(gòu)

MR維修系統(tǒng)一般可以分為人機(jī)交互、跟蹤注冊、數(shù)據(jù)管理、虛實(shí)融合4個(gè)模塊[3]，如圖2所示。

圖2 MR維修系統(tǒng)結(jié)構(gòu)

人機(jī)交互模塊能夠使系統(tǒng)理解用戶意圖并且做出正確的響應(yīng)；跟蹤注冊模塊能夠獲取用戶的位姿信息以及維修對象的圖形信息，使虛擬物體穩(wěn)定地在用戶視野中顯示；虛實(shí)融合模塊負(fù)責(zé)處理交互指令，結(jié)合數(shù)據(jù)庫生成圖片、文字、動(dòng)畫等引導(dǎo)信息，并且渲染在用戶的視野中；數(shù)據(jù)管理模塊用于管理用戶信息和維修信息。

1.3 混合現(xiàn)實(shí)維修關(guān)鍵技術(shù)

MR維修系統(tǒng)的關(guān)鍵技術(shù)主要包含顯示技術(shù)、跟蹤注冊技術(shù)、人機(jī)交互技術(shù)以及故障推理技術(shù)。

1.3.1 顯示技術(shù)

顯示技術(shù)是MR的基礎(chǔ)，通過MR顯示設(shè)備，用戶能便捷地觀看到虛實(shí)融合的場景。頭戴顯示設(shè)備(Head-Mounted Display，HMD)方便攜帶、沉浸感強(qiáng)，在MR維修系統(tǒng)中使用最廣泛。根據(jù)顯示原理可將其分為視頻透視型(Video See-Through，VST)和光學(xué)透視型(Optical See-Through，OST)2種[4]。前者將攝像頭采集到的真實(shí)場景視頻與計(jì)算機(jī)生成的虛擬物體在屏幕上合成虛實(shí)融合的視頻。后者則是將真實(shí)場景的實(shí)時(shí)畫面與虛擬物體在成像平面上合成虛實(shí)融合的實(shí)時(shí)影像。OST顯示設(shè)備佩戴舒適、不易產(chǎn)生3D眩暈、交互自然，在MR維修系統(tǒng)中使用最多，常用的設(shè)備如圖3所示。

圖3 4種MR顯示設(shè)備

OST顯示設(shè)備主要由微型顯示器和光學(xué)元件組成，其中光學(xué)元件主要包括Birdbath、蟲眼、光波導(dǎo)等。Birdbath和蟲眼光學(xué)元件都是將微型顯示器的光線投射到分光鏡上，從分光鏡上反射的光線與透射的真實(shí)世界光線融合進(jìn)入人眼，從而形成虛實(shí)融合視野，此類設(shè)備有聯(lián)想Mirage AR、Ned Glass、Meta 2等。光波導(dǎo)則是利用第一全息光柵的衍射效應(yīng)使經(jīng)過準(zhǔn)直的微型顯示器光線滿足全反射條件在基板中向前傳播，當(dāng)光線到達(dá)第二全息光柵時(shí)全反射條件被破壞，光線進(jìn)入人眼成像[5]，如圖4所示。光波導(dǎo)元件尺寸小、清晰度高、不易產(chǎn)生重影，是當(dāng)前MR顯示設(shè)備的研究前沿，代表設(shè)備有Hololens、Magic Leap One等。

圖4 光波導(dǎo)原理

1.3.2 跟蹤注冊技術(shù)

跟蹤注冊技術(shù)是MR的核心技術(shù)，它在現(xiàn)實(shí)世界中準(zhǔn)確定位虛擬物體，使計(jì)算機(jī)生成的虛擬物體能夠穩(wěn)定融入到真實(shí)空間中。基于視覺的跟蹤注冊方法在MR維修系統(tǒng)中應(yīng)用最多，根據(jù)先驗(yàn)知識的類型可分為基于先驗(yàn)知識(標(biāo)志物、自然特征、模型)和視覺同步定位與建圖(Visual Simultaneous Localization and Mapping，VSLAM)2類。

基于先驗(yàn)知識的方法通過計(jì)算機(jī)對相機(jī)采集到的真實(shí)場景先驗(yàn)知識(標(biāo)志物、自然特征、模型)進(jìn)行處理來獲取特征信息，并通過特征信息對比計(jì)算相機(jī)位姿，然后進(jìn)行變換坐標(biāo)，最終將虛擬物體準(zhǔn)確地疊加在真實(shí)場景中，流程如圖5所示。此類方法實(shí)現(xiàn)相對簡單、效果較好，但在先驗(yàn)知識無法獲取或獲取不完整時(shí)會導(dǎo)致跟蹤注冊失敗。

圖5 基于先驗(yàn)知識的跟蹤注冊流程

與前者不同，VSLAM技術(shù)無需先驗(yàn)知識，搭載特定傳感器的主體通過自身的運(yùn)動(dòng)就可以確定環(huán)境模型[6]。VSLAM框架主要包含5個(gè)部分：傳感器數(shù)據(jù)獲取、前端處理、后端處理、回環(huán)檢測和建圖。前端即視覺里程計(jì)通過攝像機(jī)獲取到的信息估算相機(jī)的運(yùn)動(dòng)和局部地圖的雛形?；丨h(huán)檢測判斷攝像機(jī)是否經(jīng)過已到達(dá)過的位置，檢查到回環(huán)則將信息提供給后端。后端負(fù)責(zé)對前端和回環(huán)檢測數(shù)據(jù)進(jìn)行優(yōu)化和降噪。建圖即根據(jù)軌跡建立任務(wù)需要的地圖。VSLAM跟蹤注冊效果穩(wěn)定、抗干擾，但是涉及的算法多且需密切配合，是一個(gè)復(fù)雜的系統(tǒng)工程。

1.3.3 人機(jī)交互技術(shù)

人機(jī)交互技術(shù)讓用戶能夠自然高效地與虛實(shí)融合內(nèi)容進(jìn)行交互。在MR維修中最常使用的交互技術(shù)有手勢、語音和交互式電子手冊(Interactive Electronic Technical Manual，IETM)。

MR手勢交互按照輸入設(shè)備的不同可分為基于傳感器和基于視覺2種[7]。前者采用傳感器不斷獲取人手節(jié)點(diǎn)特征的三維坐標(biāo)，從而計(jì)算出人手的空間位置及運(yùn)動(dòng)軌跡信息，最終完成手勢的識別。該方法能夠直接獲取手勢信息，識別準(zhǔn)確率高，但需要額外設(shè)備支持。后者則利用攝像頭采集手勢圖像，通過計(jì)算機(jī)處理分析，最終識別手勢。該方法交互自然，不會影響用戶的正常操作，但算法較為復(fù)雜，識別率和實(shí)時(shí)性相對較差。

MR語音交互主要可分為語音識別、語義理解和語音輸出3個(gè)子系統(tǒng)。其中語音識別系統(tǒng)將輸入的聲音轉(zhuǎn)換為音素，采用語音特征模型進(jìn)行分割，然后進(jìn)行識別；語義理解系統(tǒng)將語音識別的結(jié)果進(jìn)行修正并組合成符合語法結(jié)構(gòu)和語言習(xí)慣的詞語和句子；語音輸出系統(tǒng)結(jié)合數(shù)據(jù)庫進(jìn)行語音反饋[8]。

IETM將傳統(tǒng)的紙質(zhì)技術(shù)手冊轉(zhuǎn)化為文字、圖片、多媒體等形式，按照標(biāo)準(zhǔn)格式統(tǒng)一集成在計(jì)算機(jī)系統(tǒng)中[9]。MR維修系統(tǒng)中的IETM主要提供圖紙、模型、動(dòng)畫等信息給用戶[10]，用戶通過手勢語音等交互方式與系統(tǒng)進(jìn)行溝通，如圖6所示。

圖6 交互式電子技術(shù)手冊

1.3.4 故障推理技術(shù)

故障推理技術(shù)是MR維修系統(tǒng)準(zhǔn)確提供指導(dǎo)信息的關(guān)鍵。它主要依靠專家系統(tǒng)，通過模擬專家的思維方式，以人工智能技術(shù)和計(jì)算技術(shù)為基礎(chǔ)，知識庫和推理機(jī)為核心，對設(shè)備故障進(jìn)行診斷[9]。按照知識結(jié)構(gòu)和推理方式，專家系統(tǒng)主要分為基于規(guī)則、基于案例、基于神經(jīng)網(wǎng)絡(luò)、基于模糊推理以及融合多種推理方式的專家系統(tǒng)。

傳統(tǒng)基于規(guī)則和基于案例的方法在處理小規(guī)模和復(fù)雜程度低的問題時(shí)效果良好，但是無法解決大批量復(fù)雜問題?；谀：评淼膶＜蚁到y(tǒng)引入隸屬函數(shù)的概念，模糊邏輯，適合處理不確定信息和不完整信息，缺點(diǎn)是知識獲取困難，學(xué)習(xí)能力差?；谏窠?jīng)網(wǎng)絡(luò)的方法實(shí)現(xiàn)了并行推理和自適應(yīng)學(xué)習(xí)，克服了傳統(tǒng)專家系統(tǒng)知識獲取難、推理速度慢的缺點(diǎn)，適合處理訓(xùn)練樣本充足的領(lǐng)域，但對樣本集要求較高，沒有增量學(xué)習(xí)能力，也無法解釋推理過程。目前故障推理專家系統(tǒng)正朝著數(shù)據(jù)挖掘、多信息融合、多系統(tǒng)互補(bǔ)、智能推理方法等方向發(fā)展。

2 混合現(xiàn)實(shí)維修應(yīng)用

隨著關(guān)鍵技術(shù)的發(fā)展，MR已經(jīng)被應(yīng)用于航天航空、船舶、汽車、通信等軍事相關(guān)領(lǐng)域的維修以及相關(guān)人員培訓(xùn)中。

2.1 教學(xué)培訓(xùn)

MR維修訓(xùn)練以低成本、低風(fēng)險(xiǎn)、不受氣候和場地限制、不受軍事裝備占用限制等獨(dú)特優(yōu)勢受到了各國軍方的重視。歐盟WEKIT項(xiàng)目[11]采用“幽靈軌跡”來記錄專家的位置運(yùn)動(dòng)與聲音解釋，以“全息幽靈”的形式手把手指導(dǎo)新手完成飛行前維護(hù)、國際空間站復(fù)制模塊中臨時(shí)載物架的安裝等任務(wù)，如圖7所示。

圖7 WEKIT項(xiàng)目

波蘭空軍技術(shù)學(xué)院開發(fā)了基于MR的地空導(dǎo)彈故障診斷模擬器和虛擬指控臺，通過HMD以聲音指令、文本說明、三維動(dòng)畫等形式訓(xùn)練部隊(duì)執(zhí)行診斷程序和選定作戰(zhàn)行動(dòng)，有效解決了無法使用實(shí)裝訓(xùn)練的問題[12]。美國Lockheed Martian公司將MR技術(shù)運(yùn)用于F-22和F-35的制造與維修中，在工程師視野中顯示螺栓、電纜等零部件的效果圖與編號，替代了傳統(tǒng)紙質(zhì)說明書，使工程師的工作效率提高了30%、裝配準(zhǔn)確率提高了96%。另外該公司通過Hololens眼鏡與相關(guān)軟件配合，使新鉆孔工藝的培訓(xùn)時(shí)間由8 h縮短到45 min，將NASA“獵戶座”航天器鉆孔、面板插入等操作耗時(shí)由6周縮短到2周左右[13]。

與歐美軍事強(qiáng)國對比，國內(nèi)關(guān)于MR軍事裝備維修的研究還比較分散，還處于原理與方法的探索階段。國內(nèi)蘇群星等[14]為大型復(fù)雜軍事裝備設(shè)計(jì)了虛擬維修系統(tǒng)，對虛擬樣機(jī)建立與虛擬維修流程進(jìn)行研究，采用維修知識描述網(wǎng)MKDN對維修知識進(jìn)行描述，系統(tǒng)功能在某型導(dǎo)彈裝備虛擬維修訓(xùn)練中得到了驗(yàn)證；方傳磊等[15]在此基礎(chǔ)上開發(fā)了導(dǎo)彈裝備虛擬維修訓(xùn)練系統(tǒng)通用平臺，使用EON studio開發(fā)了面向某裝備的原型系統(tǒng)，使用ACESS進(jìn)行數(shù)據(jù)管理，實(shí)現(xiàn)了教學(xué)演示與自主訓(xùn)練功能；張王衛(wèi)等[16]開發(fā)了面向軍事裝備維修的虛擬拆卸系統(tǒng)，對建模、拆卸序列和路徑規(guī)劃等關(guān)鍵技術(shù)進(jìn)行了研究，系統(tǒng)成功應(yīng)用于某型裝備傳動(dòng)箱的拆卸維修訓(xùn)練；楊鵬等[17]基于虛實(shí)結(jié)合的思想設(shè)計(jì)了半實(shí)物防空導(dǎo)彈武器系統(tǒng)全任務(wù)維修訓(xùn)練模擬器，并提出了將維修訓(xùn)練融入操作訓(xùn)練的模式，通過動(dòng)態(tài)設(shè)置故障突出實(shí)戰(zhàn)化要求；劉桂峰等[18]提出了基于Vega Prime的交互式實(shí)時(shí)虛擬維修系統(tǒng)，成功應(yīng)用于某型艦艇減搖鰭虛擬維修中。梅朝等[19]基于Unity 3D設(shè)計(jì)了軍事裝備虛擬維修訓(xùn)練系統(tǒng)，通過層次分析法和GAHP法對學(xué)員訓(xùn)練效果進(jìn)行全面評價(jià)，并在傳統(tǒng)系統(tǒng)的基礎(chǔ)上增加了半實(shí)物排障模塊，進(jìn)一步豐富了系統(tǒng)功能。

2.2 戰(zhàn)場搶修

在現(xiàn)代化戰(zhàn)爭中，軍事裝備故障時(shí)有發(fā)生，MR維修系統(tǒng)提供了全新的戰(zhàn)場保障手段。美國空軍的ARMAR項(xiàng)目旨在提高軍事裝備維修水平，采用了機(jī)會控制的交互策略，即在操作人員觸摸到維修對象時(shí)，系統(tǒng)能夠識別位置標(biāo)識物，調(diào)出當(dāng)前維修對象的虛擬菜單，提示操作人員使用手勢選擇操作流程?；谠擁?xiàng)目研究人員開發(fā)了美海軍陸戰(zhàn)隊(duì)裝甲運(yùn)輸車LAV-25AI炮塔MR維修原型系統(tǒng)[20]。借助該系統(tǒng)機(jī)械師能夠在狹窄的裝甲車轉(zhuǎn)塔內(nèi)完成安裝和拆卸緊固件、指示燈以及連接電纜等18個(gè)野外條件下的常見任務(wù)，如圖8所示。美軍開發(fā)的Adroit AR系統(tǒng)[21]可以掃描并識別維修目標(biāo)，與遠(yuǎn)程數(shù)據(jù)中心通信，接受必要的數(shù)據(jù)和指令，可視化坦克內(nèi)部結(jié)構(gòu)，提供動(dòng)畫、語音形式的操作指引，協(xié)助戰(zhàn)場維修小組在極度緊張的戰(zhàn)斗環(huán)境中完成MIA2主戰(zhàn)坦克的搶修。

圖8 ARMAR項(xiàng)目

意大利空軍利用Hololens開發(fā)了用于維修C4I系統(tǒng)的應(yīng)用[22]，專家通過專用網(wǎng)絡(luò)對維修人員進(jìn)行遠(yuǎn)程指導(dǎo)，如圖9所示。西班牙空軍與空客合作開發(fā)了基于無人機(jī)和MR技術(shù)的軍用飛機(jī)檢查技術(shù)。搭載在無人機(jī)上的高清相機(jī)能夠在數(shù)小時(shí)內(nèi)掃描待檢修的飛機(jī)外部，并傳輸?shù)紿MD上顯示，幫助維修人員快速識別故障并執(zhí)行維修操作[13]。

圖9 意大利空軍使用MR維修C4I系統(tǒng)

白柯萌等[23]設(shè)計(jì)了一種多傳感器式誘導(dǎo)維修系統(tǒng)，采用基于PST跟蹤儀和三軸陀螺儀、地磁感應(yīng)計(jì)、加速度計(jì)的多傳感器系統(tǒng)實(shí)現(xiàn)了穩(wěn)定的跟蹤，采用OSG進(jìn)行圖形開發(fā)，使用自制HMD進(jìn)行增強(qiáng)顯示。實(shí)驗(yàn)表明在更換某型裝備電磁鐵的任務(wù)中(如圖10)，使用該系統(tǒng)指導(dǎo)維修所用時(shí)間較傳統(tǒng)紙質(zhì)手冊和手持終端分別減少36.9%和20.4%。

圖10 多傳感器誘導(dǎo)維修系統(tǒng)

崔波等[3]設(shè)計(jì)了混合現(xiàn)實(shí)軍事裝備誘導(dǎo)維修系統(tǒng)，并且成功應(yīng)用于軍用汽車發(fā)動(dòng)機(jī)的維修實(shí)際中。該系統(tǒng)采用模塊化設(shè)計(jì)，便于維護(hù)與升級；采用語音和手勢實(shí)現(xiàn)了多通道人機(jī)交互；采用數(shù)據(jù)管理模塊對維修文檔進(jìn)行標(biāo)準(zhǔn)化集中管理。基于此框架使用Ned Glass開發(fā)的誘導(dǎo)維修系統(tǒng)已經(jīng)應(yīng)用到了液壓設(shè)備的維修中，如圖11所示。羅又文等[24]為系統(tǒng)設(shè)計(jì)了基于Faster R-CNN的進(jìn)程識別自動(dòng)交互方法，利用神經(jīng)網(wǎng)絡(luò)自動(dòng)識別維修過程中拆卸下的零件，從而判斷步驟是否正確，實(shí)驗(yàn)表明該交互方法使系統(tǒng)交互平均時(shí)間由語音的0.6 s和手勢的1.1 s降至0.3 s。

圖11 MR誘導(dǎo)維修系統(tǒng)

胡江南等[25]提出了軍事裝備遠(yuǎn)程虛擬故障診斷支援系統(tǒng)，通過北斗衛(wèi)星通訊系統(tǒng)傳輸故障信息，采用MR技術(shù)進(jìn)行遠(yuǎn)程故障診斷，并能根據(jù)戰(zhàn)場實(shí)時(shí)態(tài)勢調(diào)度保障力量，開辟了作戰(zhàn)保障的新途徑。

2.3 智能維修

隨著軍事裝備技術(shù)含量的不斷提升，傳統(tǒng)MR維修系統(tǒng)漸漸無法滿足日常訓(xùn)練與維修任務(wù)，智能維修系統(tǒng)是未來保障工作的迫切需要，研究者們正朝此方向探索。法國米蘭理工大學(xué)的Aransyah等[26]將計(jì)算機(jī)維修管理軟件(Computerized Maintenance Management Software，CMMS)集成在MR維修系統(tǒng)中，系統(tǒng)通過Hololens上的攝像頭檢測附加在設(shè)備上的標(biāo)志，從而識別機(jī)器ID，接著自動(dòng)調(diào)取CMMS數(shù)據(jù)庫中該設(shè)備的信息提供指導(dǎo)，如圖12。當(dāng)發(fā)生故障時(shí)，用戶通過語音輸入故障名稱，系統(tǒng)將可能的原因顯示在操作者視野中，用戶逐一排查，檢查到原因后，系統(tǒng)自動(dòng)調(diào)取說明文本和視頻指導(dǎo)用戶進(jìn)行維修操作。新西蘭坎特伯雷大學(xué)的Westerfield等[27]將MR與智能輔導(dǎo)系統(tǒng)(Intelligent Tutoring Systems，ITS)進(jìn)行結(jié)合，通過ITS自適應(yīng)指導(dǎo)手工裝配任務(wù)的培訓(xùn)，系統(tǒng)功能在計(jì)算機(jī)主板裝配中得到了驗(yàn)證。

圖12 集成CMMS的MR維修系統(tǒng)

Sun等[28]提出了一種應(yīng)用在MR裝配中的智能交互系統(tǒng)。該系統(tǒng)設(shè)計(jì)了一種內(nèi)含多個(gè)振動(dòng)傳感器的立體標(biāo)志物模塊，虛擬零件覆蓋在標(biāo)志物上，當(dāng)發(fā)生碰撞時(shí)模塊會產(chǎn)生振動(dòng)提示操作者進(jìn)行糾正。與之類似，德國的Webel等[29]將腕部觸覺傳感器應(yīng)用于MR維修培訓(xùn)中，在不妨礙用戶自主探索的同時(shí)提供更直接的反饋，如圖13所示。德國漢堡科技大學(xué)的Eschen等[30]嘗試將MR應(yīng)用于飛機(jī)發(fā)動(dòng)機(jī)燃燒室的故障檢查，通過提高裂紋可視化水平來進(jìn)行判斷。當(dāng)前的MR智能維修系統(tǒng)都處于原型階段，僅能實(shí)現(xiàn)故障診斷與人機(jī)交互的初步智能化，還沒有實(shí)現(xiàn)智能故障識別。

圖13 MR觸覺交互

3 存在的問題與解決思路

根據(jù)現(xiàn)有的研究進(jìn)展分析MR軍事裝備維修系統(tǒng)中存在的主要問題，并給出具體的解決思路。

1)系統(tǒng)實(shí)用性問題：現(xiàn)有系統(tǒng)架構(gòu)與系統(tǒng)功能性方面存在著較大的不足，可提供維修指導(dǎo)的故障數(shù)量十分有限，功能限制在單一的維修訓(xùn)練、原理演示、誘導(dǎo)維修中，系統(tǒng)集成度不高。深層次原因是軍事裝備設(shè)計(jì)資料庫、模型數(shù)據(jù)庫、故障數(shù)據(jù)庫等關(guān)鍵信息的收集整理不到位，維修系統(tǒng)的開發(fā)者往往需要逆向建模和收集故障。對此解決思路是開發(fā)者與軍事裝備的設(shè)計(jì)生產(chǎn)工業(yè)部門、部隊(duì)使用者建立聯(lián)系，使用統(tǒng)一的格式對上述信息進(jìn)行收集整理，系統(tǒng)功能集成模型靜態(tài)展示、原理動(dòng)畫演示、故障維修練習(xí)、現(xiàn)場故障搶修、訓(xùn)練成績量化考核于一體，為軍事裝備全壽命周期服務(wù)。

2)顯示設(shè)備問題：一是與單兵軍事裝備結(jié)合不緊密，無法在戰(zhàn)場環(huán)境中很好地保護(hù)士兵；二是弱化了士兵對真實(shí)環(huán)境的感知能力；三是使用溫度、續(xù)航時(shí)間、視野范圍等性能參數(shù)無法適應(yīng)嚴(yán)峻的戰(zhàn)場環(huán)境。對此，解決方法是將MR顯示設(shè)備與戰(zhàn)術(shù)頭盔通過模塊外掛、導(dǎo)軌安裝、直接集成等形式進(jìn)行結(jié)合；采用單眼顯示、不使用時(shí)將顯示設(shè)備向側(cè)面或者向上折疊的方式來最大限度減少虛擬物體對士兵環(huán)境感知能力的干擾；與工業(yè)部門深度合作，定制專用顯示設(shè)備，在戰(zhàn)場環(huán)境測試中不斷改進(jìn)。

3)跟蹤注冊問題：一是基于視覺的跟蹤注冊技術(shù)在戶外易受到光照、油污、灰塵等環(huán)境條件的干擾；二是士兵經(jīng)常需要快速旋轉(zhuǎn)和移動(dòng)頭部，導(dǎo)致跟蹤目標(biāo)的丟失。對此，解決思路是預(yù)先剔除不穩(wěn)定因素或者采用多種方法取長補(bǔ)短；開發(fā)適應(yīng)戶外環(huán)境條件的大場景跟蹤注冊方法；提升硬件傳感器的精度與穩(wěn)定性；使用相關(guān)濾波算法和深度學(xué)習(xí)技術(shù)進(jìn)一步提高實(shí)時(shí)性和魯棒性。

4)人機(jī)交互問題：一是常用的手勢和語音交互方式在戰(zhàn)場中會因?yàn)樵胍艉碗p手占用變得無效；二是現(xiàn)有系統(tǒng)缺少力反饋，在安裝零件、擰緊螺栓等情況下無法提示該使用多大的力量；三是系統(tǒng)中大量的信息顯示與高度緊張的戰(zhàn)場環(huán)境增加了認(rèn)知負(fù)荷，可能導(dǎo)致士兵的思維混亂[22]。對此解決思路是采用深度學(xué)習(xí)技術(shù)提高現(xiàn)有交互方式的準(zhǔn)確率與魯棒性；研究眼動(dòng)、觸覺和肌電、腦電、表情等生理信號交互方法，并將它們有機(jī)結(jié)合以實(shí)現(xiàn)多通道交互；結(jié)合力傳感器與觸覺傳感器來建立力反饋機(jī)制，通過手部的振動(dòng)更直觀地指導(dǎo)士兵；通過腦電、瞳孔變化等生理信號測量認(rèn)知負(fù)荷，在負(fù)荷過大時(shí)采用自適應(yīng)人機(jī)界面方法減少顯示信息量、增大顯示文字，最終降低認(rèn)知負(fù)荷。

4 加強(qiáng)我軍混合現(xiàn)實(shí)軍事裝備維修系統(tǒng)應(yīng)用建設(shè)的措施建議

根據(jù)MR相關(guān)技術(shù)的發(fā)展現(xiàn)狀，可以總結(jié)出MR軍事裝備維修系統(tǒng)的未來發(fā)展趨勢：①智能化：主要體現(xiàn)在故障現(xiàn)象識別智能化、故障推理專家系統(tǒng)智能化、維修信息顯示智能化、維修過程記錄智能化等方面；②標(biāo)準(zhǔn)化：設(shè)立專門機(jī)構(gòu)建立統(tǒng)一的硬件和軟件標(biāo)準(zhǔn)并進(jìn)行推廣，降低開發(fā)與學(xué)習(xí)成本，便于技術(shù)交流與發(fā)展；③模塊化：包含硬件和軟件的模塊化，系統(tǒng)升級或修改系統(tǒng)內(nèi)容時(shí)僅對對應(yīng)模塊進(jìn)行操作，系統(tǒng)故障時(shí)更換上相關(guān)模塊的冗余備份，實(shí)現(xiàn)快速維修，進(jìn)一步提高系統(tǒng)可靠性。

我軍對系統(tǒng)的運(yùn)用與歐美軍隊(duì)相比還存在較大的差距，為了避免差距被拉大，本文提出以下建議：①引入有實(shí)力的地方企業(yè)和高校院所參與系統(tǒng)開發(fā)，實(shí)現(xiàn)深層次軍民融合；②推動(dòng)系統(tǒng)走出實(shí)驗(yàn)室，應(yīng)用于部隊(duì)維修實(shí)戰(zhàn)，根據(jù)部隊(duì)反饋進(jìn)行針對性改進(jìn)；③推進(jìn)系統(tǒng)硬件和軟件國產(chǎn)化進(jìn)程，替換大量使用的國外產(chǎn)品(如Unity引擎、3DMAX軟件、Hololens眼鏡等)，避免被歐美國家技術(shù)封鎖，在系統(tǒng)未來發(fā)展中掌握主動(dòng)權(quán)；④與北斗系統(tǒng)、5G技術(shù)等我國優(yōu)勢技術(shù)融合，實(shí)現(xiàn)范圍更廣、延遲更低、貼近實(shí)戰(zhàn)的分布式軍事裝備保障體系。盡管當(dāng)前MR軍事裝備維修系統(tǒng)還存在許多問題，但是隨著相關(guān)技術(shù)的發(fā)展，未來成熟的系統(tǒng)仍是值得期待的。