馬金盾，張 雷，郭理彬，張 杰

(陸軍裝甲兵學院 兵器與控制系，北京 100072)

隨著計算機視覺、圖像處理等技術的發(fā)展，增強現(xiàn)實(Augmented Reality，AR)技術應運而生。AR技術最早是在1994年由Paul Milgram和Fumio Kishino給出明確定義[1]，是指在真實場景中疊加虛擬模型或信息，實現(xiàn)虛擬場景與真實場景的精確融合，以加強人們對真實場景的感知和處理，目前已廣泛應用在醫(yī)療[2-3]、工業(yè)[4-5]、教育[6]和軍事[7]等領域。AR技術的出現(xiàn)給復雜的裝備維修帶來了生機，產(chǎn)生了維修引導的新概念，目前基于AR技術的引導維修是國內(nèi)外大型設備的主流維修方式。諸如麻省理工、波音公司、浙江大學等多家單位都對增強現(xiàn)實維修引導系統(tǒng)及其關鍵性技術做了一系列的研究，并且取得了很好的成果。此外，同時定位與地圖構建(Simultaneous Localization And Mapping，SLAM)技術在近幾年取得了成熟的發(fā)展，并且視覺SLAM(Visual SLAM，VSLAM)技術以其硬件成本低廉(只需要一個普通攝像頭)、小場景范圍內(nèi)精度較高、無需預先布置場景等優(yōu)勢，成為現(xiàn)在一個采用較多的增強現(xiàn)實定位技術[8-9]，能夠實現(xiàn)真正意義上的無標志跟蹤注冊。本文主要對增強現(xiàn)實維修引導系統(tǒng)及其關鍵技術的研究進展進行了闡述，重點對VSALM技術的發(fā)展作了總結，最后對目前存在的問題和發(fā)展趨勢作了深刻的分析，希望能對AR技術應用在維修方面的研究提供參考。

1 增強現(xiàn)實維修引導系統(tǒng)研究進展

增強現(xiàn)實維修引導系統(tǒng)是指針對復雜大型機電系統(tǒng)的維修引導培訓系統(tǒng)，它是利用AR技術對維修過程中所用到的檢測數(shù)據(jù)、操作步驟等復雜、多樣化信息進行“增強”顯示，以實現(xiàn)輔助維修人員進行故障檢測和維修操作的目的[10]。該系統(tǒng)主要包括故障檢測、維修培訓、現(xiàn)場離線輔助維修和遠程實時指導維修等功能，實現(xiàn)該系統(tǒng)的主要技術包括增強現(xiàn)實技術(跟蹤注冊技術、真實感繪制技術、交互顯示技術)，交互式電子技術手冊(Interactive Electronic Technical Manual,IETM)技術和故障輔助推理技術等等，該系統(tǒng)盡可能地實現(xiàn)了虛擬引導信息、檢測數(shù)據(jù)與真實維修空間之間的完美對接，大幅度提高了維修的效率。增強現(xiàn)實系統(tǒng)如圖1所示。

圖1 增強現(xiàn)實維修系統(tǒng)框圖

1.1 國外研究進展

AR技術自提出以來受到了世界上多家研究團隊的廣泛關注與研究，國外對AR技術在工業(yè)維修方面的應用研究起步較早，多家科研單位都進行了深入的研究，取得了一系列的成果，歐美等發(fā)達國家在這一領域的發(fā)展代表了當今世界的先進水平。

1.1.1美國的研究進展

美國是最早進行該研究的國家之一。1990年，波音公司的Tom Caudell[11]和他的同事率先利用AR技術來改善飛機制造過程中的輔助布線系統(tǒng)，這是增強現(xiàn)實這個詞的首次提出，之后波音公司開始將增強現(xiàn)實應用到輔助維修領域。他們研究了用于指導技術人員維護航天電器系統(tǒng)的維修引導系統(tǒng)，此系統(tǒng)應用在DART510航空發(fā)動機的維修過程中[12]，其維修時間與之前相比縮短了56%。同期哥倫比亞大學也進行了一系列研究，到了1993年，Steve Feiner教授[13]的科研團隊研發(fā)出了基于知識的增強現(xiàn)實維修助手(Knowledge-based Augmented Reality for Maintenance Assistance，KARMA)系統(tǒng)，該系統(tǒng)是一個基于標識的增強現(xiàn)實系統(tǒng)，他使用虛實配準技術將虛擬的技術說明和真實的激光打印機進行圖像融合，技術人員會在頭戴顯示器(Head Mount Display，HDM)顯示的說明信息下工作，此系統(tǒng)可以很方便地幫助使用該產(chǎn)品的用戶維護激光打印機。由于AR技術在民用維修領域的突出表現(xiàn)，美國軍方對該技術也有了高度的關注。2007年8月，美國空軍聯(lián)合空軍研究實驗室、戰(zhàn)斗人員準備研究部、哥倫比亞大學啟動了增強現(xiàn)實維護修理(Augmented Reality For Maintenance And Repair，ARMAR)研究計劃[14]，旨在提升裝備維護和維修訓練的效果。模塊化的設計思路是該計劃研發(fā)的原型系統(tǒng)的一個創(chuàng)新點，所以該系統(tǒng)無需修改整個系統(tǒng)框架和維修流程就可以實現(xiàn)流程升級。人機交互方式中的機會控制(Opportunistic Controls,OC)策略是該系統(tǒng)的又一創(chuàng)新之處，當操作人員觸摸到被維修對象時，系統(tǒng)通過手勢匹配、手勢分析和標志物識別等技術調出被維修對象的虛擬維修菜單觸摸界面，通過手指觸摸虛擬界面來選擇相應的維修流程。此外該系統(tǒng)還可以監(jiān)控用戶的維修進度，在適當?shù)臅r機自動地為用戶提供在當前進度下的維修操作步驟、所用工具、圖像、音頻和視頻等各種虛擬信息，這是此系統(tǒng)的第三大創(chuàng)新點。2009年，哥倫比亞大學基于此項研究完成了面向LAV-25A1式裝甲運輸車炮塔維修的輔助原型系統(tǒng)的設計[15]，此系統(tǒng)得到了成功應用，極大地提升了美軍士兵的維修水平。2015年，美國國防部組建的數(shù)字化制造和創(chuàng)新機構，將基于AR和可穿戴設備的生產(chǎn)車間布局作為研究的重點[16]。該研究不僅可以實現(xiàn)傳統(tǒng)的AR輔助維修，而且創(chuàng)新性地實現(xiàn)了異地多人實時交互，它通過互聯(lián)網(wǎng)技術將遠程云端的模型、設計圖紙、實物及專家維修方案等信息實時共享，這是增強現(xiàn)實維修引導系統(tǒng)功能的又一重大突破。目前AR技術的研究越來越深入，Google、Microsoft、Magic Leap等多家公司都應用SALM技術研發(fā)了輕量級的AR眼鏡，為增強現(xiàn)實維修引導系統(tǒng)的實現(xiàn)提供了新的解決方案。此類眼鏡啟動后可以利用自身攝像機(單目、深度相機)自動地實時定位自身位姿并且構建所處環(huán)境地圖，能夠實時為虛擬場景的融合提供精確的坐標信息，極大地提高了用戶的沉浸感。2015年，微軟公司的Hololens眼鏡一經(jīng)發(fā)布就獲得了美國國家航天局的青睞，成為Sidekick項目的核心工具，隨著Space X公司的太空飛船進入太空。現(xiàn)在波音公司的工人在飛機電力線纜的裝配中，已經(jīng)應用到了新型的Google AR眼鏡，F(xiàn)ord、Tesla等公司也在汽車制造中的部件裝配等方面應用了輕量化的AR眼鏡，都取得了很好的效果。

1.1.2其他國家的研究進展

歐盟對AR維修引導技術的研究也取得了突破性的進展。2003年，由德國主導的研發(fā)團隊成功開發(fā)了Arvika系統(tǒng)[17]和Starmate系統(tǒng)[18]，其成功應用完美地揭示了AR技術在大型復雜機電系統(tǒng)的安裝、維修領域的巨大應用價值。2017年，意大利的Univet公司發(fā)布了Univet 5.0增強現(xiàn)實眼鏡，此眼鏡的一大特點是鏡片可以快速替換，能夠有效防止機械沖擊損壞鏡片。目前Audi、BMW等公司已經(jīng)將AR眼鏡成功應用于汽車維修和裝配工作中。

2013年，新加坡國立大學的Zhu等[19]開發(fā)了可編程環(huán)境感知增強現(xiàn)實系統(tǒng)(Authorable Context-awareaugmented Reality System,ACARS)。ACARS系統(tǒng)的提出將維修人員的專業(yè)水平、現(xiàn)實場景中的實時維修狀態(tài)以及系統(tǒng)顯示的虛擬維修信息內(nèi)容有機結合起來，允許專業(yè)維修人員根據(jù)現(xiàn)場維修場景對該系統(tǒng)提供的維修內(nèi)容進行實時修改(這些維修內(nèi)容由設計者提供)，提升了系統(tǒng)的完善和更新速度。ACARS系統(tǒng)的提出擴大了增強現(xiàn)實維修引導系統(tǒng)的功能范圍，給增強現(xiàn)實維修引導系統(tǒng)的發(fā)展帶來了新的啟示。此外，2016年日本航空公司與Microsoft合作，也研究實現(xiàn)了面向發(fā)動機機械師和飛行員的AR訓練系統(tǒng)。

1.2 國內(nèi)研究進展

國內(nèi)AR技術雖然起步較晚，但目前在大眾應用和工業(yè)生產(chǎn)、維修領域都取得了不錯的研究成果。

2000年，國內(nèi)開始進行了AR領域的最早研究。北京理工大學的王涌天帶領的研發(fā)團隊成功實現(xiàn)了將AR技術應用到圓明園景觀的數(shù)字重現(xiàn)[20,23]，效果非常逼真，除此之外他們還對AR關鍵技術之一的三維注冊算法進行了研究與改進。2007年，國內(nèi)的AR技術開始在工業(yè)生產(chǎn)領域得到應用，主要集中在航空制造、維修方面，目前已經(jīng)擴展到汽車等其他工業(yè)領域。目前國內(nèi)的研究主要集中在諸如南京航空航天大學[10]、北京郵電大學[21]、浙江大學[22]、北京理工大學[20,23]、中科院自動化所等高等科研院校和研究所，現(xiàn)已取得了喜人的研究成果。南京航天航空大學主要針對基于AR的民用航空器維修展開了一系列深入的研究，包括維修引導系統(tǒng)的組成、構建和交互方式等方面，還開展了基于視覺跟蹤的AR電子知識技術手冊的研究，較為突出的是民航學院的左洪福教授團隊，實現(xiàn)了許多基于AR的飛機維修引導應用系統(tǒng)。華中科技大學的徐遲主要針對AR系統(tǒng)實現(xiàn)過程中三維物體識別和注冊的實時性問題進行了研究[25-26]，提出了適用于高噪聲環(huán)境下使用和計算資源有限的移動設備使用的注冊識別算法。2017年，浙江大學的李佳寧對VSLAM技術在AR系統(tǒng)中的運用進行了深入的研究[27]。他創(chuàng)新性地提出了一種基于Frame-to-Model的SLAM技術框架，并在本框架的基礎上結合RGB-D相機開發(fā)實現(xiàn)了一套使用者直接手指觸控的AR人機交互系統(tǒng)，與現(xiàn)有交互系統(tǒng)相比該系統(tǒng)實時性有了很大提升。與此同時空軍工程大學的防空反導學院利用基于紅外高亮標識點的PST跟蹤儀和AR頭盔，結合語音和手勢識別，成功研發(fā)了一套基于多傳感器融合式的增強現(xiàn)實維修引導系統(tǒng)[28]，此系統(tǒng)還創(chuàng)新性地構建了數(shù)據(jù)分布式處理和無線通信網(wǎng)絡模塊，極大地增強了系統(tǒng)的適用性和實用性，能使維修人員的維修效率更加高效。

目前國內(nèi)基于AR技術的維修引導系統(tǒng)及其相關技術的研究正處于如火如荼、攻堅克難的關鍵時期，各個研究團隊都結合新興的圖像學技術進行著深入的研究。

2 關鍵技術

增強現(xiàn)實維修引導系統(tǒng)的關鍵技術主要包括增強現(xiàn)實技術(三維跟蹤注冊技術、真實感繪制技術、交互和顯示技術)、交互式電子技術手冊(IETM)技術和故障輔助推理技術，他們相互支撐，缺一不可。其中AR技術中的三維跟蹤注冊技術是保證系統(tǒng)實現(xiàn)的關鍵。

2.1 三維跟蹤注冊技術

雖然面向維修引導的AR系統(tǒng)目前已經(jīng)取得了長足的發(fā)展，但做為其技術核心的跟蹤注冊技術一直限制著AR系統(tǒng)的發(fā)展。三維跟蹤注冊技術是保證AR系統(tǒng)幾何一致性的關鍵，它是指如何實現(xiàn)將虛擬物體捆綁到現(xiàn)實環(huán)境的坐標系中，并且隨著視角變換還能實時準確融合到真實場景中。由于具有攝像頭的移動設備的普及和計算能力的進步，基于視覺傳感器(攝像機)的注冊方法受到了高度重視和發(fā)展，此類方法按照算法原理不同主要分為基于平面標志、基于無標志和基于三維物體，3種位姿跟蹤和估計方法。

基于平面標志的注冊方法是AR中最早實用化和商業(yè)化的技術，主要面向大眾應用，其中最有代表性的研究成果之一是采用人工標志的ARToolkit[29]，此開源工具采用對比度高的黑白二色構成的圖案(人工制造，預放置在場景中)來進行跟蹤，主要包括獲取灰度圖、預處理、快速識別和丟棄4個步驟，最后計算標志位姿匹配圖像。人工標志雖然具有穩(wěn)定的定位效果，但黑白圖案往往對環(huán)境造成“污染”，而基于自然標志的定位算法較好地解決了這一問題，主要采用具有豐富特征的自然圖像作為標志，主要包括特征點提取、特點匹配和單應性矩陣計算等3個步驟，被蘋果公司收購的德國Metaio公司開發(fā)的Metaio AR SDK[30]、高通公司收購的 Vuforia[31]發(fā)布的SDK都采用了這種方法，有著不錯的跟蹤注冊效果。雖然這兩種方法都可以滿足實時、穩(wěn)定、魯棒的三維空間注冊，但具有很大的局限性，就是當視角離開預設的標志，就不能進行跟蹤注冊。

2007年，由Klein等[32]提出的PTAM算法，為這一問題的解決帶來了福音，具有無標志注冊跟蹤里程碑式的意義。無標志的跟蹤注冊是指通過對攝像機拍攝的連續(xù)視頻圖像幀進行處理得到攝像機位姿來實現(xiàn)虛擬物體的注冊過程，一般都采用SLAM技術來實現(xiàn)，主要用來實現(xiàn)靜態(tài)場景中的跟蹤注冊。2015年，Mur-Artal等[33]對PTAM中的各個模塊進行了改進和完善，基于PTAM框架提出了完整的ORB-SLAM系統(tǒng)[33]并開放了源代碼，成為SLAM發(fā)展的又一里程碑，隨后各個科研團隊對SLAM的關注度急劇提高，近幾年的研究成果也極其豐厚。雖然SLAM技術最早是面向機器人領域的，但目前已被廣泛應用在AR領域中，被稱為未來真正實現(xiàn)增強現(xiàn)實系統(tǒng)三維注冊模塊的關鍵技術，讓人耳目一新的HoloLens就是采用了基于單目和RGB-D的SLAM算法來實現(xiàn)虛擬界面的良好顯示。本文將在下一節(jié)對此技術的發(fā)展進行具體介紹。

與SLAM技術不同，基于三維物體的注冊方法主要是面對運動場景使用的，主要是對三維實物進行檢測、識別和跟蹤。當前主要的檢測識別方法是基于模板匹配的方法，基本思想是在模板上提取物體邊緣的方向，而后在待檢測圖像上進行物體檢測識別，隨著深度學習的發(fā)展，也出現(xiàn)了不少利用卷積神經(jīng)網(wǎng)絡學習圖像較高層次特征來進行物體檢測和識別的方法，分類能力較強。跟蹤模塊主要是采用基于特征點的方法和基于模型的方法兩種，前者與特征法的SLAM原理類似，后者主要是通過與預知物體的三維模型進行對比來確定位姿關系的。此方法通常作為增強現(xiàn)實維修引導系統(tǒng)中跟蹤模塊的初始化算法，在得到維修對象初始化位置后，在針對相應的場景選擇對應的位姿估計算法，靜態(tài)場景則采用VSALM技術，動態(tài)場景繼續(xù)使用基于三維物體的方法進行位姿估計。

2.2 真實感繪制技術

目前國內(nèi)外多家機構對VSLAM技術已經(jīng)進行了十幾年的研究，逐漸形成了一個較為成熟的技術框架，現(xiàn)有的VSLAM結構如圖2所示，主要包含輸入端，視覺里程計(跟蹤位姿求解)，回環(huán)檢測，后端優(yōu)化，構建地圖和重定位6個模塊。各種不同的VSLAM系統(tǒng)則是在每個模塊各自采用了不同的實現(xiàn)方法，VSLAM的實現(xiàn)方式主要分為基于濾波器和基于非線性優(yōu)化兩種類型。21世紀前，SLAM的狀態(tài)估計主要采用濾波的方法，通常用擴展卡爾曼濾波器(Extended Kalman Filter,EKF)來實現(xiàn)。2007年，Davison[34]提出了具有代表性的Mono SLAM，它是第一個基于EKF實現(xiàn)的單目VSALM系統(tǒng)，雖然初步解決了實時的問題，能夠在線創(chuàng)建稀疏地圖，但是EKF將非線性估計當做線性估計來近似處理，所以導致誤差累積，無法保證全局最優(yōu)，長時間就會極大地影響系統(tǒng)精度，因此之后的很多研究人員針對此問題進行了研究與改進，例如Mourikis等提出了MSCKF，此算法創(chuàng)新性地引入了硬件設備數(shù)據(jù)，即慣性測量單元(IMU)數(shù)據(jù)，作為狀態(tài)輸入，并用滑動窗口的辦法減小了誤差的傳遞。

圖2 VSLAM結構框圖

現(xiàn)在SLAM系統(tǒng)多采用基于非線性優(yōu)化的方式進行實現(xiàn)，它是將所有狀態(tài)當做變量，把運動方程和觀測方程當作變量間的約束，并構造誤差函數(shù)，通過最小化所有誤差的平方和來有效抑制誤差。2007年，Klein等[32]提出的PTAM(Parallel Tracking and Mapping)SLAM框架是首個采用非線性優(yōu)化方法進行后端運算的系統(tǒng)，此外該系統(tǒng)還首次提出了前端和后端兩個過程并行的SLAM框架，保證了系統(tǒng)的實時性，至今此方式依然被主流的VSLAM框架所沿用。但由于此系統(tǒng)缺乏閉環(huán)檢測機制，地圖初始化需要人工參與，所以僅在小范圍場景有較好應用。2015年，Mur-Artal等在PTAM的基礎上，結合Galvez的閉環(huán)檢測方法[35]和Strasdat的大尺度環(huán)境的局部相互可見地圖的思想[36]，研究了ORB-SLAM系統(tǒng)并開放了源代碼，此系統(tǒng)能夠在小尺度和大尺度、室內(nèi)和室外環(huán)境實時地完成位姿確定和稀疏地圖構建，具有重定位和閉環(huán)檢測功能，并且初始化不需要人為干預，采用追蹤、局部建圖和回環(huán)檢測三線程并行框架，全程使用ORB特征，在保證較好的跟蹤和匹配效果的同時實時性也得到了極大提高。2016年，Mur-Artal又公布了最新的研究成果ORB-SLAM2[37]，它適用于單目、雙目、RGB-D三種相機，具有很好的泛用性，可在CPU上直接運行。ORB-SLAM2是目前SALM系統(tǒng)中非常完善且易用的算法之一，極其適合AR/VR的應用。相比于基于特征點的ORB-SLAM算法，基于直接法的DTAM[38]創(chuàng)新性地提出了不提取特征點而是通過最小化兩幀圖像的像素誤差來估計位姿，利用單目攝像機借助GPU加速實現(xiàn)了稠密的直接法視覺里程計，2014年Engel等提出的LSD-SLAM[39]僅關注圖像中梯度較大的區(qū)域進行像素誤差最小化，實現(xiàn)了半稠密的地圖構建，減少了計算量，有效提高了算法在移動AR平臺的可應用性。同年，F(xiàn)orster等提出了一種半直接法的視覺里程計(SVO)[40]，此方法創(chuàng)新性地將特征法和直接法結合，跟蹤關鍵點，不考慮描述子，運行速度非?？欤饕敲嫦驘o人機航拍，此系統(tǒng)沒有閉環(huán)功能，也沒有重定位和建圖功能。此方法雖然不適合于AR領域，但對于未來SLAM技術的創(chuàng)新發(fā)展具有較好的啟示意義。在2010年微軟推出能夠獲取深度圖的RGB-D相機之后，創(chuàng)新了稠密地圖重建的方式，并且較好地解決了單目相機估計是存在的尺度漂移問題，因此極大地促進了RGB-D SLAM的發(fā)展[41-44]。目前國外比較著名的RGB-D SLAM研究團隊有華盛頓大學的機器人實驗室，該實驗室對計算機視覺以及基于RGB-D的SLAM與三維重建進行研究，突出的研究成果有RGB-D SALM系統(tǒng)以及柔性重建算法等等[43]；還有德國慕尼黑工業(yè)大學的計算機視覺組，他們對基于直接法的SLAM有著很透徹的研究，主要貢獻包括早期的基于RGB-D攝像機的稠密算法、半稠密LSD-SLAM算法以及2016年完善的DSO算法等等[44]。

國內(nèi)的SLAM技術相比之下起步較晚，但也有著非常不錯的成果。浙江大學CAD&CG國家重點實驗室的章國鋒研發(fā)團隊對面向AR的單目視覺慣性SLAM算法進行研究[45]，實現(xiàn)了RD-SLAM等一系列SLAM系統(tǒng)，此外還構建了一個新的移動端單目視覺慣性數(shù)據(jù)集以及面向增強現(xiàn)實的評測標準，為SLAM算法在AR上的評測提供了標準。中國科學院自動化研究所國家重點實驗室的吳毅紅研究了一種新的基于圓形的特征SLAM算法[46]，達到了速度和精度都可以兼顧的目的，在公開數(shù)據(jù)庫上與SVO、ORB-SLAM2相比都得到了優(yōu)越的性能。

隨著近幾年深度學習的發(fā)展與成熟，現(xiàn)在SLAM技術框架的各個模塊正在應用深度學習[37]，SLAM的發(fā)展也迸發(fā)出新的活力，同時未來實現(xiàn)增強現(xiàn)實系統(tǒng)的高精度三維注冊跟蹤也有了更好、更新的解決方案。

2.3 顯示和交互技術

顯示技術和交互技術也是增強現(xiàn)實維修引導系統(tǒng)的重要組成部分。目前增強現(xiàn)實的顯示設備可分為頭戴式顯示設備、移動手持顯示設備和空間增強設備3種[38]。頭戴式顯示設備由于其較強的沉浸感和便攜性，是目前增強維修引導系統(tǒng)采用的主要顯示設備，主要分為光學穿透式和視頻穿透式兩種設備，前者是通過將虛擬物體放置到現(xiàn)實場景中來進行增強顯示的，而后者是將虛擬景象疊加到現(xiàn)實場景的視頻中，將視頻呈現(xiàn)用戶眼前以達到增強的效果，目前已經(jīng)有多家公司推出多種產(chǎn)品。Microsoft公司于2015年發(fā)布了HoloLens[39]，此眼鏡屬于光學穿透式設備，它使用全息技術，將虛擬信息投射成全息影像，實現(xiàn)具有較好沉浸感的虛實融合，并且集成了CPU和GPU，可以獨立地實現(xiàn)與現(xiàn)實世界的交互，2019年它的升級版HoloLens2也成功發(fā)布。國內(nèi)的影創(chuàng)公司在2016年也發(fā)布了類似的Halo mini全息光學穿透式頭盔，但效果與HoloLens相比還存在一定的距離。芬蘭的Varjo公司則開發(fā)了XR-1視頻穿透式頭盔，它集成了眼動追蹤控制技術并且超低延遲，是目前較好的視頻穿透式眼鏡設備。除此之外，Google公司、Meta公司、Magic Leap公司都發(fā)布了各具特色的增強現(xiàn)實眼鏡，為增強現(xiàn)實的顯示問題提供了多樣的可行性方案。

近年來，增強現(xiàn)實維修系統(tǒng)的人機交互方式也有了很大變化，涌現(xiàn)出了大量的模型、算法和工具，已經(jīng)實現(xiàn)了從鍵盤、鼠標等單一通道交互轉向一些更貼近用戶習慣的基于語音、觸控、眼動、手勢和實物的多通道混合交互方式[50]。Microsoft公司的HoloLens、Meta公司的Meta2等產(chǎn)品都能夠獲取用戶的手勢信息，允許用戶使用手勢進行交互，Magic Leap公司的推出的Magic Leap One專門在眼鏡內(nèi)安裝了可以追蹤眼球的傳感器，利用眼動技術達到控制計算機的目的。這些新興的交互方式具有成本低、簡單、自然，貼近人類自然習慣的特點，是目前人機交互研究的重點和熱點。

2.4 交互式電子手冊技術

快速準確的維修信息是增強現(xiàn)實維修引導系統(tǒng)實現(xiàn)的前提，交互式電子技術手冊(IETM)能夠將維修所需的技術資料按照統(tǒng)一的標準格式存儲在數(shù)據(jù)庫中，將雜亂的信息管理起來，具有較好的智能性和交互能力[51]。當維修人員或增強現(xiàn)實維修引導系統(tǒng)進行信息檢索時，能夠保證以最優(yōu)的方式將維修所需的諸如文字、圖像、視頻和技術圖紙等多種樣式的信息數(shù)據(jù)呈現(xiàn)出來。目前對此技術的研究已經(jīng)相對成熟，用戶可直接對此技術的研究成果進行應用。

2.5 故障輔助推理技術

故障輔助推理技術是連接故障現(xiàn)象和裝備信息數(shù)據(jù)庫的紐帶，是實現(xiàn)正確提取的關鍵，是維修工作的首要任務。故障推理技術的發(fā)展主要可以分為以下3個階段[52]。第一階段產(chǎn)生于19世紀末，主要依靠專家和維修人員的經(jīng)驗和極其簡單的儀表進行故障推理工作；第二階段產(chǎn)生于20世紀60年代的美國，是以傳感器技術為手段，以信號分析為基礎的系統(tǒng)輸入輸出信號處理推理法；始于20世紀80年代的智能推理方法是以專家系統(tǒng)、神經(jīng)網(wǎng)絡、模糊邏輯、遺傳算法等智能算法為基礎的，其中專家系統(tǒng)作為基于知識的智能推理領域的一個重要分支深受研究者的追捧，現(xiàn)形成了基于規(guī)則產(chǎn)生式、基于神經(jīng)網(wǎng)絡、基于故障樹、基于模糊推理分析以及融合多個不同專家系統(tǒng)推理結果等多種形式的故障推理專家系統(tǒng)。不同的專家系統(tǒng)具有不同的特點，例如產(chǎn)生式規(guī)則表現(xiàn)形式簡單，推理速度快，但存在對多故障問題診斷效果不好的問題；而基于神經(jīng)網(wǎng)絡的專家系統(tǒng)雖然診斷速度快、精度高，但對樣本的依賴大，在工程運用中困難較大。所以未來的推理技術發(fā)展需要重視多種信息的融合和多域敏感特征的提取，將不同智能技術進行更深層次的融合，充分發(fā)揮混合智能故障推理技術的優(yōu)勢，有效解決裝備故障的推理與診斷問題。

3 問題與發(fā)展趨勢

增強現(xiàn)實維修引導系統(tǒng)雖然進行了近30年的研究，但仍然在系統(tǒng)普適性、實時性、魯棒性和交互性這四大方面存在很多問題，并且隨著包括光學、圖像學等技術的發(fā)展，系統(tǒng)的性能還有很大的提升空間。

1) 實時性

實時性是AR維修系統(tǒng)的關鍵評價指標，維修開始的關鍵是知道故障在哪，然后調出維修所需的相關信息，在這個過程中想要用AR來進行輔助，幫助缺乏經(jīng)驗的維修人員更快更安全地進行維修，所以影響AR維修系統(tǒng)實時性的因素主要分為兩方面，一個是故障診斷推理，另一個是增強“顯示”的跟蹤注冊。采用專家系統(tǒng)進行故障推理能夠快速定位故障位置，實時性和準確性效果較好，而視覺SLAM的跟蹤方法大都采用并行的系統(tǒng)框架，系統(tǒng)的實時性得到了很大的改善，但實時性仍有很大提升空間，主要提升點在位姿估計的BA優(yōu)化和重定位，BA優(yōu)化將所有的狀態(tài)點地圖點在一起進行優(yōu)化，隨著時間的累積計算量越來越大，怎么充分地利用局部優(yōu)化和全局優(yōu)化可以保證既不損失精度又能節(jié)省時間，或者探索新的優(yōu)化方法(例如章國鋒研究團隊提出的分段BA優(yōu)化)是未來提升跟蹤注冊實時性的關鍵之一。而增強現(xiàn)實系統(tǒng)的用戶會經(jīng)?？焖僖苿踊蛐D頭部，從而導致跟蹤極易丟失，重定位模塊頻繁啟動，所以怎么在建好的地圖庫中進行圖像的快速搜索匹配是提升實時性的又一關鍵之處，近年來，深度學習在圖像檢測和匹配中發(fā)揮了極大作用，所以結合深度學習進行特征提取匹配圖像是未來重定位技術發(fā)展的重要方向，也是提升實時性的關鍵所在。

2) 魯棒性

系統(tǒng)魯棒性的主要影響因素是增強現(xiàn)實模塊中的跟蹤注冊技術，現(xiàn)有的視覺SLAM最大的局限在于過于依賴圖像特征，本質上是采用了過于底層的局部特征(點特征)，在特征不夠豐富的情況下，僅從圖像無法恢復出相機運動，而直接法恢復相機位姿雖然不需要提取特征，但構建稠密地圖帶來的大量計算量對系統(tǒng)的實時性帶來了很大影響。所以未來希望利用邊緣、平面甚至是物體等更為高層的圖像信息，緩解特征點依賴的問題，提高系統(tǒng)魯棒性，或者結合特征法和直接法來進行優(yōu)勢互補，同時也希望通過融合其他傳感器來得到緩解。由于各類傳感器既有優(yōu)勢又有其自身固有的局限性(例如低成本的IMU很容易造成誤差累積，深度傳感器容易受太陽光的影響但包含深度信息)。因此，如何將各種傳感器有機融合起來，是實現(xiàn)魯棒跟蹤定位的一個發(fā)展趨勢。

3) 交互性

盡管增強現(xiàn)實系統(tǒng)的人機交互近年來取得了很大的進步，但仍存在著交互通道少、真實度不高、用戶接受度低等問題，目前AR系統(tǒng)的交互信息獲取主要是通過跟蹤頭部和手部，忽略了其他感知信息的獲取通道；并且現(xiàn)在的交互工具(AR眼鏡)重量較大，需要經(jīng)過繁瑣的校準流程，使用起來較為困難。這些都制約了AR系統(tǒng)的發(fā)展和應用，在未來，要使得增強現(xiàn)實系統(tǒng)變得更為高效易用，必須解決好上述問題。在交互技術方面，必須提高虛擬物體在真實世界的位置、大小和運動匹配的精確度，必須提高顯示呈現(xiàn)系統(tǒng)的分辨率、對比度，增加可視范圍；必須拓展增強現(xiàn)實交互通道，利用肢體運動感知、生理計算、腦機接口等新型感知技術擴寬系統(tǒng)對用戶狀態(tài)和行為的感知能力，必須提高系統(tǒng)在不同交互場景、用戶、上下文和多通道信息融合中交互意圖的理解能力，實現(xiàn)增強現(xiàn)實系統(tǒng)的自然交互。

4) 普適性

目前的增強現(xiàn)實維修引導系統(tǒng)大多功能單一，有的只能進行維修引導，有的只能進行操作訓練和知識培訓，有的系統(tǒng)缺乏開放性，不能進行實時更新和完善且不能進行遠程實時交互。因此未來的的增強現(xiàn)實引導維修系統(tǒng)在整體上必須采用模塊化和開放性的設計思路，維修流程升級和更新只需要修改相關的維修模塊，而不修改整個系統(tǒng)框架和維修流程；維修系統(tǒng)不僅僅是被動的“只讀”系統(tǒng)，操作人員也不再是傳統(tǒng)的信息接收者，系統(tǒng)可以將虛擬維修信息的內(nèi)容與操作人員的專業(yè)水平和實際場景中的維修狀態(tài)結合起來，允許操作人員根據(jù)實際維修場景對系統(tǒng)的維修內(nèi)容進行修改，使系統(tǒng)的交互性和可操作性更加突出?？偠灾磥淼脑鰪姮F(xiàn)實維修引導系統(tǒng)將綜合運用諸如HoloLens眼鏡、手勢交互和VSLAM等技術和設備，將同時具有離線維修引導、遠程實時交互指導、操作培訓以及用戶實時更新系統(tǒng)等功能，使此系統(tǒng)能夠從事更加復雜的維修任務，能夠應用于更多的場景和任務。

4 結論

增強現(xiàn)實維修引導系統(tǒng)已經(jīng)成為目前大型復雜機電裝備維修的主流方式，我國對于增強現(xiàn)實的研究還處于起步階段，隨著相應的硬件設備、軟件平臺的不斷出現(xiàn)和理論體系的建立發(fā)展，增強現(xiàn)實技術在裝備維修領域的廣泛應用會成為必然趨勢。本文對基于增強現(xiàn)實的智能維修系統(tǒng)相關技術及最新發(fā)展趨勢進行了分析介紹，未來的增強現(xiàn)實維修引導系統(tǒng)關鍵技術的發(fā)展空間很大，需要進行不斷的研究和創(chuàng)新。