摘" 要：針對(duì)航空裝備艦基修理過程中時(shí)間緊、難度大和人員培養(yǎng)慢等問題，基于增強(qiáng)現(xiàn)實(shí)技術(shù)設(shè)計(jì)開發(fā)AR輔助維修引導(dǎo)系統(tǒng)。以移動(dòng)智能終端為硬件平臺(tái)，利用ORB-SLAM2方法實(shí)現(xiàn)運(yùn)動(dòng)跟蹤，結(jié)合觸摸屏技術(shù)、語音識(shí)別、震動(dòng)反饋實(shí)現(xiàn)人機(jī)交互，并以某型光電雷達(dá)的電子部件拆卸步驟為例，進(jìn)行功能驗(yàn)證。分析結(jié)果發(fā)現(xiàn)，系統(tǒng)在縮短維修時(shí)間和減少差錯(cuò)次數(shù)方面表現(xiàn)較好，能夠?yàn)楹娇昭b備艦基修理能力的生成起到一定的促進(jìn)作用。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)；航空裝備；艦基修理；人機(jī)交互；運(yùn)動(dòng)跟蹤

中圖分類號(hào)：TP391" " " 文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號(hào)：2095-2945（2025）05-0027-05

Abstract： To address the challenges of limited time， complexity， and slow personnel trainning in the ship-based repair of aviation equipment， an AR-assisted maintenance guidance system is developed based on augmented reality technology. Taking a mobile smart terminal as a hardware platform， the ORB-SLAM2 method is used to achieve motion tracking， based on touch screen technology， voice recognition， and vibration feedback to achieve human-computer interaction， and taking the dismantling steps of electronic components of a certain type of optoelectronic radar as an example to perform functional verification. The analysis results show that the system performs well in shortening maintenance time and reducing the number of errors， and can play a certain role in promoting the generation of ship-based repair capabilities of aviation equipment.

Keywords： augmented reality; aviation equipment; ship-based repair; human-computer interaction; motion tracking

作為航母戰(zhàn)斗力生產(chǎn)的關(guān)鍵，如何保持艦載機(jī)在駐艦期間的狀態(tài)完好已經(jīng)成為航空裝備維修保障領(lǐng)域的重要課題之一。傳統(tǒng)陸基維修保障模式采用三級(jí)維修體制，而對(duì)于執(zhí)行遠(yuǎn)海任務(wù)的艦載機(jī)，在駐艦期間更加依賴艦基修理力量[1]。而且遠(yuǎn)海條件下，能夠用于維修保障的資源有限，空間局限，技術(shù)受限，加之可能出現(xiàn)的疑難故障、戰(zhàn)場(chǎng)搶修、復(fù)雜工藝等情況，使裝備修理的難度直線上升。這事實(shí)上也對(duì)維修保障人員能力水平和維修手段方法提出了更高的要求。但目前維修能力與保障需求之間還存在差距，具體表現(xiàn)有人員培養(yǎng)周期長；技術(shù)要求高；維修易出錯(cuò)。常規(guī)的維修方法依靠查閱使用說明書、電子手冊(cè)、故障匯編等技術(shù)資料，但大多效率不高，無法滿足艦基修理的現(xiàn)實(shí)需求。

近年來，基于增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）的輔助維修技術(shù)逐漸被運(yùn)用在復(fù)雜裝備的維修工作中。通過計(jì)算機(jī)[2]對(duì)虛擬的圖形數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，再與真實(shí)場(chǎng)景相匹配。維修人員通過屏幕既能觀察現(xiàn)實(shí)世界，又能掌握虛擬的維修信息，起到了信息增強(qiáng)的效果。國外團(tuán)隊(duì)對(duì)于增強(qiáng)現(xiàn)實(shí)技術(shù)的研究起步較早，1968年，美國哈佛大學(xué)研發(fā)的The Sword of Damocles系統(tǒng)第一次使用光學(xué)透視頭戴式顯示器，展示了在真實(shí)世界中疊加虛擬物體的畫面。1990年，美國波音公司研究員Tom Caudell在美國達(dá)拉斯召開的SIGGRAPH會(huì)議上，明確提出了增強(qiáng)現(xiàn)實(shí)這個(gè)概念，隨后在制造DART510型航空發(fā)動(dòng)機(jī)過程中，利用AR技術(shù)輔助飛機(jī)的裝配工作，能夠節(jié)省56%的維修時(shí)間[3]。2015年，NASA嘗試將AR技術(shù)用于宇航員的空間站修理能力訓(xùn)練，成果降低了學(xué)習(xí)成本[4]。目前國內(nèi)AR技術(shù)研究也取得一定成果，2017年李佳寧[5]團(tuán)隊(duì)著重研究了AR系統(tǒng)中的VSLAM關(guān)鍵技術(shù)。2023年崔海清等[6]基于HoloLens增強(qiáng)現(xiàn)實(shí)眼鏡開發(fā)了維修指導(dǎo)系統(tǒng)。這些研究成果證明，AR技術(shù)在輔助維修方面潛力巨大。但是目前應(yīng)用的案例大多針對(duì)工業(yè)生產(chǎn)領(lǐng)域和部分傳統(tǒng)軍事裝備，應(yīng)用于艦基修理方面的研究較少。本文以某型光電雷達(dá)艦基修理為例，嘗試將增強(qiáng)現(xiàn)實(shí)技術(shù)與艦基修理相結(jié)合，設(shè)計(jì)開發(fā)AR輔助維修引導(dǎo)系統(tǒng)。通過虛實(shí)結(jié)合的方式，可為維修人員面對(duì)復(fù)雜、緊急的維修任務(wù)時(shí)提供輔助引導(dǎo)，從而提高維修效率。

1" 系統(tǒng)設(shè)計(jì)

1.1" 總體思路

AR輔助維修引導(dǎo)系統(tǒng)采用模塊化設(shè)計(jì)，總體包含運(yùn)動(dòng)跟蹤模塊、數(shù)字資源管理模塊、人機(jī)交互模塊和數(shù)據(jù)存儲(chǔ)模塊4個(gè)模塊。

運(yùn)動(dòng)跟蹤模塊：運(yùn)動(dòng)跟蹤是不斷跟蹤增強(qiáng)現(xiàn)實(shí)設(shè)備的位置和姿態(tài)，其是虛實(shí)模型與現(xiàn)實(shí)場(chǎng)景結(jié)合的基礎(chǔ)，是影響使用者增強(qiáng)現(xiàn)實(shí)觀感最關(guān)鍵的因素。該模塊可持續(xù)跟蹤設(shè)備相對(duì)于周圍環(huán)境的位置和姿態(tài)變化軌跡，負(fù)責(zé)建立虛擬世界與真實(shí)事件的統(tǒng)一幾何空間。

數(shù)字資源管理模塊：數(shù)字資源是以增強(qiáng)現(xiàn)實(shí)形式展現(xiàn)的虛擬場(chǎng)景，是輔助維修的重要信息，包括文字、視頻、語音和3D模型等。該模塊負(fù)責(zé)將不同格式的數(shù)據(jù)進(jìn)行統(tǒng)一管理，按照不同的維修階段呈現(xiàn)對(duì)應(yīng)的維修信息。

人機(jī)交互模塊：人機(jī)交互是維修人員對(duì)虛擬維修信息的交互控制。傳統(tǒng)的交互方式是采用鼠標(biāo)和鍵盤輸入指令，增強(qiáng)現(xiàn)實(shí)技術(shù)更加注重交互的視、聽、觸覺體驗(yàn)，除了構(gòu)建可漫游的虛擬場(chǎng)景，還能對(duì)場(chǎng)景進(jìn)行編輯，交互的方式有手勢(shì)、觸摸屏、語音和震動(dòng)反饋等。

數(shù)據(jù)存儲(chǔ)模塊：數(shù)據(jù)存儲(chǔ)是將每次維修的相關(guān)數(shù)據(jù)進(jìn)行記錄，包括設(shè)備編號(hào)、維修日期、維修情況等等。這類數(shù)據(jù)是重要的維修輔助資料，分類存儲(chǔ)在系統(tǒng)本地，還可以通過數(shù)據(jù)傳輸共享至其他終端。維修人員可以通過查詢數(shù)據(jù)快速掌握待修設(shè)備的履歷記錄，同時(shí)還能進(jìn)行故障統(tǒng)計(jì)分析，為預(yù)防性維修提供參考。

1.2" 框架設(shè)計(jì)

針對(duì)某型光電雷達(dá)艦基修理的檢查和維修兩方面的需求，本文設(shè)計(jì)了AR輔助維修引導(dǎo)系統(tǒng)的框架結(jié)構(gòu)，如圖1所示。

用戶層是維修人員直接操作的界面，主要展示各項(xiàng)功能，要求簡潔、美觀、易用。通過點(diǎn)擊、滑動(dòng)屏幕或者用語音等方式，控制系統(tǒng)完成不同功能，界面呈現(xiàn)相應(yīng)維修信息。

業(yè)務(wù)層是系統(tǒng)的主要功能，按照需求劃分為4個(gè)部分：信息查詢?cè)试S維修人員通過編號(hào)查詢光電雷達(dá)的基本信息，初步掌握設(shè)備基本情況、維修歷史等，功能類似電子履歷本；日常檢查是在接收光電雷達(dá)以后，按照系統(tǒng)提供的操作清單，逐項(xiàng)檢查待修光電雷達(dá)的狀態(tài)；維修引導(dǎo)是系統(tǒng)的核心功能，根據(jù)故障現(xiàn)象選擇對(duì)應(yīng)檢查的部位，系統(tǒng)能夠以增強(qiáng)現(xiàn)實(shí)的方式顯示維修信息；日志記錄是在維修結(jié)束以后，將排故的具體情況記錄在案，便于后期故障數(shù)據(jù)分析。

工具層為業(yè)務(wù)層各項(xiàng)功能提供軟件支撐，涉及數(shù)字資源管理、交互控制和數(shù)據(jù)庫操作。

服務(wù)層是系統(tǒng)各項(xiàng)功能實(shí)現(xiàn)的基礎(chǔ)，負(fù)責(zé)提供底層服務(wù)，例如運(yùn)動(dòng)跟蹤的算法、圖像渲染的標(biāo)準(zhǔn)圖形庫、傳感器的信號(hào)輸出等，該層更加貼近設(shè)備硬件。

2" 系統(tǒng)實(shí)現(xiàn)

2.1" 功能模塊交聯(lián)關(guān)系

從艦基修理的實(shí)際應(yīng)用場(chǎng)景出發(fā)，考慮到設(shè)備便攜性要求，開發(fā)平臺(tái)選用華為移動(dòng)智能終端，運(yùn)行環(huán)境為HarmonyOS系統(tǒng)。為避免可能出現(xiàn)的電子干擾、電磁壓制等特殊情況的影響，系統(tǒng)設(shè)計(jì)了離線單機(jī)獨(dú)立運(yùn)行的模式，不依賴遠(yuǎn)程支援。系統(tǒng)各個(gè)模塊之間的相互關(guān)系如圖2所示。

2.2" 底層技術(shù)

2.2.1" 運(yùn)動(dòng)跟蹤

增強(qiáng)現(xiàn)實(shí)對(duì)運(yùn)動(dòng)跟蹤要求很高，包括準(zhǔn)確性、實(shí)時(shí)性、魯棒性和可移動(dòng)性等，優(yōu)秀的運(yùn)動(dòng)跟蹤能力是增強(qiáng)現(xiàn)實(shí)沉浸感的關(guān)鍵。目前增強(qiáng)現(xiàn)實(shí)完成運(yùn)動(dòng)跟蹤可以采用光學(xué)、慣性和混合測(cè)量等[7]。本系統(tǒng)采用ORB-SLAM2實(shí)現(xiàn)運(yùn)動(dòng)跟蹤，基于PTAM框架，在無標(biāo)志場(chǎng)景中根據(jù)攝像頭拍攝的視頻實(shí)時(shí)計(jì)算移動(dòng)智能終端姿態(tài)。由于ORB-SLAM2能夠處理環(huán)境光線影響，經(jīng)過跟蹤、建圖和回環(huán)檢測(cè)3個(gè)程序，其環(huán)境適應(yīng)性較好。

2.2.2" 人機(jī)交互

1）本系統(tǒng)硬件平臺(tái)集成有電容式觸摸屏，因此觸摸屏技術(shù)作為主要的交互手段。用戶通過觸摸屏選取興趣點(diǎn)，配合點(diǎn)擊、輸入、滑動(dòng)等操作，實(shí)現(xiàn)控制系統(tǒng)進(jìn)行工作的目的。此外基于觸摸屏的命中檢測(cè)是人機(jī)交互的重要部分。將屏幕中的興趣點(diǎn)映射到現(xiàn)實(shí)空間中的興趣點(diǎn)，命中檢測(cè)可使維修人員通過點(diǎn)擊屏幕選取現(xiàn)實(shí)空間中的興趣點(diǎn)，從而實(shí)現(xiàn)與虛擬物體的交互操作。

2）為輔助觸摸屏操作，增加語音識(shí)別功能。目前有多款成熟的語音交互技術(shù)解決方案，如Google語音識(shí)別、百度語音識(shí)別、科大訊飛語音識(shí)別等。從離線運(yùn)行的需求考慮，本系統(tǒng)采用了科大訊飛語音識(shí)別方案?？拼笥嶏w語音交互技術(shù)包括語音識(shí)別、自然語言處理和語音合成等，在人工智能技術(shù)的推動(dòng)下，語言交互技術(shù)的準(zhǔn)確性和響應(yīng)速度有了質(zhì)的飛躍。

3）觸覺反饋技術(shù)能通過作用力和振動(dòng)等增加使用者的觸感，是智能設(shè)備交互中一種重要的反饋形式。借助本系統(tǒng)硬件平臺(tái)集成的震動(dòng)馬達(dá)實(shí)現(xiàn)震動(dòng)觸覺反饋。目的是在虛擬場(chǎng)景中營造“真實(shí)”的體驗(yàn)感，能夠更有效地增強(qiáng)現(xiàn)實(shí)。利用觸覺反饋充分調(diào)動(dòng)人的感官，在視覺或聽覺受到干擾時(shí)，能夠有效幫助使用者獲取信息。

2.2.3" 虛實(shí)結(jié)合

虛擬場(chǎng)景的構(gòu)建需要借助三維圖形繪制技術(shù)，借助于高性能計(jì)算機(jī)已經(jīng)可以渲染出清晰、逼真的虛擬環(huán)境。目前主流的三維圖形繪制技術(shù)有多個(gè)方案可選，結(jié)合本系統(tǒng)的開發(fā)平臺(tái)，需要考慮移動(dòng)智能終端硬件計(jì)算能力。OpenGL ES是針對(duì)嵌入式、移動(dòng)平臺(tái)設(shè)計(jì)開發(fā)的標(biāo)準(zhǔn)三維圖形標(biāo)準(zhǔn)，具有開發(fā)、靈活、跨平臺(tái)等優(yōu)點(diǎn)。本系統(tǒng)采用OpenGL ES繪制虛擬場(chǎng)景，著重解決繪制的真實(shí)感問題，即如何保持虛擬物體與真實(shí)環(huán)境的一致性。從兩方面考慮：一是幾何一致性問題，虛擬物體與真實(shí)環(huán)境之間要考慮遮擋關(guān)系[8]；二是光照一致性問題，虛擬物體要呈現(xiàn)正確的光照效果，確保明暗效果與現(xiàn)實(shí)物體保持同步。

2.2.4" 電子手冊(cè)

除了基礎(chǔ)的運(yùn)動(dòng)跟蹤和顯示處理等技術(shù)，與維修相關(guān)的需重點(diǎn)考慮的問題是修理工藝問題。復(fù)雜裝備的修理包括分解、清洗、檢查、修理、裝配、調(diào)試和質(zhì)量檢驗(yàn)等流程，其中涉及大量的維修信息。對(duì)維修信息的組織管理和展現(xiàn)形式是增強(qiáng)現(xiàn)實(shí)維修的重要一環(huán)。目前基于電子信息技術(shù)開發(fā)的交互式電子手冊(cè)，在裝備維修領(lǐng)域應(yīng)用較多，其可以將文字、圖片或者視頻等信息統(tǒng)一保存和管理，并提供維修數(shù)據(jù)的快速查詢，但無法主動(dòng)根據(jù)當(dāng)前維修步驟自動(dòng)給出操作提示。因此，需要對(duì)傳統(tǒng)交互式電子手冊(cè)技術(shù)重新設(shè)計(jì)，使其與增強(qiáng)現(xiàn)實(shí)修理過程進(jìn)行耦合。本系統(tǒng)基于鴻蒙系統(tǒng)開發(fā)數(shù)字資源管理模塊，用于統(tǒng)一存儲(chǔ)和管理維修相關(guān)信息。

3" 應(yīng)用與效果評(píng)價(jià)

3.1" 應(yīng)用步驟

系統(tǒng)以某型光電雷達(dá)整體組件中的電子部件拆卸為例進(jìn)行功能驗(yàn)證。電子部件是光電雷達(dá)整體組件的重要組成部分，能夠根據(jù)探測(cè)器的測(cè)量信號(hào)計(jì)算目標(biāo)的方位和俯仰坐標(biāo)，其與整體組件之間共有3種連接關(guān)系：通過螺絲進(jìn)行固定連接；通過搭鐵線進(jìn)行搭鐵連接；通過插頭插座進(jìn)行電氣連接。組成結(jié)構(gòu)如圖3所示。

本次任務(wù)為拆卸電子部件，點(diǎn)擊維修引導(dǎo)系統(tǒng)首先進(jìn)行環(huán)境掃描。按照維修信息的指引，拆卸遵循三解除原則。第一步，解除外圍。使用一字解刀擰下固定螺絲，取下搭鐵線。第二步，解除連接。用手握住插頭，逆時(shí)針擰松并取下插頭。第三步，解除固定。使用十字解刀，沿對(duì)角方向依次擰下固定螺絲，取下電子部件。維修引導(dǎo)信息及提示信息同步顯示在屏幕中，效果如圖5所示。

3.2" 效果評(píng)價(jià)

為了檢驗(yàn)AR輔助維修引導(dǎo)系統(tǒng)在提升維修效率方面的有效性，分別從維修工廠和基層單位選取6名維修人員進(jìn)行測(cè)試，其中入職1年以下和1年以上各3名。將12名測(cè)試人員按照入職年限分為2組，入職1年以下的為A組，入職1年以上的為B組。操作中分別使用紙質(zhì)維修工卡和AR輔助維修引導(dǎo)系統(tǒng)，以電子部件拆卸為例，記錄維修時(shí)間和差錯(cuò)次數(shù)[9]，結(jié)果見表1和表2。

另外，參考趙守偉等[2]提出的評(píng)價(jià)方法，從滿意度、直觀度、舒適度3個(gè)方面對(duì)系統(tǒng)進(jìn)行了主觀評(píng)價(jià)。評(píng)價(jià)分?jǐn)?shù)針對(duì)5級(jí)態(tài)度“很滿意”“滿意”“一般”“不滿意”“很不滿意”，分別賦分5、4、3、2、1，最終2種維修輔助方式平均分比較，見表3。

根據(jù)維修結(jié)果，A組使用AR輔助維修引導(dǎo)系統(tǒng)以后，維修時(shí)間縮短了10.9%，差錯(cuò)次數(shù)減小了45.4%。B組維修時(shí)間縮短了4.2%，差錯(cuò)次數(shù)減小了25.4%。這說明AR輔助維修引導(dǎo)系統(tǒng)能夠在一定程度上縮短維修時(shí)間并有效降低差錯(cuò)次數(shù)，而且在入職年限較短的維修人員中表現(xiàn)更加明顯。同時(shí)通過對(duì)比2種方式主觀評(píng)價(jià)指標(biāo)，可以看出使用AR輔助維修引導(dǎo)系統(tǒng)進(jìn)行維修，更加直觀和舒適。

4" 結(jié)束語

本文從艦基修理的需求出發(fā)，設(shè)計(jì)并實(shí)現(xiàn)了AR輔助維修引導(dǎo)系統(tǒng)。系統(tǒng)通過虛實(shí)結(jié)合的方式，可為維修人員提供一種新的輔助維修途徑。從實(shí)驗(yàn)驗(yàn)證的結(jié)果分析，一方面系統(tǒng)初步實(shí)現(xiàn)了縮短維修時(shí)間目的，同時(shí)能夠有效降低維修差錯(cuò)次數(shù)；另一方面，借助增強(qiáng)現(xiàn)實(shí)技術(shù)，維修引導(dǎo)信息能夠直觀展示，減輕了維修人員認(rèn)知負(fù)荷。因此系統(tǒng)適用于復(fù)雜裝備緊急條件下的維修，對(duì)于艦基修理能力的生成具有促進(jìn)作用。但目前系統(tǒng)只設(shè)計(jì)開發(fā)了離線工作模式，在故障智能診斷方面能力不足，還需結(jié)合人工智能算法進(jìn)一步開發(fā)和完善。

參考文獻(xiàn)：

[1] 張帥，糜玉林，孫媛，等．基于備件短缺數(shù)的艦載機(jī)修理級(jí)別分析[J]．電光與控制，2015，22（7）：115-119.

[2] 趙守偉，王凱，張勇，等．增強(qiáng)現(xiàn)實(shí)輔助維修系統(tǒng)的評(píng)價(jià)方法研究[J]．火炮發(fā)射與控制學(xué)報(bào)，2016，37（2）：82-87．

[3] TECCHIA F．Fundamentals of wearable computers and augmented reality，second edition[J]．Presonce： Virtual and Augmented Reality，2016，25（1）：78-79．

[4] 靳冬冬，王崴，劉曉衛(wèi)，等．增強(qiáng)現(xiàn)實(shí)誘導(dǎo)維修在外軍的發(fā)展現(xiàn)狀和趨勢(shì)[J]．現(xiàn)代防御技術(shù)，2014，42（6）：134-139．

[5] 李佳寧．基于RGB-D攝像機(jī)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)研究[D]．杭州：浙江大學(xué)，2017．

[6] 崔海青，張旭鵬，詹湘琳，等．基于HoloLens的飛機(jī)維修遠(yuǎn)程指導(dǎo)系統(tǒng)[J].計(jì)算機(jī)測(cè)量與控制，2023，31（5）：214-220.

[7] 張雷，馬金盾，郭理彬，等．增強(qiáng)現(xiàn)實(shí)在裝甲裝備基層級(jí)維修中的應(yīng)用[J]．兵器裝備工程學(xué)報(bào)，2020，41（12）：268-274．

[8] 鄭毅．增強(qiáng)現(xiàn)實(shí)虛實(shí)遮擋方法評(píng)述與展望[J]．系統(tǒng)仿真學(xué)報(bào)，2014，26（1）：1-10．

[9] 白柯萌，王崴，瞿玨，等．多傳感器式誘導(dǎo)維修系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]．火力與指揮控制，2017，42（2）：102-108．