鐘珂珂 洪海波 宋 倩 郭 宇 魏士松

1.上海航天精密機(jī)械研究所；2.南京航空航天大學(xué)

裝備維修保障是部隊?wèi)?zhàn)斗力生成、保持、增強(qiáng)及再生的重要手段，直接影響著作戰(zhàn)的進(jìn)程與結(jié)局。隨著航天裝備信息化、集成化、綜合一體化程度大幅提升，列裝型號種類多、裝備模塊可視化程度低、戰(zhàn)時保障前后端銜接不足、人員訓(xùn)練量化評估考核手段缺乏、維修大數(shù)據(jù)難以挖掘和復(fù)用等突出矛盾已成為制約武器裝備戰(zhàn)時快速保障能力構(gòu)建的重大瓶頸。原有基于機(jī)械化裝備維修特點(diǎn)與規(guī)律的維修保障方式已經(jīng)難以適應(yīng)未來信息化戰(zhàn)爭條件下裝備維修的需求。

增強(qiáng)現(xiàn)實(shí)（AR）是利用可視化技術(shù)和虛實(shí)配準(zhǔn)技術(shù)，通過在現(xiàn)實(shí)場景中融合虛擬場景信息，為用戶提供一種身臨其境的“虛實(shí)結(jié)合”環(huán)境和更加直觀靈活的操作方式[1]。數(shù)字孿生（DT）以數(shù)據(jù)與模型的集成融合為核心，通過在數(shù)字空間實(shí)時構(gòu)建物理對象的精準(zhǔn)數(shù)字化映射，實(shí)現(xiàn)全流程的閉環(huán)優(yōu)化。在航空維修領(lǐng)域，美國波音公司率先將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于飛機(jī)制造中的電力線纜連接和接線器裝配，完成了世界上第一套實(shí)用化的增強(qiáng)現(xiàn)實(shí)系統(tǒng)；美國洛克希德·馬丁公司將這一技術(shù)應(yīng)用于F-22 和F-35 戰(zhàn)斗機(jī)的制造與維修中，在工程師視野中顯示螺栓、電纜等零部件的效果圖與編號，替代了傳統(tǒng)紙質(zhì)說明書，使工程師的工作效率提高了30%，裝配準(zhǔn)確率提高了96%[2]。

隨著新一代信息技術(shù)的發(fā)展，增強(qiáng)現(xiàn)實(shí)、數(shù)字孿生、人工智能等新技術(shù)與傳統(tǒng)國防工業(yè)進(jìn)行了深度融合，已經(jīng)成為催化航天復(fù)雜裝備保障能力實(shí)現(xiàn)“飛躍”的重要途徑。本文通過系統(tǒng)剖析新形勢下航天復(fù)雜裝備維修保障瓶頸，從數(shù)據(jù)、診斷、誘導(dǎo)、協(xié)作、考評等方面切入，提出一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)、數(shù)字孿生內(nèi)核驅(qū)動的典型武器裝備維修保障與人員訓(xùn)練系統(tǒng)框架，結(jié)合功能模塊介紹與原型系統(tǒng)展示，闡述航天復(fù)雜裝備維修輔助平臺開發(fā)的集成要點(diǎn)與應(yīng)用的初步成效。

一、當(dāng)前航天復(fù)雜裝備維修保障面臨的挑戰(zhàn)

隨著新軍事戰(zhàn)爭形態(tài)和聯(lián)合指揮體制的確立，裝備保障能力的生成模式發(fā)生了深刻變化，對裝備維修保障信息化建設(shè)提出了更高要求。航天復(fù)雜裝備作為“高精尖”機(jī)電一體化產(chǎn)品，其維修保障流程復(fù)雜、涉及領(lǐng)域多、難度大，目前，維修保障模式存在以下瓶頸問題。

一是原理復(fù)雜，故障影響因素多，故障現(xiàn)象、原因及維修措施等數(shù)據(jù)及知識積累不足，故障難以準(zhǔn)確定位，診斷周期長[3]；二是航天復(fù)雜裝備結(jié)構(gòu)復(fù)雜、裝配精密，維修規(guī)范性要求高，裝備模塊及維修過程直觀顯示程度低，維修效率低，難保證一次合格；三是裝備部署范圍大、疆域廣，傳統(tǒng)“保姆式維修”效率低，軍地協(xié)同遠(yuǎn)程故障診斷及維修輔助手段欠缺，戰(zhàn)時保障前后端銜接不足；四是維修能力評價方法及標(biāo)準(zhǔn)體系尚未建立，人員維修訓(xùn)練量化評估開展不便，難以支撐武器裝備維修保障能力的快速提升。

二、基于增強(qiáng)現(xiàn)實(shí)的航天復(fù)雜裝備輔助維修系統(tǒng)整體技術(shù)框架

基于增強(qiáng)現(xiàn)實(shí)的航天復(fù)雜裝備輔助維修系統(tǒng)整體技術(shù)框架如圖1 所示。

圖1 基于增強(qiáng)現(xiàn)實(shí)的航天復(fù)雜裝備輔助維修系統(tǒng)整體技術(shù)框架

一是構(gòu)建航天復(fù)雜裝備多要素孿生模型，形成適用于多種型號、維修流程誘導(dǎo)、協(xié)同維修的模塊化精確數(shù)字孿生模型構(gòu)建方案，為航天復(fù)雜裝備維修指導(dǎo)和維修訓(xùn)練提供精確模型支撐。

二是形成航天復(fù)雜裝備故障在線診斷與維修策略匹配機(jī)制，通過航天復(fù)雜裝備故障維修觸發(fā)—航天復(fù)雜裝備故障根源定位—航天復(fù)雜裝備維修方案獲取的故障在線診斷路徑，對維修過程知識進(jìn)行綁定，構(gòu)建航天復(fù)雜裝備維修三維案例庫，支撐航天復(fù)雜裝備維修引導(dǎo)。

三是解決航天復(fù)雜裝備維修流程誘導(dǎo)難題，形成位姿跟蹤注冊、維修指令虛實(shí)融合、維修防錯檢測的解決方案，降低維修錯誤率，提高維修效率和質(zhì)量；同時開展航天復(fù)雜裝備遠(yuǎn)程協(xié)同維修，形成遠(yuǎn)程協(xié)同系統(tǒng)體系框架和遠(yuǎn)程專家實(shí)時空間標(biāo)注解決方案，實(shí)現(xiàn)遠(yuǎn)程高質(zhì)量協(xié)同維修和知識沉淀[4]。

四是滿足航天復(fù)雜裝備維修定量考核評估，從維修考核評估方法、維修考核機(jī)制、綜合維修能力評估等方面，構(gòu)建一套維修人員考核方法和評估體系，解決航天復(fù)雜裝備維修人員訓(xùn)練量化評估開展不便的難題。

五是實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的航天復(fù)雜裝備數(shù)字化維修輔助系統(tǒng)集成，實(shí)現(xiàn)“故障在線診斷”“維修流程誘導(dǎo)”“協(xié)同維修支持”“維修能力評估”“維修大數(shù)據(jù)管理”等5 個關(guān)鍵模塊的有機(jī)融合。

三、基于增強(qiáng)現(xiàn)實(shí)的航天復(fù)雜裝備輔助維修系統(tǒng)關(guān)鍵技術(shù)途徑

1. 面向故障維修的數(shù)字孿生模型構(gòu)建

面向航天復(fù)雜裝備故障維修的數(shù)字孿生模型構(gòu)建可以分成異構(gòu)模型構(gòu)建、模型集成、模型實(shí)時可視化3 個部分。

首先，基于Unity 3D/復(fù)雜事件處理（CEP）/自動化標(biāo)識語言（AutomationML）等工具方法分別完成航天復(fù)雜裝備幾何、邏輯與數(shù)據(jù)模型的高保真構(gòu)建，如圖2 所示。解決航天復(fù)雜裝備故障維修過程中用于模塊直觀顯示的三維模型問題，從而為后續(xù)用于航天復(fù)雜裝備故障維修流程誘導(dǎo)和遠(yuǎn)程協(xié)同維修提供模型基礎(chǔ)。

圖2 航天復(fù)雜裝備高保真孿生基礎(chǔ)模型構(gòu)建

其次，將本體與幾何、邏輯、數(shù)據(jù)元模型進(jìn)行結(jié)合，構(gòu)造各元模型元素與本體概念間的語義匹配與映射，形成基于本體的語義知識庫，實(shí)現(xiàn)異構(gòu)模型間信息共享和交互[5]，從整體上打通所有異構(gòu)模型的集成問題，如圖3 所示。

圖3 基于本體的航天復(fù)雜裝備孿生模型關(guān)聯(lián)與映射

最后，結(jié)合航天復(fù)雜裝備實(shí)際維修過程的實(shí)時信息，通過孿生模型對實(shí)際維修部分進(jìn)行實(shí)時可視化顯示，從而實(shí)現(xiàn)航天復(fù)雜裝備整個維修過程的透明化。

2. 大數(shù)據(jù)驅(qū)動的航天復(fù)雜裝備故障在線診斷與維修決策

大數(shù)據(jù)驅(qū)動的航天裝備故障在線診斷與維修策略研究可以分為案例知識庫構(gòu)建、故障在線診斷/根源分析/策略匹配、案例知識庫更新3 部分，從整體上形成知識庫構(gòu)建、知識庫應(yīng)用、知識庫更新的技術(shù)路線，如圖4 所示。

圖4 故障在線診斷與維修策略匹配

面向構(gòu)建完善的案例知識庫目標(biāo)，通過檢測設(shè)備和維修過程記錄獲取面向航天復(fù)雜裝備維修的多源數(shù)據(jù)，采用數(shù)據(jù)融合技術(shù)提煉知識，并構(gòu)建三維故障診斷/溯源/維修策略模型庫，綁定維修過程知識，形成完整的維修案例知識庫。

在航天裝備故障診斷環(huán)節(jié)，以案例知識庫和現(xiàn)場狀態(tài)數(shù)據(jù)為基礎(chǔ)，從故障診斷—故障根源定位—故障維修方案3 個維度分析，采用語義推理技術(shù)，實(shí)現(xiàn)故障類型的確定和維修策略的制定[6]。

動態(tài)完善三維案例知識庫是確保診斷精準(zhǔn)性的必要基礎(chǔ)，隨著時間的推移，維修知識不斷積累，將新增診斷案例知識和維修策略知識融合至三維案例知識庫，從而提高故障維修質(zhì)量。

3.面向過程的增強(qiáng)現(xiàn)實(shí)維修流程誘導(dǎo)與遠(yuǎn)程協(xié)同

通過面向復(fù)雜維修場景的位姿跟蹤、基于情景感知的維修指令虛實(shí)融合交互、基于時序信息的維修質(zhì)量檢測等模塊，形成“以人為中心”的維修流程誘導(dǎo)，如圖5 所示。

圖5 增強(qiáng)環(huán)境下的航天復(fù)雜裝備維修流程誘導(dǎo)

基于孿生模型與事件匹配的裝備維修實(shí)時可視化仿真[7]成為維修流程誘導(dǎo)、遠(yuǎn)程協(xié)同維修等過程中信息交互的基礎(chǔ)。從數(shù)字孿生模型中獲取可以裁剪的誘導(dǎo)信息，通過基于視覺的位姿跟蹤注冊，獲取目標(biāo)對象和增強(qiáng)現(xiàn)實(shí)頭盔的三維位姿[8]；通過情景感知和手勢指令、語音指令、眼動跟蹤等輸入手段減輕用戶的交互壓力，根據(jù)相機(jī)和慣性測量單元（IMU）信息進(jìn)行深度信息重建[9]，呈現(xiàn)高逼真度的誘導(dǎo)指令。

在維修質(zhì)量檢測環(huán)節(jié)，從航天復(fù)雜裝備的三維裝配模型的配合關(guān)系出發(fā)，構(gòu)建基于YOLO 算法的目標(biāo)檢測算法[10]，對維修零件的位姿進(jìn)行檢測，快速發(fā)現(xiàn)漏裝、錯裝、出現(xiàn)多余物、間隙過大等問題，減少維修完成后的檢測耗時和返工率。

一線維修人員遇到無法解決的問題時，通過增強(qiáng)現(xiàn)實(shí)設(shè)備將語音描述信息和現(xiàn)場畫面?zhèn)鹘o遠(yuǎn)程的專家，通過基于即時定位與地圖構(gòu)建（SLAM）的三維空間標(biāo)注方法，將二維標(biāo)注信息轉(zhuǎn)換為三維模式[11]，實(shí)現(xiàn)標(biāo)注信息的三維精準(zhǔn)化展示。

4. 基于多維信息的維修過程定量考核與維修能力評估

針對航天復(fù)雜裝備維修過程存在諸多模糊性、隨機(jī)性，以及客觀評判性差的特點(diǎn)，構(gòu)建基于層次分析法的維修定量考核評估體系，如圖6 所示。

圖6 基于多維信息的維修定量考核評估

通過力反饋手套、增強(qiáng)現(xiàn)實(shí)系統(tǒng)和數(shù)字孿生系統(tǒng)的交互反饋，建立一種基于虛實(shí)反饋信息的維修考核機(jī)制[12]，該機(jī)制由虛擬維修考核和實(shí)操維修考核兩部分組成，為維修人員綜合能力評估提供數(shù)據(jù)來源。基于TabNET 神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性逼近能力[13]，克服維修中的主觀因素的影響，構(gòu)建綜合維修能力評估模型，提高評估的準(zhǔn)確度。

四、航天復(fù)雜裝備輔助維修系統(tǒng)原型系統(tǒng)構(gòu)建

整個原型系統(tǒng)分為業(yè)務(wù)功能層、應(yīng)用服務(wù)層、數(shù)據(jù)層和設(shè)備層。業(yè)務(wù)功能層重點(diǎn)圍繞實(shí)際訓(xùn)練的科目，按照典型場景進(jìn)行聚類部署，以單人增強(qiáng)現(xiàn)實(shí)維修操作為客戶端，依托應(yīng)用服務(wù)層的相關(guān)服務(wù)，將數(shù)據(jù)層的多項數(shù)據(jù)結(jié)合實(shí)物展示進(jìn)行內(nèi)容呈現(xiàn)及管理[14]；應(yīng)用服務(wù)層主要基于微服務(wù)框架，將本系統(tǒng)常用的業(yè)務(wù)功能組件進(jìn)行耦合，形成各功能獨(dú)立并具備訪問接口的微服務(wù)；數(shù)據(jù)層主要保存建模場景、孿生模型、人員能力、訓(xùn)練規(guī)則、故障數(shù)據(jù)、個性化評估等數(shù)據(jù)，為業(yè)務(wù)功能層提供數(shù)據(jù)支撐[15]；設(shè)備層為訓(xùn)練系統(tǒng)的人機(jī)交互窗口，為訓(xùn)練中的交互、顯示、系統(tǒng)運(yùn)行提供軟硬件支撐。

五、結(jié)束語

增強(qiáng)現(xiàn)實(shí)與數(shù)字孿生混合驅(qū)動的航天復(fù)雜裝備維修技術(shù)是將增強(qiáng)現(xiàn)實(shí)的人機(jī)交互優(yōu)勢與數(shù)字孿生的數(shù)據(jù)模型優(yōu)勢進(jìn)行了充分融合[16]，通過一種基于孿生模型與事件匹配的維修實(shí)時可視化仿真方法，將維修活動的變化以空間或時間敏感的形式反映在虛擬空間中，采用“條件—事件—行為”路徑來實(shí)現(xiàn)事件驅(qū)動的智能維修流程。本文闡述的航天復(fù)雜裝備維修輔助系統(tǒng)具備故障在線診斷、維修流程實(shí)時誘導(dǎo)、遠(yuǎn)程協(xié)作維修指導(dǎo)、維修定量評估與考評、維修大數(shù)據(jù)集成等功能，為實(shí)現(xiàn)靠前保障、快速保障目標(biāo)，縮短故障診斷時間，彌補(bǔ)戰(zhàn)場陣地與后方維修技術(shù)保障之間的鴻溝，解決面向多型號、高難度、強(qiáng)協(xié)同的裝備維修保障快速響應(yīng)難題，提升我軍裝備信息化、智能化維修能力提供了可行的技術(shù)路徑和工程實(shí)現(xiàn)手段。