摘 要：隨著當前軌道交通行業(yè)的迅猛發(fā)展，現(xiàn)行軌道車輛的檢修效率已逐漸顯現(xiàn)出其局限性。針對這一挑戰(zhàn)，該文深入探討混合現(xiàn)實設備及協(xié)同技術的理論基礎，并以某地鐵車型的受電弓設備為對象，參照實際檢修流程，以HoloLens 2作為硬件開發(fā)平臺，以Unity 3D引擎和MRTK庫組件為開發(fā)工具，研究并開發(fā)一套檢修輔助系統(tǒng)，實現(xiàn)混合現(xiàn)實協(xié)同檢修。目前，該檢修輔助系統(tǒng)已完成原型開發(fā)，隨著后續(xù)功能的進一步優(yōu)化和完善，該系統(tǒng)有望為軌道交通的智慧運維發(fā)展注入新的活力，推動行業(yè)向更高效、更智能的方向邁進。

關鍵詞：增強現(xiàn)實；虛擬訓練；多人協(xié)同；列車電氣設備；引導維修系統(tǒng)

中圖分類號：TP391.9 文獻標志碼：A 文章編號：2095-2945（2024）23-0026-06

Abstract： With the rapid development of the rail transit industry， the limitations of the current inspection and maintenance efficiency of rail vehicles have gradually emerged. In response to this challenge， this article deeply explores the theoretical basis of mixed reality devices and collaborative technologies， and takes the pantograph equipment of a subway model as the research object. By referring to the actual inspection and maintenance process， using HoloLens 2 as the hardware development platform， and Unity3D engine and MRTK library components as development tools， a maintenance assistance system is researched and developed， realizing mixed reality collaborative maintenance. Currently， the prototype of this maintenance assistance system has been completed. With the further optimization and improvement of subsequent functions， this system is expected to inject new vitality into the intelligent operation and maintenance development of rail transit， and promote the industry to move towards a more efficient and intelligent direction.

Keywords： Augmented Reality; virtual training; multiplayer collaboration; train electrical equipment; pilot maintenance system

近年來，機器人、人工智能、虛擬現(xiàn)實和5G等新技術不斷與工業(yè)相結合，產(chǎn)生了大量的人工智能機器，許多工廠已經(jīng)實現(xiàn)了無人化，解決了人才缺乏的問題，為軌道車輛維保困境提出了新的解決方案。

車輛維保工作中分2步走：檢和修。檢，即檢查故障、檢測功能。修，即處理故障、維修部件，使車輛功能正常。檢和修關鍵在于檢，修的過程大都以更換模塊進行，檢則需要依靠工人的經(jīng)驗。而新技術的出現(xiàn)如人工智能，為車輛檢提供了良好的解決方案，即利用人工智能模擬檢修專家的故障排查、故障判斷，再通過機器人或者人工的方式完成修的過程。

本文基于利用新技術的優(yōu)勢，結合傳統(tǒng)人工檢修的方式，提出基于多感知虛實融合技術的引導維修系統(tǒng)，將人工智能和混合現(xiàn)實技術相結合，智能化檢查故障、檢測功能，同時針對故障給出解決方案，人只需按照AI提供的解決方案進行操作即可。大大降低了檢修工的入門門檻，同時，人工智能配合人雙重保障，保障檢修質(zhì)量，確保車輛的行車安全。

1 多感知虛實融合技術的電氣設備引導維修系統(tǒng)的關鍵技術

1.1 目標檢測技術

在視覺分類的領域中，目標檢測的基本任務可被分解為2個關鍵步驟：對象檢測和對象識別。這些步驟旨在從給定的圖像中識別出所有感興趣的目標，并精確地確定其在圖像中的位置和大小。然而，目標檢測面臨著諸多挑戰(zhàn)，主要源于不同物體所展現(xiàn)的多樣化外觀、形狀、姿態(tài)及成像時多變的光照強度和背景遮擋等因素。

在計算機視覺的研究范疇內(nèi)，目標分類、目標識別、目標檢測和目標分割構成了4大基本問題。其中，目標檢測因其復雜性和對系統(tǒng)性能的高要求，一直被視為最具挑戰(zhàn)性和亟待解決的核心問題之一。

針對目標檢測，現(xiàn)有的方法主要可分為2大類：基于經(jīng)典手工特征和基于深度學習網(wǎng)絡卷積的自然特征。前者依賴于專家設計的特征描述符，而后者則通過深度學習模型自動學習并提取圖像中的特征。這2種方法各有優(yōu)劣，并在不同的應用場景中展現(xiàn)出了各自的獨特價值。

1.2 增強現(xiàn)實技術

在學術研究中，關于增強現(xiàn)實（AR）的定義存在多種闡釋，其中最為全面且被廣泛接受的有2種。第一種，Milgram等提出的定義中，將真實場景與虛擬場景視為2個相互獨立又相互聯(lián)系的實體，分別位于顯示的兩端?？拷鎸崍鼍暗囊欢吮环Q為增強現(xiàn)實，而靠近虛擬場景的一端則稱為增強虛擬，位于兩者之間的狀態(tài)則被稱為混合現(xiàn)實。

第二種，由Azuma提出，強調(diào)增強現(xiàn)實作為一種融合技術，其核心特性包括三維跟蹤技術、實時交互技術、虛實結合技術。這種定義著重于通過技術手段將多媒體信息疊加到真實環(huán)境中，從而創(chuàng)造出一種新型的交互體驗。

在本文中將主要依據(jù)Azuma提出的定義，對增強現(xiàn)實的關鍵技術進行深入探討，這些關鍵技術包括跟蹤注冊技術、三維顯示技術及人機交互技術等。這些技術共同構成了增強現(xiàn)實技術的核心，為用戶提供了前所未有的沉浸式體驗。

2 多感知虛實融合的電氣設備引導維修系統(tǒng)的設計與開發(fā)

2.1 多感知虛實融合的電氣設備引導維修系統(tǒng)的架構設計

本文旨在研發(fā)一套智能引導維修系統(tǒng)，既可作為新員工崗位培訓工具，也可在實際工作中降低檢修工人作業(yè)難度，依托人工智能和混合現(xiàn)實技術實現(xiàn)智能化檢查故障、檢測功能。因此系統(tǒng)需具備復雜環(huán)境下空間定位能力、智能識別故障能力、自然交互能力及虛實融合引導能力。要實現(xiàn)以上功能，系統(tǒng)應具備SLAM（即時定位與地圖構建）模塊、故障智能識別模塊、基于多感知的虛實融合引導模塊及自然交互模塊。如圖1所示。

2.1.1 SLAM模塊

SLAM模塊主要完成對周邊環(huán)境進行實時掃描搭建空間坐標系，同時對目標電氣設備進行識別并跟蹤，實現(xiàn)電氣設備的空間定位。SLAM模塊主要包含2個部分：實時建圖和空間姿態(tài)。實時建圖通過激光雷達、CCD（電荷耦合組件）相機、紅外攝像頭采集周邊環(huán)境點云數(shù)據(jù)，經(jīng)過分析處理后，以系統(tǒng)設備所在位置為原點，構建實況三維地圖?？臻g姿態(tài)通過IMU（慣性測量單元）計算自身的角動量與CCD相機采集特征點估算自身坐標位置，綜合計算后得到自身位置在實況三維地圖中的空間坐標，從而及時更新地圖與自身坐標，實現(xiàn)實時地圖構建及定位功能。SLAM模塊框架圖如圖2所示。

2.1.2 故障智能識別模塊

故障智能識別模塊通過預訓練好的基于深度學習的神經(jīng)網(wǎng)絡模型，將SLAM模塊獲取的點云數(shù)據(jù)信息及二維圖像信息，通過神經(jīng)網(wǎng)絡進行識別判斷，準確分辨出故障點、故障類別及處理方案。故障智能識別模塊架構如圖3所示。

2.1.3 基于多感知的虛實融合引導模塊

本模塊主要實現(xiàn)虛擬模型的準確實時渲染，實現(xiàn)虛擬模型實時疊加在真實設備之上，完成實時準確的引導維修工作。如圖4所示。

模塊中利用SLAM模塊中的CCD相機及紅外攝像頭（深度相機）等傳感器計算出真實零件的空間坐標，再根據(jù)SLAM模塊中計算得到的虛擬相機空間位置，通過坐標變換，將虛擬零件（虛物）目標位置與真實零件（實物）的空間位置疊加。通過將真實相機的外部參數(shù)直接應用到虛擬相機上，確保了虛擬相機所拍攝的虛擬場景視野與真實相機捕捉到的真實裝配工作場景視野完全一致。這種方式保證了虛擬零件在虛擬場景圖像平面上的最終成像位置與真實零件在真實裝配環(huán)境圖像平面上的成像位置能夠精確對應，從而實現(xiàn)了虛擬與現(xiàn)實的精確融合。

2.2 復雜場景下的實時建圖與定位

本文為更快開發(fā)系統(tǒng)，選取了HoloLens 2作為硬件設備，其自帶4個環(huán)境感知攝像頭，每個攝像頭的采集角度和位置是不同的，因此在同一時間采集目標的空間位置姿態(tài)信息時，只要不是全部攝像頭被遮擋，那么空間位姿信息感知就不會受到影響。

2.2.1 特征點匹配算法

在特征點及其對應的特征描述子提取后，需要對特征進行對比分析和評估，用于判斷不同圖像之間的相似程度，并確定特征點之間的潛在關聯(lián)性和準確的對應關系。而特征點的配準方式通常是采用比對特征點的距離實現(xiàn)的，常見的方式有歐式距離、漢明距離、馬氏距離等，本文采用馬氏距離作為配準方法進行測算。如圖5所示。

對于任意連續(xù)的2幅圖像，對其特征提取后得到2組算子，定義特征描述算子D1、D2為

2.2.2 相機位姿檢測識別

相機的位姿檢測主要任務是在相機移動時，空間位置發(fā)生改變，其姿態(tài)會隨之改變，通過采集場景中連續(xù)捕獲的圖像信息推算出相機的當前位置和姿態(tài)，并據(jù)此生成關鍵幀。為了避免相機在跟蹤過程中出現(xiàn)采集錯誤和誤導姿態(tài)計算，就需要將這種情況計算在內(nèi)，相機的快速移動會導致連續(xù)采集的圖像產(chǎn)生較大特征差異，而大量獲取圖像信息就會大幅降低特征提取和配準的速度，使其之間缺乏可匹配的特征點，進而導致位姿跟蹤失敗。在這種情況下，為了避免相機在陌生場景中只能實現(xiàn)局部定位和建模，因此，需要對相機的姿態(tài)和空間位置進行重置，即重定位。

重定位是以關鍵幀圖像為基準，采集的實時圖像與基準持續(xù)匹配，直至找到與當前圖像特征匹配度最高的關鍵幀，通過計算距離來重新定位相機的當前位姿。

閉環(huán)檢測是通過比較當前圖像與已記錄關鍵幀的空間位姿信息建立數(shù)學模型，在相機移動過程中可減少計算累積誤差，不斷更新其位置和方向信息，確保在地圖構建過程中，相機的空間運動軌跡不發(fā)生畸變，保障了運動一致性特征。

2.2.3 目標空間定位方法

利用HoloLens 2自帶的SLAM模塊，通過Unity 3D進行軟件開發(fā)，設計了一種利用視覺計算實現(xiàn)空間定位的方法，即通過射線檢測待測物體邊界框，通過計算位置差對待測物體進行空間定位，定位流程如圖6所示。

具體做法為：①設定閾值。根據(jù)圖像種類進行分類，計算出概率值，經(jīng)過對比過濾檢測識別并返回的預測結果，根據(jù)概率結果按照順序進行排序，建立預測索引。②初始化。將承載對象作為待測目標的父節(jié)點，對其進行邊界框計算，將承載對象（Quad）先后進行歸一化處理和加權處理，最終可得到局部坐標VL。③調(diào)整坐標。通過深度相機發(fā)射的射線獲取目標對象的深度信息，通過對比計算優(yōu)化目標在真實環(huán)境中的坐標值，從而得到全局坐標VG。④傳遞坐標。將優(yōu)化后得到的全局坐標VG經(jīng)過坐標變換傳遞給Quad。

計算公式如下

2.3 人機交互設計

2.3.1 基于手勢的交互方法

手勢作為HoloLens 2的標志性交互機制之一，其運作原理核心在于通過內(nèi)置相機實時追蹤并捕獲用戶手勢的動態(tài)變化。同時，凝視功能則作為用戶聚焦操作對象的手段，對于手勢識別而言，其決定了系統(tǒng)如何解讀和執(zhí)行相應的操縱指令。HoloLens 2的檢測范圍最遠可達10 m，且檢測精度達可1 cm。雖然精度很高，但要實現(xiàn)準確識別手勢，也得確保手部動作處于手勢識別區(qū)域內(nèi)，以保障HoloLens 2能夠有效識別和執(zhí)行用戶的手勢操作，否則，系統(tǒng)可能無法準確捕捉和響應用戶的意圖。HoloLens 2的手勢識別區(qū)域如圖7所示。

HoloLens 2自帶的手勢識別動作有4種：爆炸手勢、空點、抓取和操縱。這些手勢提供了豐富的交互功能，使得操作者無須依靠鼠標或鍵盤就能實現(xiàn)可靠的人機交互。手勢檢測流程如圖8所示。

2.3.2 基于語音的交互方法

語音識別技術作為增強現(xiàn)實（AR）系統(tǒng)中關鍵的交互方式之一，HoloLens 2設備集成了微軟（MS）的Cortana語音技術。在限定的、小尺度的詞庫范圍內(nèi)，該技術的識別效率表現(xiàn)優(yōu)異。然而，在真實使用過程中，因環(huán)境噪聲或其他干擾因素，會使得識別的魯棒性不理想。圖9詳細展示了該語音識別技術的基本交互使用步驟。

3 實踐案例

本文依托HoloLens 2作為基礎硬件，在此基礎上開發(fā)了應用軟件系統(tǒng)。通過硬件與軟件配合完成問題設備的識別和檢修引導，實現(xiàn)軌道車輛檢修的智能化、精細化檢查，其中系統(tǒng)的硬件和軟件開發(fā)環(huán)境如下。

設備硬件：HoloLens2、Ipad2019。

軟件開發(fā)環(huán)境：開發(fā)框架為Spring 3.1.0+MyBatis+jQuery1.7.2+jqGrid 4.1.1+jQuery UI 1.8.19；數(shù)據(jù)庫為MySQL 5.0+；Web服務器為Tomcat；JDK環(huán)境為jdk7+；開發(fā)環(huán)境為IMYSQL：xamppr win32-1.7.7-VC9.7z；開發(fā)工具為springsource tool-suite-2.9.1. RELEASE-e3.7.2 win32. zip。

筆者經(jīng)過長時間開發(fā)已完成原型系統(tǒng)的搭建，并已開始投入教學使用，系統(tǒng)的部分演示效果如圖10所示。

4 結論

隨著新技術革命和產(chǎn)業(yè)革命的迅猛發(fā)展，給軌道交通行業(yè)帶來了深刻影響。尤其是空間增強現(xiàn)實技術的相關核心技術取得了顯著的進步，展示出蓬勃的發(fā)展趨勢。本文結合將新技術與傳統(tǒng)檢修訓練相互結合，借助空間增強現(xiàn)實技術提高學員在拆裝過程中的交互效率和訓練效果。

本文針對檢修訓練搭建了多人協(xié)同平臺，同時對訓練系統(tǒng)中關鍵技術展開了深入研究。其中以訓練中的交互方法進行了一一論述，為軌道交通行業(yè)檢修訓練方法提供了參考價值。

參考文獻：

[1] 趙迪，徐臻，胡立宏，等.基于特征識別的AR智能配合裝配研究[J].機械設計與制造，2022（10）：134-138.

[2] 楊雨樺.激光增強現(xiàn)實系統(tǒng)中全息光學元件的研究[D].合肥：中國科學技術大學，2023.

[3] 孫超，張明敏，李揚，等.增強現(xiàn)實環(huán)境下的人手自然交互[J].計算機輔助設計與圖形學學報，2011，23（4）：697-704.

[4] 張旭輝，張雨萌，王巖，等.融合數(shù)字孿生與混合現(xiàn)實技術的機電設備輔助維修方法[J].計算機集成制造系統(tǒng)，2021，27（8）：2187-2195.

[5] 王學文，劉曙光，王雪松，等.AR/VR融合驅(qū)動的綜采工作面智能監(jiān)控關鍵技術研究與試驗[J].煤炭學報，2022，47（2）：969-985.

[6] 羅志良.基于增強現(xiàn)實技術的智能輔助維修系統(tǒng)研究與實現(xiàn)[D].綿陽：西南科技大學，2023.

[7] 趙昕玥，何再興，劉振宇，等.基于增強現(xiàn)實的工程圖學裝配引導沉浸式教學實驗平臺設計[J].實驗技術與管理，2022，39（3）：195-199，213.

[8] 任闌珊.基于視覺和IMU的增強現(xiàn)實交互系統(tǒng)實現(xiàn)與應用[D].北京：北京郵電大學，2023.

[9] 李智鵬.基于Unity3D引擎的空中戰(zhàn)機游戲設計與實現(xiàn)[D].長春：吉林大學，2016.

[10] 丁亞軍，應治國，陳一民.基于增強現(xiàn)實的線上線下混合式教學系統(tǒng)的研究開發(fā)[J].計算機應用與軟件，2022，39（7）：128-133，200.

基金項目：廣州鐵路職業(yè)技術學院大學生創(chuàng)新創(chuàng)業(yè)項目（2024CXCY004）

第一作者簡介：李愷（1990-），男，碩士，講師。研究方向為虛擬現(xiàn)實，城市軌道交通車輛技術。