楊 萌 王偉明 魏小娟 張 勇

(1.石家莊鐵道大學(xué)電氣與電子工程學(xué)院，050043，石家莊；2.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司電子計(jì)算技術(shù)研究所，100081，北京；3.中國(guó)人民解放軍32181部隊(duì)，050000，石家莊//第一作者，碩士研究生)

隨著軌道交通設(shè)備復(fù)雜性的增加，設(shè)備介紹、故障分類(lèi)與維修指南等信息海量增長(zhǎng)，通用紙質(zhì)或電子資料對(duì)設(shè)備信息管理的標(biāo)準(zhǔn)不一，維修人員操作過(guò)程中無(wú)法獲得直觀有效的指導(dǎo)信息，極大地制約了軌道交通設(shè)備維修行業(yè)的發(fā)展。

交互式電子技術(shù)手冊(cè)[1-2](IETM)是美軍為提高武器裝備的戰(zhàn)斗力、降低裝備保障成本而提出的一種技術(shù)資料電子化的實(shí)現(xiàn)方法。IETM按照統(tǒng)一標(biāo)準(zhǔn)規(guī)范，將設(shè)備的各種工程和技術(shù)信息以數(shù)字化形式存儲(chǔ)在電子設(shè)備中，通過(guò)人機(jī)交互方式提供設(shè)備基本原理、操作使用和維修指南等內(nèi)容的技術(shù)出版物，代替了傳統(tǒng)紙質(zhì)技術(shù)手冊(cè)，在設(shè)備生命周期中為設(shè)備性能維護(hù)與維修保障提供技術(shù)支持[3-5]。根據(jù)其數(shù)據(jù)格式、顯示方式和功能，可將IETM分為5級(jí)。目前，第Ⅳ級(jí)基于數(shù)據(jù)庫(kù)的IETM已經(jīng)實(shí)現(xiàn)并應(yīng)用在復(fù)雜設(shè)備上。

IETM作為美國(guó)國(guó)防部的一個(gè)重要戰(zhàn)略組成部分，其主要現(xiàn)役裝備和全部新研發(fā)裝備均配套或同步開(kāi)發(fā)了IETM，如美國(guó)陸軍的AH-64D直升機(jī)的數(shù)字化維修系統(tǒng)[6]，采用數(shù)字化維修技術(shù)來(lái)降低飛機(jī)維修人員的工作量，通過(guò)記錄與維修任務(wù)有關(guān)的數(shù)據(jù)，如人力、備件、工具及時(shí)間等，不斷改善維修方法和維修過(guò)程，從而提高維修效率，降低維修成本。

IETM技術(shù)的研究在我國(guó)起步較晚。2002年，中航一集團(tuán)西飛公司按照《飛機(jī)電子技術(shù)手冊(cè)編制要求》的統(tǒng)一要求，為“新舟”60客機(jī)編制了全套電子化用戶(hù)技術(shù)資料“MA60飛機(jī)技術(shù)出版物”[7]。在軌道交通領(lǐng)域，同濟(jì)大學(xué)提出了一種基于IETM的地鐵車(chē)輛互操作維修保障平臺(tái)[8]，將軌道車(chē)輛紙質(zhì)資料電子化，建立便攜式終端輔助維修保障系統(tǒng)，有效地提高了地鐵車(chē)輛的維修效率。中國(guó)鐵道科學(xué)研究院電子計(jì)算技術(shù)研究所運(yùn)用IETM通用標(biāo)準(zhǔn)S1000D對(duì)動(dòng)車(chē)組技術(shù)資料進(jìn)行了結(jié)構(gòu)化編碼，并制定了動(dòng)車(chē)組技術(shù)資料的數(shù)據(jù)模塊編碼和信息控制碼[9]。

然而現(xiàn)有的IETM多以手持式終端作為載體，限制了維修人員的視線范圍與操作靈活性，使得維修指導(dǎo)信息與維修場(chǎng)景分離，維修人員無(wú)法做到學(xué)習(xí)與操作同步，降低了維修可靠性。增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)通過(guò)頭戴式設(shè)備將虛擬的物體疊加到現(xiàn)實(shí)場(chǎng)景中，并利用靈活的人機(jī)交互手段增強(qiáng)維修人員與輔助維修系統(tǒng)的信息交換能力[10]，可有效解決上述問(wèn)題。

1 AR輔助維修技術(shù)

將AR技術(shù)應(yīng)用到復(fù)雜裝備的維修中，稱(chēng)為AR輔助維修技術(shù)[11]。AR輔助維修技術(shù)通過(guò)為維修人員提供結(jié)合真實(shí)場(chǎng)景的有針對(duì)性、可交互的動(dòng)態(tài)信息，輔助維修人員完成操作[12-13]。軌道交通維修任務(wù)中，維修人員需要設(shè)備使用說(shuō)明和故障排除指南等大量維修指導(dǎo)信息，這些信息包括文字、圖片、視頻、音頻、3D模型等媒體資源。維修人員通過(guò)佩戴搭載AR輔助維修系統(tǒng)的頭戴式設(shè)備，可同時(shí)看到真實(shí)維修場(chǎng)景與虛擬信息，利用人機(jī)交互功能對(duì)系統(tǒng)進(jìn)行操作，如選擇和切換等，在輔助信息的指導(dǎo)下完成設(shè)備拆裝和故障維修等操作。當(dāng)遇到無(wú)法解決的問(wèn)題時(shí)，維修人員可通過(guò)遠(yuǎn)程模式連線后方專(zhuān)家進(jìn)行求助，頭戴式設(shè)備上的攝像機(jī)將采集到的現(xiàn)場(chǎng)狀況與設(shè)備的故障情況通過(guò)遠(yuǎn)程通信手段發(fā)送給后方專(zhuān)家，專(zhuān)家以第一視角對(duì)設(shè)備的故障情況作出實(shí)時(shí)判斷，并通過(guò)語(yǔ)音、三維模型等形式實(shí)時(shí)推送維修步驟，指導(dǎo)維修人員完成維修任務(wù)。

因此，將AR功能嵌入到IETM中，構(gòu)建一種具有統(tǒng)一的信息管理規(guī)范，輔助維修信息與維修場(chǎng)景實(shí)時(shí)結(jié)合的交互式輔助維修系統(tǒng)(以下簡(jiǎn)為“AR-IETM”)，可顯著提高維修作業(yè)效率，降低由于維修人員缺乏經(jīng)驗(yàn)造成維修工作失誤的可能性。

2 AR-IETM系統(tǒng)構(gòu)建

根據(jù)AR技術(shù)對(duì)維修工作的輔助功能，結(jié)合IETM對(duì)維修資料的存儲(chǔ)管理方式，將AR功能嵌入到IETM中構(gòu)建適用于軌道交通設(shè)備的AR-IETM原型系統(tǒng)。AR-IETM是通過(guò)三維注冊(cè)技術(shù)、人機(jī)自然交互技術(shù)等為維修人員提供設(shè)備維修指南與培訓(xùn)等功能的新一代IETM技術(shù)。利用AR技術(shù)對(duì)實(shí)際場(chǎng)景的增強(qiáng)功能，通過(guò)三維注冊(cè)跟蹤顯示技術(shù)將技術(shù)資料按照實(shí)際維修需求實(shí)時(shí)疊加到真實(shí)環(huán)境中，維修人員通過(guò)人機(jī)自然交互技術(shù)感知維修場(chǎng)景與設(shè)備的狀態(tài)變化，并對(duì)系統(tǒng)發(fā)出控制指令，使維修人員從手持設(shè)備中解放出來(lái)，將注意力集中在維修設(shè)備上，減少操作失誤，提高維修效率；AR-IETM在網(wǎng)絡(luò)環(huán)境下與服務(wù)器端進(jìn)行遠(yuǎn)程連接，服務(wù)器根據(jù)需求對(duì)特定維修人員推送維修任務(wù)，并且提供遠(yuǎn)程協(xié)助功能，降低設(shè)備維保成本。

2.1 AR-IETM硬件系統(tǒng)構(gòu)建

面向軌道交通設(shè)備維修的AR-IETM系統(tǒng)以自行研發(fā)的光學(xué)透射式AR 頭戴式顯示器為載體。該系統(tǒng)集成了可穿戴計(jì)算機(jī)，用于存儲(chǔ)維修培訓(xùn)信息、案例庫(kù)等維修培訓(xùn)技術(shù)資料，并搭載了RGB-D(三色深度)相機(jī)、慣性測(cè)量單元(IMU)等傳感器。其中，RGB-D相機(jī)用于讀取維修現(xiàn)場(chǎng)信息并為虛擬信息疊加提供相應(yīng)的深度信息，降低背景光照對(duì)系統(tǒng)的影響；IMU用于在人機(jī)交互過(guò)程中，為系統(tǒng)提供維修人員位姿信息。

2.2 輔助維修信息三維空間顯示

AR-IETM將輔助維修信息以多媒體形式顯示在實(shí)際維修場(chǎng)景中，這是區(qū)別于傳統(tǒng)IETM的一個(gè)顯著特點(diǎn)。維修信息三維空間顯示主要包括輔助維修虛擬信息生成與虛擬信息疊加兩部分，如圖1所示。由圖1可知，利用AR設(shè)備上的RGB-D相機(jī)獲取維修現(xiàn)場(chǎng)的彩色圖像和深度圖像，確定需要維修的設(shè)備，將設(shè)備發(fā)出的故障信號(hào)與維修人員做出的設(shè)備狀態(tài)輔助判斷作為專(zhuān)家系統(tǒng)的輸入，與系統(tǒng)知識(shí)庫(kù)中的故障診斷規(guī)則進(jìn)行匹配。系統(tǒng)根據(jù)知識(shí)庫(kù)制定維修策略，并根據(jù)維修策略觸發(fā)數(shù)據(jù)庫(kù)中相對(duì)應(yīng)的虛擬模型，并在AR頭戴式顯示器中顯示。

為使虛擬信息無(wú)縫疊加在真實(shí)維修場(chǎng)景中，虛擬物體的位姿應(yīng)與真實(shí)世界的物體具備一一對(duì)應(yīng)關(guān)系。本文采用基于點(diǎn)云匹配的三維注冊(cè)方法對(duì)虛擬物體進(jìn)行疊加。如圖2所示，以某待維修的電路板為例，首先利用RGB-D相機(jī)對(duì)電路板進(jìn)行彩色圖像和深度圖像的采集，生成點(diǎn)云數(shù)據(jù)；然后與已經(jīng)建立的待識(shí)別標(biāo)準(zhǔn)點(diǎn)云進(jìn)行配準(zhǔn)計(jì)算，獲得維修對(duì)象在攝像機(jī)坐標(biāo)系中的位置坐標(biāo)；最后將虛擬物體投影到相應(yīng)位置，并顯示在AR頭戴式顯示器中。

圖1 維修信息三維空間顯示流程

圖2 基于點(diǎn)云匹配的注冊(cè)疊加過(guò)程

2.3 AR-IETM人機(jī)自然交互

AR-IETM通過(guò)手勢(shì)、語(yǔ)音、頭部位姿等人類(lèi)行為信息進(jìn)行自然交互，解放維修人員雙手。當(dāng)維修人員遇到無(wú)法解決的問(wèn)題時(shí)，通過(guò)無(wú)線網(wǎng)絡(luò)與遠(yuǎn)程專(zhuān)家取得聯(lián)系，實(shí)現(xiàn)遠(yuǎn)程協(xié)助與網(wǎng)絡(luò)交互，提高維修質(zhì)量。

頭部位姿跟蹤交互是以頭部姿態(tài)和空間位置為主要信息載體，通過(guò)搭載在AR設(shè)備上的IMU測(cè)量頭部在三維空間中的角速度和加速度，并以此解算出頭部的姿態(tài)信息。通過(guò)對(duì)頭部位姿進(jìn)行空間測(cè)量，分析用戶(hù)的注意方向與意圖，選擇點(diǎn)擊區(qū)域，依據(jù)對(duì)頭部空間位置變化的跟蹤，實(shí)現(xiàn)三維場(chǎng)景的移動(dòng)。

手勢(shì)識(shí)別用于實(shí)現(xiàn)用戶(hù)內(nèi)容選擇的確認(rèn)。

對(duì)手部區(qū)域的識(shí)別是實(shí)現(xiàn)手勢(shì)識(shí)別的關(guān)鍵，RGB-D相機(jī)獲取的可見(jiàn)光圖像受背景光照影響很大，因此首先利用深度圖像對(duì)手部圖像進(jìn)行分割，其次對(duì)手背移動(dòng)與手指指尖位置進(jìn)行探測(cè)。并且通過(guò)跟蹤由指尖動(dòng)作帶來(lái)的深度圖像像素變化識(shí)讀點(diǎn)擊動(dòng)作；通過(guò)判斷手勢(shì)的靜止時(shí)間與手勢(shì)的移動(dòng)距離來(lái)識(shí)別動(dòng)態(tài)手勢(shì)信息。

為解放工作人員雙手，AR-IETM還可以采用語(yǔ)音交互作為輔助交互手段，通過(guò)安裝在頭戴式設(shè)備上的麥克風(fēng)采集語(yǔ)音信號(hào)。語(yǔ)音識(shí)別模塊通過(guò)識(shí)別用戶(hù)指令，觸發(fā)虛擬信息生成系統(tǒng)加載對(duì)應(yīng)的輔助操作信息；此外，利用語(yǔ)音識(shí)別技術(shù)還可實(shí)現(xiàn)對(duì)AR-IETM內(nèi)容的快速檢索。

2.4 AR-IETM任務(wù)模型構(gòu)建

AR-IETM在第Ⅳ代IETM整合設(shè)備技術(shù)資料和工程數(shù)據(jù)的基礎(chǔ)上，通過(guò)將輔助維修信息以多媒體形式疊加到工作場(chǎng)景中，以提高維修人員對(duì)維修內(nèi)容的理解能力，使維修人員獲得實(shí)時(shí)的維修操作指導(dǎo)，實(shí)現(xiàn)培訓(xùn)和維修作業(yè)同時(shí)進(jìn)行。

在軌道交通維修輔助過(guò)程中，維修作業(yè)描述、維修作業(yè)指導(dǎo)和維修人員能力評(píng)估等成為AR輔助維修主要任務(wù)模型。如圖3所示，維修作業(yè)描述模型是依據(jù)IETM S1000D標(biāo)準(zhǔn)，使用統(tǒng)一的媒體包裝語(yǔ)言對(duì)維修過(guò)程、操作規(guī)范等內(nèi)容進(jìn)行抽象描述；維修作業(yè)指導(dǎo)模型是根據(jù)對(duì)維修內(nèi)容的描述，激活相應(yīng)的多媒體資源，并疊加到工作場(chǎng)景中，使維修人員獲得直觀的操作指導(dǎo)，并按照維修人員對(duì)系統(tǒng)發(fā)出的交互指令，完成維修任務(wù)；人員能力評(píng)估模型是對(duì)維修過(guò)程進(jìn)行記錄，對(duì)維修人員的操作過(guò)程進(jìn)行評(píng)分，并在系統(tǒng)中生成該維修人員的學(xué)習(xí)記錄。操作過(guò)程可作為新的維修知識(shí)反饋給系統(tǒng)規(guī)則庫(kù)，使其進(jìn)行學(xué)習(xí)，不斷增強(qiáng)輔助維修能力。

圖3 AR輔助維修任務(wù)模型

3 AR-IETM輔助維修實(shí)例

依托石家莊鐵道大學(xué)城市軌道交通通信安全與行車(chē)控制央企重點(diǎn)實(shí)驗(yàn)室，對(duì)進(jìn)出站檢票機(jī)半實(shí)物仿真模型構(gòu)建AR-IETM原型系統(tǒng)，并利用該原型系統(tǒng)輔助維修人員對(duì)其拆裝與維修。

維修工作完成后，維修人員對(duì)該系統(tǒng)做出了評(píng)價(jià)。AR-IETM的系統(tǒng)性能評(píng)價(jià)需要建立相應(yīng)的評(píng)價(jià)標(biāo)準(zhǔn)。本文采用滿(mǎn)意度(CSD)、直觀度(CID)和舒適度(CCD)作為評(píng)價(jià)AR-IETM系統(tǒng)的指標(biāo)[14]。評(píng)價(jià)分?jǐn)?shù)與對(duì)應(yīng)評(píng)價(jià)指標(biāo)如表1所示。

表1 評(píng)價(jià)分?jǐn)?shù)確定原則

將12人隨機(jī)編為Ⅰ、Ⅱ兩組，Ⅰ組使用AR-IETM系統(tǒng)，Ⅱ組使用傳統(tǒng)的紙質(zhì)維修手冊(cè)。試驗(yàn)結(jié)束后每位參評(píng)者給出AR-IETM系統(tǒng)和紙質(zhì)維修手冊(cè)的滿(mǎn)意度、直觀度和舒適度評(píng)價(jià)分?jǐn)?shù),評(píng)價(jià)結(jié)果如表2所示。通過(guò)對(duì)表2中Ⅰ、Ⅱ兩組在CSD、CID、CCD 3個(gè)指標(biāo)分?jǐn)?shù)的平均值進(jìn)行比較可知，AR-IETM系統(tǒng)在CSD、CID指標(biāo)上明顯高于傳統(tǒng)維修方法，而在CCD指標(biāo)上兩者差別較小，說(shuō)明AR-IETM系統(tǒng)在輔助維修方面具有良好表現(xiàn)。

表2 兩組維修方法主觀評(píng)價(jià)平均分值比較

4 結(jié)語(yǔ)

信息化、智能化是軌道交通維修行業(yè)的發(fā)展趨勢(shì)。本文對(duì)IETM在設(shè)備維保工作的應(yīng)用進(jìn)行了分析，通過(guò)將AR技術(shù)與IETM技術(shù)結(jié)合，為軌道交通設(shè)備維修工作提供了一種結(jié)合真實(shí)場(chǎng)景的、可與維修人員交互的輔助維修系統(tǒng)，提高了維修工作的便捷性與有效性，并且對(duì)實(shí)現(xiàn)該系統(tǒng)的關(guān)鍵技術(shù)進(jìn)行了初步研究。試驗(yàn)結(jié)果表明，該系統(tǒng)在維修指導(dǎo)操作方面具有良好的表現(xiàn)。在復(fù)雜野外條件下，進(jìn)一步提升系統(tǒng)對(duì)維修對(duì)象的識(shí)別能力和對(duì)虛擬物體三維注冊(cè)的抗干擾能力，使得AR-IETM從原型系統(tǒng)走向?qū)嵱没?，是本文的進(jìn)一步研究?jī)?nèi)容。