臧志超，崔霆銳，李明

（北京市地鐵運營有限公司，北京 100044）

0 引言

增強現(xiàn)實（Augmented Reality，AR），是將屏幕上投射的數(shù)字圖像與現(xiàn)實世界疊加展現(xiàn)的技術，實現(xiàn)信息數(shù)據(jù)呈現(xiàn)與現(xiàn)實圖景的緊密結合，加深我們對現(xiàn)實世界的感知和了解。AR 技術包含多媒體、三維建模、實時視頻顯示及控制、多傳感器溶合、實時跟蹤及注冊、場景融合等新技術與新手段。AR 提供了在一般情況下，不同于人類可以感知的信息。AR 系統(tǒng)具有3 個突出特點：（1）真實世界和虛擬世界的信息集成；（2）具有實時交互性；（3）在三維尺度空間中增添定位虛擬物體［1-3］。

目前，國外公司在智能巡檢、遠程指導、AI識別等領域取得了眾多的成果，如微軟、谷歌、蘋果AR 等。AR應用開發(fā)的主要案例有美國電科院（EPRI）對AR在工業(yè)領域的廣泛深入研究，以及谷歌等公司對工業(yè)AR智能眼鏡的開發(fā)和應用等，多用于B端，提供如AR設計、AR會議、虛擬醫(yī)療、游戲和軍用、遠程交互、標準流程等功能。C端實際應用集中在導航，游戲、虛擬導覽場景［4-9］。國內公司如Nreal、華為、OPPO等廠商對AR進行了諸多探索，C端市場火爆，如AR游戲、觀看視頻、手機同屏、AR導航商店活動信息呈現(xiàn)、AR景點導航等，且成熟的產品AR+AI 企業(yè)智能服務平臺，已面向制造、安防、能源化工等眾多行業(yè)客戶提供了遠程交互、標準流程、質量管理、知識庫、3D展示等功能。

地鐵車輛在維護過程中，檢修流程步驟復雜，檢修人員掌握較為困難，且發(fā)現(xiàn)問題后，也難以與專家進行溝通。車輛維修工作很大程度上是屬于知識密集型行業(yè)，知識和技術的積累與進步是其不斷發(fā)展的重要推動力。通過新技術人員進入和新興設備的運用提高行業(yè)生命力的同時也產生了重要的困擾——如何有效進行維護維修經驗的積累與傳承［10-11］。隨著計量、檢修技術不斷進步，亟須提高檢修人員水平，并努力加強工作的標準化規(guī)范化［12］。結合目前車輛維修工作難點和需求，以頭戴式增強現(xiàn)實設備為抓手，開發(fā)研究基于北京地鐵運維體系的數(shù)字化、智能化和網絡化維修輔助平臺，通過增強現(xiàn)實方式實現(xiàn)多種支持信息融合的遠程維護支持、工作流程監(jiān)控、便捷技術培訓和高效信息查詢?yōu)橐惑w的創(chuàng)新維修系統(tǒng)。

1 整體技術路線

依據(jù)超大城市軌道交通網絡化維護條件下車輛高效率、高質量和高安全的綜合維護作業(yè)需求，研究車輛數(shù)字化流程指引技術和智能化資料信息查詢機制，研究車輛遠程支持和遠程培訓技術，研制和開發(fā)車輛檢修人員使用的智能檢修輔助終端和應用軟件，開發(fā)北京地鐵智能維修輔助系統(tǒng)，技術路線見圖1。

圖1 車輛智能維修輔助系統(tǒng)研究技術路線

2 系統(tǒng)架構

智能維修輔助系統(tǒng)整體由前后臺構成，前臺終端系統(tǒng)由AR 智能眼鏡及連接的安卓終端（手機、平板、PDA）組成。在智能手機上安裝定制的APP，用以驅動眼鏡以及連接后臺系統(tǒng)，整個終端通過4G、5G 或者WiFi 網絡與后臺系統(tǒng)進行連接。后臺服務平臺是整個系統(tǒng)的核心部分，可提供各個服務功能，包括遠程音視頻交互、遠程培訓、流程和步驟輔助指導、數(shù)字工單、專家知識庫及跨模態(tài)檢索等，并配置相應的數(shù)據(jù)庫系統(tǒng)，同時此平臺具有北向接口，與既有維修管理系統(tǒng)進行對接融合，形成一個整體平臺，實現(xiàn)企業(yè)利用AR 終端進行日常運維、巡檢、檢修和培訓的各項功能。后臺管理人員或者專家通過PC、手機或者平板電腦的瀏覽器連接到平臺中，實現(xiàn)與前端眼鏡佩戴者的實時通信。平臺可以安裝在北京地鐵內部互聯(lián)網數(shù)據(jù)中心（IDC）的物理服務器、云服務器和虛擬服務器中，采用純私有化IP 地址，以保證系統(tǒng)的安全性。整個系統(tǒng)通過防火墻設備與外網連接，以便與外部專家或者相關人員進行連接。整個方案的系統(tǒng)架構見圖2。

圖2 智能維修輔助系統(tǒng)架構

3 系統(tǒng)功能

該車輛智能維修輔助系統(tǒng)由3 個功能模塊構成，即音視頻交互與培訓系統(tǒng)、流程輔助與數(shù)字工單系統(tǒng)和用戶管理及安全系統(tǒng)。所有的功能模塊可以獨立應用，也可以根據(jù)業(yè)務需求進行組合應用，從而形成一個完整的應用框架。功能架構見圖3。

圖3 車輛智能維修輔助系統(tǒng)功能架構

3.1 音視頻交互與培訓模塊

地鐵車輛各系統(tǒng)組件較多，結構復雜，檢修維修技術難度大，緊急問題或者疑難問題缺乏高效即時的溝通方式。車輛檢修人員專業(yè)技能要求高，培訓需要大量時間去言傳身教，人才成長速度慢，且專業(yè)人員有流動風險。針對上述問題設計開發(fā)了音視頻交互與培訓模塊。

地鐵檢修人員佩戴AR 眼鏡連入系統(tǒng)，專家通過瀏覽器遠程連接系統(tǒng)，雙方即可建立雙向音視頻交互通道，專家在遠端觀看前方工作情況或者指導前方工作人員解決問題，除了語音之外，專家還可以通過實時視頻、文字、圖片、AR 標記等多種方式，多維度向前方人員提供豐富信息，減少交流障礙，提升溝通效率。包含音視頻通話、動態(tài)標注、多媒體信息交互、交互記錄、多人會議等功能，具體設計功能如下。

（1）音視頻通話。實現(xiàn)作業(yè)端與后臺專家實時溝通，眼鏡傳輸現(xiàn)場視頻，雙方進行語音對話。

（2）動態(tài)標注。專家可以在后臺屏幕上進行標注標記，實時呈現(xiàn)在眼鏡屏幕上。

（3）多媒體信息交互。前后臺可以發(fā)送文本信息、圖片、視頻、圖紙等資料。

（4）交互記錄。無論是維修指導還是培訓內容，所有交互內容可以實時存儲在服務器中。

（5）多人會議。實現(xiàn)眼鏡與PC 端的多對多通話，即1個專家可以同時接受多位前方員工的咨詢，也可以采取培訓模式，1個專家操作，同時給多個后方的培訓員工看。

3.2 流程輔助與數(shù)字工單模塊

地鐵車輛各系統(tǒng)各個設備組件檢修的步驟和流程較為復雜，現(xiàn)場人員較難掌握和嚴格執(zhí)行，會帶來相應風險。為實現(xiàn)標準作業(yè)指導、AI 關鍵步驟提示設計開發(fā)了流程輔助模塊。為實現(xiàn)全程過程記錄可追溯設計開發(fā)了數(shù)字工單模塊。具體功能包含數(shù)字工作流、檢修資料實時查詢、數(shù)字工單生成和發(fā)送、檢修報告生成和分析等。

（1）數(shù)字工作流。將現(xiàn)有各個維修手冊中維修和檢修流程轉換為數(shù)字化流程指導文件，并允許員工在工作時調用，在眼鏡中進行逐條顯示，以指導作業(yè)。

（2）檢修資料實時查詢。在檢修過程中如果需要參考任何資料，包括設備介紹、報警信息列表、工藝文件等，都可以通過與AR眼鏡交互進行查詢。

（3）數(shù)字工單生成和發(fā)送。在后臺動態(tài)生成工單，確定工作內容、人員名單、工作時限等，并下發(fā)給相應的執(zhí)行人員。

（4）檢修報告生成和分析。在檢修完成之后，自動在眼鏡端生成定制報告，并上傳服務器，同時在后臺進行數(shù)據(jù)分析，生成相應報告。

3.2.1 流程輔助系統(tǒng)

以地鐵列車液壓制動系統(tǒng)為例，將檢修工藝規(guī)程進行數(shù)字化流程改造。整個檢修流程分為初步拆卸、控制裝置拆卸、控制裝置分解、控制裝置清理、控制裝置檢驗、控制裝置組裝、控制裝置安裝、供應裝置拆卸、供應裝置分解、供應裝置清理、供應裝置檢驗、供應裝置組裝、供應裝置安裝、最終裝配等14個工序，每個工序都有10～20 多個步驟，記憶和查找都很困難。通過AR 的標準作業(yè)功能就可以將這些工序和步驟以數(shù)字化的方式呈現(xiàn)在佩戴AR 眼鏡的員工眼前，只要按照屏幕上的文字、語音、圖片和視頻的指引就可以完成各個工序的工作。利用系統(tǒng)的編輯器功能，將工作流程整理為數(shù)字文件（見圖4）。

圖4 制作數(shù)字文件流程

數(shù)字文件的形式和順序嚴格按照工藝流程排列，采用工卡模式，每1 個卡片代表1 個工序，在卡片中有標題、作業(yè)內容、備注輸入、工作項結果輸入、工作項附件等。制作數(shù)字文件的編輯界面見圖5。

圖5 數(shù)字文件編輯界面（文字語音）

考慮到很多檢修場地的網絡狀況不穩(wěn)定，維修輔助功能采用離線化運作方式，在作業(yè)前員工將整個流程文件下載到AR 終端，執(zhí)行過程中則不需要聯(lián)網，所有數(shù)據(jù)信息都暫存在AR 終端中，結束作業(yè)后的報告也是存在本地，待有網絡連接時再自動上傳。

3.2.2 數(shù)字工單系統(tǒng)

隨著地鐵運行里程和頻率的不斷增加，維修任務越來越繁重，管理人員需要向前線人員發(fā)送大量的檢修工單，而工作人員在接受工單后才可以進行工作。如何讓工單的創(chuàng)建和下發(fā)更加便捷，如何讓員工更快捷地接受工單并開始工作就成為一個重要問題。數(shù)字工單系統(tǒng)將與北京地鐵既有網絡化運維增強平臺進行對接和工單流轉，接受其發(fā)送的工單信息并進行執(zhí)行，將檢修后的報告再發(fā)送到運維系統(tǒng)進行分析和存檔，使之融入到北京地鐵統(tǒng)一建設的數(shù)字化機務維護平臺中，從而實現(xiàn)維修工單整個流轉過程的高效和便捷，對接架構設計見圖6。

圖6 數(shù)字工單系統(tǒng)對接架構設計

（1）首先要建立車輛智能維修輔助系統(tǒng)與車輛智能運維系統(tǒng)一致的檢修人員工作賬號體系，這樣從智能運維系統(tǒng)發(fā)送過來的工單就可以發(fā)送到相應的檢修人員賬號中。

（2）車輛智能運維系統(tǒng)建立有工單信息管理中心，通過人工方式生成工單，對平臺內所有維修工作內容、進度、處理等多方面綜合管理。在工單生成之后，工作人員點擊“發(fā)送”按鈕，則工單自動轉換為特定的文本格式文件（如XML，CSV 等），并發(fā)送到車輛智能維修輔助系統(tǒng)中。此文件內容包括檢修人賬號、檢修設備詳情、檢修時間、預期結果、設備維修情況等。

（3）車輛智能維修輔助系統(tǒng)接收到數(shù)字工單后，提取信息并轉換為AR 維修工單，發(fā)送到相應的檢修人員賬號中，檢修人員登錄APP 后，則任務工單和對應的檢修輔助數(shù)字流程自動調出，開始檢修工作。

（4）檢修完成后，車輛智能維修輔助系統(tǒng)會自動生成檢修報告，包括檢修視頻以及檢修每個步驟的時長、問題記錄、檢修備注等詳細信息。這些信息也會放置到相關的文本文件中，附上檢修人員賬號等信息，發(fā)送回車輛智能運維系統(tǒng)中。系統(tǒng)接受后，將其中的信息進行提取，并存入到工單信息統(tǒng)計系統(tǒng)的數(shù)據(jù)庫中，以備系統(tǒng)進行分析和處理。

3.3 用戶管理和安全模塊

系統(tǒng)安全包括兩方面的含義：一是信息安全，二是網絡安全，涉及到的是信息化過程中被保護信息系統(tǒng)整體安全。具體來說，信息安全是指信息的保密性、完整性和可用性的保持；網絡安全主要從通信網絡層面考慮，使信息的傳輸和網絡的運行能夠得到安全的保障，內部和外部的非法攻擊得到有效的防范和遏制。

3.3.1 信息安全

系統(tǒng)從網絡、系統(tǒng)、用戶數(shù)據(jù)及應用程序等多個層面賦予最高的安全級別設計，確保用戶能夠安全使用系統(tǒng)提供的各項業(yè)務功能，主要包括以下幾個方面。

（1）端到端安全加密。端到端級別采取的安全保障有SSL、HTTPs、Secure Websockets、AES 加密方案以及終端用戶授權管理（End-user Authorization Management）等。

（2）業(yè)務數(shù)據(jù)安全?？蛻舳伺c服務器之間交互采用SSL認證加密通信，客戶端能夠驗證服務器的身份，同時防止通訊過程數(shù)據(jù)泄密和被篡改?？蛻舳伺c服務器間交互方案通過專業(yè)機構安全測試與認證，可有效防止外來者入侵及黑客獲取數(shù)據(jù)。

（3）媒體數(shù)據(jù)安全。通信過程中所有媒體數(shù)據(jù)在客戶端之間以及客戶端與服務器端采用AES-128 或AES-256算法進行加密。使用路由服務以提高通信質量、增強用戶體驗，但在傳輸過程中沒有任何可對傳輸?shù)男畔⑦M行解密的密鑰，內容信息只能在終端設備上通過客戶授權密鑰才能解密。

音視頻文件存儲于云平臺，用戶通過時效用戶或者秘鑰等方式訪問云存儲上的音視頻數(shù)據(jù)，且當使用用戶訪問云存儲數(shù)據(jù)時會有時效限制。

3.3.2 網絡安全

為確保整個系統(tǒng)安全可靠運行，系統(tǒng)在網絡安全方面也做了全面設計。首先，整個系統(tǒng)可以封閉運行在北京地鐵內部的IDC或者私有云系統(tǒng)中，全部使用保留IP地址，并且能夠與網絡平臺中的防火墻、網關、負載均衡設備等配合運行，確保免受外部攻擊的威脅。系統(tǒng)還支持混合云和公有云模式部署，以便通過公共因特網的終端用戶和專家來訪問系統(tǒng)服務?？蛻舳薃PP與服務器端的通訊協(xié)議都采用了安全校驗和加解密方案，實現(xiàn)網絡加密。系統(tǒng)中主要采用了SSL 認證協(xié)議，用于利用HTTP協(xié)議進行通信雙方身份認證及密鑰分發(fā)。

4 系統(tǒng)平臺建設

系統(tǒng)整體采用分布式架構，對每個業(yè)務進行服務拆分，業(yè)務服務之間松耦合無依賴，根據(jù)不同功能和模塊對系統(tǒng)的性能要求不同，視頻編碼和流處理采用C/C++語言編寫，中層服務采用JAVA 語言編寫，上層前端采用HTML和安卓原生進行開發(fā)，并遵循公司編碼規(guī)范，最大程度保障系統(tǒng)穩(wěn)定性和安全性。

系統(tǒng)基于B/S 和安卓原生架構，集大容量、高并發(fā)、統(tǒng)一管理、多業(yè)務融合、多級互聯(lián)、高擴展性、高安全性、高兼容性、高可靠性、高開放性等為一體。支持包括Android、Web 和MacOS 的主流操作系統(tǒng)，支持多端消息同步，支持基礎的即時通訊功能，保證會話中的消息的發(fā)送、接受、轉發(fā)，文檔的收發(fā)、緩存，可以自動保存各種消息以及會話中的音視頻，并且能夠滿足基本的群組管理功能。系統(tǒng)邏輯架構見圖7。

圖7 智能維修輔助系統(tǒng)邏輯架構

（1）模塊化和服務化設計。將單一應用程序劃分成一組小的服務，服務之間互相協(xié)調、互相配合，為用戶提供最終價值。每個服務運行在其獨立的進程中，服務與服務間采用輕量級通信機制互相溝通（通常是基于HTTP 協(xié)議的RESTful API）。每個服務都圍繞具體業(yè)務進行構建，并且能夠被獨立部署到生產環(huán)境、類生產環(huán)境等。盡量避免統(tǒng)一的、集中式的服務管理機制，對具體服務而言，根據(jù)業(yè)務上下文，選擇合適的語言、工具對其進行構建。

（2）數(shù)據(jù)庫訪問安全與優(yōu)化。基于成熟開源的Mysql 搭建核心數(shù)據(jù)庫系統(tǒng)，服務模塊中只有數(shù)據(jù)接口有訪問數(shù)據(jù)庫的權限，提升數(shù)據(jù)訪問效率與安全。

（3）建立日志體系。流媒體平臺各模塊的日志管理交由各模塊獨立實現(xiàn)，可以采用把日志信息記錄到本地日志文件的方式，也可以采用把日志信息記錄到日志數(shù)據(jù)庫的方式，日志體系符合以下規(guī)則：①日志分級，日志分級別存儲顯示，分為調試日志、警告日志和錯誤日志，并能根據(jù)部署的不同來存儲顯示不同級別日志信息。②日志記錄完善，單條日志記錄中應包含時間、位置、日志級別和日志自定義內容等信息。③日志空間優(yōu)化，文件占用盡量小的空間，當日志文件超過一定長度時應自動生成新的日志文件進行日志信息的保存，同時具有日志清理機制。

（4）可擴展性設計。系統(tǒng)先構建一個基礎平臺架構以實現(xiàn)基礎視頻流功能，構成流媒體平臺的一個核心架構，同時預留接口和協(xié)議以方便后續(xù)跨模態(tài)業(yè)務軟件實現(xiàn)。

5 結論

采用北京地鐵智能維修輔助系統(tǒng)后，之前游離于整體數(shù)字化運維管理體系之外的關鍵一環(huán)，即前線維修和巡檢一線人員就被全面融入到整個體系中，便于他們隨時隨地方便快捷地接觸后臺資料信息，接受實時維修指導和培訓，且可以在工作的同時接受流程步驟指導，以數(shù)字化工單方式實現(xiàn)維修和巡檢任務。這些功能對一線工人的工作帶來了諸多收益和便利，包括：（1）技術水平切實提高；（2）有效減少工作失誤；（3）問題可以迅速得到反饋和及時解決。一線檢修人員除了從整個系統(tǒng)中獲取幫助之外，也可以成為系統(tǒng)和知識庫的貢獻者，其求助獲得幫助的視頻可以成為故障排除范例，成為其他檢修人員學習的材料。利用數(shù)字工單系統(tǒng)，在工作完成之后，自動實現(xiàn)檢修報告生成和巡檢數(shù)據(jù)錄入。系統(tǒng)可以向遠程技術專家提供維修現(xiàn)場的第一視角，給專家最直觀全面的現(xiàn)場場景，而專家則通過文字、圖片、文檔、音視頻通訊等方式指導檢修人員操作。AR 遠程交互技術使檢修人員可以隨時隨地接受專業(yè)人員指導，同時不影響雙手工作，可以快速、高效處理問題，顯著提高工作效率。