姜良奎 楊朝霞 林 藍 韓 勇

(1.西南交通大學設計藝術(shù)學院， 611731， 成都； 2．中車青島四方機車車輛股份有限公司， 266111， 青島；3．中國海洋大學信息科學與工程學部， 266100， 青島∥第一作者， 正高級工程師)

0 引言

目前，我國軌道交通智能制造的基礎理論和技術(shù)體系建設較為滯后，亟需通過信息化、智能化手段改善設備運維管理現(xiàn)狀。對于傳統(tǒng)的軌道交通設備運維軟件，國內(nèi)外比較成熟的研究有：文獻[1]提出基于B/S(瀏覽器/服務器)架構(gòu)的設備OSS(運維支撐系統(tǒng))，通過傳感器在線數(shù)據(jù)檢測及傳輸進行設備故障分析;文獻[2]基于信息化技術(shù)手段開發(fā)了京滬高鐵標準化作業(yè)平臺，實現(xiàn)了移動端的基礎數(shù)據(jù)共享，由后臺進行綜合管理;文獻[3]提出基于 RFID(射頻識別)的列車運維系統(tǒng)，通過標簽讀取數(shù)據(jù)進行可視化分析。這些系統(tǒng)的后臺大多采用了目前流行的移動互聯(lián)網(wǎng)技術(shù)，但可視化手段單一，用戶在客戶端的操作感不足，體驗感較差。

AR(增強現(xiàn)實)技術(shù)的引入突破了傳統(tǒng)的二維局限，通過加入三維動畫、視頻等可視化形式，更有助于用戶對信息的理解。該技術(shù)通過跟蹤用戶佩戴的智能眼鏡在現(xiàn)實世界中的位姿來判斷用戶的視線方向，并精確疊加虛擬信息，以增加信息交互的真實感。目前AR在軌道設備方面也有成功的應用案例，例如：文獻[4]提出了基于Open Frameworks框架和改進AR碼的軌道交通列車仿真系統(tǒng)，該系統(tǒng)實現(xiàn)了虛擬列車在真實的軌道模型上行駛的場景；文獻[5]提出搭載在移動端的AR裝配系統(tǒng)，用戶可使用手指觸屏拾取零件與真實設備的交互操作。但這些交互方式相對單一，沒有具體針對軌道交通設備運維進行研發(fā)設計。

綜上所述，傳統(tǒng)的軌道交通設備運維軟件主要存在以下問題：①在運維計劃、實際作業(yè)、信息反饋之間沒有健全的閉環(huán)機制，運維效率低下；②對技術(shù)人員的要求較高，各崗位技術(shù)職工分工獨立明確，不同崗位運維人員難以進行有效溝通；③需要大量的人力、時間來支持這些運維軟件的運作。

數(shù)字孿生是實現(xiàn)物理與信息融合的一種有效手段，而設備運維車間物理世界與信息世界的交互與融合是實現(xiàn)“工業(yè)4.0”、“中國制造2025”、工業(yè)互聯(lián)網(wǎng)、基于CPS(信息物理系統(tǒng))的制造等目標的瓶頸之一。文獻[6]闡述了數(shù)字孿生車間的系統(tǒng)組成、運行機制、特點、關(guān)鍵技術(shù)等，在此基礎上探討了基于車間孿生數(shù)據(jù)的車間物理世界和信息世界的交互與共融理論和實現(xiàn)方法。文獻[7]為虛擬現(xiàn)實平臺的搭建過程提供了清晰有效的建模思路及優(yōu)化方法。文獻[8]提到了Netty(JBOSS公司提供的一個基于客戶端服務器的java(計算機編程語言)開源框架)建立在NIO(同步非阻塞)基礎之上，對NIO進行封裝優(yōu)化，具有高性能、高可靠性、異步非阻塞、基于事件驅(qū)動等優(yōu)點。

AR與軌道交通設備的緊密結(jié)合，對軌道交通設備的智能化有著重要的意義。本文基于移動安卓平臺，將AR與VR(虛擬現(xiàn)實)技術(shù)混合，集成開發(fā)形成軌道交通設備遠程運維輔助檢修孿生系統(tǒng)，并重點對以下3個方面進行深入研究：①支持用戶隨時隨地在線自我學習，通過局部虛擬三維動畫進行教學操作指導，并研發(fā)在線自測模塊；②將AR技術(shù)應用到技術(shù)人員的視頻通話中，實現(xiàn)在虛擬模型上疊加實時三維標識工具，使不同崗位技術(shù)人員間的溝通更加形象、直觀；③集成用戶手勢捕捉，更好地與虛擬模型交互。

1 軌道交通設備遠程運維輔助檢修孿生系統(tǒng)的架構(gòu)

軌道交通設備遠程運維輔助檢修孿生系統(tǒng)采用C/S(客戶端/服務端)架構(gòu)，其系統(tǒng)架構(gòu)如圖1所示。

注：ID——身份標識號;箭頭方向代表通常意義上3層架構(gòu)的邏輯方向，表示整個系統(tǒng)從最底層數(shù)據(jù)層到離用戶最近的最上層應用層的遞進。

以動車組轉(zhuǎn)向架的檢修指導流程為例，現(xiàn)場檢修人員借助移動設備或智能眼鏡的攝像頭掃描并識別出真實轉(zhuǎn)向架的特征點，覆蓋同等比例的虛擬模型后，可支持在線學習指導；現(xiàn)場檢修人員也可通過視頻通話方式，將現(xiàn)場檢修第一視角共享給遠程技術(shù)人員，此時遠程技術(shù)人員通過點擊移動設備屏幕觸屏，在虛擬模型上疊加線條、箭頭、扳手、錘子等標記，進行相關(guān)維修操作的三維指導動畫展示，并實時傳輸給現(xiàn)場檢修人員，以指導現(xiàn)場檢修。軌道交通設備遠程運維輔助檢修孿生系統(tǒng)分為應用層、技術(shù)層和數(shù)據(jù)層3個層次。

1) 應用層。應用層的功能分為3個模塊：①用戶模塊實現(xiàn)用戶注冊和登錄,獲取好友列表、視頻通話功能；②學習模塊實現(xiàn)在線觀看設備UI(用戶界面)文字介紹、局部三維動畫檢修操作視頻，并可通過在線操作考試檢測其學習效果；③遠程指導模塊可基于視頻通話實現(xiàn)雙方屏幕共享，通過觸屏交互在虛擬模型上實現(xiàn)維修指導操作。

2) 技術(shù)層。技術(shù)層的主要技術(shù)包括：①基于Netty的服務器通信技術(shù)，該技術(shù)結(jié)合Spring開源框架、Mybatis開源框架構(gòu)建了服務器端，可實現(xiàn)不同客戶端之間信息的讀取處理和數(shù)據(jù)交換；②基于混合開發(fā)集成的AR遠程指導技術(shù),其將Android Studio集成開發(fā)工具的訊飛語音和聲網(wǎng)通話服務打包成aar文件，并集成到unity平臺進行開發(fā)操作,該技術(shù)結(jié)合Vuforia軟件實現(xiàn)視頻通話、模型識別操作，并導出支持APK(Android應用程序包)的文件，供用戶使用。

3) 數(shù)據(jù)層。數(shù)據(jù)層的數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫中，主要包括3種類型：①用戶數(shù)據(jù)，用以存儲用戶ID、用戶名、密碼等用戶基本信息及好友列表信息；②考試數(shù)據(jù)，用以存儲考試題目的名稱、難度等；③設備數(shù)據(jù)，用以存儲設備ID及設備特征點數(shù)據(jù)。數(shù)據(jù)存儲采用SQLite數(shù)據(jù)庫存儲、Shared-Preferences數(shù)據(jù)存儲、文件存儲3種方式。

2 軌道交通設備遠程運維輔助檢修孿生系統(tǒng)的關(guān)鍵技術(shù)

2.1 基于Netty的服務器通信技術(shù)

本系統(tǒng)基于TCP(傳輸控制協(xié)議)的長連接實現(xiàn)可靠、高頻率的雙向?qū)崟r通信，基于Netty、Spring、Mybatis的混合框架開發(fā)服務器將服務器端分為通信層、業(yè)務邏輯層、數(shù)據(jù)層。其中：通信層使用基于Netty的NIO框架，該框架是與用戶進行數(shù)據(jù)交換的通道，主要負責客戶端連接、消息讀取、信息處理，并進行相應的業(yè)務分發(fā)；業(yè)務邏輯層接收來自通信層的消息，將不同類型的業(yè)務分配至對應的處理方式中；數(shù)據(jù)層采用Mybatis框架，該框架使用DAO(數(shù)據(jù)訪問對象)模式實現(xiàn)數(shù)據(jù)庫接口，把業(yè)務邏輯和數(shù)據(jù)訪問解耦，直接操作數(shù)據(jù)表。

由于TCP存在粘包問題，本系統(tǒng)可預先對消息包進行處理，將其分為消息頭和消息體兩部分，并在消息頭中加入消息體的長度數(shù)據(jù)，以設計合適的消息協(xié)議棧。消息體分為消息長度、保留字節(jié)、消息類型3個部分，其大小分別為2字節(jié)、1字節(jié)、1字節(jié)，以盡量保證消息包的體積，有效解決粘包問題，提高序列化和反序列化的速率。將消息類型設計在消息頭中，服務器端收到二進制文件后，將根據(jù)消息類型將其反序列化成POJO(簡單無規(guī)則java對象)。

通過Netty框架中的IdleStateHandler類進行客戶端心跳檢測，若15 s內(nèi)客戶端未向服務器端發(fā)起讀寫操作，則由服務器主動向客戶端發(fā)送空閑心跳包，在ConcurrentHashMap類中設置空閑次數(shù)。若空閑次數(shù)超過3次，則斷開Channel連接，以避免資源浪費。

2.2 基于混合開發(fā)集成的AR遠程指導技術(shù)

2.2.1 混合開發(fā)技術(shù)

由于Unity3D軟件出色的渲染功能及多平臺兼容的特性，本系統(tǒng)采用基于Unity3D和Android(安卓軟件系統(tǒng))混合開發(fā)的模式。為保證系統(tǒng)布局的統(tǒng)一性，本系統(tǒng)的混合開發(fā)以C#語言為主導，主要在Unity3D軟件中開發(fā)，導入由Android Studio中視頻通話等模塊功能封裝成的aar包，通過編寫腳本實現(xiàn)系統(tǒng)的基本功能。本系統(tǒng)可導出在Android平臺上安裝的APK文件，將客戶端搭載在手機移動端和智能眼鏡端，其客戶端框架如圖2所示。

圖2 軌道交通設備遠程運維輔助檢修孿生系統(tǒng)的客戶端框架示意圖

2.2.2 視頻通話技術(shù)

視頻通話是遠程AR交互的基礎。由于移動設備自帶的后置攝像頭會與Vuforia軟件的攝像頭沖突，故采用Vuforia軟件的攝像頭進行畫面?zhèn)鬏敼蚕恚F(xiàn)場客戶端通過截屏推流功能將用戶視角共享至遠程用戶。

2.2.3 坐標轉(zhuǎn)換技術(shù)

現(xiàn)場用戶需接收遠程用戶手指觸屏數(shù)據(jù)的屏幕像素坐標，通過坐標轉(zhuǎn)換將屏幕像素坐標繪制在世界坐標系上，并基于追蹤算法實現(xiàn)AR效果。坐標軸轉(zhuǎn)換的計算式如下：

式中：

Zc——相機坐標系下的Z坐標；

u、v——表示像素平面坐標；

u0——圖像的中心像素坐標和圖像原點像素坐標之間相差的橫向像素數(shù)；

v0——圖像的中心像素坐標和圖像原點像素坐標之間相差的縱向像素數(shù)；

dx、dy——分別表示像素坐標系和圖像坐標系之間的轉(zhuǎn)換關(guān)系，即x方向和y方向下一個像素所占長度；

f——相機焦距；

R——旋轉(zhuǎn)矩陣；

T——平移向量；

0——零向量;

XW、YW、ZW——分別為世界坐標系下的X、Y、Z三維坐標。

3 軌道交通設備遠程運維輔助檢修孿生系統(tǒng)的功能模塊

3.1 用戶模塊

3.1.1 用戶的注冊和登錄

如圖3 a)所示，在初始界面輸入用戶名、密碼，與已有數(shù)據(jù)庫表進行匹配，實現(xiàn)登錄功能。若系統(tǒng)內(nèi)無該賬戶，點擊注冊按鈕后將跳轉(zhuǎn)至用戶登錄界面，如圖3 b)所示，此時用戶需填寫基本信息。系統(tǒng)將檢測數(shù)據(jù)庫表中是否存在相同的數(shù)據(jù)，若不存在，則提示注冊成功。

a) 用戶登錄

3.1.2 獲取好友列表

用戶登錄后，可從系統(tǒng)的數(shù)據(jù)庫中讀取在線好友數(shù)據(jù)，并在列表中顯示其基本信息。點擊指定的好友對話框可發(fā)起一對一的視頻通話請求，如圖4所示。若對方點擊同意，則可建立視頻通話。

圖4 發(fā)送視頻通話界面截圖Fig.4 Screenshot of sending video call interface

3.2 學習模塊

3.2.1 在線學習模塊

用戶在菜單欄點擊“study”(學習)按鈕，界面將呈現(xiàn)學習面板。系統(tǒng)彈出提示信息，提示用戶將移動設備攝像頭對準當前設備。系統(tǒng)將采用物體識別方式利用Vuforia算法提取場景內(nèi)的特征點，并與Vufoira軟件云存儲庫內(nèi)的數(shù)據(jù)進行對比，匹配成功后則精準疊加同比例虛擬模型。點擊“細節(jié)講解”，可通過浮動UI面板查看設備指定部位的基本信息，如圖5所示，此時指定部位模型將高亮顯示。

注:Data——數(shù)據(jù);Exam——考試;About——關(guān)于;Logout——注銷。圖5 設備的UI文字介紹界面截圖Fig.5 Screenshot of UI text introduction interface of the device

如圖6所示，點擊“拆解流程”后，系統(tǒng)將以虛實結(jié)合的方式展示設備指定部位的相應維修操作分步指導動畫，供用戶反復觀看。

圖6 設備的維修學習動畫界面截圖Fig.6 Screenshot of equipment maintenance learning animation interface

3.2.2 在線考試模塊

在普通用戶登錄模式下，點擊“Exam”按鈕，可從數(shù)據(jù)庫隨機抽取不同難度的考題，以UI面板的方式向用戶展示“考試題目”及“考試難度”，用戶可以選擇“開始作答”或點擊“下一題”切換題目，如圖7所示。點擊“開始作答”時,考試題目將以UI方式切換到右上方予以展示。若點擊“下一題”，系統(tǒng)則隨機抽取新題目供用戶測試。

圖7 普通用戶的考試界面截圖Fig.7 Screenshot of the examination interface of ordinary users

若為管理員登錄模式，點擊“Exam”按鈕，系統(tǒng)將跳轉(zhuǎn)到題庫后臺的管理界面，支持查看所有題庫數(shù)據(jù)，包括題目的編號、名稱、難度等，并可對題目進行增加、刪減、修改、查詢等操作。

3.3 遠程指導模塊

3.3.1 屏幕共享模塊

當用戶雙方建立起視頻通話時，系統(tǒng)將跳轉(zhuǎn)到用戶角色選擇界面，此時需根據(jù)用戶角色先點擊選擇UI面板中的“現(xiàn)場維修”或“遠程指導”。其中：現(xiàn)場維修端采用Vuforia軟件自帶的攝像頭，可將當前設備畫面共享至遠程指導端；遠程指導端則開啟移動設備前置攝像頭。若視頻畫面卡頓，可在左側(cè)菜單欄調(diào)節(jié)當前畫面的分辨率，系統(tǒng)默認的分辨率為2 560像素×1 040像素。

3.3.2 模型標記模塊

遠程指導端通過手指觸屏點擊“虛擬模型”，基于上文的坐標轉(zhuǎn)換計算式,坐標轉(zhuǎn)換在所點擊的屏幕位置處精準添加指定標記(如線條、箭頭等)來指示當前需檢修部位，也可添加扳手、錘子等維修工具，給現(xiàn)場維修端實時展示維修動畫，并提供維修技術(shù)指導?，F(xiàn)場維修端的巡檢人員可在屏幕右側(cè)看到當前所使用的工具，如圖8所示。

圖8 添加三維標記指示設備檢修部位Fig.8 Adding three-dimensional marks to indicate the maintenance parts of the equipment

3.3.3 觸屏交互模塊

遠程指導端通過手指觸屏點擊模型需維修部位，系統(tǒng)將循環(huán)展示設備局部維修的操作指導動畫，需拆解部位的設備模型將高亮顯示?，F(xiàn)場維修端可在右側(cè)對話框中點擊“使用工具”和“維修部位”來查看相關(guān)信息。用戶可使用兩個手指觸碰虛擬模型，系統(tǒng)將通過判斷手指觸屏個數(shù)和觸屏點距離實現(xiàn)模型的放大、縮小、旋轉(zhuǎn)等操作，如圖9所示。

圖9 現(xiàn)場維修端的觸屏交互Fig.9 Touch screen interaction on field maintenance end

4 結(jié)語

本文設計的軌道交通設備遠程運維輔助檢修孿生系統(tǒng)，引入了AR、VR技術(shù)，基于Netty服務器通信技術(shù)和基于混合開發(fā)集成的AR遠程指導技術(shù)，采用智能化、自動化的手段提高了軌道交通設備運維的指導效率和管理水平。該系統(tǒng)的主要創(chuàng)新之處在于：基于AR智能交互技術(shù)構(gòu)建了以車輛轉(zhuǎn)向架設備為例的軌道交通設備運維指導的可視化平臺，支持技術(shù)人員進行遠程診斷和操作指導，設備的檢修效率大為提升；通過立體UI界面和局部模型覆蓋的三維指導動畫，很大程度給用戶帶來了虛實結(jié)合的觀感，使技術(shù)人員與用戶間的信息交流傳遞更加直觀。

軌道交通設備遠程運維指導系統(tǒng)雖然已經(jīng)實現(xiàn)了其既定的基本功能，系統(tǒng)運行穩(wěn)定，但仍然存在以下問題需要進一步改善：①基于物體識別的追蹤技術(shù)，其識別效果和精度受光強的影響較大，應研究解決在不同光照條件下追蹤算法的穩(wěn)定性；②系統(tǒng)目前的應用范圍仍較窄，只能為軌道交通車間的少數(shù)設備提供運維指導，在下一步的系統(tǒng)開發(fā)中應擴充至多個應用場景，實現(xiàn)對其他設備的智能運維。