劉 貴 劉 亮 帥 偉 曹 杰 孫 旭

（常州博瑞電力自動(dòng)化設(shè)備有限公司，江蘇 常州 213025）

0 引言

大型電力設(shè)備如特高壓換流閥、柔性直流換流閥、高壓直流斷路器等在工程實(shí)施階段需要設(shè)備廠家提供及時(shí)、高效的工程技術(shù)服務(wù)。現(xiàn)有工程技術(shù)服務(wù)在遠(yuǎn)程協(xié)作的可指導(dǎo)性和實(shí)時(shí)記錄的便捷性方面存在不足，無(wú)法實(shí)現(xiàn)技術(shù)問(wèn)題的在線(xiàn)作業(yè)指導(dǎo)和知識(shí)經(jīng)驗(yàn)積累，并存在現(xiàn)場(chǎng)專(zhuān)業(yè)技術(shù)人員短缺、服務(wù)成本高和技術(shù)故障處理不及時(shí)的問(wèn)題。

隨著電網(wǎng)工程建設(shè)數(shù)字化和智能化水平需求的不斷提升，增強(qiáng)現(xiàn)實(shí)（augmented reality, AR）在工程管理中的應(yīng)用為解決現(xiàn)場(chǎng)技術(shù)溝通和信息共享問(wèn)題提供了新的路徑[1-4]。AR 遠(yuǎn)程協(xié)作工業(yè)制造與維修，主要用于復(fù)雜設(shè)備部位安裝維護(hù)信息精準(zhǔn)投送、顯示和遠(yuǎn)程協(xié)助。早在1990 年波音公司的兩位工程師Thomas Caudell 和David Mizell 提出使用一種抬頭透視裝置用于飛機(jī)航空線(xiàn)束的裝配指導(dǎo)過(guò)程，并創(chuàng)造“Augmented Reality”這一概念用于描述這種將虛擬內(nèi)容自動(dòng)疊加在用戶(hù)真實(shí)場(chǎng)景的技術(shù)。2012年谷歌眼鏡推出后，基于谷歌眼鏡，波音公司聯(lián)合應(yīng)用軟件開(kāi)發(fā)商Skylight 開(kāi)發(fā)了線(xiàn)束裝配應(yīng)用軟件和遠(yuǎn)程專(zhuān)家協(xié)助功能。該研究幫助安裝工人節(jié)省了至少25%的裝配時(shí)間，并顯著降低了錯(cuò)誤率[5]。AR作為新一代的人機(jī)信息交互平臺(tái)，目前已廣泛應(yīng)用于電力巡檢和運(yùn)維管理領(lǐng)域[6-12]。

根據(jù)以上情況，本文將AR 技術(shù)應(yīng)用于工程技術(shù)服務(wù)項(xiàng)目管理過(guò)程中，對(duì)現(xiàn)有業(yè)務(wù)流程溝通記錄方式進(jìn)行優(yōu)化，實(shí)現(xiàn)工程技術(shù)問(wèn)題的即時(shí)、高效溝通指導(dǎo)和知識(shí)經(jīng)驗(yàn)的實(shí)時(shí)便捷記錄，并達(dá)到降低服務(wù)成本、提高服務(wù)質(zhì)量和項(xiàng)目管理水平的效果。

1 AR 遠(yuǎn)程協(xié)作解決方案調(diào)研

AR 遠(yuǎn)程協(xié)作是基于AR 眼鏡和網(wǎng)絡(luò)傳輸技術(shù)，利用網(wǎng)絡(luò)傳輸從現(xiàn)場(chǎng)端傳回眼鏡佩戴人員的第一視角畫(huà)面，幫助座席端進(jìn)行現(xiàn)場(chǎng)問(wèn)題診斷，同時(shí)，座席端也可以通過(guò)眼鏡端近眼顯示屏實(shí)時(shí)對(duì)現(xiàn)場(chǎng)人員進(jìn)行作業(yè)指導(dǎo)的一種新型遠(yuǎn)程協(xié)作形式。整個(gè)協(xié)作過(guò)程不影響現(xiàn)場(chǎng)端人員的正常操作。AR 遠(yuǎn)程協(xié)作系統(tǒng)組成如圖1 所示。

圖1 AR 遠(yuǎn)程協(xié)作系統(tǒng)組成

1.1 設(shè)備功能需求

現(xiàn)場(chǎng)技術(shù)支持過(guò)程，保證人員間即時(shí)音視頻溝通和在線(xiàn)指導(dǎo)功能。具體包括硬件操作、軟件功能和信息安全三方面需求。

硬件操作需求：①不影響使用者環(huán)境觀察、人身安全防護(hù)及現(xiàn)場(chǎng)操作；②佩戴可靠、舒適、不易疲勞，操作簡(jiǎn)單易行，便于差旅攜帶。

通信軟件功能需求：①支持計(jì)算機(jī)端、移動(dòng)端和穿戴端多方在線(xiàn)視頻語(yǔ)音通信；②支持在線(xiàn)輔助標(biāo)記、座席端文件或屏幕共享；③支持視頻內(nèi)容記錄和存儲(chǔ)管理功能。

信息安全需求：技術(shù)服務(wù)過(guò)程涉及產(chǎn)品信息安全，需提供相關(guān)信息安全解決措施。

1.2 AR 遠(yuǎn)程協(xié)作行業(yè)現(xiàn)狀

目前行業(yè)內(nèi)AR 遠(yuǎn)程解決方案的區(qū)別主要在于AR 眼鏡硬件的技術(shù)路徑和軟件的功能開(kāi)發(fā)。國(guó)外主流的AR 眼鏡廠商很多開(kāi)始采用波導(dǎo)技術(shù)，如微軟HOLOLENS2、Magic Leap One。部分國(guó)內(nèi)外廠商仍以自由曲面棱鏡為主，如愛(ài)普生、亮亮視野、耐德佳，主要原因在于其工藝比較完善、良品率高，成本逐漸降低，性?xún)r(jià)比高。而波導(dǎo)技術(shù)由于其顯示鏡片纖薄、工藝難度較大、成本偏高，其應(yīng)用也會(huì)相對(duì)受限。國(guó)內(nèi)AR 遠(yuǎn)程協(xié)助解決方案的主要問(wèn)題在于技術(shù)與產(chǎn)業(yè)缺少深度融合的應(yīng)用開(kāi)發(fā)。

1.3 AR 眼鏡參數(shù)與功能對(duì)比

根據(jù)AR 遠(yuǎn)程協(xié)作需求，初步調(diào)研了蒂姆維澳、微軟、亮風(fēng)臺(tái)和亮亮視野共四家廠商。其中，微軟公司的HOLOLENS2 由于還未量產(chǎn)不滿(mǎn)足工程應(yīng)用要求被排除。最終調(diào)研方案有蒂姆維澳愛(ài)普生BT-35E、亮風(fēng)臺(tái)HiAR G200 和亮亮視野GLXSS SE三組方案。方案技術(shù)參數(shù)對(duì)比見(jiàn)表1。

表1 AR 設(shè)備技術(shù)參數(shù)及功能對(duì)比

（續(xù)表1）

從表1 可以看出，各家AR 眼鏡產(chǎn)品形態(tài)均采用分體式結(jié)構(gòu)，亮亮視野采用單目鏡片，虛擬屏幕大小、分辨率和視野等成像效果要弱于雙目形式；但由于其成像位置位于眼鏡一側(cè)，在進(jìn)行現(xiàn)實(shí)與虛擬圖像的注視切換過(guò)程中不會(huì)遮擋視野，使現(xiàn)場(chǎng)作業(yè)人員的注意力更多關(guān)注眼前的操作。攝像頭輸入方面，亮亮視野的攝像頭參數(shù)與功能都要優(yōu)于其他方案，并在產(chǎn)品質(zhì)量、網(wǎng)絡(luò)環(huán)境需求、防護(hù)等級(jí)和安防用品兼容性方面也有明顯優(yōu)勢(shì)。亮亮視野AR眼鏡搭載視覺(jué)處理芯片和人工智能算法引擎，實(shí)現(xiàn)了計(jì)算能效比的大幅飛躍。

遠(yuǎn)程協(xié)作功能對(duì)比：蒂姆維澳與亮風(fēng)臺(tái)AR 眼鏡支持本地視角與座席端桌面切換；亮亮視野則支持AR 動(dòng)態(tài)追蹤標(biāo)記，虛擬標(biāo)記不隨視角的偏移丟失標(biāo)記目標(biāo)，AR 動(dòng)態(tài)追蹤標(biāo)記功能如圖2 所示。

圖2 AR 動(dòng)態(tài)追蹤標(biāo)記功能

蒂姆維澳與亮風(fēng)臺(tái)支持普通錄像功能。亮亮企服平臺(tái)的錄像與標(biāo)準(zhǔn)作業(yè)流程功能可方便實(shí)現(xiàn)語(yǔ)音命令控制節(jié)點(diǎn)記錄和生產(chǎn)作業(yè)指導(dǎo)。AR 眼鏡佩戴效果如圖3 所示。

圖3 AR 眼鏡佩戴效果

AR 遠(yuǎn)程協(xié)作軟件支持公有云和私有云兩種部署方式。公有云通過(guò)互聯(lián)網(wǎng)加密傳輸和存儲(chǔ)，而私有云則通過(guò)私有化網(wǎng)絡(luò)或互聯(lián)網(wǎng)加密傳輸和存儲(chǔ)。軟件私有云部署僅能部署節(jié)點(diǎn)覆蓋范圍，還需要考慮定期維護(hù)和硬件服務(wù)器成本。

AR 遠(yuǎn)程協(xié)作解決方案建議采用亮亮視野GLXSS SE 方案并采取公有云方式部署。

2 工程技術(shù)服務(wù)項(xiàng)目管理業(yè)務(wù)應(yīng)用

工程技術(shù)服務(wù)項(xiàng)目管理工作主要包括安全生產(chǎn)、質(zhì)量和進(jìn)度管理、生產(chǎn)技術(shù)問(wèn)題處理和知識(shí)經(jīng)驗(yàn)積累，這些都需要通過(guò)溝通協(xié)作、作業(yè)指導(dǎo)和過(guò)程記錄實(shí)現(xiàn)。下面基于工程現(xiàn)場(chǎng)作業(yè)指導(dǎo)經(jīng)驗(yàn)，以亮亮視野AR 遠(yuǎn)程協(xié)作系統(tǒng)功能為例，進(jìn)行相關(guān)工程技術(shù)服務(wù)項(xiàng)目管理業(yè)務(wù)應(yīng)用設(shè)計(jì)。

2.1 系統(tǒng)功能

1）作業(yè)記錄

現(xiàn)場(chǎng)作業(yè)人員通過(guò)AR 眼鏡將作業(yè)過(guò)程的第一視角錄像和語(yǔ)音打點(diǎn)標(biāo)記上傳至系統(tǒng)，并輸出包含耗時(shí)和地理位置信息的直觀作業(yè)報(bào)告，供企業(yè)分析決策。對(duì)比以往的手機(jī)錄像記錄方式，AR 眼鏡的視頻記錄和存儲(chǔ)方式更為便捷、自然、智能和高效。組件檢修過(guò)程作業(yè)記錄如圖4 所示。

圖4 組件檢修過(guò)程作業(yè)記錄

2）遠(yuǎn)程協(xié)作

遠(yuǎn)程協(xié)作可將AR 眼鏡第一視角音視頻分享給座席端，同時(shí)提供語(yǔ)音、圖文通信、AR 標(biāo)記和文檔收發(fā)工具選項(xiàng)，遠(yuǎn)程協(xié)作過(guò)程的錄像和圖文消息記錄均可以進(jìn)行回看。對(duì)比傳統(tǒng)的音視頻通話(huà)軟件，AR 眼鏡的可穿戴近眼顯示特性可減輕現(xiàn)場(chǎng)作業(yè)負(fù)擔(dān)、解放雙手并輔以遠(yuǎn)程變焦和追蹤標(biāo)記功能豐富交互途徑，提高在線(xiàn)作業(yè)指導(dǎo)效率。第一視角音視頻回傳如圖5 所示。

圖5 第一視角音視頻回傳

3）標(biāo)準(zhǔn)作業(yè)流程

AR 遠(yuǎn)程協(xié)作系統(tǒng)提供編輯工具，可將線(xiàn)性作業(yè)流程添加至系統(tǒng)中，附加圖片或視頻進(jìn)行指導(dǎo)。現(xiàn)場(chǎng)作業(yè)人員從手機(jī)端下載標(biāo)準(zhǔn)作業(yè)流程，執(zhí)行并標(biāo)記每一步作業(yè)內(nèi)容，系統(tǒng)輸出作業(yè)報(bào)告和效率分析。對(duì)比傳統(tǒng)的圖片文字內(nèi)容和紙質(zhì)瀏覽方式，通過(guò)AR眼鏡進(jìn)行作業(yè)指導(dǎo)更為直觀、便捷和高效。

采用AR 眼鏡標(biāo)準(zhǔn)作業(yè)流程逐步參考和記錄作業(yè)過(guò)程，可以減少裝配的錯(cuò)誤率。同時(shí)記錄的現(xiàn)場(chǎng)標(biāo)準(zhǔn)作業(yè)過(guò)程，也可以回傳至廠內(nèi)技術(shù)人員進(jìn)行效率和質(zhì)量分析，幫助其優(yōu)化現(xiàn)場(chǎng)作業(yè)方式。標(biāo)準(zhǔn)作業(yè)流程編輯界面如圖6 所示。作業(yè)效率分析界面如圖7 所示。

圖6 標(biāo)準(zhǔn)作業(yè)流程編輯界面

圖7 作業(yè)效率分析界面

2.2 工程應(yīng)用案例

2020 年6 月受全球新冠肺炎疫情影響，公司海外儲(chǔ)能項(xiàng)目現(xiàn)場(chǎng)技術(shù)服務(wù)工作受阻。用戶(hù)要求有經(jīng)驗(yàn)的工程師現(xiàn)場(chǎng)或遠(yuǎn)程指導(dǎo)現(xiàn)場(chǎng)安裝調(diào)試工作，同時(shí)不影響產(chǎn)品的使用。項(xiàng)目實(shí)施對(duì)遠(yuǎn)程溝通交互的效率和可操作性提出更高要求。海外儲(chǔ)能設(shè)備工程技術(shù)服務(wù)現(xiàn)場(chǎng)如圖8 所示。

圖8 海外儲(chǔ)能設(shè)備工程技術(shù)服務(wù)現(xiàn)場(chǎng)

項(xiàng)目執(zhí)行過(guò)程中，現(xiàn)場(chǎng)安裝和技術(shù)服務(wù)人員通過(guò)使用亮亮視野AR 遠(yuǎn)程協(xié)作解決方案實(shí)現(xiàn)多方的在線(xiàn)視頻溝通，廠內(nèi)售后人員可獲得用戶(hù)現(xiàn)場(chǎng)設(shè)備狀態(tài)的清晰畫(huà)面，并標(biāo)記指引和確認(rèn)現(xiàn)場(chǎng)進(jìn)行安裝調(diào)試作業(yè)。用戶(hù)現(xiàn)場(chǎng)根據(jù)指引完成相應(yīng)的安裝調(diào)試作業(yè)過(guò)程，項(xiàng)目得以順利實(shí)施投運(yùn)。

3 結(jié)論

AR 遠(yuǎn)程協(xié)作解決方案的電力設(shè)備工程技術(shù)服務(wù)管理應(yīng)用對(duì)比傳統(tǒng)遠(yuǎn)程溝通方式，現(xiàn)場(chǎng)安裝調(diào)試人員或用戶(hù)通過(guò)AR 眼鏡的第一視角畫(huà)面多方共享和在線(xiàn)作業(yè)指導(dǎo)功能，如同技術(shù)人員親臨現(xiàn)場(chǎng)，保證協(xié)作過(guò)程的精準(zhǔn)和高效；專(zhuān)業(yè)技術(shù)人員則可以實(shí)現(xiàn)多任務(wù)在線(xiàn)指導(dǎo)，實(shí)現(xiàn)資源的最大化利用；項(xiàng)目實(shí)施過(guò)程和問(wèn)題處理的經(jīng)驗(yàn)知識(shí)可以得到便捷記錄和充分積累，為項(xiàng)目多層面、多維度評(píng)估和優(yōu)化提供數(shù)據(jù)基礎(chǔ)；對(duì)于危險(xiǎn)偏遠(yuǎn)地區(qū)的緊急技術(shù)問(wèn)題可快速建立響應(yīng)，縮短故障修復(fù)時(shí)間，同時(shí)降低現(xiàn)場(chǎng)服務(wù)成本，提高用戶(hù)體驗(yàn)。

隨著大數(shù)據(jù)和人工智能技術(shù)的不斷演化，機(jī)器學(xué)習(xí)逐漸掌握并分擔(dān)人類(lèi)思考工作，AR 遠(yuǎn)程應(yīng)用將人與人的溝通轉(zhuǎn)為人與機(jī)器的溝通，構(gòu)建完備的知識(shí)庫(kù)并提升人機(jī)交互體驗(yàn)成為下一階段研究的關(guān)鍵。因此，要注重產(chǎn)品數(shù)據(jù)的高效收集和深入挖掘，并關(guān)注信息虛擬交互技術(shù)的發(fā)展動(dòng)態(tài)。AR 遠(yuǎn)程協(xié)作不只是某一行業(yè)或領(lǐng)域的技術(shù)革新，而是人類(lèi)認(rèn)知交互技術(shù)發(fā)展的又一里程碑。