張濤 齊曉琳 李彥爽 尤勇 潘杰

一、前言

虛擬現(xiàn)實(shí)技術(shù)（VR， Virtual Reality），是指利用電腦產(chǎn)生一個(gè)三維空間的虛擬世界，提供使用者關(guān)于視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感官的模擬，以實(shí)現(xiàn)身臨其境感知的技術(shù)。該技術(shù)集成了計(jì)算機(jī)圖形（CG）技術(shù)、計(jì)算機(jī)仿真技術(shù)、人工智能、傳感技術(shù)、顯示技術(shù)、網(wǎng)絡(luò)并行處理等技術(shù)的最新發(fā)展成果，是一種由計(jì)算機(jī)技術(shù)輔助生成的高技術(shù)模擬系統(tǒng)。虛擬現(xiàn)實(shí)技術(shù)所產(chǎn)生的虛擬實(shí)境和真實(shí)世界疊加和混合的方式，產(chǎn)生增強(qiáng)現(xiàn)實(shí)技術(shù)（AR， Augmented Reality）和混合現(xiàn)實(shí)技術(shù)（MR， Mixed Reality），三項(xiàng)技術(shù)統(tǒng)稱為XR技術(shù)。

近年來(lái)隨著高新技術(shù)，特別是智能硬件和網(wǎng)絡(luò)并行處理等技術(shù)的快速發(fā)展，虛擬現(xiàn)實(shí)技術(shù)在教育、醫(yī)療和工業(yè)等領(lǐng)域開(kāi)始得到廣泛的應(yīng)用。B集團(tuán)早在2014年即開(kāi)始組建研發(fā)團(tuán)隊(duì)、購(gòu)置設(shè)備，就虛擬現(xiàn)實(shí)技術(shù)在燃?xì)庀到y(tǒng)中的應(yīng)用展開(kāi)研究，通過(guò)對(duì)某燃?xì)鈭?chǎng)站進(jìn)行三維系統(tǒng)建模，實(shí)現(xiàn)了場(chǎng)站基礎(chǔ)建筑、設(shè)備設(shè)施、地下管網(wǎng)的三維可視化。

經(jīng)過(guò)幾年的實(shí)踐探索，目前XR技術(shù)已經(jīng)在三維資產(chǎn)管理、沉浸式培訓(xùn)、應(yīng)急演練、輔助巡檢和輔助運(yùn)維等領(lǐng)域展開(kāi)了多方面的應(yīng)用，取得了豐碩的成果。本文就虛擬現(xiàn)實(shí)技術(shù)在燃?xì)馍a(chǎn)運(yùn)營(yíng)中的應(yīng)用進(jìn)行總結(jié)和探討，并展望下一階段的工作。

二、研發(fā)平臺(tái)

（一） 技術(shù)平臺(tái)與設(shè)備

本研究采用Unity3D三維引擎為基礎(chǔ)開(kāi)發(fā)平臺(tái)，該引擎主要使用集成IDE進(jìn)行模型材質(zhì)導(dǎo)入、布局設(shè)計(jì)，并通過(guò)編寫(xiě)腳本的方式實(shí)現(xiàn)功能，底層支持OpenGL和Direct11。 Unity3D內(nèi)置NVIDIA 強(qiáng)大的物理引擎，以及高質(zhì)量粒子系統(tǒng)，這些特效均可輕松上手，效果逼真。Unity3D側(cè)重于快速的完成程序的搭建及測(cè)試，性能卓越，開(kāi)發(fā)效率出類(lèi)拔萃，只需一鍵即可完成作品的多平臺(tái)開(kāi)發(fā)和部署，極具性價(jià)比優(yōu)勢(shì)。

AR頭顯設(shè)備主要選用微軟開(kāi)發(fā)的HoloLens，其是一款基于Windows 10的獨(dú)立設(shè)備，主要通過(guò)Clicker與語(yǔ)音完成交互，續(xù)航2～3小時(shí)，待機(jī)時(shí)間為兩周。HoloLens采用微軟定制的全息處理單元（HPU）和英特爾32位處理器，擁有2GB內(nèi)存和64GB閃存。同時(shí)，HoloLens還擁有慣性測(cè)量單元、環(huán)境光傳感器、環(huán)境感知攝像頭、深度感知攝像頭、4個(gè)麥克風(fēng)和200 萬(wàn)像素高清攝像頭。HoloLens支持藍(lán)牙和wife，重量為579g。

（二） 三維可視化平臺(tái)

基于三維可視化技術(shù)研發(fā)的工業(yè)設(shè)備設(shè)施管理平臺(tái)，用于實(shí)現(xiàn)設(shè)備的可視化管理和系統(tǒng)數(shù)據(jù)的可視化展現(xiàn)。區(qū)別于傳統(tǒng)的2D管理平臺(tái)，三維立體管理平臺(tái)可以實(shí)現(xiàn)管理人員對(duì)實(shí)際設(shè)備設(shè)施的直觀認(rèn)識(shí)，而且三維豐富的表現(xiàn)空間，可以給與平臺(tái)更多、更形象的展示形式，以及更多樣的互動(dòng)操作方法。

本研究采用激光雷達(dá)掃描快速建模技術(shù)，對(duì)燃?xì)鈭?chǎng)站相關(guān)設(shè)備設(shè)施進(jìn)行全方位掃描獲取點(diǎn)云數(shù)據(jù)，再使用團(tuán)隊(duì)自主研發(fā)的點(diǎn)云快速建模平臺(tái)將點(diǎn)云轉(zhuǎn)換為高精度模型（圖1）。在此基礎(chǔ)上，通過(guò)數(shù)據(jù)處理與傳輸技術(shù)，將工業(yè)運(yùn)行數(shù)據(jù)接入系統(tǒng)，可以實(shí)現(xiàn)數(shù)據(jù)與設(shè)備設(shè)施的深度結(jié)合及精準(zhǔn)管理，同時(shí)還可加入更多的管理功能，例如人員車(chē)輛實(shí)時(shí)位置管理、管網(wǎng)運(yùn)行管理、生產(chǎn)設(shè)施建設(shè)與改造驗(yàn)證、風(fēng)險(xiǎn)防控可視化管理等。

集團(tuán)自2015年開(kāi)始，先后完成了11個(gè)場(chǎng)站的三維建模工作，開(kāi)發(fā)了三維資產(chǎn)管理系統(tǒng)，并已導(dǎo)入企業(yè)資產(chǎn)管理（EAM， Enterprise Asset Management）數(shù)據(jù)，在場(chǎng)站設(shè)備的數(shù)字化及可視化管理方面取得了成效。三維可視化內(nèi)容可以分別展現(xiàn)在PC端、VR端和移動(dòng)端，從而構(gòu)建出更豐富、更直觀、更便捷的展示與管理方式。

三、基于VR/AR技術(shù)的技能培訓(xùn)

基于VR技術(shù)研發(fā)的工業(yè)技能培訓(xùn)產(chǎn)品，包括3D互動(dòng)培訓(xùn)課件、VR實(shí)景教學(xué)、VR多人沉浸式訓(xùn)練、跨平臺(tái)應(yīng)急演練等系列產(chǎn)品，可用于運(yùn)維檢修培訓(xùn)、生產(chǎn)工藝流程培訓(xùn)、應(yīng)急演練等培訓(xùn)環(huán)節(jié)。本研究通過(guò)自主構(gòu)建的可視化階梯式培訓(xùn)體系，幫助學(xué)員高效地學(xué)習(xí)和理解知識(shí)，并安全快速的投入實(shí)踐操作，同時(shí)節(jié)省培訓(xùn)成本，規(guī)范生產(chǎn)操作流程。

基于場(chǎng)景化培訓(xùn)理論，參考國(guó)際前沿理念，結(jié)合集團(tuán)的技術(shù)體系，設(shè)計(jì)了一套階梯式可視化培訓(xùn)體系：1）理論（實(shí)景教學(xué)與交互展示）；2）流程（操作步驟互動(dòng)學(xué)習(xí)）；3）技法（VR沉浸式訓(xùn)練）；4）實(shí)踐（MR輔助實(shí)操）。

（一） 實(shí)景教學(xué)

通過(guò)全景視頻與圖片拍攝技術(shù)，在實(shí)操現(xiàn)場(chǎng)拍攝全景教學(xué)內(nèi)容，并針對(duì)局部技術(shù)點(diǎn)進(jìn)行特寫(xiě)展示。學(xué)員通過(guò)VR設(shè)備以沉浸式視角觀看教學(xué)內(nèi)容，身臨其境地進(jìn)行知識(shí)學(xué)習(xí)（圖2）?；赩R的實(shí)景教學(xué)不僅適用于常規(guī)現(xiàn)場(chǎng)培訓(xùn)，更適用于難以反復(fù)模擬以及高風(fēng)險(xiǎn)環(huán)境的培訓(xùn)內(nèi)容學(xué)習(xí)。

（二） 3D互動(dòng)課件

本研究通過(guò)三維技術(shù)，制作用于操作流程培訓(xùn)的互動(dòng)學(xué)習(xí)APP，幫助學(xué)員反復(fù)學(xué)習(xí)和練習(xí)操作步驟，并對(duì)其熟練度進(jìn)行考核，可以為下一階段培訓(xùn)奠定堅(jiān)實(shí)基礎(chǔ)（圖3）。

（三） VR沉浸式拆裝訓(xùn)練

通過(guò)虛擬現(xiàn)實(shí)技術(shù)，為學(xué)員營(yíng)造出逼真的虛擬工作場(chǎng)景，學(xué)員在此環(huán)境中，用真實(shí)的肢體動(dòng)作來(lái)操作虛擬環(huán)境中的設(shè)備對(duì)象，對(duì)設(shè)備進(jìn)行維檢修操作，使其達(dá)成如實(shí)操般的學(xué)習(xí)經(jīng)驗(yàn)及肌肉記憶。本研究通過(guò)網(wǎng)絡(luò)培訓(xùn)平臺(tái)模擬多人協(xié)同配合操作，并按標(biāo)準(zhǔn)流程與動(dòng)作完成指定維檢修工作內(nèi)容，從而達(dá)到協(xié)同操作訓(xùn)練目的，增加培訓(xùn)真實(shí)感、降低培訓(xùn)安全風(fēng)險(xiǎn)、提高互動(dòng)培訓(xùn)效率（圖4）。

（四） 應(yīng)急演練及決策情景評(píng)估

通過(guò)虛擬現(xiàn)實(shí)與跨平臺(tái)網(wǎng)絡(luò)通訊技術(shù)，在虛擬環(huán)境中仿真模擬燃?xì)鈶?yīng)急事故的發(fā)生與發(fā)展，通過(guò)團(tuán)隊(duì)協(xié)作進(jìn)行應(yīng)急處置流程訓(xùn)練。PC端模擬指揮中心，VR端模擬事故現(xiàn)場(chǎng)，使各個(gè)應(yīng)急處置相關(guān)部門(mén)共同參與，以低成本、低風(fēng)險(xiǎn)、高效率的方式進(jìn)行如現(xiàn)場(chǎng)實(shí)際操作般的演練體驗(yàn)，為企業(yè)安全生產(chǎn)運(yùn)維開(kāi)啟新的篇章（圖5）。

除應(yīng)急演練外，燃?xì)庵卮笫鹿蕪?fù)盤(pán)演練和應(yīng)急處置預(yù)案流程推演是應(yīng)急培訓(xùn)工作的兩個(gè)重點(diǎn)方向。基于VR/ AR技術(shù)，可以更全面的展示事故發(fā)展的全過(guò)程，學(xué)員可扮演任意角色參與事故處理，可以增加臨場(chǎng)感，提高演練仿真度。并且還將在每個(gè)步驟讓學(xué)員自主進(jìn)行指揮或操作，記錄其采取的行動(dòng)，形成事故演練處理流程清單，由專(zhuān)家進(jìn)行評(píng)判，從而實(shí)現(xiàn)在復(fù)盤(pán)學(xué)習(xí)的同時(shí)對(duì)學(xué)員進(jìn)行業(yè)務(wù)能力考核，從而加深對(duì)典型事故的認(rèn)知，提高類(lèi)似事故的處置和決策能力。

（五） 安全與科普宣傳

在虛擬現(xiàn)實(shí)空間中，模擬日?？赡軙?huì)發(fā)生在身邊的用氣隱患及安全事故，跟隨提示學(xué)習(xí)并體驗(yàn)正確的處置方法，提高民眾的用氣安全意識(shí)與應(yīng)急處置能力（圖6）。同時(shí)燃?xì)庵R(shí)宣傳，對(duì)于提高民眾安全用氣意識(shí)、樹(shù)立燃?xì)馄髽I(yè)公眾形象有著重要的意義。通過(guò)使用具備高科技含量的VR/AR技術(shù)，開(kāi)發(fā)以燃?xì)饪破罩R(shí)與安全知識(shí)為主的互動(dòng)體驗(yàn)程序，可以有效的提高宣傳的效果，加深民眾對(duì)所宣傳知識(shí)的理解與記憶。

四、基于MR技術(shù)的輔助生產(chǎn)與運(yùn)維

基于AR技術(shù)研發(fā)的燃?xì)膺\(yùn)維輔助可視化產(chǎn)品，將后臺(tái)關(guān)鍵數(shù)據(jù)與信息通過(guò)AR（增強(qiáng)現(xiàn)實(shí)）與MR（混合現(xiàn)實(shí)）方式展現(xiàn)給一線人員，助其直觀的了解實(shí)時(shí)生產(chǎn)運(yùn)維現(xiàn)狀，輔助操作信息 ，提高其工作效率以及后臺(tái)系統(tǒng)數(shù)據(jù)的實(shí)用價(jià)值，與此同時(shí)，將現(xiàn)場(chǎng)生產(chǎn)運(yùn)維實(shí)況，實(shí)時(shí)回傳給調(diào)度系統(tǒng)，使調(diào)度人員第一時(shí)間了解實(shí)際運(yùn)維情況，從而提高整個(gè)系統(tǒng)的管理水平與運(yùn)行效率?？刹捎檬謾C(jī)、平板，或者AR專(zhuān)用頭顯設(shè)備作為開(kāi)發(fā)平臺(tái)。

（一） MR輔助巡檢

本項(xiàng)研究使用AR頭顯設(shè)備HoloLens，利用北斗精準(zhǔn)位置服務(wù)進(jìn)行定位，通過(guò)網(wǎng)絡(luò)獲取云端加密數(shù)據(jù)，實(shí)現(xiàn)巡檢人員對(duì)設(shè)備設(shè)施信息的實(shí)時(shí)、精準(zhǔn)、全面查詢。尤其對(duì)于埋地管網(wǎng)的混合現(xiàn)實(shí)展現(xiàn)，極大的提高了巡檢工作的效率與精度。通過(guò)授權(quán)，巡檢人員還可對(duì)所查詢的設(shè)備設(shè)施信息進(jìn)行標(biāo)注及編輯，實(shí)現(xiàn)信息的及時(shí)更新與共享（圖7）。

通過(guò)AR技術(shù)與北斗定位技術(shù)的結(jié)合，基于已經(jīng)建立的三維場(chǎng)站可視化系統(tǒng)，可以實(shí)現(xiàn)設(shè)備數(shù)據(jù)與設(shè)備實(shí)體的空間擬合與呈現(xiàn)，使現(xiàn)場(chǎng)實(shí)操人員能夠更全面的了解設(shè)備設(shè)施情況，輔助其進(jìn)行現(xiàn)場(chǎng)決策與實(shí)操。這是集團(tuán)下一階段的研發(fā)工作，基于移動(dòng)端AR開(kāi)發(fā)。

（二） MR輔助實(shí)操與VR輔助維修

MR輔助實(shí)操，是指利用MR技術(shù)與圖像識(shí)別技術(shù)，在實(shí)際工作場(chǎng)景中識(shí)別設(shè)備型號(hào)，根據(jù)設(shè)備維檢修內(nèi)容，以3D擬合的方式展示設(shè)備結(jié)構(gòu)原理，并進(jìn)行維檢修操作步驟引導(dǎo)，輔助工人按照標(biāo)準(zhǔn)操作流程進(jìn)行實(shí)際操作。

現(xiàn)有的VR培訓(xùn)體系，可以通過(guò)AR技術(shù)自然延伸到實(shí)踐操作過(guò)程，通過(guò)AR技術(shù)與圖像識(shí)別技術(shù)的結(jié)合，實(shí)現(xiàn)虛擬設(shè)備與真實(shí)設(shè)備的擬合，實(shí)操人員可以通過(guò)移動(dòng)設(shè)備以AR形式看到設(shè)備內(nèi)部結(jié)構(gòu)、工作原理及拆裝步驟，這樣可以更好的幫助實(shí)操人員按照標(biāo)準(zhǔn)步驟進(jìn)行操作，避免操作步驟不規(guī)范引發(fā)的安全事故及設(shè)備損耗。本項(xiàng)工作下一階段將基于移動(dòng)端AR開(kāi)發(fā)調(diào)壓器輔助維修電子手冊(cè)系統(tǒng)。

五、展望：基于數(shù)字孿生的三維可視化生產(chǎn)管理平臺(tái)搭建

經(jīng)過(guò)幾年的持續(xù)努力，B集團(tuán)在虛擬化技術(shù)應(yīng)用方面，已經(jīng)展開(kāi)了多方位的實(shí)踐探索，從燃?xì)鈭?chǎng)站的三維可視化建模，到基于VR技術(shù)的技術(shù)培訓(xùn)體系構(gòu)建，再到目前開(kāi)發(fā)中的基于AR/MR技術(shù)實(shí)現(xiàn)輔助巡檢和輔助生產(chǎn)和運(yùn)維，取得了諸多成果。

下一階段，將基于數(shù)字孿生技術(shù)搭建三維可視化生產(chǎn)管理平臺(tái)，利用虛擬空間和現(xiàn)實(shí)世界的深入動(dòng)態(tài)融合，實(shí)現(xiàn)燃?xì)鈭?chǎng)站與數(shù)字化管網(wǎng)的全生命周期管理。數(shù)字孿生（Digital Twin）是指針對(duì)物理世界中的物體，通過(guò)數(shù)字化的手段來(lái)構(gòu)建一個(gè)與數(shù)字世界中一模一樣的實(shí)體，借此來(lái)實(shí)現(xiàn)對(duì)物理實(shí)體的了解、分析和優(yōu)化。

本項(xiàng)目在原有三維可視化平臺(tái)的基礎(chǔ)上，將數(shù)據(jù)系統(tǒng)打通，引入更多運(yùn)用數(shù)據(jù)，提高系統(tǒng)的實(shí)用性，目的是實(shí)現(xiàn)高A及以上場(chǎng)站的三維可視化管理。導(dǎo)入EAM、SCADA等系統(tǒng)數(shù)據(jù)，實(shí)時(shí)反映設(shè)備情況，實(shí)現(xiàn)虛擬設(shè)備與真實(shí)設(shè)備的數(shù)字孿生，提高場(chǎng)站數(shù)字化管理水平。并在此基礎(chǔ)上與之前研發(fā)的諸多應(yīng)用系統(tǒng)對(duì)接，具體的平臺(tái)架構(gòu)見(jiàn)圖8。

作者單位：張濤、齊曉琳、李彥爽 北京市燃?xì)饧瘓F(tuán)有限責(zé)任公司

尤勇、潘杰 北京訊騰智慧科技股份有限公司