張棟良, 李小龍

(上海電力學(xué)院 自動化工程學(xué)院, 上?！?00090)

?

數(shù)據(jù)驅(qū)動的移動增強現(xiàn)實技術(shù)及其在核電仿真中的應(yīng)用

張棟良, 李小龍

(上海電力學(xué)院 自動化工程學(xué)院, 上海200090)

摘要:為改善傳統(tǒng)設(shè)備監(jiān)控手段,對移動增強現(xiàn)實技術(shù)進行了研究,并應(yīng)用于處于運行狀態(tài)的核電系統(tǒng).通過工業(yè)通訊接口將現(xiàn)場生產(chǎn)數(shù)據(jù)存儲到網(wǎng)絡(luò)數(shù)據(jù)庫中,當(dāng)可移動終端攝像頭檢測并識別到標識圖案(Marker)時,借助無線網(wǎng)絡(luò)通訊技術(shù)從服務(wù)器返回設(shè)備生產(chǎn)數(shù)據(jù),經(jīng)后臺控制程序模擬虛擬場景中的設(shè)備工況和工質(zhì)狀態(tài),可以實現(xiàn)設(shè)備仿真、場景漫游、工況再現(xiàn),以及生產(chǎn)過程報警和設(shè)備控制反饋.對蒸汽發(fā)生器的液位測試結(jié)果表明,移動增強現(xiàn)實技術(shù)在工業(yè)領(lǐng)域有很好的應(yīng)用意義.

關(guān)鍵詞：移動增強現(xiàn)實; 核電仿真; 設(shè)備監(jiān)控

作為虛擬現(xiàn)實技術(shù)(Virtual Reality,VR)的一門分支和延伸,增強現(xiàn)實(Augmented Reality,AR)技術(shù)通過將計算機產(chǎn)生的三維景象疊加到真實世界背景中,創(chuàng)造一種融合真實的虛擬場景,以增強用戶對真實環(huán)境的感知和認識.它涵蓋多個領(lǐng)域并得到了廣泛應(yīng)用[1-4].

在核電領(lǐng)域,從設(shè)備結(jié)構(gòu)角度看,核電關(guān)鍵設(shè)備、回路設(shè)備、輔助系統(tǒng)設(shè)備、附屬設(shè)備及廠房布置共同組成核電整個系統(tǒng),結(jié)構(gòu)復(fù)雜,設(shè)備數(shù)量眾多,部分科研人員對核電的認識通常限于理論書本知識,對實際現(xiàn)場系統(tǒng)缺乏全面了解.在相當(dāng)一部分工業(yè)生產(chǎn)中,設(shè)備的高溫、高壓和放射性工作環(huán)境會對人體產(chǎn)生危害而不可現(xiàn)場學(xué)習(xí),部分系統(tǒng)則處于偏僻地域或地下環(huán)境，同樣限制人員的進入,高?？蒲兄型苑抡鏅C或者仿實物模型代替,其成本和維護費用較為昂貴.此外,對核電設(shè)備真實運行狀態(tài)和工作環(huán)境的了解來自于圖表、數(shù)據(jù)形式的過程監(jiān)控畫面和程序自適應(yīng)操作,其缺點是系統(tǒng)運行狀況不夠直觀形象,過于單一,對設(shè)備的實時動態(tài)規(guī)律的認識不夠全面,無法獲取處于密閉固化狀態(tài)時內(nèi)部設(shè)備狀態(tài)和汽、液等工質(zhì)狀況.

增強現(xiàn)實技術(shù)通過建立虛擬工業(yè)系統(tǒng)場景,將設(shè)備的實際工況疊加到虛擬工業(yè)場景,在維持系統(tǒng)生產(chǎn)狀態(tài)穩(wěn)定進行的情況下真實地模擬系統(tǒng)的實時運行,以交互操作完成那些注重實踐培訓(xùn)和實際操作的任務(wù),使得仿真內(nèi)容更接近實際.

近年來,隨著網(wǎng)絡(luò)技術(shù)發(fā)展和對圖像識別追蹤技術(shù)的深入研究,智能終端的硬件存儲、攝像頭分辨率、無線網(wǎng)絡(luò)通訊和處理能力、定位系統(tǒng)等基本符合運行AR系統(tǒng)的要求[2,5-6].雖然移動端屏幕尺寸較桌面式和洞穴式投影系統(tǒng)式(Cave Automatic Virtual Environment,CAVE)小,但是配備了GPS系統(tǒng)、羅盤、加速器后卻可完成采集圖像、實時運算與渲染場景等普適計算任務(wù),因而成為AR系統(tǒng)理想的平臺.基于可移動終端的增強現(xiàn)實(Mobile Augmented Reality,MAR)技術(shù)成為當(dāng)前的關(guān)注和研究熱點.對于MAR不僅有場景感知的理論深入[3],而且還可應(yīng)用于手術(shù)導(dǎo)航[7-8]、建筑現(xiàn)場施工缺陷檢測[9]、高校電機課程實踐[10]、建筑信息模型[11]、圖書管理系統(tǒng)[12]等應(yīng)用領(lǐng)域,取得了良好的實際體驗和目標效果.由于具備了便攜、可移動、方便交互的特點,MAR系統(tǒng)是新一代AR技術(shù)的典型代表，呈現(xiàn)了AR技術(shù)的發(fā)展趨勢.本文對移動增強現(xiàn)實關(guān)鍵技術(shù)進行了研究,將增強現(xiàn)實技術(shù)應(yīng)用于核電等工業(yè)領(lǐng)域,以新的方法改變對生產(chǎn)過程和設(shè)備狀態(tài)的監(jiān)測和控制,并給出了系統(tǒng)框架及技術(shù)實現(xiàn),該系統(tǒng)也可應(yīng)用于工程培訓(xùn)教育.

1移動增強現(xiàn)實技術(shù)

移動增強現(xiàn)實系統(tǒng)可實時監(jiān)測用戶和相機相對真實場景的位置,通過跟蹤注冊將虛擬場景融合到真實場景中并渲染輸出.一個完整的MAR系統(tǒng)涵蓋圖像采集處理、實時跟蹤、三維注冊、人機交互、虛實融合、實時渲染、傳感器設(shè)計、網(wǎng)絡(luò)通訊等多個領(lǐng)域.移動增強現(xiàn)實系統(tǒng)的結(jié)構(gòu)如圖1所示.

圖1　移動增強現(xiàn)實系統(tǒng)的結(jié)構(gòu)

1.1工作過程

MAR系統(tǒng)根據(jù)工作原理可分為基于機器視覺式和基于傳感器式,前者對人工標識(Marker)和自然標識進行圖像追蹤和特征識別以獲取攝像機的位置和姿態(tài)(Pose,位姿),后者通過移動端的傳感器獲取.

在基于機器視覺式MAR系統(tǒng)中,首先從攝像機的視頻流中采集單幀圖像,經(jīng)降低噪聲等預(yù)處理后,與攝像系統(tǒng)參數(shù)一起送至服務(wù)器,完成圖像識別、匹配校準、虛實注冊等任務(wù)后,下載虛擬模型,在客戶端完成無縫融合、渲染及輸出.

1.2三維注冊

三維注冊是增強現(xiàn)實技術(shù)最關(guān)鍵的技術(shù)之一,包括跟蹤(Tracking)和注冊(Registration)兩方面,主要工作是實時檢測攝像機在真實場景中的位置和姿態(tài),確定虛擬信息在真實空間坐標系中的映射位置,以配準虛擬信息與攝像機獲得的真實場景.經(jīng)過攝像機定標、位置跟蹤、測量定位、虛擬物體生成,完成虛擬世界坐標系、真實世界坐標系、攝像機坐標系、像平面坐標系和像素坐標系的變換[13-14].

1.3數(shù)據(jù)通訊

MAR系統(tǒng)通過無線網(wǎng)絡(luò)與服務(wù)器進行通訊,獲取所需要的信息,并可與其他用戶交互完成協(xié)作式任務(wù).準確和實時是移動增強現(xiàn)實技術(shù)的實現(xiàn)目標,在C/S結(jié)構(gòu)框架中,移動端相對標識的運動和用戶與虛實場景的交互操作必然出現(xiàn)大量的數(shù)據(jù)計算和網(wǎng)絡(luò)通信,因此網(wǎng)絡(luò)環(huán)境、網(wǎng)絡(luò)的通暢性、帶寬、傳輸距離以及傳輸速度對移動增強系統(tǒng)的影響較大.

2基于MAR的核電仿真系統(tǒng)結(jié)構(gòu)與功能設(shè)計

2.1仿真結(jié)構(gòu)

在核電領(lǐng)域,國外已將增強現(xiàn)實技術(shù)應(yīng)用于核電站退役部件的拆解、運送和安置工作[15],核反應(yīng)堆堆芯行為模擬系統(tǒng)[16],核電室內(nèi)環(huán)境中維護工作[17],核事故中反射性擴散時人員的疏散撤離[18]等領(lǐng)域,而國內(nèi)對此研究比較少.本文將增強現(xiàn)實技術(shù)應(yīng)用于核電領(lǐng)域以改善系統(tǒng)的設(shè)備監(jiān)控功能.系統(tǒng)的結(jié)構(gòu)框架如圖2所示.

圖2　基于移動增強現(xiàn)實的實時仿真系統(tǒng)結(jié)構(gòu)示意

系統(tǒng)的前端由工業(yè)現(xiàn)場和實驗設(shè)備的監(jiān)測及數(shù)據(jù)采集終端組成,通過傳感器對生產(chǎn)環(huán)境數(shù)據(jù)(光線、天氣等)和設(shè)備運行狀態(tài)(液位、流量、轉(zhuǎn)速、溫濕度等)進行采集,經(jīng)過一系列數(shù)模變換存儲在I/O模塊中.數(shù)據(jù)庫通過通用工業(yè)OPC接口實時讀取數(shù)據(jù)并存儲在服務(wù)器中.增強現(xiàn)實系統(tǒng)中的虛擬現(xiàn)實部分運行在移動終端設(shè)備中,模擬現(xiàn)場場景環(huán)境和部分設(shè)備功能;而被檢測標識則位于現(xiàn)場設(shè)備外部、監(jiān)控室或其他任意需要的可移動位置.當(dāng)移動終端檢測識別到標識時,則向服務(wù)器發(fā)出通訊請求并返回工業(yè)設(shè)備的運行數(shù)據(jù),進行場景融合,模擬設(shè)備的實時工況.

系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)選擇C/S架構(gòu)模式,以方便系統(tǒng)調(diào)試和后期的維護升級.客戶端為運行在可移動終端上的增強現(xiàn)實應(yīng)用軟件,負責(zé)仿真用戶的注冊登錄、增強現(xiàn)實場景的實現(xiàn)和交互操作、與服務(wù)器的信息通信.服務(wù)器區(qū)為由應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、Web服務(wù)器等一系列服務(wù)器組成的服務(wù)器群,主要完成實時數(shù)據(jù)處理、控制命令、信息通信等任務(wù).

增強現(xiàn)實系統(tǒng)的運行終端是模型和基礎(chǔ)場景經(jīng)過處理后發(fā)布的應(yīng)用程序,一般具有通用智能功能的移動終端即可實現(xiàn)安裝運行.

2.2功能設(shè)計

基于增強現(xiàn)實技術(shù)的核電仿真系統(tǒng)可以賦予用戶以視覺、聽覺、觸覺方面的有效感知.通過查看因安全和位置受限制的實時設(shè)備狀態(tài),展現(xiàn)系統(tǒng)工作環(huán)境、性能參數(shù)和控制參數(shù),從而在移動終端隨時了解實際的生產(chǎn)過程動態(tài),更好地認識系統(tǒng)的整體工作狀態(tài),以交互操作完成監(jiān)控和控制任務(wù).在設(shè)備運行超限或系統(tǒng)故障時,也可對用戶進行提醒和警示,向服務(wù)器端發(fā)送用戶的控制命令,服務(wù)器通過作用控制器或監(jiān)控端完成實際設(shè)備的遠程操縱.

3系統(tǒng)的實現(xiàn)

3.1模型及場景的建立

系統(tǒng)流程如圖3所示.

在熟悉實際生產(chǎn)過程控制流程的基礎(chǔ)上,依照工業(yè)系統(tǒng)組成和現(xiàn)場設(shè)備的設(shè)計參數(shù)同比例構(gòu)建模型,完成設(shè)備形態(tài)、質(zhì)感、光照以及工質(zhì)模型等基礎(chǔ)要求,現(xiàn)場的模型圖片也可以作為模型的外部貼圖,從而增強現(xiàn)實感覺.另外,針對人物和模型運動要建立相應(yīng)的物理動畫模型和運動模型來實現(xiàn)場景相應(yīng)動畫,完成更加逼真的模擬.

場景的建立則是經(jīng)插件導(dǎo)入虛擬現(xiàn)實平臺(Virtual Reality Platform,VRP)實現(xiàn)的.在VRP中,可以根據(jù)需要進一步完善設(shè)備模型和場景,并最終使用增強現(xiàn)實軟件AR1.5添加必要的腳本程序,實現(xiàn)場景,然后發(fā)布至移動終端.圖4為使用3DMax建立蒸汽發(fā)生器的模型.

圖3　系統(tǒng)流程示意

圖4　蒸汽發(fā)生器的建模

3.2實時數(shù)據(jù)的獲取和接入

應(yīng)用于過程控制的鏈接與嵌入(OLE for Process Control,OPC)是一種基于OLE,COM及DCOM技術(shù)的軟件數(shù)據(jù)交換接口和規(guī)范.它定義了一整套數(shù)據(jù)接口、屬性和方法,以O(shè)PC Server/Client結(jié)構(gòu)進行作用,可以實現(xiàn)上層應(yīng)用軟件與眾多現(xiàn)場設(shè)備驅(qū)動程序之間的通訊.

在工業(yè)控制系統(tǒng)中,設(shè)備的驅(qū)動程序一般以O(shè)PC Server形式給出,它有OPCServer,OPCGroup，OPCItem 3層結(jié)構(gòu),每一層結(jié)構(gòu)分別對應(yīng)硬件設(shè)備上的通道和端口,并規(guī)定了Server和Client之間的更新和通訊.作為對應(yīng)的OPC Client,實時數(shù)據(jù)庫經(jīng)C++或VB程序即可實現(xiàn)與OPC Server之間的連接,讀取工業(yè)現(xiàn)場的數(shù)據(jù)源并傳輸至網(wǎng)絡(luò)數(shù)據(jù)庫.

由于VRP和AR1.5提供外部數(shù)據(jù)庫的接口,所以增強現(xiàn)實系統(tǒng)可以經(jīng)腳本程序方便地讀取數(shù)據(jù)庫中存儲的數(shù)據(jù),實現(xiàn)現(xiàn)場運行數(shù)據(jù)到增強現(xiàn)實場景的流通.

現(xiàn)場數(shù)據(jù)既可以以二維交互界面和框體的形式顯示出來,也可以在設(shè)備模型和三維場景的對應(yīng)部分顯示,同時也會影響儀表、閥門等模型的狀態(tài).必要時還可以通過外部網(wǎng)頁鏈接追蹤參數(shù)的歷史數(shù)據(jù)和實時曲線.

3.3工況及工質(zhì)的模擬

通過對現(xiàn)場工況及工質(zhì)的模擬,可以逼真再現(xiàn)現(xiàn)場運行狀態(tài),在使用不同的仿真策略并添加三維特效后,增強現(xiàn)實場景則更加形象.這部分仿真主要包括模型控制、運行工況、工質(zhì)模擬3部分.模型控制主要針對工業(yè)生產(chǎn)過程中設(shè)備位移、旋轉(zhuǎn)、縮放等運動,在三維場景中還要實現(xiàn)數(shù)據(jù)控制和動畫模擬,包括器件的旋轉(zhuǎn)、平移等;運行工況則對應(yīng)關(guān)鍵設(shè)備的運行參數(shù),涉及功率、壓力、溫度等,可通過虛擬儀表和界面全面地顯示出來;工質(zhì)模擬是以運行設(shè)備環(huán)境中的水、汽、液、固體介質(zhì)的狀態(tài)為目標,模擬實時工質(zhì)的外觀、形狀、運動狀態(tài).

3DMax技術(shù)可實現(xiàn)動畫模型的建立等功能,并可較好地與VRP兼容.VRP和AR1.5軟件可添加氣泡、水、汽等工質(zhì)特效,自身腳本也可以實現(xiàn)部分模型和動畫功能.但其不足之處在于模型控制和數(shù)據(jù)處理功能不是很完善,依賴于算法的控制策略也不強.圖5為三維場景中虛擬液位的實時控制.

3.4移動增強現(xiàn)實的實現(xiàn)

增強現(xiàn)實模塊是通過中視典數(shù)字科技有限公司的增強現(xiàn)實軟件AR1.5實現(xiàn)的.在將三維模型和場景導(dǎo)入AR1.5后,通過添加不同的增強現(xiàn)實節(jié)點可以模擬不同的增強現(xiàn)實場景部分,也可以在每個節(jié)點下控制不同的模型操作和動畫實現(xiàn).

圖5　虛擬液位的實時控制

以核電仿真系統(tǒng)設(shè)備為對象,通過OPC2.0接口將蒸汽發(fā)生器的實時液位數(shù)據(jù)讀取到網(wǎng)絡(luò)數(shù)據(jù)庫MySQL 5.0中,經(jīng)AR自身腳本接入增強現(xiàn)實場景系統(tǒng).在建立了蒸汽發(fā)生器設(shè)備模型和液位模型后,以Lua外接程序控制液位動態(tài)變化.限于成本和工作量,本文以蒸汽發(fā)生器設(shè)備外部的二維碼卡片作為增強現(xiàn)實的Marker,使用iPad Air作為可移動終端,實現(xiàn)了設(shè)備和工質(zhì)的模擬.圖6為iPad上的蒸汽發(fā)生器的實時液位.

圖6　基于iPad的實時液位的增強現(xiàn)實監(jiān)視器

4結(jié)語

作為一門迅速發(fā)展的新技術(shù),MAR在工業(yè)生產(chǎn)和科研學(xué)習(xí)中的巨大潛力逐漸受到人們重視并被深入發(fā)掘.本文將移動增強現(xiàn)實技術(shù)引入核電等工業(yè)控制領(lǐng)域,提出了一種基于移動增強現(xiàn)實技術(shù)的實時核電仿真系統(tǒng),移動終端通過檢測并識別Marker圖片,返回由實時數(shù)據(jù)控制的系統(tǒng)運行狀態(tài),以實現(xiàn)遠程監(jiān)控.在核電模型場景的基礎(chǔ)上,該方法可延伸到其他回路控制部分,如反應(yīng)堆棒位、溫度,以及汽輪機轉(zhuǎn)速等.形象、便攜、可視化的增強現(xiàn)實系統(tǒng)在實際工業(yè)生產(chǎn)中具有很好的應(yīng)用前景和實際意義.

參考文獻：

[1]NINCAREAN D,ALI M B,HALIM N D A,etal.Mobile augmented reality:the potential for education[C]//13th International Educational Technology Conference,2013.Social and Behavioral Sciences,2013:657-644.

[2]林倞,楊珂,王涌天,等.移動增強現(xiàn)實系統(tǒng)的關(guān)鍵技術(shù)研究[J].中國圖象圖形學(xué)報,2009,14(3):560-564.

[3]KIM M J.A framework for context immersion in mobile augmented reality[J].Automation in Construction,2013,33(1):79-85.

[4]陳靖,王涌天,郭俊偉,等.增強現(xiàn)實技術(shù)在智能手機上的應(yīng)用[J].電子科技大學(xué)學(xué)報,2010,39(1):80-84.

[5]陳佳舟,劉艷麗,林奶養(yǎng),等.基于增強現(xiàn)實的地下管線真實感可視化方法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2012,24(9):1 164-1 170.

[6]桂振文,王涌天,劉越,等.二維碼在移動增強現(xiàn)實中的應(yīng)用研究[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2014,26(1):34-70.

[7]袁媛,翁東東,王涌天,等.基于增強顯示的鼻內(nèi)鏡微創(chuàng)手術(shù)導(dǎo)航[J].系統(tǒng)仿真學(xué)報,2008,20(1):150-153.

[8]CHEN Xiaojun,XU Lu,WANG Yiping,etal.Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display[J].Journal of Biomedical Informatics,2015,55(1):124-131.

[9]OH-SEONG K,CHAN-SIK P,CHUNG-ROK L.A defect management system for reinforced concrete work utilizing BIM[J].Automation in Construction,2014,46(1):74-81.

[11]ME?A S,TURK ?,DOLENC M.Component based engineering of a mobile BIM-based augmented reality[J].Automation in Construction,2014,42(1):1-12.

[12]SHATTE Adrian,HOLDSWORTH J,LEE I.Mobile augmented reality based context-aware library management[J].Expert Systems with Applications,2014,41(1):2 174-2 185.

[13]陳燦鑫.增強現(xiàn)實系統(tǒng)中跟蹤注冊的關(guān)鍵技術(shù)研究[D].廣州:華南理工大學(xué),2013.

[14]康紹鵬.增強現(xiàn)實關(guān)鍵技術(shù)研究[D].沈陽:沈陽航空工業(yè)學(xué)院,2009.

[15]YAN W D,AOYAMA S,ISHII H,etal.Development and evaluation of a temporary placement and conveyance operation simulation system using augmented reality[J].Nuclear Engineering and Technology,2012,44(5):507-522.

[16]TSUJITA K,ENDO T,YAMAMOTO A.Application of augmented reality to nuclear reactor core simulation for fundamental nuclear engineering education[J].Nuclear Technology,2014(1):71-84.

[17]BIAN Z,ISHII H,SHIMODA H,etal.Development of a tracking method for augmented reality applied to NPP maintenance work and its experimental evaluation[J].Ieice Transactions on Information and Systems,2007,90(6):963-974.

[18]MING-KUAN T,NIE-JIA Y.Using augmented-reality and mobile three-dimensional graphics techniques in relief work on radiological disaster sites[J].Nuclear Technology & Radiation Protection,2013,28(3):332-340.

(編輯白林雪)

Research on Data Driven Mobile Augmented Reality and Its Application in Nuclear Power Simulation

ZHANG Dongliang, LI Xiaolong

(School of Automation Engineering, Shanghai University of Electric Power, Shanghai200090, China)

Abstract:Mobile augmented reality technology is studied and applied for running nuclear power systems so that equipment monitoring can be improved.Field data are stored into network database via industrial communication interface and reflected on the mobile devices when the marks are detected by the mobile cameras.By modifying the working media of the virtual equipment in the mobile devices according to the real-time data,visual virtual status of the working status are reproduced.Furthermore the alarms and control feedback can also acquire.The level test of steam generator shows that mobile augmented reality technology in the industry is applicable.

Key words:mobile augmented reality; nuclear electric power simulation; equipment monitoring

DOI：10.3969/j.issn.1006-4729.2016.02.008

收稿日期：2015-06-25

作者簡介：通訊李小龍(1988-),男,在讀碩士,河南開封人.主要研究方向為虛擬現(xiàn)實,核電控制.E-mail:suepblues@163.com.

基金項目：上海市自然科技基金(15ZR1418300).

中圖分類號：TP13;TM623

文獻標志碼：A

文章編號：1006-4729(2016)02-0140-05