(國網(wǎng)重慶市電力公司 技能培訓中心,重慶 400053)
在面向變電設備運維人員的培訓方面,電力培訓機構主要采用理論培訓、師傅帶徒弟、基于真實設備的實訓,以及基于多媒體和桌面虛擬現(xiàn)實的仿真培訓等方式開展技術技能培訓工作。它雖能一定程度上滿足設備運維人員的培訓需求,但培訓形式枯燥,在真實感方面和物理設備仍存在一定的差距,用戶通過鼠標和鍵盤操作煩瑣,交互體驗不佳,實訓方式還存在缺乏專業(yè)性指導和輔助信息支持的問題。因此,需要將電力培訓仿真中的虛擬場景和設備等與真實的運維場景相融合,而增強現(xiàn)實(augmented reality,AR)技術是當前研究的熱點技術,它正好可滿足這一電力培訓需求。
本文總結分析變電運維一體化仿真、多媒體培訓和AR等最新技術成果,提出基于AR的變電設備運維仿真培訓方案,論述了面向變電設備的實時追蹤、三維注冊、人機交互和虛實融合等關鍵技術,并結合已建設智能變電站實訓系統(tǒng),可實現(xiàn)真實場景與虛擬信息,即“虛實融合”的培訓情境,全面提升變電設備運維培訓的學習、認知及培訓效果。
AR技術的技術特點是,構建全三維、高仿真、沉浸化、交互式的安全生產(chǎn)實操場景,以規(guī)范化的操作規(guī)程和電力安全規(guī)程為主線,把危險點、注意事項和安全措施等設置為重點,對安全生產(chǎn)流程進行虛擬仿真,逼真模擬安全生產(chǎn)工作的全過程。并通過動作捕捉系統(tǒng)和3D立體投影系統(tǒng)實現(xiàn)虛擬人與變電站仿真場景進行交互的安全操作和培訓,讓學員體會不同的操作所產(chǎn)生的不同后果,加深對安全生產(chǎn)及事故后果的理解,提高培訓效果。
建模技術正朝著網(wǎng)絡化、智能化、協(xié)同化、集成化和可視化方向發(fā)展??梢暬kS著計算機三維顯示的普及涌現(xiàn)出了許多先進技術,如變量化和虛擬產(chǎn)品建模技術等。這些可視化新技術使得建模領域的新成果得以更廣泛的應用。
目前國外在傳統(tǒng)三維建模軟件的研究領域占據(jù)著主導地位,覆蓋工業(yè)設計、消費娛樂等多個環(huán)節(jié)。國內(nèi)的三維建模軟件與國外同行業(yè)相比雖處于低端水平,主要面向特定的工業(yè)環(huán)境,但在核心技術上也有一定的積累,并面向工業(yè)環(huán)境開發(fā)出了一系列高效的三維建模軟件。由于三維模型為虛擬模型,很難用于計算機識別和匹配實體設備,因此需要進一步構建計算機可識別的全景掃描模型。
在圖像特征提取的基礎上,AR通過特征匹配技術來識別目標,特征匹配方法可以按兩種方式分類,即根據(jù)判別依據(jù)或根據(jù)目標類型來分類。其中,判別依據(jù)包括幾何、拓撲和語義等方面的,對應的方法稱為幾何匹配、撲拓匹配和語義匹配等。典型的匹配有Chamfer匹配、Borgefors匹配、基于Hausdorff距離的匹配和基于中值最小二乘的曲面匹配等。
為了達到強烈的真實感和臨場感體驗,就需要精細的三維模型和復雜的渲染計算。AR技術通過攝像機采集的圖像真實地反映了現(xiàn)實場景,減少了場景的建模和渲染工作量,因而是輕量級且真實感強的增強技術。
隨著機器視覺、人工智能、模式識別和計算機圖形學等領域的發(fā)展,基于計算機視覺的自然人機交互技術越來越受到學術界和工業(yè)界重視。微軟公司在2010年推出了Kinect體感交互設備,將基于深度傳感器的自然人機交互帶入尋常百姓中,之后又推出了Kinect2.0設備。2013年Leap公司發(fā)布LeapMotion體感控制器,LeapMotionController控制器是一款USB設備,通過紅外LED和兩個在黑色玻璃下的攝像頭來感知雙手在空氣中的自然移動,精確跟蹤手和手指的運動,感應的精度可以達到百分之一毫米級別,以超過200幀/s的速度追蹤手部移動。
在培訓中,AR技術可應用于操作培訓、巡視培訓、試驗培訓等現(xiàn)場作業(yè)培訓。根據(jù)培訓要求,分為指導、訓練、考核3種模式。
指導:通過三維模型及視頻詳細講解操作步驟。
訓練:除講解操作步驟外,還提供環(huán)境模擬、用戶訓練實時指導及記錄用戶操作等功能。
考核:不提供講解,只提供環(huán)境模擬、記錄用戶操作等功能。后續(xù)考核者可根據(jù)現(xiàn)場操作記錄結合視頻給出訓練者考核成績,并結合視頻給出操作改進建議。
可穿戴變電操作作業(yè)培訓應用具有操作準備、接令培訓、執(zhí)行操作培訓、操作任務導入、遠程協(xié)助等功能。利用AR技術使變電站操作人員準確掌握操作標準,通過推送操作視頻、3D展示操作視頻,培訓操作人按標準步驟完成操作任務。
國網(wǎng)科東公司為廣東電網(wǎng)有限責任公司教育培訓評價中心開發(fā)了一套“3D弧幕沉浸式仿真培訓系統(tǒng)”。該系統(tǒng)以基于投影的沉浸式視覺展示硬件系統(tǒng)為視覺展示平臺,與仿真軟件相結合,營造一種身臨其境的立體體驗環(huán)境。同時,配合動作捕捉技術,使得學員能夠用肢體動作控制仿真軟件中的虛擬人物進行仿真操作,實現(xiàn)了在虛擬仿真環(huán)境下沉浸式操作與體驗,取得了良好的培訓效果。
目前,重慶電網(wǎng)還未將AR技術應用于電網(wǎng)培訓,仍然采用傳統(tǒng)的培訓方式進行培訓。重慶電力公司可以利用AR技術,結合已建設的重慶變電站實訓系統(tǒng),構建虛實融合、自然交互、形象逼真和專業(yè)高效的仿真培訓情境,在較短的時間內(nèi)提高相關受訓人員的工作技能,加快高水平“大運行”和“大檢修”體系下運行維護人才隊伍的建設,保證電網(wǎng)安全、可靠和優(yōu)質運行。
基于AR技術的變電設備運維仿真培訓系統(tǒng)硬件架構(見圖1)包括,實訓現(xiàn)場的N臺變電設備實物、N個AR頭盔、培訓管理服務器以及無線路由器。AR頭盔是AR的必備設備,采用微軟Hololens,利用其雙目立體視覺三維感知單元進行空間定位識別、目標設備識別、跟蹤和注冊,將虛擬空間融入實際空間。通過手勢識別和語音識別等方式識別受訓人員的操作手勢和聲音命令,形成良好的人機交互AR環(huán)境,實現(xiàn)受訓人員的學習、操作培訓和操作考核交互。培訓管理服務器通過無線路由器與各個AR頭盔系統(tǒng)進行無線通信,實現(xiàn)AR頭盔系統(tǒng)的培訓和考核的控制和記錄。
圖1 變電設備運維仿真培訓系統(tǒng)硬件架構
基于AR技術的變電設備運維仿真培訓軟件系統(tǒng)(見圖2)采用C/S模式,AR頭盔客戶端通過虛擬融合顯示、空間定位和空間識別等AR關鍵技術,呈現(xiàn)培訓內(nèi)容并生成培訓環(huán)境。包括理論知識培訓、理論知識考核、虛擬操作培訓、虛擬操作考核和培訓反饋部分。服務器端培訓管理系統(tǒng)負責對整個系統(tǒng)的運行進行控制、監(jiān)督、記錄、協(xié)調(diào)培訓過程。
圖2 變電設備運維仿真培訓軟件系統(tǒng)
3.4.1 基于AR的變電設備運維學習模型建模
建立基于AR的變電設備運維學習環(huán)境,將虛擬場景疊加到變電設備實訓系統(tǒng)的真實場景之上,進行融合顯示。在受訓人員頭盔的顯示器上通過圖文、視頻、音頻、動畫、模型等方式,展示變電設備運維通用規(guī)則、手冊、設備工作原理、技術參數(shù)、檢修、檢測、運行等知識。
3.4.2 基于AR的變電設備運維學習虛擬融合和交互展示
基于AR的運維學習過程,需要將與學習內(nèi)容有關的虛擬的檢修、檢測和運行場景疊加到真實場景之上,進行融合顯示技術,產(chǎn)生真實感和沉浸感。并且通過對受訓者語言和手勢動作的捕捉,完成人與系統(tǒng)的交互,可根據(jù)用戶的命令改變展示內(nèi)容。
3.4.3 基于AR的變電設備運維流程訓練模型建模
基于AR的變電設備運維訓練環(huán)境,包括原有的實訓環(huán)境和增加的虛實結合的訓練環(huán)境。
基于AR的變電設備運維培訓訓練模型如圖3所示。在實際操作和虛擬操作訓練模式下,學習活動是一個不斷重復訓練的過程。
圖3 變電設備運維培訓訓練模型
AR技術日益完善,使得其在電網(wǎng)培訓中的應用成為了可能?,F(xiàn)階段傳統(tǒng)的實際設備的培訓方式不僅造成資源的浪費,而且電網(wǎng)設備更新速度快,這不僅增加了經(jīng)濟方面的開銷,還會花費大量的人力資本。而本文所提出的AR技術在電網(wǎng)培訓中的探索方式恰好有效地解決了上述問題。由此可見,AR技術在電網(wǎng)培訓中具有很好的發(fā)展前景。
[1] 陳海波,鄭健,費瑞軼,等.虛擬現(xiàn)實技術在電力系統(tǒng)中的典型應用[J].電網(wǎng)與清潔能源,2016,32(2):20-25.
[2] 陳奇朋,羅滇生,胡強,等.基于虛擬現(xiàn)實技術的電力作業(yè)仿真培訓系統(tǒng)[J].計算機工程與應用,2013,49(11):232-236
[3] 魯強,孔英輝,賈俊敏.VR技術及其在電力仿真培訓系統(tǒng)中的應用[J].湖南電力,2004,24(1):36-39.
[4] 譚誠,姜潤東,劉成源,等.基于VR的倒閘操作票模擬與培訓仿真技術初探[J].東北電力技術,2017,38(2):57-59.