王 磊，楊國練，陳 維，牟旭東，王瑞強(qiáng)

(1.國網(wǎng)甘肅省電力有限公司培訓(xùn)中心，甘肅 蘭州 730070；2.國網(wǎng)甘肅省電力有限公司設(shè)備管理部，甘肅 蘭州 730900；3.國網(wǎng)甘肅省電力有限公司天水供電公司，甘肅 天水 741099)

0 引言

隨著計算機(jī)技術(shù)和仿真技術(shù)逐漸發(fā)展成熟，虛擬現(xiàn)實(virtual reality，VR)技術(shù)也帶動諸多行業(yè)快速進(jìn)步[1]。相關(guān)研究在各行各業(yè)也取得了巨大的成績。其中，沉浸式仿真技術(shù)的研究較為深入且貢獻(xiàn)較為突出[2]。其通過多種硬件設(shè)備和軟件系統(tǒng)的結(jié)合，使得參與者完全融入逼真、交互式的虛擬場景[3]。與此同時，在培訓(xùn)現(xiàn)代變電站工作人員中，變電站沉浸式仿真培訓(xùn)系統(tǒng)起到無可替代的重要作用[4-5]。但目前國內(nèi)外有關(guān)330 kV變電站沉浸式仿真培訓(xùn)系統(tǒng)的研究相對較少，面臨較多的難題。鑒于此，本文在前人的經(jīng)驗和成果的基礎(chǔ)上，利用多通道視頻輸出技術(shù)和Kinect體感的交互虛擬技術(shù)，構(gòu)建一種體驗感和互動性更強(qiáng)的沉浸式仿真培訓(xùn)系統(tǒng)。該研究結(jié)果能為后續(xù)變電站沉浸式仿真培訓(xùn)系統(tǒng)的開發(fā)提供參考。

1 變電站沉浸式仿真培訓(xùn)關(guān)鍵技術(shù)

1.1 沉浸式系統(tǒng)需求設(shè)計

變電站沉浸式仿真培訓(xùn)系統(tǒng)中，硬件部分實現(xiàn)虛擬場景的立體聲音效果和視覺效果，軟件部分實現(xiàn)變電站的場景仿真，從而達(dá)到虛擬實境的效果。沉浸式仿真培訓(xùn)系統(tǒng)如圖1所示。

圖1 沉浸式仿真培訓(xùn)系統(tǒng)

沉浸式仿真培訓(xùn)系統(tǒng)由Kinect體感捕捉交互系統(tǒng)、教員管理系統(tǒng)、變電站綜自系統(tǒng)仿真、變電站電網(wǎng)仿真、沉浸式變電站場景仿真、變電站運(yùn)行邏輯仿真六大模塊組成。所有模塊通過仿真運(yùn)行支撐平臺完成交互信息、同步時間、控制協(xié)調(diào)等過程[3,6]。變電站電網(wǎng)仿真模塊能達(dá)到電網(wǎng)短期、中長期過程的一體化仿真，將一次設(shè)備有功、無功等遙測量以及刀閘狀態(tài)、斷路器的遙信量傳輸給變電站運(yùn)行邏輯仿真模塊，同時接收來自變電站運(yùn)行邏輯仿真模塊的信息。沉浸式變電站場景仿真的引擎開發(fā)為Unity3D。該引擎將變電站三維圖像通過多通道輸出技術(shù)輸出到大型3D弧幕，使用模型和場景編輯器構(gòu)建變電站設(shè)備和場景模型，然后通過體感交互式設(shè)備接收實時數(shù)據(jù)，并將數(shù)據(jù)經(jīng)過人體骨骼運(yùn)動數(shù)據(jù)解析轉(zhuǎn)變?yōu)樘摂M場景中的虛擬角色行為[7-10]。

變電站運(yùn)行邏輯仿真是在電網(wǎng)一次設(shè)備提供信息的前提下，對繼電保護(hù)自動裝置、直流系統(tǒng)、交流系統(tǒng)、防誤系統(tǒng)等的邏輯行為進(jìn)行模擬；同時，把二次回路和一、二次設(shè)備的仿真結(jié)果傳輸至場景和自動化綜合仿真的2個模塊，并作出相應(yīng)的就地操作、遙調(diào)、遙控等指令[11-12]。變電站綜自系統(tǒng)仿真模塊的主要功能是模仿變電站監(jiān)控系統(tǒng)的功能。Kinect體感捕捉交互系統(tǒng)通過Kinect體感交互技術(shù)實現(xiàn)精準(zhǔn)捕獲，分析所有人員的局部和全身肢體動作信息，然后將結(jié)果傳輸至虛擬場景并促發(fā)虛擬個體和虛擬場景之間的互動，通過手勢和三維設(shè)備的精準(zhǔn)碰撞檢測來判斷學(xué)員的動作，最后將動作時間提交給變電站進(jìn)行邏輯仿真。教員管理系統(tǒng)模塊的功能是控制、監(jiān)視、管理培訓(xùn)全過程。

軟件系統(tǒng)邏輯關(guān)系如圖2所示。

圖2 軟件系統(tǒng)邏輯關(guān)系圖

硬件系統(tǒng)包括網(wǎng)絡(luò)交換機(jī)、工作站、Kinect傳感器、大型立體弧幕+3D互動投影結(jié)構(gòu)。大型立體弧幕+3D互動投影由2組共6臺3D互動投影組成，功能是分別接收主圖形工作站輸出的不同視頻信號。通過視頻融合器協(xié)同處理后，投影儀將獲取的三維場景圖像輸送至立體弧幕中。接著，學(xué)員通過3D眼鏡即可沉浸在模擬的變電站場景中，感受變電站中一、二次設(shè)備的異常、正常、故障情況，思考相應(yīng)的解決途徑，同時也可操作、處理事故，檢查、巡視虛擬設(shè)備。圖形工作站的功能有以下3個方面：①分配沉浸式變電站仿真培訓(xùn)軟件系統(tǒng)，從而達(dá)到培訓(xùn)仿真的目的；②接收和處理多通道輸出的2組視頻信號，從而達(dá)到模擬左右眼視頻輸出的效果；③通過USB數(shù)據(jù)接口連接工作站和Kinect設(shè)備，從而達(dá)到體感交互虛擬場景的目的。從工作站的功能可以視為主工作站的功能。當(dāng)主工作站出現(xiàn)故障時，從工作站立即進(jìn)入工作狀態(tài)。

1.2 虛擬現(xiàn)實關(guān)鍵技術(shù)

此次研究利用多通道視頻輸出技術(shù)、Kinect體感交互虛擬技術(shù)和體態(tài)識別的場景漫游技術(shù)，構(gòu)建一種體驗感和互動性更強(qiáng)的沉浸式仿真培訓(xùn)系統(tǒng)。投影式沉浸式虛擬現(xiàn)實系統(tǒng)的基礎(chǔ)是多通道視頻輸出技術(shù)。研究通過在計算機(jī)DirectX圖像引擎和仿真應(yīng)用程序兩者間連接3D轉(zhuǎn)換接口程序，實現(xiàn)多通道視頻輸出技術(shù)。如果仿真軟件通過計算機(jī)DirectX圖像引擎進(jìn)行圖像描繪，3D轉(zhuǎn)換接口將會得到所描繪的圖像數(shù)據(jù)，同時把圖像調(diào)整為具有3D效果的左右兩側(cè)數(shù)據(jù)。隨后通過3D轉(zhuǎn)換接口程序，將左右兩側(cè)數(shù)據(jù)分別輸送至兩個投影機(jī)上，以此模擬人左右兩眼的輸出，進(jìn)而得到3D立體成像效果。Kinect體感交互的虛擬人驅(qū)動技術(shù)是指精準(zhǔn)捕獲學(xué)員的局部和全身肢體運(yùn)動情況，然后實時跟蹤捕獲到的六自由度位置信息，接著通過數(shù)據(jù)接口軟件實時將跟蹤信息傳遞給沉浸式變電站場景仿真軟件，從而實現(xiàn)逼真的動作仿真。數(shù)據(jù)實時捕捉是利用骨骼追蹤控制技術(shù)處理由Kinect傳感器得到的景深數(shù)據(jù)，從而實現(xiàn)人體骨骼關(guān)節(jié)點(diǎn)的跟蹤，進(jìn)而實時控制虛擬人的相應(yīng)骨骼節(jié)點(diǎn)。骨骼數(shù)據(jù)源于Microsoft Kinect SDK開發(fā)包的SkeletonStream流。研究從SkeletonStream流獲取骨骼數(shù)據(jù)，每一幀數(shù)據(jù)包括骨骼對象的相應(yīng)集合。其中，每個骨骼對象所包含的信息為骨骼關(guān)節(jié)的數(shù)據(jù)和位置，每個關(guān)節(jié)均有且只有一個標(biāo)記號和3D向量數(shù)據(jù)。因此骨骼關(guān)節(jié)點(diǎn)的追蹤信息可以被獲取，從而保證使用者的動作和虛擬模型的運(yùn)動軌跡相同。Microsoft Kinect SDK能夠?qū)崿F(xiàn)20個主要關(guān)節(jié)點(diǎn)的動態(tài)跟蹤，但仍然不能識別更為精細(xì)的動作。

本研究實現(xiàn)體感交互技術(shù)的方式為識別樣本和實時數(shù)據(jù)捕捉。其中，在人體動作手勢識別方面，采用動態(tài)時間規(guī)整(dynamic time warping,DTW)算法。

該算法本質(zhì)是模板匹配算法，其具體識別、檢測步驟如下所示。首先，設(shè)置參考模板，也就是標(biāo)準(zhǔn)手勢從開始到結(jié)束期間的所有3D深度數(shù)據(jù)，可以用R={R(1),R(2),...,R(M)}表示。第m幀手勢模擬特征數(shù)據(jù)用R(m)表示，m=1,2,...,M。R(1)表示受試動作起點(diǎn)的數(shù)據(jù)，R(M)表示受試動作終點(diǎn)的數(shù)據(jù)。需要分析的手勢動作數(shù)據(jù)用T={T(1),T(2),...,T(N)}表示。第n幀的分析手勢特征數(shù)據(jù)用T(n)表示，n=1,2,...,N。T(1)表示手勢起點(diǎn)的數(shù)據(jù)，T(N)表示手勢終點(diǎn)的數(shù)據(jù)。通過計算兩者的距離得到相似度情況。若距離越大，則相似度越低；反之，則相似度越高。為了計算相似度，需要知道相應(yīng)幀序號。2幀特征矢量間的距離用d[T(n),R(m)]表示。可以看出，距離函數(shù)的值為實際距離度量。設(shè)置特征向量的獲取方式為每秒30幀。通過類比分析特征數(shù)據(jù)和模板，即可以根據(jù)兩者的相似度獲取動作手勢的參考模板，進(jìn)一步促發(fā)虛擬人做出相應(yīng)的手勢動作。因此,該方法能夠?qū)W(xué)員的細(xì)微動作進(jìn)行較為精準(zhǔn)的識別。

動作和漫游任務(wù)相關(guān)性如表1所示。

表1 動作和漫游任務(wù)相關(guān)性

變電站培訓(xùn)要求控制虛擬人在一、二次設(shè)備區(qū)間的漫游操作，但動作驅(qū)動不能滿足虛擬人的所有漫游操作。本文引入體態(tài)識別的場景漫游技術(shù)控制虛擬人的轉(zhuǎn)向和漫游。虛擬人物可以實現(xiàn)實時跟蹤學(xué)員的轉(zhuǎn)向、行走等體態(tài)動作。該技術(shù)分析、識別人體骨骼圖像幀數(shù)據(jù)并獲得虛擬人物的驅(qū)動指令。假設(shè)需要作出虛擬人的行走指令，具體操作步驟如下所示。

①得到人物的骨骼數(shù)據(jù)，并對骨骼數(shù)據(jù)進(jìn)行分析。

②處理骨骼數(shù)據(jù)，并得到虛擬人的動作指令。結(jié)合表1所示漫游指令和動作特征的相關(guān)性，在行走畫面分析的基礎(chǔ)上，完成行走控制任務(wù)、實現(xiàn)漫游控制。轉(zhuǎn)向控制可以分為2種情況，分別是靜止?fàn)顟B(tài)和動態(tài)過程中的轉(zhuǎn)向。為了達(dá)到理想的控制效果、正確區(qū)分2種狀態(tài)下的轉(zhuǎn)向，需要控制人物的轉(zhuǎn)向速度和連續(xù)性，將虛擬人物作為中心，轉(zhuǎn)向速度設(shè)置為每幀5°。

2 變電站沉浸式仿真培訓(xùn)系統(tǒng)分析

2.1 虛擬仿真效果分析

研究通過分塊的方式構(gòu)建虛擬變電站，完成建模后再進(jìn)行場景組合。多通道輸出技術(shù)需結(jié)合多臺投影儀共同輸出完成試驗展示。

多通道視頻輸出效果和場景漫游效果如圖3所示。由圖3(a)可知，左右兩邊圖像模仿人的左右兩眼，畫面具有非常高的立體感，帶給參與人員極高的參與感。虛擬人向前行進(jìn)和向右轉(zhuǎn)彎的場景漫游效果如圖3(b)所示。所設(shè)計的變電站仿真培訓(xùn)系統(tǒng)能夠?qū)崿F(xiàn)一、二次設(shè)備的漫游仿真，逼真顯示虛擬人物的轉(zhuǎn)動和漫游。結(jié)合虛擬變電站效果圖可以看出，所構(gòu)建的變電站沉浸式仿真培訓(xùn)系統(tǒng)逼真且清晰。

圖3 多通道視頻輸出效果和場景漫游效果

兩種仿真培訓(xùn)系統(tǒng)優(yōu)劣對比如表2所示。在體驗感和沉浸感方面，沉浸式仿真培訓(xùn)系統(tǒng)都強(qiáng)得多。在實時性和開發(fā)性方面，原有仿真培訓(xùn)系統(tǒng)也不如沉浸式仿真培訓(xùn)系統(tǒng)。原有仿真培訓(xùn)系統(tǒng)在系統(tǒng)集成方面效果較好，但是它并不具有交互多樣性。由表2可知，沉浸式仿真培訓(xùn)系統(tǒng)性能更優(yōu)，更加適用于當(dāng)前我國變電站仿真培訓(xùn)系統(tǒng)。

表2 兩種仿真培訓(xùn)系統(tǒng)優(yōu)劣對比

2.2 識別率效果分析

由于捕捉范圍對人體動作識別率的影響極大，首先設(shè)置0.5～2.0 mm、2.0～3.5 mm、3.5～5.0 mm這3種捕捉范圍內(nèi)的識別率情況。人體動作識別準(zhǔn)確率對比如圖4所示。

圖4 人體動作識別準(zhǔn)確率對比

圖4中，動作1～8分別為原地踏步、后退一步、左臂與肩平齊、右臂與肩平齊、左手朝胸部揮、向上方揮手、向前揮手、手握拳。捕捉范圍為5.0～2.0 mm時，動作1～動作8的識別準(zhǔn)確率為96%、94%、94%、93%、98%、92%、94%、81%。在捕捉范圍為3.5～5.0 mm時，相比較于0.5～2.0 mm捕捉范圍的準(zhǔn)確率，8種動作的識別準(zhǔn)確率均有所提高，提高幅度約為1%。在捕捉范圍為2.0～3.5 mm時，8種動作的準(zhǔn)確率均比0.5～2.0 mm捕捉范圍的識別準(zhǔn)確率更低。綜上分析，Kinect體態(tài)識別技術(shù)的最佳捕捉范圍為2.0～3.5 mm。

研究選取不同身高、體重、性別的試驗人員，人數(shù)總計為60人，抽取200次數(shù)據(jù)結(jié)果。人體動作識別準(zhǔn)確率統(tǒng)計結(jié)果如圖5所示。

圖5 人體動作識別準(zhǔn)確率統(tǒng)計結(jié)果

圖5中，動作1～動作8分別為原地踏步、后退一步、左臂與肩平齊、右臂與肩平齊、左手朝胸部揮、向上方揮手、向前揮手、手握拳。在采集到的200個樣本中，動作1～動作8的樣本數(shù)量分別為24、26、30、30、32、16、24、18，相應(yīng)的識別準(zhǔn)確率分別為95%、93%、93%、92%、97%、91%、93%、80%。從整體來看，左手朝胸部揮動作的識別準(zhǔn)確率最高，而手握拳的識別準(zhǔn)確率最低。

3 結(jié)論

針對目前變電站仿真培訓(xùn)系統(tǒng)存在體驗感不足、交互性低等現(xiàn)狀，本研究利用虛擬現(xiàn)實技術(shù)，提出一種新的沉浸式培訓(xùn)系統(tǒng)設(shè)計方案。該方案利用多通道視頻輸出技術(shù)和Kinect體感的交互虛擬技術(shù)，構(gòu)建了一種體驗感和互動性更強(qiáng)的沉浸式仿真培訓(xùn)系統(tǒng)。對比不同捕捉范圍的識別準(zhǔn)確率，確定Kinect體態(tài)識別技術(shù)的最佳捕捉范圍為2.0～3.5 mm。原地踏步、后退一步、左臂與肩平齊、右臂與肩平齊、左手朝胸部揮、向上方揮手、向前揮手、手握拳的識別準(zhǔn)確率分別為96%、94%、94%、93%、98%、92%、94%、81%。200次抽樣數(shù)據(jù)中，左手朝胸部揮動作和手握拳動作的識別準(zhǔn)確率分別是最高和最低的。

通過對原有仿真培訓(xùn)系統(tǒng)和沉浸式仿真培訓(xùn)性能的對比分析可知，變電站沉浸式仿真培訓(xùn)系統(tǒng)的交互多樣性更強(qiáng)、實時性更高、體驗感更強(qiáng)、系統(tǒng)集成開發(fā)功能更優(yōu)。由于現(xiàn)有Kinect體感交互技術(shù)在識別虛擬人物轉(zhuǎn)向方面還存在一些缺陷，因此識別的速度和精度還需要進(jìn)一步提高。這也是未來需要突破的方向。