宋中越，馬姣姣，甄 冬，師占群，胡亞欣

(河北工業(yè)大學 機械工程學院，天津 300130)

基于流媒體技術的風力發(fā)電機全景監(jiān)測虛擬現(xiàn)實系統(tǒng)研究

宋中越，馬姣姣，甄 冬，師占群，胡亞欣

(河北工業(yè)大學 機械工程學院，天津 300130)

在工程監(jiān)測中，通過虛擬現(xiàn)實技術進行預警、偵測或巡檢等，可在保證人身安全的情況下，對設備狀態(tài)進行監(jiān)測并判斷；目前多數(shù)虛擬現(xiàn)實開發(fā)技術存在需要大量存儲和分析數(shù)據(jù)的問題，采取流媒體技術可以很好的解決數(shù)據(jù)量的問題，但采用具有流媒體功能的軟件開發(fā)的虛擬場景沒有很好的臨境感，而全景技術能夠使人從各個角度獲得直觀的立體感，能夠解決場景臨境感差的缺陷；將流媒體技術與全景技術結(jié)合建立風力發(fā)電機的全景漫游監(jiān)測系統(tǒng)，實現(xiàn)了對風力發(fā)電機的監(jiān)測，得到了很好的效果。

虛擬現(xiàn)實；流媒體技術；全景技術；風力發(fā)電機

0 引言

由于虛擬現(xiàn)實系統(tǒng)是一種高級的人機交互系統(tǒng)，是能夠給人多種感官刺激的虛擬環(huán)境，又因其具有廣泛性、多樣性、直觀性和對人類社會生活領域影響的深刻性，使其成為了當代信息技術研究的熱門領域[1]。在工業(yè)過程中虛擬現(xiàn)實技術的應用較為廣泛，對危險環(huán)境或特殊工況下的設備運行進行模擬監(jiān)測，將會很大程度上保證人身安全，并對設備起到一定的保護作用。隨著對新能源開發(fā)的興起，由于風的無污染、可再生和廉價等特點，風力發(fā)電機成為了新能源設備研究的重點[2]。由于風力發(fā)電機的核心傳動部件處于高空中的機艙內(nèi)，并且風力發(fā)電機中故障率最高的部位是風力發(fā)電機傳動系統(tǒng)中的齒輪箱，所以在風力發(fā)電機的研究中，對風機故障監(jiān)測系統(tǒng)的研究具有重要意義，監(jiān)測系統(tǒng)能夠使人對風機的狀況進行遠程了解。虛擬現(xiàn)實技術能夠?qū)崿F(xiàn)對設備的全方位監(jiān)測，不同于傳感監(jiān)測，虛擬現(xiàn)實監(jiān)測能使人具有臨場感而不產(chǎn)生任何人身危害，使得監(jiān)測更加直觀，故采用虛擬現(xiàn)實技術開發(fā)風機監(jiān)測系統(tǒng)具有很大的工程意義。

河南理工大學的邵艷梅等采用irrlicht 3D繪圖引擎建立虛擬礦井,并結(jié)合礦井實時監(jiān)測系統(tǒng)的測量數(shù)據(jù)建立一套融合井下漫游、生產(chǎn)仿真、實時監(jiān)測、井下信息管理于一體的井下安全實時監(jiān)測系統(tǒng)；安徽建筑工業(yè)學院的彭曙光利用分布式虛擬現(xiàn)實技術,將三維虛擬場景實現(xiàn)技術和網(wǎng)絡技術引入到隧道施工的監(jiān)測中,建立了具有可視化、臨境性、交互性的網(wǎng)絡化隧道施工監(jiān)測系統(tǒng)。

現(xiàn)有開發(fā)的虛擬現(xiàn)實系統(tǒng)都需要存儲分析并傳輸大量的數(shù)據(jù)，對硬件設備具有較高的性能要求，本文采用流媒體技術解決了這個問題，并采用全景技術解決了臨境感較弱的缺陷[3]，將流媒體技術與全景技術結(jié)合開發(fā)風力發(fā)電機的虛擬監(jiān)測系統(tǒng)。

1 虛擬現(xiàn)實原理

虛擬現(xiàn)實系統(tǒng)涵蓋虛擬世界(環(huán)境)和介入者(人)兩個部分，并且虛擬現(xiàn)實系統(tǒng)的核心是強調(diào)人與環(huán)境之間的交互操作。對虛擬現(xiàn)實系統(tǒng)的搭建主要包括硬件和軟件兩個部分，其基本組成包括計算機、硬件設備、軟件系統(tǒng)、數(shù)據(jù)庫以及用戶參與，虛擬現(xiàn)實組成模型圖如圖1。

圖1 虛擬現(xiàn)實組成模型圖

用戶接受虛擬環(huán)境帶來的體驗，進而做出反饋，是人機交互的主體；硬件設備主要包括虛擬世界的生產(chǎn)設備、感知設備、跟蹤設備和交互設備等，其中感知設備用于生成多通道刺激信號，跟蹤設備用以檢測用戶在虛擬世界坐標中的位置及方向；軟件系統(tǒng)包括的主要信息包括虛擬物體幾何信息、物體的碰撞檢測及分層建模等，一般軟件系統(tǒng)要配合數(shù)據(jù)庫使用，數(shù)據(jù)庫用以存放虛擬環(huán)境中物體的各方面信息。

虛擬現(xiàn)實系統(tǒng)具備人在現(xiàn)實客觀世界中具有的所有感知功能，并且能夠使人與虛擬世界進行交互，另外虛擬世界可以根據(jù)人的想象來個性定義，使虛擬系統(tǒng)具備沉浸性、交互性和想象性的特性[4]。

2 流媒體技術

采用流式傳輸技術在網(wǎng)絡上連續(xù)實時傳輸媒體文件不僅大大縮短了啟動延時，同時也提高了互動性。在眾多具有流媒體技術的設計軟件中，F(xiàn)lsh較為典型。Flash是一種用于互聯(lián)網(wǎng)的動畫編程語言。它采用了網(wǎng)絡流式媒體技術，突破了網(wǎng)絡帶寬的限制，可以在網(wǎng)絡上更快速地傳遞數(shù)據(jù)并實現(xiàn)動畫交互，本文采用Flash技術開發(fā)虛擬系統(tǒng)，同時使其具備虛擬現(xiàn)實的三大特性。

傳統(tǒng)虛擬現(xiàn)實技術需要有大量數(shù)據(jù)在有限的帶寬資源中傳輸，具有一定的瓶頸。Flash采用Shockwave技術，按照“流”方式傳輸數(shù)據(jù)文件，可以邊下載邊傳輸，用戶無需等待；另外Flash的矢量技術也對減小數(shù)據(jù)空間起到了很大的作用。

流方式傳輸主要包括數(shù)據(jù)的傳輸、緩存和解碼，在傳輸方面對節(jié)點輸入帶寬容量進行限制，在一個請求周期內(nèi)輸入帶寬容量不能小于請求的數(shù)據(jù)包速率，即

(1)

其中：n表示在第幾個段，τ為播放節(jié)點時刻，B為節(jié)點緩存長度，C為節(jié)點輸入帶寬與流媒體碼率的比值，R為流媒體碼率，CR為節(jié)點輸入帶寬容量。

對于緩存Flash需要將數(shù)據(jù)包存放到緩存中，當段中的數(shù)據(jù)包數(shù)量到達原有數(shù)量后便可進行解碼操作，F(xiàn)lash緩存在第n個段τ時刻之前所接受數(shù)據(jù)包數(shù)量總和為[5]:

(2)

其中:L為丟包率，在解碼之前引入狀態(tài)函數(shù)J(n)來標記在第n個段τ時刻時數(shù)據(jù)包是否收滿，

(3)

則流媒體到達播放點時所收齊的段數(shù)為

(4)

流媒體的傳輸質(zhì)量受到傳輸算法的直接影響，對傳輸算法的優(yōu)化是提高節(jié)點輸出帶寬容量的關鍵所在。基于流媒體方式解決了數(shù)據(jù)傳輸量大而帶來傳輸限制的問題。

3 全景技術

本文采用全景技術解決Flash開發(fā)的虛擬系統(tǒng)不具有較好臨場感的缺陷，全景技術是基于圖像繪制技術的虛擬現(xiàn)實技術，通過利用對人眼生理系統(tǒng)的視差來實現(xiàn)“三維感”并獲得場景中的空間感、方位感和沉浸感，實現(xiàn)任意方向漫游，全景虛擬現(xiàn)實技術具備虛擬現(xiàn)實的某些特征，能夠進行有效的虛擬信息傳遞。

全景技術的關鍵是圖像特征提取，與圖像特征匹配[6]，susan角點檢測算法以被測點中心確定圓形模板區(qū)域，通過計算比較各區(qū)域的灰度值來確定核心點是否為角點。對圓形模板內(nèi)像素進行計算，核心點與圓形模板內(nèi)像素點灰度值相似度計算公式如式5：

(5)

其中P為被測點，P0為中心點， g(P)表示被測點的灰度值，g(P0)表示中心點的灰度值，t灰度差別的閾值，計算曲線如圖2：

圖2 灰度值相似度計算曲線

由圖可知，灰度差值以零值對稱，在零到一定范圍內(nèi)隨著灰度差值的增大灰度相似度逐漸減小，最終趨于零。根據(jù)以上關系，全景圖像采集系統(tǒng)在監(jiān)測地點獲取圖像數(shù)據(jù)后進入計算機進行處理，將圖像曲面投影后進行拼接，拼接過程需要確定相鄰圖像的重疊范圍，稱之為圖像匹配，采用基于面積及特征的方法，空間編輯器將生成的全景圖像組織為虛擬的全景空間，再進行保真壓縮，最終通過柱面全景圖像的反投影算法，將可見部分的柱面圖像反投影為中心投影圖像并顯示在計算機屏幕上[7]。虛擬全景空間生成流程圖如圖3。

圖3 虛擬全景空間生成流程圖

4 系統(tǒng)實現(xiàn)

結(jié)合Flash技術與全景技術開發(fā)風力發(fā)電機的監(jiān)測系統(tǒng)，對風力發(fā)電機的機艙進行監(jiān)測。由機艙內(nèi)的攝像機拍攝，對拍攝畫面進行實時全景拼接，最終由Flash實現(xiàn)全景漫游。

將旋轉(zhuǎn)拍攝的照片，拼接成一張在平面上看上去很廣范圍的照片，使得生成全景展示地圖時能還原當時拍攝的真實景象，

全景拼接效果如圖4。

圖4 全景拼接效果圖

運用Flash實現(xiàn)全景過程中的關鍵環(huán)節(jié)是場景移動化，需借助FLASH的動作腳本，來實現(xiàn)漫游的效果。首先對Flash進行初始設置，選擇Actionscript2.0腳本環(huán)境，移動過程如下：

q1_btn.onPress = function(){

delete this._parent._root.tupian_mc.onEnterFrame;

this._parent._root.tupian_mc.play();

};

q1_btn.onRelease = function(){

_root.tupian_mc.stop();

};

h1_btn.onPress = function(){

//this._parent._root.zjq_mc.stop();

this._parent._root.tupian_mc.onEnterFrame = function()

{

this.prevFrame();

};

};

h1_btn.onRelease = function(){

delete this._parent._root.tupian_mc.onEnterFrame;

tupian_mc.stop();

};

時間軸設置如圖5。

圖5 時間軸設置圖

對監(jiān)測系統(tǒng)設置監(jiān)測按鈕，分別是場景觀測的前進按鈕和倒退按鈕，通過監(jiān)測交互按鈕的按下或抬起來進行場景的移動或停止，首先在時間軸上進行整體全景圖的漫游動畫，當前進按鈕被按下時，時間軸按已設定動畫開始正向播放進行監(jiān)測，當前進按鈕抬起后停止。當系統(tǒng)監(jiān)測到后退按鈕被按下時，系統(tǒng)利用prevFrame函數(shù)使時間軸不斷定位到當前幀的前一幀，直到后提按鈕抬起，這樣就實現(xiàn)了場景的倒序監(jiān)測。

通過機艙內(nèi)攝像機對機艙狀況的定時監(jiān)測拍攝，將拍攝畫面實時進行拼接并傳輸，F(xiàn)lash通過調(diào)用不同時刻拼接的全景圖像進行全景漫游，進而實現(xiàn)對機艙內(nèi)部不同時刻的狀態(tài)監(jiān)測。

5 結(jié)論

通過結(jié)合Flash技術與全景技術實現(xiàn)了全景監(jiān)測虛擬系統(tǒng)，解決了虛擬現(xiàn)實系統(tǒng)數(shù)據(jù)傳輸量大導致對硬件設備要求高的問題，以及臨場感差的問題，并運用到了對風力發(fā)電機機艙內(nèi)部的監(jiān)測系統(tǒng)的開發(fā)，由于機艙內(nèi)部的某種異常狀態(tài)出現(xiàn)后都會保持一定時間，不可能實時發(fā)生變化，故針對某一時刻拼接的場景畫面進行全景漫游，而不需要實時的存儲記錄大量冗余視頻數(shù)據(jù)，這種方式開發(fā)的虛擬系統(tǒng)拓寬了虛擬狀態(tài)監(jiān)測系統(tǒng)的開發(fā)思路。

[1] 蘇建明，張續(xù)紅，胡慶夕. 展望虛擬現(xiàn)實技術[J]．計算機仿真，2004，21(1)：18-21．

[2] 王瑞闖，林富洪. 風力發(fā)電機在線監(jiān)測與診斷系統(tǒng)研究[J]. 華東電力，2009，37(1)：190-193.

[3] 劉 民，萬江平. 基于Flash 3D的在線虛擬漫游系統(tǒng)設計與實現(xiàn)[J]. 計算機時代，2014,(5): 36-41.

[4] 王凱湛，馬瑞峻. 虛擬現(xiàn)實技術及其在農(nóng)業(yè)機械設計上的應用[J]. 系統(tǒng)仿真學報，2006，18(2): 500-503

[5] 戴 軍，張鋒美. 基于Flash的實景虛擬漫游系統(tǒng)設計與實現(xiàn)[J]. 實驗室研究與探索，2012，31(10)：78-80.

[6] 周亦鵬，胡 娟. 基于三維全景技術的數(shù)字礦山漫游系統(tǒng)[J]. 金屬礦山，2012，5：116-120

[7] 吳憲祥，郭寶龍，王 娟. 基于相位相關的柱面全景圖像自動拼接算法[J]. 光學學報，2009， 29(7): 1824-1829.

Research of Panoramic Monitoring Virtual Reality System of Wind Turbines Based on Stream-media Technology

Song Zhongyue, Ma Jiaojiao, Zhen Dong , Shi Zhanqun, Hu Yaxin

(School of Mechanical Engineering, Hebei University of Technology, Tianjin 300130, China)

Through the virtual reality technology for early warning, detection or inspection, etc In the engineering monitoring，can monitoring and judgment the equipment state in the case of guarantee personal safety; Most of today's virtual reality development technology have the problems that need a lot of data storage and analysis, however stream-media technology can be very good solution，But the virtual scene by stream-media technology do not in the good condition, Panoramic technology can be a good solution because its Stereo feeling from every angle. Biluding a panoramic view of roaming monitoring system for wind turbine by combined the technology of stream-media with a panoramic view, which obtained some good results.

virtual reality; stream-media technology; panoramic technology; wind turbines

2016-01-11；

2016-02-24。

天津市應用基礎與前沿技術研究計劃(14JCYBJC 42100)；河北省科技計劃項目(13394305D)；河北省高層次人才資助項目(E201200003)。

宋中越(1986-)，男，河北滄州人，博士研究生，主要從事旋轉(zhuǎn)機械故障診斷方向的研究。

1671-4598(2016)07-0247-02

10.16526/j.cnki.11-4762/tp.2016.07.067

TH212；TH213.3

A