國網(wǎng)上海市電力公司青浦供電公司 張樹欣 鄭 真 陳超杰

高壓電氣設備及電力傳輸線路是維系社會正常運轉(zhuǎn)的重要基礎設施之一，在電力輸送的任意一環(huán)出現(xiàn)故障都會導致嚴重的經(jīng)濟損失，在問題出現(xiàn)后的高效搶修是非常重要的。目前已采用機器人/機械臂等設備代替了人工帶電作業(yè)檢修?，F(xiàn)有的常規(guī)機器操作作業(yè)方式是將操作室設置在工程作業(yè)車上，并安裝一個可升降機械臂或機器人。作業(yè)人員通過控制操作室內(nèi)控制器/控制界面，對設備進行升降與作業(yè)操作，通過作業(yè)端安裝的監(jiān)控攝像頭捕獲作業(yè)區(qū)域的監(jiān)視視頻流并同步反饋至控制端顯示。作業(yè)人員由于僅能通過小幅監(jiān)視畫面觀察作業(yè)區(qū)域，不能直接近距離觀察到作業(yè)對象且機械操作維度較難判斷，導致作業(yè)準確度低、作業(yè)效率低。

隨著控制系統(tǒng)和數(shù)字技術(shù)的發(fā)展，虛擬現(xiàn)實技術(shù)被運用在了各個行業(yè)領域，其擁有高沉浸式觀察體驗與精準的虛擬交互能力，在遠程遙操作方面具有巨大的優(yōu)勢。首先通過對作業(yè)區(qū)域進行更大范圍的圖像捕獲，再通過本地計算機進行圖像融合處理，渲染顯示成沉浸式虛擬現(xiàn)實畫面，作業(yè)人員可通過佩戴虛擬現(xiàn)實設備觀察，仿佛置身于作業(yè)區(qū)域。同時采用虛擬現(xiàn)實光學定位手柄作為操作輸入，對機械臂進行直觀控制操作。本文提出一種基于向虛擬現(xiàn)實的沉浸式遙操作系統(tǒng)，該設備用于高壓電力作業(yè)區(qū)域的機械臂遙操作控制，可實現(xiàn)全景圖像采集與融合、虛擬現(xiàn)實沉浸式實時監(jiān)測、手柄定位操作與輸入。該裝置能安全可靠完成高壓作業(yè)區(qū)域遙操作的區(qū)域監(jiān)視并與操作人機交互，提高了高壓作業(yè)區(qū)域遙操作的準確性，提升了效率。

1 方案設計及關鍵技術(shù)

1.1 需求分析

基于虛擬現(xiàn)實的沉浸式遙操作系統(tǒng)的設計應滿足以下功能需求：全景視頻流的采集傳輸融合功能：基于向虛擬現(xiàn)實的沉浸式遙操作系統(tǒng)能在作業(yè)區(qū)域內(nèi)捕獲覆蓋完全的的監(jiān)視畫面，實現(xiàn)實時視屏流傳輸與實時融合，生成360°實時全景監(jiān)視畫面；虛擬現(xiàn)實沉浸式渲染：系統(tǒng)需具備沉浸式渲染能力，將360°監(jiān)視畫面映射為沉浸式觀察模式并進行渲染；控制手柄定位與輸入：系統(tǒng)具備一款控制手柄，能基于光學準確定位，可在虛擬現(xiàn)實環(huán)境中實現(xiàn)控制交互輸入。

基于虛擬現(xiàn)實的沉浸式遙操作系統(tǒng)由監(jiān)視捕獲模塊與虛擬現(xiàn)實服務器兩部分組成。監(jiān)視捕獲模塊位于搭載操作機械臂的升降式平臺上，負責對機械臂所在作業(yè)區(qū)域四周的畫面進行監(jiān)視捕獲，通過無線局域網(wǎng)絡傳輸視頻流數(shù)據(jù)至操作室的服務器主機，并在主機端完成圖像融合；虛擬現(xiàn)實服務器部署在操作室內(nèi)，獲取融合后的360°監(jiān)視畫面，負責在虛擬現(xiàn)實場景中實現(xiàn)視頻數(shù)據(jù)映射與渲染，并具備虛擬現(xiàn)實沉浸式監(jiān)視與沉浸式控制交互功能。

基于虛擬現(xiàn)實的沉浸式遙操作系統(tǒng)接入實際機械臂控制操作系統(tǒng)，最后可將虛擬輸入指令傳輸至機械臂控制操作系統(tǒng)進行控制。

圖1 基于虛擬現(xiàn)實的沉浸式遙操作系統(tǒng)系統(tǒng)框架

1.2 全景拼接技術(shù)

基于虛擬現(xiàn)實的沉浸式遙操作系統(tǒng)采用雙魚眼鏡頭拼接，單一魚眼鏡頭具備超廣角，可覆蓋視場角大于180°，雙魚眼全景拼接較為高效，在滿足全景監(jiān)視的效果下可做到高實時性。在作業(yè)區(qū)域設置一對網(wǎng)絡魚眼攝像頭，一正一反安置以覆蓋大于360°作業(yè)區(qū)域，實時獲取視頻流數(shù)據(jù)并通過無線網(wǎng)絡傳輸至服務器，進行后續(xù)的圖像拼接處理。

1.2.1 圖像特征匹配融合

圖像特征提取與匹配是計算機視覺技術(shù)的一種技術(shù)方法，可提取圖像或視頻中的色彩紋理形狀的特征信息并進行描述與匹配，在此基礎上的圖像特征匹配融合是將兩個魚眼監(jiān)視畫面通過特征匹配的方法，對監(jiān)視畫面進行特征點配準、圖像裁剪與縫合。實現(xiàn)流程如下：魚眼視頻流輸入1/魚眼視頻流輸入2-視頻流解析提取-圖像幀同步及予處理-特征點匹配-旋轉(zhuǎn)角計算-雙旋轉(zhuǎn)矩陣計算-圖像融合。首先對雙魚眼視頻流進行提取，在進行圖像幀同步及預處理后，使用圖像映射的方法將兩個魚眼的原始圖像映射在球面，然后在兩者產(chǎn)生重疊區(qū)域位置進行特征點查找與匹配，使用矩陣變換的方法對齊匹配的特征，將兩個魚眼畫面拼合成一個360°全景畫面，生成拼接重疊區(qū)域。

采用基于圖割能量優(yōu)化[1]的方法尋找最優(yōu)縫合線，將圖像中的像素點視為圖中的節(jié)點，相鄰的像素間存在一條無向帶權(quán)邊，圖結(jié)構(gòu)由待拼接的兩幅圖像的重疊區(qū)域生成。權(quán)重能量函數(shù)計算公式一般為通過多波段融合獲得疊加區(qū)域，然后縫合左右兩邊的原圖像，按距離加權(quán)對重疊圖像進行加權(quán)融合?？p合線單邊加權(quán)融合過程可表示為。

1.2.2 圖像融合亮度補償

由于不同視角區(qū)域的光照強度不同，魚眼攝像頭的視頻流在曝光度會存在差異，在重疊區(qū)域完成對齊匹配后，利用亮度補償來對匹配重疊區(qū)域與之相鄰的邊緣區(qū)域進行圖像融合。首先選取完成對齊后的重疊區(qū)域并向周邊拓展1/5重疊區(qū)域范圍，測算得出兩個重疊區(qū)域的平均灰度值；選取重疊區(qū)域并向內(nèi)拓展1/5重疊區(qū)域，求出一個加權(quán)平均值。然后重新調(diào)整兩個全景畫面的亮度，并在重疊區(qū)域?qū)崿F(xiàn)亮度過渡。

1.3 虛擬現(xiàn)實技術(shù)

Inside-out 空間定位：目前光學定位技術(shù)分為Inside-out 內(nèi)向外追蹤技術(shù)與Outside-in 外向內(nèi)追蹤技術(shù)。由于操作室空間范圍小，頭戴顯示器與虛擬現(xiàn)實手柄易被遮擋出現(xiàn)光學盲區(qū)。Inside-out內(nèi)向外追蹤技術(shù)可不受遮擋問題影響，也不受傳感器監(jiān)測范圍限制，適用于小空間虛擬操作空間定位。本項目采用了Inside-out 虛擬現(xiàn)實頭戴式顯示器。設備置于操作室中，通過設備上的6個光學攝像頭捕獲操作室內(nèi)的圖像數(shù)據(jù)，使用三角定位算法將圖像數(shù)據(jù)提取為空間特征點錨定，從而定位操作室內(nèi)空間。在操作手柄的定位中同樣使用光學特征匹配手柄位置，然后配合更高效的運動跟蹤算法實時追蹤手柄位置，以達到在小空間內(nèi)的操控定位。

虛擬現(xiàn)實顯示技術(shù)：通過模擬視覺反饋的方式將作業(yè)人員從真實空間帶入虛擬沉浸空間，并通過三維空間運算計算沉浸式交互反饋，給作業(yè)人員身臨其境的沉浸式體驗。本項目采用投影映射方式，首先獲取拼接完成的全景視屏流數(shù)據(jù)，將其通過UV 空間映射展開，在三維渲染引擎中映射于球體模型上并對其進行紋理渲染，這樣就可獲得360°無死角的球形全景監(jiān)視畫面。將攝像機設置在球體中心，使用由攝像機發(fā)出的錐形區(qū)域裁剪球面，經(jīng)過幾何運算和光柵化后分別輸出左右眼渲染畫面至頭戴式顯示器。虛擬現(xiàn)實頭戴顯示器是一種成像顯示設備，主要是為將渲染輸出的圖像畫面通過小型高分辨率屏幕顯示，在屏幕與人眼間增加一塊凸透鏡，屏幕光通凸透鏡偏著后傳入人眼，虛擬建立了人眼的可視焦距，作業(yè)人員實際看到的影像要更大更遠，可完全沉浸入虛擬場景中。

圖2 球形UV 空間映射

手部控制器交互：虛擬現(xiàn)實控制器為手握式手柄，控制手柄具備按鈕輸入功能、扳機輸入功能、搖桿輸入功能與自身姿態(tài)輸入功能。輸入數(shù)據(jù)通過藍牙傳輸至頭戴式顯示器，通過服務器進行交互邏輯與控制邏輯計算后將輸出至實際機械臂控制系統(tǒng)?？刂剖直邆涔鈱W特征可被頭戴顯示器的攝像頭捕獲定位。通過三角定位計算獲得控制手柄相對于頭戴顯示器的位置與姿態(tài)，通過多次坐標系變換，在錨定的虛擬顯示世界中計算出世界坐標與歐拉角，完成姿態(tài)計算。

2 硬件設計及軟件設計

2.1 魚眼攝像機

本文采用兩個相同配置的魚眼攝像機捕獲作業(yè)區(qū)域影像，選用?？低旸S-2CD3955FWDIWS。該魚眼攝像機支持500萬像素逐行掃描CMOS，最大可輸出2560×1920@30fps 實時監(jiān)視圖像；支持日夜兩套參數(shù)獨立配置，支持smart IR與ICR 紅外濾片式自動切換，可防止夜間紅外過曝；具有多種白平衡模式，支持背光補償,適應不同作業(yè)監(jiān)視環(huán)境；支持無線網(wǎng)絡傳輸，傳輸距離可達50米；支持H264與H265編碼方式。該攝像頭具有一個電源接口、一個485接口、一個網(wǎng)口、一個音頻輸入輸出接口與一個報警器接口，具備清晰度高、環(huán)境適應性好、穩(wěn)定性高、魚眼邊緣扭曲小等特性，非常適合用來捕獲機械臂作業(yè)區(qū)域影像，其參數(shù)配置如下。

圖像處理：支持畫面矯正，支持背光補償，3D數(shù)字降噪；傳感器類型1/2.5”Progressive Scan CMOS；視頻壓縮標準Smart265/H.265/Smart264/H.264/MJPEG；主碼流分辨率與幀率：50Hz時為25fps(2560x1920,2048x1536,1280x960)、60Hz時為30fps(2560x1920,2048x1536, 1280x960)；支持協(xié)議：TCP/IP,UDP,ARP,ICMP,HTTP,HTTPS,FTP,DHCP,DNS,DDNS,RTP,RTSP,RTCP,PP PoE,NTP,UPnP,SMTP,SNMP,IGMP,802.1X,Q oS,IPv6,Bonjour；通訊接口：1個RJ4510M/100M自適應以太網(wǎng)口；無線指標：2.4GHz，50米無遮擋無干擾傳輸11b:11Mbps 11g:54Mbps 11n:上限150Mbps；工作環(huán)境：-10℃～40℃,濕度小于95%(無凝結(jié))；電源功耗：DC12V±25%//PoE(802.3af)，6.7WMAX；尺寸：?119.9×41.2mm。

2.2 虛擬現(xiàn)實服務器

本文選用虛擬現(xiàn)實服務器為惠普（HP）Z1G6-Z4臺式工作站，具有高性能圖形渲染能力與強大的中央處理計算能力，能夠同時完成視頻流圖像實時拼接與虛擬現(xiàn)實映射渲染。在主要的硬件配置上，該服務器選用的CPU 為八核英特爾酷睿七代處理器，運算速度為2.9GHz；GPU 采用的為英偉達RTX2080S,顯存8Gb,圖像渲染效果較好；內(nèi)存采用的為16G 雙通道內(nèi)存；硬盤選用2T 的大容量硬盤配合256G 的固態(tài)硬盤。性能上該服務器足夠滿足系統(tǒng)的正常運行且外圍接口豐富，可方便的進行升級和擴展。

2.3 虛擬現(xiàn)實頭戴顯示器及控制器

虛擬現(xiàn)實頭戴顯示器是作人員佩戴的成像顯示終端，本文采用HTC VIVE COSMOS頭盔為Inside-out定位，其具備高清的pixel-packed LCD屏，支持real-RGB色彩顯示，屏幕可見光通過菲涅爾式透鏡傳入人眼，可調(diào)節(jié)屈光度且無明顯的紗窗效應。支持對周圍環(huán)境圖像降噪拼接，在顯示器中模擬顯示真實環(huán)境。頭盔在同類產(chǎn)品中具有重量輕、分辨率高、對空間依賴度低等特點。其參數(shù)配置如下：pixel-packed Real RGB LCD顯示屏；分辨率2880×1700雙目；視場角最大110度；刷新率90Hz；傳感器G-sensor校正、gyroscope陀螺儀、proximity距離感測器、瞳距校正感測器；接口USB3.0、Displayport1.2；機身寬度199mm、機身高度145mm、機身長度275mm。

虛擬現(xiàn)實控制器是作業(yè)人員人機交互輸入端，本文選取VIVE COSMOS 操控手柄，該手柄的控制按鍵具備touch 檢測、press 檢測功能，使用方便（圖3）。

圖3 VIVE COSMOS 手柄按鍵

2.4 軟件設計

基于向虛擬現(xiàn)實的沉浸式遙操作系統(tǒng)軟件基于Unity3D2019.3.4版本，使用Visual studio2015開發(fā)工具，開發(fā)語言為C#，軟件系統(tǒng)包含如下功能模塊：

串流獲取模塊：對攝像機采集的RTSP 網(wǎng)絡視頻串流進行讀??；H265編碼解碼模塊：對網(wǎng)絡串流H265編碼格式進行解碼，獲得實時視頻畫面；全景拼接模塊：負責對兩個魚眼實時監(jiān)視畫面進行圖像特征匹配拼合，并完成曝光補償與畫面融合；全景映射模塊：通過對魚眼全景拼接畫面的UV 空間映射，完成360°的全景球形圖像；虛擬現(xiàn)實渲染模塊：負責實現(xiàn)攝像機錐形裁剪、頂點shader 渲染、三角面繪制與圖像柵格化，最終輸出DP 信號至頭戴式顯示器。

光學定位模塊：實現(xiàn)對頭戴式顯示器進行空間定位與補償，并對控制器進行光學定位；控制器渲染模塊：在虛擬場景中對控制器的形狀、色彩進行描繪并最終渲染顯示，為作業(yè)人員提供視覺反饋和輔助信息；控制器輸入模塊：通過對控制器按鈕搖桿及其自身位置的實時狀態(tài)檢測，獲得控制器的輸入操作；控制設備接口模塊：與機械臂設備建立通信接口，將控制器輸入操作綁定至機械臂設備；網(wǎng)絡通信模塊：負責服務器與全景攝像機、機械臂設備間的網(wǎng)絡通信。

3 結(jié)語

高壓電氣設備及電力傳輸線路是維系社會正常運轉(zhuǎn)的重要基礎設施之一，在電力輸送的任意一環(huán)出現(xiàn)故障都會導致嚴重的經(jīng)濟損失，在問題出現(xiàn)后的高效搶修是非常重要的。本文提出一種基于向虛擬現(xiàn)實的沉浸式遙操作系統(tǒng)，該設備用于高壓電力作業(yè)區(qū)域的機械臂遙操作控制，可實現(xiàn)全景圖像采集與融合、虛擬現(xiàn)實沉浸式實時監(jiān)測、手柄定位操作與輸入。該裝置能安全可靠完成高壓作業(yè)區(qū)域遙操作的區(qū)域監(jiān)視與操作人機交互，提高了高壓作業(yè)區(qū)域遙操作的準確性，提升了效率。