宋立立，孫妍

（北京市建筑設(shè)計(jì)研究院有限公司，北京 100045）

變電站中包含很多大型且危險(xiǎn)的電氣設(shè)備，其中有些設(shè)備長期暴露在室外，在長時(shí)間的風(fēng)吹日曬下，難以避免地會(huì)出現(xiàn)各種各樣的問題，因此為保證變電站能夠持續(xù)運(yùn)行，需要進(jìn)行定期檢修作業(yè)[1]。在此背景下，相關(guān)學(xué)者提出了各種安全檢驗(yàn)措施，如利用無人機(jī)或者智能機(jī)器人代替人工進(jìn)行巡檢作業(yè)，這樣避免了檢修人員直接接觸高壓設(shè)備，但是這種無接觸的檢修方法并不像人一樣靈活，尤其針對一些細(xì)小問題，難以準(zhǔn)確把握，可用性不高，很難進(jìn)行精準(zhǔn)維修[2-3]。

針對上述問題，隨著VR 技術(shù)的出現(xiàn)和應(yīng)用，構(gòu)建一種基于AR 技術(shù)的10 kV 變電站作業(yè)安全態(tài)勢視覺識別模型。

1 安全態(tài)勢視覺識別

變電站巡檢作業(yè)是為保證電力設(shè)備正常而進(jìn)行的常規(guī)檢修工作[4]，一般情況下需要帶電作業(yè)，危險(xiǎn)性極高[5]。為了能夠準(zhǔn)確掌握現(xiàn)場作業(yè)狀態(tài)，提高工作人員操作安全性，該研究將AR 技術(shù)應(yīng)用到變電站檢修工作中，并為此設(shè)計(jì)一種基于AR 的10 kV 變電站作業(yè)安全態(tài)勢視覺識別模型。該模型研究主要分為三部分，包括三維虛擬場景、基于AR 技術(shù)的作業(yè)跟蹤以及作業(yè)安全態(tài)勢視覺識別。

1.1 10 kV變電站三維虛擬場景構(gòu)建

以往變電站作業(yè)全程監(jiān)控可視化顯示多為二維圖像，圖像中顯示的信息詳細(xì)程度不夠，因此本章節(jié)在作業(yè)前，構(gòu)建可視化三維虛擬場景，然后與內(nèi)置標(biāo)準(zhǔn)三維模型進(jìn)行對比，發(fā)現(xiàn)現(xiàn)場故障點(diǎn)[6]。

1）10 kV 變電站場景點(diǎn)云數(shù)據(jù)采集

當(dāng)發(fā)生故障后，只是對變電站基礎(chǔ)設(shè)備作出故障指示，無法實(shí)現(xiàn)精準(zhǔn)定位；人工作業(yè)占絕大比重，需要人工進(jìn)行單項(xiàng)作業(yè)與檢查，浪費(fèi)人力物力；多數(shù)線纜無法進(jìn)行故障定位的統(tǒng)一管理；沒有故障診斷系統(tǒng)平臺進(jìn)行統(tǒng)一分析。而三維虛擬場景建模的前提和基礎(chǔ)是獲得場景的三維信息。場景三維信息獲取方法有很多種，在該研究當(dāng)中，通過三維激光掃描儀采集目標(biāo)場景的點(diǎn)云數(shù)據(jù)。原理是向著目標(biāo)場景發(fā)送激光束，當(dāng)激光達(dá)到目標(biāo)后，會(huì)被反射回，采集這些反射回的點(diǎn)云數(shù)據(jù)，即可完成基礎(chǔ)的10 kV 變電站場景點(diǎn)云數(shù)據(jù)采集工作[7]。

2）點(diǎn)云數(shù)據(jù)預(yù)處理

針對采集到的點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理。

①去除噪聲，步驟如下：

步驟1：設(shè)置相關(guān)參數(shù)，包括點(diǎn)之間的領(lǐng)域大小N以及縮放因子P；

步驟2：隨機(jī)選擇一個(gè)點(diǎn)云數(shù)據(jù)S作為中心，獲取領(lǐng)域N范圍內(nèi)所有的點(diǎn)云數(shù)據(jù)；

步驟3：計(jì)算領(lǐng)域點(diǎn)i與S之間的距離，如式（1）所示：

式中，di代表領(lǐng)域點(diǎn)i與S之間的距離；(xS,yS,zS)代表點(diǎn)云S的三維坐標(biāo)；(xi,yi,zi)代表領(lǐng)域點(diǎn)i的三維坐標(biāo)。

步驟4：重復(fù)上述過程，計(jì)算出所有領(lǐng)域點(diǎn)與S之間的距離，并相加，如式（2）所示：

式中，n代表領(lǐng)域點(diǎn)數(shù)量；D代表距離總值。

步驟5：計(jì)算平均距離值Dˉ，以此作為點(diǎn)云數(shù)據(jù)S的密度參數(shù)特征，如式（3）所示：

步驟6：重復(fù)上述過程，遍歷所有點(diǎn)云數(shù)據(jù)，得到所有點(diǎn)云數(shù)據(jù)的密度參數(shù)特征：

步驟7：將所有點(diǎn)云數(shù)據(jù)的密度參數(shù)特征相加；

步驟8：計(jì)算平均值Gˉ以及方差g；

步驟9：由平均值和方差設(shè)置噪聲點(diǎn)判斷閾值，記為(H1,H2)。H1、H2 如式（4）所示：

步驟10：判斷點(diǎn)云數(shù)據(jù)是否在(H1,H2)范圍內(nèi)，若在范圍外，則認(rèn)為點(diǎn)為噪聲點(diǎn)，直接去除掉即可[8]。

②點(diǎn)云數(shù)據(jù)縮減，步驟如下：

步驟1：點(diǎn)云數(shù)據(jù)輸入；

步驟2：以此建立K-D 樹索引；

步驟3：計(jì)算第一個(gè)點(diǎn)開的周圍最近的K個(gè)領(lǐng)域點(diǎn)，以此建立點(diǎn)集合；

步驟4：計(jì)算點(diǎn)集合的協(xié)方差，并建立矩陣；

步驟5：計(jì)算協(xié)方差矩陣的三個(gè)特征值；

步驟6：根據(jù)特征值，計(jì)算曲面變化量值；

步驟7：判斷步驟6 結(jié)果是否大于設(shè)定的閾值，若小于閾值，則認(rèn)為該點(diǎn)為冗余點(diǎn)，需要?jiǎng)h除；

步驟8：重復(fù)上述過程，遍歷所有點(diǎn)云數(shù)據(jù)，完成點(diǎn)云數(shù)據(jù)縮減[9]。

3）表面重建

將點(diǎn)云數(shù)據(jù)連接起來，構(gòu)成真實(shí)場景的幾何信息，進(jìn)行表面重建[10]。在這里采用Delaunay 算法進(jìn)行表面重建，過程如下：

步驟1：定義一個(gè)足夠大的三角形，能夠?qū)⑺悬c(diǎn)云數(shù)據(jù)包圍起來；

步驟2：在三角形內(nèi)隨機(jī)選擇三個(gè)點(diǎn)，組成一個(gè)小三角形；

步驟3：隨機(jī)選擇一個(gè)點(diǎn)插入；

步驟4：當(dāng)插入點(diǎn)在小三角形內(nèi)時(shí)，將該點(diǎn)與小三角形的三個(gè)點(diǎn)連接，合成新的三角形；

步驟5：進(jìn)行遞歸迭代運(yùn)算，將所有點(diǎn)都處理完畢，完成表面重建。

4）紋理映射

為增加虛擬場景的真實(shí)感，進(jìn)行紋理映射，即在表面模型上披上外衣[11]。過程如下：

步驟1：采集場景紋理圖像；

步驟2：將紋理的u、v坐標(biāo)映射為幾何坐標(biāo)；

步驟3：調(diào)整紋理圖像的顏色和陰影；

步驟4：將紋理圖像與表面模型進(jìn)行融合；

步驟5：紋理過濾處理，優(yōu)化紋理映射效果。

經(jīng)過上述一系列過程，完成了AR 技術(shù)中的三維虛擬場景建模環(huán)節(jié)[12]。利用AR 技術(shù)將內(nèi)置標(biāo)準(zhǔn)三維模型與現(xiàn)場實(shí)際場景比對，發(fā)現(xiàn)現(xiàn)場故障點(diǎn)以及危險(xiǎn)點(diǎn)，參考檢修數(shù)據(jù)庫，制定檢修方案，為后續(xù)分析奠定了基礎(chǔ)。

1.2 基于AR設(shè)備的作業(yè)跟蹤

基于上述建立的虛擬場景模型以及AR 設(shè)備，對檢修人員的現(xiàn)場作業(yè)狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，以便及時(shí)發(fā)現(xiàn)危險(xiǎn)操作，完成了后臺指揮管理人員與檢修人員的實(shí)時(shí)溝通[13]?；贏R 設(shè)備的作業(yè)跟蹤方法如圖1 所示。

圖1 基于AR設(shè)備的作業(yè)跟蹤方法框圖

為了能夠?qū)崟r(shí)了解操作人員的作業(yè)動(dòng)態(tài)，需要讓檢修人員穿戴AR 智能設(shè)備，實(shí)時(shí)跟蹤檢修人員動(dòng)作，然后顯示到后臺，帶動(dòng)后臺虛擬場景人物動(dòng)作。這時(shí)后臺人員就可以在顯示屏上全方位觀察到現(xiàn)場作業(yè)狀態(tài)，然后通過AR 設(shè)備進(jìn)行現(xiàn)場指導(dǎo)，以便及時(shí)規(guī)避風(fēng)險(xiǎn)[14]。

在基于AR 設(shè)備的作業(yè)跟蹤過程中，虛擬人物建模是必不可少的，需要借助Iclone 軟件建立虛擬人物模型，具體過程如下：

步驟1：建立虛擬人體的樹型骨骼模型，一般情況下，若是作業(yè)多集中在手部動(dòng)作，只建立手部骨骼模型即可[15]；

步驟2：骨骼蒙皮，即在人體樹型骨骼外添加一層人類皮膚和服裝，使得人物更加形象；

步驟3：基于AR 設(shè)備捕捉人體動(dòng)作；

步驟4：將人體動(dòng)作與虛擬人物模型擬合在一起，使得虛擬人員模型具備行動(dòng)力，虛擬檢修人員就具備了與現(xiàn)實(shí)檢修人員同步的能力。

應(yīng)用AR 可穿戴設(shè)備，將檢修人員在現(xiàn)場環(huán)境中的操作通過虛擬顯示屏，“零距離”交互至終端，減少中間環(huán)節(jié)，保證交互的實(shí)時(shí)性和高效性，完成了對變電站作業(yè)的實(shí)時(shí)跟蹤。

1.3 作業(yè)風(fēng)險(xiǎn)視覺識別

作業(yè)風(fēng)險(xiǎn)視覺識別主要原理是根據(jù)對比虛擬人物的標(biāo)準(zhǔn)作業(yè)動(dòng)作檢測檢修人員在作業(yè)過程中存在的不當(dāng)行為，然后反饋給后臺，并發(fā)出報(bào)警信號，后臺通過VR 設(shè)備及時(shí)與現(xiàn)場工作人員進(jìn)行溝通，并給出指導(dǎo)[16]。這樣就能實(shí)時(shí)、全面掌握作業(yè)現(xiàn)場環(huán)境，對10 kV 變電站作業(yè)狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，及時(shí)幫助現(xiàn)場作業(yè)人員規(guī)避風(fēng)險(xiǎn)，保證人員安全。具體過程如下：

步驟1：輸入基準(zhǔn)10 kV 變電站作業(yè)動(dòng)作圖像；

步驟2：輸入虛擬人物實(shí)際10 kV 變電站作業(yè)動(dòng)作圖像；

步驟3：對基準(zhǔn)動(dòng)作圖像和實(shí)際動(dòng)作圖像進(jìn)行預(yù)處理。具體如下：

1）圖像灰度化函數(shù)如式（5）所示：

式中，R(i,j)、G(i,j)、B(i,j)代表色彩三分量。選擇三個(gè)中的最大值代替其他兩個(gè)色彩分量的值，進(jìn)行圖像灰度化。

2）圖像去噪函數(shù)如式（6）所示：

式中，ξ為像素均值；ψ(i,j)代表濾波窗口內(nèi)(i,j)位置處的圖像像素；s代表濾波窗口；M代表s內(nèi)像素點(diǎn)的總數(shù)；m代表濾波窗口尺寸。將ξ代替圖像中濾波窗口中心點(diǎn)像的素值，進(jìn)行去噪。

步驟4：背景切割，即通過背景判定公式鎖定背景部分，然后進(jìn)行去除。背景判定公式如式（7）所示：

式中，0 為背景值，255 為目標(biāo)值，T為設(shè)定的閾值，γk(i,j)為前后幀圖像相減結(jié)果，λk(i,j)是二值化圖像。

細(xì)化表示如式（8）所示：

式中，?k(i,j)和?k-1(i,j)為第k幀和第k-1 幀圖像像素。

步驟5：利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行風(fēng)險(xiǎn)動(dòng)作識別。具體過程如下：

1）輸入訓(xùn)練樣本；

2）卷積神經(jīng)網(wǎng)絡(luò)初始化，并設(shè)置相關(guān)參數(shù)；

3）輸入訓(xùn)練到卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中；

4）經(jīng)過卷積層提取圖像樣本中的檢修人員動(dòng)作特征；

5）經(jīng)過池化層對特征進(jìn)行精簡；

6）通過全連接層將所有特征關(guān)聯(lián)到一起，進(jìn)行監(jiān)測信息的特征級融合；

7）利用softmax 分類器識別存在安全風(fēng)險(xiǎn)的動(dòng)作，過程如圖2 所示。

圖2 安全態(tài)勢視覺識別流程

圖2中，利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，輸入測試樣本，即可完成10 kV變電站作業(yè)安全態(tài)勢視覺識別。

2 應(yīng)用測試與分析

為測試所構(gòu)建模型在10 kV 變電站作業(yè)安全態(tài)勢視覺識別中的應(yīng)用效果，進(jìn)行應(yīng)用測試。

2.1 虛擬三維場景

以某10 kV 變電站一部分場景為例，首先，利用三維激光掃描儀采集點(diǎn)云數(shù)據(jù)，然后，借助三維建模軟件MultiGen Creator 建立關(guān)于10 kV 變電站三維虛擬場景，用于后續(xù)分析。10 kV 變電站虛擬三維場景如圖3 所示。

圖3 10 kV變電站虛擬三維場景

2.2 虛擬人物構(gòu)建

借助Iclone軟件建立虛擬人物模型，如圖4所示。

圖4 虛擬人物模型

2.3 動(dòng)作設(shè)計(jì)

為測試識別模型的應(yīng)用效果，令工作人員按照一般變電站作業(yè)流程進(jìn)行作業(yè)，然后在其中部分環(huán)節(jié)為檢修人員設(shè)計(jì)一些動(dòng)作，其中正確動(dòng)作有5 個(gè)，錯(cuò)誤動(dòng)作5 個(gè)。設(shè)計(jì)方案如表1 所示。

表1 動(dòng)作設(shè)計(jì)方案

2.4 可穿戴AR設(shè)備

通過可穿戴AR 設(shè)備，將表1 動(dòng)作同步給虛擬人物，然后虛擬人物在虛擬三維場景進(jìn)行相應(yīng)的作業(yè)，最后按照1.3節(jié)流程識別變電站作業(yè)安全態(tài)勢。以其中一個(gè)錯(cuò)誤動(dòng)作為例，識別結(jié)果如圖5 所示。

圖5 未經(jīng)授權(quán)進(jìn)入風(fēng)險(xiǎn)區(qū)風(fēng)險(xiǎn)識別

識別所有作業(yè)動(dòng)作，識別結(jié)果如表2 所示。

表2 作業(yè)動(dòng)作識別結(jié)果

對比表2 和表1 可以看出，應(yīng)用所研究模型，10 kV 變電站作業(yè)安全態(tài)勢視覺識別結(jié)果與所設(shè)計(jì)動(dòng)作類型相一致，說明所構(gòu)建的模型能夠準(zhǔn)確尋找出變電站作業(yè)過程中存在的風(fēng)險(xiǎn)因素，為工作人員提供了重要的安全保證。

在表2中，隨機(jī)選取四個(gè)動(dòng)作，重新標(biāo)記為動(dòng)作1-動(dòng)作4，在規(guī)定的作業(yè)風(fēng)險(xiǎn)視覺圖像中，進(jìn)行灰度圖像、背景切割圖像和基準(zhǔn)動(dòng)作圖像的分析，對比實(shí)際動(dòng)作圖像的最大幀數(shù)，分析前后幀圖像相減結(jié)果，進(jìn)一步確認(rèn)風(fēng)險(xiǎn)動(dòng)作識別效果，分析結(jié)果如圖6 所示。

圖6 不同動(dòng)作的圖像匹配幀數(shù)

圖6 中，灰度圖像、背景切割圖像和基準(zhǔn)動(dòng)作圖像的最大幀數(shù)分析結(jié)果顯示，與實(shí)際動(dòng)作圖像相符，能夠動(dòng)態(tài)識別識別檢修人員在作業(yè)過程中存在的不當(dāng)行為，并減少安全態(tài)勢視覺識別效果異常卡頓的問題。

3 結(jié)束語

該文完成了基于AR 技術(shù)的10 kV 變電站作業(yè)安全態(tài)勢視覺識別模型研究，應(yīng)用AR 技術(shù)與Delaunay 算法，構(gòu)建10 kV 變電站作業(yè)安全三維虛擬場景，借助AR 設(shè)備進(jìn)行變電站檢修作業(yè)跟蹤，實(shí)時(shí)顯示變電站作業(yè)狀態(tài)，視覺識別檢修人員在作業(yè)過程中存在的不當(dāng)行為，并證明了所研究模型的有效性，完成了作業(yè)風(fēng)險(xiǎn)識別任務(wù)。