權(quán) 杰,李富祥,常政威,丁宣文,杜春忠

(1.國網(wǎng)四川省電力公司,四川 成都 610041;2.國網(wǎng)四川省電力公司電力科學(xué)研究院,四川 成都 610041;3.華能西藏雅魯藏布江水電開發(fā)投資有限公司,西藏 拉薩 850000)

0 引 言

在電力生產(chǎn)過程中,安全監(jiān)督對于保證作業(yè)人員的安全具有重要意義[1]。電力作業(yè)現(xiàn)場現(xiàn)有的安全監(jiān)督主要包括作業(yè)班組監(jiān)護(hù)人監(jiān)護(hù)、領(lǐng)導(dǎo)或管理人員到崗到位檢查、安監(jiān)專業(yè)人員安全督查以及相關(guān)人員“四不兩直”安全巡查等形式,均受到人員主觀能動(dòng)性、業(yè)務(wù)水平及監(jiān)督檢查覆蓋率等限制。近年來,借助基建和生產(chǎn)作業(yè)現(xiàn)場便攜式視頻終端、變電站站內(nèi)視頻監(jiān)控以及移動(dòng)互聯(lián)網(wǎng)系統(tǒng)開展遠(yuǎn)程監(jiān)督,可實(shí)現(xiàn)遠(yuǎn)程實(shí)時(shí)監(jiān)控、遠(yuǎn)程資料查閱以及全程錄像備查,提高了監(jiān)督檢查覆蓋率和威懾力,但也存在著不能近距離和多角度準(zhǔn)確監(jiān)督、難以長時(shí)間集中精力專注監(jiān)督以及無法在線實(shí)時(shí)智能分析、風(fēng)險(xiǎn)預(yù)警等不足,安全監(jiān)督手段仍然需要進(jìn)一步創(chuàng)新。

相比完全靠人進(jìn)行安全監(jiān)督的傳統(tǒng)方式,依靠智能化的機(jī)器人開展安全監(jiān)督能充分展現(xiàn)“機(jī)器代人”的優(yōu)勢,與人容易出現(xiàn)疏忽、監(jiān)督水平參差不齊以及固定攝像頭受局限相比,智能安全監(jiān)督機(jī)器人可實(shí)現(xiàn)移動(dòng)、智能、一絲不茍的全過程監(jiān)督,彌補(bǔ)僅靠人監(jiān)督人的不足,切實(shí)提高監(jiān)督質(zhì)效。

經(jīng)統(tǒng)計(jì),電力作業(yè)現(xiàn)場的違章大部分都屬于行為違章,其次是管理違章,再次是裝置違章;同時(shí)行為違章也是最容易引發(fā)人身傷亡的一類違章。因此,下面針對電力作業(yè)現(xiàn)場的安全生產(chǎn)行為提出了以機(jī)器人為載體的智能監(jiān)督方法,智能監(jiān)督技術(shù)是研究的重點(diǎn)。

1 智能安全監(jiān)督內(nèi)容及方法

電力作業(yè)現(xiàn)場智能安全監(jiān)督主要是指以機(jī)器人為載體,通過高分辨率可見光攝像機(jī)傳感設(shè)備,采用基于圖像處理分析算法提取視頻源的結(jié)構(gòu)特征,實(shí)現(xiàn)安全生產(chǎn)行為實(shí)時(shí)監(jiān)控;同時(shí),通過建立多層次的特征標(biāo)準(zhǔn)庫,利用基于特征庫的機(jī)器學(xué)習(xí)系統(tǒng),提高機(jī)器人的識(shí)別成功率,從而提高安全監(jiān)督的有效性。

結(jié)合電力作業(yè)現(xiàn)場特點(diǎn),不安全生產(chǎn)行為一般有不掛接地線、不系安全帶、不戴安全帽、誤入試驗(yàn)(帶電)區(qū)域、吊臂下站人、監(jiān)護(hù)不到位等。針對這些典型違章,展開安全生產(chǎn)行為智能監(jiān)督研究。

1.1 設(shè)備接地操作監(jiān)督

主要監(jiān)督在變壓器耐壓、局部放電等高壓試驗(yàn)結(jié)束后,工作人員是否用接地棒對高壓被試設(shè)備表面進(jìn)行接地操作。系統(tǒng)判定流程如圖1所示。智能安全監(jiān)督系統(tǒng)獲取攝像頭圖像,同時(shí)獲取標(biāo)準(zhǔn)特征庫特征,使用單目標(biāo)模板匹配算法,獲取標(biāo)定區(qū)域,以此獲得接地棒區(qū)域以及接地操作區(qū)域。再利用基于混合高斯背景建模技術(shù)的背景差分減除算法,實(shí)時(shí)監(jiān)督接地棒是否拿起以及接地操作是否完成。

圖1 設(shè)備接地操作監(jiān)督流程

1.2 安全帶(帽)穿戴監(jiān)督

主要監(jiān)督在現(xiàn)場作業(yè)過程中,高處作業(yè)人員是否穿戴安全帶以及現(xiàn)場作業(yè)人員是否佩戴安全帽。系統(tǒng)判定流程如圖2所示。智能安全監(jiān)督系統(tǒng)獲取攝像頭圖像,利用基于方向梯度直方圖(histogram of oriented gradient,HOG)特征的支持向量機(jī)(support vector machine,SVM)分類器,檢測畫面中的工作人員,再提取感興趣區(qū)域(region of interest,ROI)作為新的檢測對象并利用混合高斯背景模型建立背景圖。預(yù)先提取安全帶(帽)顏色,獲得ROI區(qū)域與安全帶(帽)同顏色范圍A;然后獲得ROI區(qū)域運(yùn)動(dòng)區(qū)域范圍B。系統(tǒng)將A和B做交集運(yùn)算,得到檢測結(jié)果,實(shí)現(xiàn)安全帶(帽)穿戴實(shí)時(shí)監(jiān)督。

圖2 安全帶(帽)穿戴監(jiān)督流程

1.3 目標(biāo)入侵監(jiān)督

主要監(jiān)督在現(xiàn)場作業(yè)過程中,是否有目標(biāo)入侵到根據(jù)真實(shí)圍欄所劃分的虛擬圍欄內(nèi)。系統(tǒng)判定流程如圖3所示。智能安全監(jiān)督系統(tǒng)獲取攝像頭圖像,同時(shí)獲取標(biāo)準(zhǔn)特征庫特征,使用單目標(biāo)模板匹配算法,獲取標(biāo)定區(qū)域;然后,用漫水填充算法獲得具體虛擬圍欄區(qū)域,再利用三幀差分法檢測到運(yùn)動(dòng)目標(biāo);最后,用人員闖入檢測算法判斷運(yùn)動(dòng)目標(biāo)是否闖入虛擬圍欄區(qū)域。

圖3 目標(biāo)入侵監(jiān)督流程

1.4 吊臂下危險(xiǎn)源監(jiān)督

主要監(jiān)督在變電站現(xiàn)場作業(yè)過程中,高空作業(yè)車的吊臂等危險(xiǎn)源下方是否有工作人員。系統(tǒng)判定流程如圖4所示。智能安全監(jiān)督系統(tǒng)獲取攝像頭圖像,同時(shí)獲取標(biāo)準(zhǔn)特征庫特征,使用單目標(biāo)模板匹配算法,獲取標(biāo)定區(qū)域;通過標(biāo)定區(qū)域以及漫水填充算法就可以獲得吊臂下方危險(xiǎn)區(qū)域;再利用HOG+SVM進(jìn)行危險(xiǎn)區(qū)域周圍的人員檢測并利用人員闖入算法判斷人員是否在危險(xiǎn)區(qū)域。

圖4 吊臂下危險(xiǎn)源監(jiān)督流程

1.5 叉車人員協(xié)助監(jiān)督

主要監(jiān)督在現(xiàn)場作業(yè)過程中,是否有工作人員在裝載電力設(shè)備的叉車邊進(jìn)行協(xié)助工作。系統(tǒng)判定流程如圖5所示。智能安全監(jiān)督系統(tǒng)獲取攝像頭圖像,同時(shí)獲取標(biāo)準(zhǔn)特征庫特征,使用單目標(biāo)模板匹配算法獲取叉車位置;然后使用Meanshift算法實(shí)現(xiàn)對叉車的實(shí)時(shí)跟蹤;再利用基于HOG特征的SVM分類器,檢測畫面中的人;最后,根據(jù)安全距離,判斷畫面中檢測得到的人是否為叉車協(xié)助人員。

圖5 叉車人員協(xié)助監(jiān)督流程

2 智能安全監(jiān)督算法

為實(shí)現(xiàn)第1章中提到的智能安全監(jiān)督功能,采用了以下檢測分析處理算法。

2.1 人員檢測算法

基于統(tǒng)計(jì)學(xué)習(xí)的人員檢測算法流程如圖6所示。首先,進(jìn)行圖像特征提取,需要將大量含有識(shí)別目標(biāo)和不含識(shí)別目標(biāo)的圖片所組成的樣本集特征進(jìn)行提取;再使用分類算法對這些特征加以機(jī)器學(xué)習(xí)訓(xùn)練并得到分類器;然后,利用訓(xùn)練好的分類器進(jìn)行判別和檢測,即可確認(rèn)是否包含目標(biāo)[2]。

圖6 人員檢測算法流程

人員外觀的特征算子和特征分類器使用的是HOG算子和SVM分類器。HOG是一種經(jīng)典的對形狀特征(尤其是人體形狀特征)進(jìn)行描述的方法,與其他特征算子相比較,HOG有很多適合做人員檢測的優(yōu)點(diǎn),例如HOG特征提取是在輸入圖像的局部單元格上進(jìn)行操作,而不是對整體或者大面積圖像進(jìn)行操作,所以HOG特征具有良好的光學(xué)不變性和幾何不變性[1]。SVM 是一種二分類算法,可以理解為是分離兩類樣本的分類函數(shù)。SVM分類器原理就是取超平面,令不同類別間的特征距離最大化從而實(shí)現(xiàn)圖像快速分類[3],進(jìn)而實(shí)現(xiàn)二分類以達(dá)到人員識(shí)別、檢測的目的。HOG特征結(jié)合SVM分類器已經(jīng)被廣泛應(yīng)用于圖像識(shí)別中,尤其在人員檢測中獲得了極大的成功。

2.2 漫水填充算法

漫水填充算法的主要功能是把一片連通區(qū)域填滿,就是在圖像處理中給定一個(gè)種子點(diǎn)作為起始點(diǎn),向附近相鄰的像素點(diǎn)擴(kuò)散,把顏色相同或者相近的所有點(diǎn)都找出來,并填充上新的顏色使這些點(diǎn)形成一個(gè)連通的區(qū)域[4]。具體算法步驟如下:

1)標(biāo)記種子點(diǎn)M(x,y)的像素點(diǎn);

2)檢測該點(diǎn)的顏色,若它與邊界色和填充色均不同,就用填充色填充該點(diǎn),否則不填充;

3)檢測相鄰位置,繼續(xù)步驟2,這個(gè)過程持續(xù)到已遍歷區(qū)域邊界范圍內(nèi)的所有像素為止。

圖7為實(shí)驗(yàn)室演示實(shí)例,圖中四邊形ABCD中取一點(diǎn)M(x,y),記為種子點(diǎn),向四周填充為白色直到到達(dá)極值點(diǎn)即四邊形ABCD的邊,停止填充。此時(shí),形成如圖8所示的掩膜圖,掩膜圖在后期檢測人員闖入時(shí)將發(fā)揮關(guān)鍵作用。

圖7 漫水填充算法實(shí)驗(yàn)室演示實(shí)例

圖8 漫水填充算法形成的掩膜圖

2.3 運(yùn)動(dòng)目標(biāo)跟蹤與運(yùn)動(dòng)目標(biāo)檢測算法

2.3.1 運(yùn)動(dòng)目標(biāo)跟蹤算法

運(yùn)動(dòng)目標(biāo)跟蹤算法基于均值漂移(Mean Shift)算法,其實(shí)質(zhì)是一種梯度下降算法,通過不斷迭代直到收斂到相似性函數(shù)的局部極大值點(diǎn)[5]。Mean Shift基本思想為,假如在d維空間中存在n個(gè)樣本點(diǎn),那么在任意點(diǎn)x處的Mean Shift向量基本可定義為

(1)

式中:Sh是一個(gè)區(qū)域半徑為h的高維球;k為落入高維球區(qū)域Sh中的i個(gè)樣本點(diǎn)xi的個(gè)數(shù)。從式(1)可以得出,樣本點(diǎn)xi到x的偏移量為(xi-x),對k個(gè)Sh中(xi-x)的值求和,取得均值后賦值給Mean Shift向量Mh(x)。由于不同的采樣點(diǎn)到x的距離對于Mh(x)的最終結(jié)果影響很大,因此用核函數(shù)來表示樣本點(diǎn)距離對均值漂移計(jì)算的影響[5]。那么,Mean Shift形式就可以擴(kuò)展為

(2)

式中:G(x)為一個(gè)單位核函數(shù);w(xi)為采樣點(diǎn)xi的權(quán)值,w(xi)>0。

Mean Shift迭代步驟是以(xi-x)<ε時(shí)結(jié)束。假設(shè)給定x和核函數(shù)G(x),首先計(jì)算Mh(x),然后把Mh(x)賦值給x,直到不等式‖Mh(x)-x‖<ε成立才結(jié)束循環(huán),否則繼續(xù)執(zhí)行Mh(x)的計(jì)算[5]。

圖9為Mean Shift算法具體流程。以事先存儲(chǔ)的運(yùn)動(dòng)目標(biāo)區(qū)域作為輸入,將運(yùn)動(dòng)目標(biāo)區(qū)域確立為目標(biāo)搜索窗口的初始大小;在當(dāng)前幀中對目標(biāo)進(jìn)行建模,在下一幀圖像中,采用相似度度量函數(shù)計(jì)算出目標(biāo)模型與候選模型的相似度;當(dāng)滿足收斂條件時(shí)即確定目標(biāo)在當(dāng)前幀的位置,依此循環(huán)計(jì)算就可實(shí)現(xiàn)對目標(biāo)的跟蹤[6]。

圖9 Mean Shift算法流程

2.3.2 運(yùn)動(dòng)目標(biāo)檢測算法

圖像識(shí)別中運(yùn)動(dòng)目標(biāo)檢測運(yùn)用三幀差分法,將相鄰的三幀圖像作為一組進(jìn)行差分,這樣能較好地檢測出運(yùn)動(dòng)目標(biāo)輪廓。三幀差分流程如圖10所示。

圖10 三幀差分法流程

選取視頻流序列中的連續(xù)三幀圖像Ij-1(x,y)、Ij(x,y)、Ij+1(x,y),分別計(jì)算相鄰兩幀的差值。

d(j,j-1)(x,y)=|Ij(x,y)-Ij-1(x,y)|

(3)

d(j+1,j)(x,y)=|Ij+1(x,y)-Ij(x,y)|

(4)

對得到的差值圖通過選擇合適的閾值T進(jìn)行二值化。

(5)

(6)

在每個(gè)像素點(diǎn)(x,y)將得到的二值圖像進(jìn)行邏輯“與”運(yùn)算,進(jìn)而得到三幀圖像中的中間幀的二值圖像。

(7)

2.4 人員闖入檢測算法

該算法主要利用基于OpenCV的圖像處理技術(shù)。首先,通過程序劃分警戒區(qū)域;然后,利用漫水填充算法獲取同原視頻幀相同像素尺寸參數(shù)的掩膜圖像,將警戒區(qū)域部分填充為白色,非警戒區(qū)域則為黑色,以該掩膜圖像作為是否闖入的判斷依據(jù)[2]。綜合考慮人員進(jìn)入情況,通過判斷識(shí)別點(diǎn)在掩膜圖像中同坐標(biāo)點(diǎn)的像素取值,判斷人員矩形框是否闖入警戒區(qū)域。如果該識(shí)別點(diǎn)的像素值為(0,0,0),則表示該點(diǎn)不在警戒區(qū)內(nèi);如果該識(shí)別點(diǎn)的像素值為(255,255,255),則表示該點(diǎn)闖入警戒區(qū)[2]。警戒區(qū)則是通過漫水填充算法得到。圖11為檢測人員闖入示意圖;圖12為人員闖入實(shí)例圖。

圖11 人員闖入檢測

圖12 人員闖入實(shí)例

圖中不規(guī)則紅色四邊形為虛擬圍欄。圖12(a)中人員的腳闖入禁區(qū),為危險(xiǎn)狀態(tài),用紅色矩形框表示;圖12(b)中人員的腳未闖入禁區(qū),為安全狀態(tài),用綠色矩形框表示。

2.5 模板匹配算法

模板匹配是一種高級的計(jì)算機(jī)視覺技術(shù),可識(shí)別圖像上與預(yù)定義模板匹配的部分。模板匹配算法從待識(shí)別圖像中提取若干特征向量與模板對應(yīng)的特征向量進(jìn)行比較,計(jì)算圖像與模板特征向量之間的距離,用最小距離法判定所屬類別進(jìn)而在圖像中找到目標(biāo)。

模板匹配通過二維卷積實(shí)現(xiàn)。在卷積中,輸出像素的值通過將兩個(gè)矩陣的元素相乘并對結(jié)果求和,其中一個(gè)矩陣代表圖像本身;另一個(gè)矩陣是模板,為卷積核。

將原始圖像和模板設(shè)定為f(x,y)和t(x,y),卷積后的增強(qiáng)圖像為g(x,y),離散卷積結(jié)果為

(8)

式中,M、N為模板的尺寸。

模板匹配通常事先建立好標(biāo)準(zhǔn)模板庫,但是如果進(jìn)行暴力匹配,算法的效率會(huì)很低。故使用歸一化相關(guān)系數(shù)匹配法,先建立金字塔從頂層粗略計(jì)算大概范圍,再使用傅里葉變換來進(jìn)行比較,經(jīng)過一系列的預(yù)處理,可以大大提高匹配速率。模板匹配算法流程如圖13所示。

圖13 單目標(biāo)模板匹配算法流程

3 現(xiàn)場應(yīng)用

所提以機(jī)器人為載體的智能安全監(jiān)督方法已在多個(gè)變電站、換流站成功應(yīng)用,可以實(shí)現(xiàn)對典型作業(yè)場景的安全監(jiān)督。下面著重對6個(gè)作業(yè)場景的安全監(jiān)督應(yīng)用情況進(jìn)行展示。

安全監(jiān)督機(jī)器人監(jiān)視設(shè)備接地操作時(shí),需要在此環(huán)節(jié)監(jiān)測試驗(yàn)人員是否做放電接地操作;同時(shí)試驗(yàn)人員是否按順序先拿起接地棒,然后做接地放電操作,以此保證試驗(yàn)人員的安全。操作人員未做接地操作時(shí)機(jī)器人會(huì)一直報(bào)警,軟件彈出告警提示信息提示操作人員進(jìn)行接地操作,如圖14所示,在完成接地操作后會(huì)提示接地操作已完成。

圖14 設(shè)備接地操作告警

在登高作業(yè)時(shí),安全監(jiān)督機(jī)器人實(shí)時(shí)監(jiān)測試驗(yàn)人員是否按要求穿戴安全帶進(jìn)行規(guī)范作業(yè),當(dāng)檢測到有人員未正確穿戴安全帶時(shí)會(huì)發(fā)出告警提示信息,如圖15所示。

圖15 未按要求穿戴安全帶告警

安全監(jiān)督機(jī)器人監(jiān)視目標(biāo)入侵時(shí),當(dāng)有人員闖入警戒區(qū)后機(jī)器人能夠立刻發(fā)出告警,并且在界面彈出告警提示信息,如圖16所示。

圖16 人員闖入警戒區(qū)告警

在設(shè)備吊裝過程中,安全監(jiān)督機(jī)器人能夠在較遠(yuǎn)的距離對吊臂及吊起的設(shè)備下方進(jìn)行實(shí)時(shí)監(jiān)控,避免吊臂或者其他危險(xiǎn)源下方發(fā)生砸傷人員的安全事故,并在界面彈出告警提示信息,如圖17所示。

圖17 吊臂下站人風(fēng)險(xiǎn)告警

當(dāng)設(shè)備叉裝過程中無人監(jiān)護(hù)或者監(jiān)護(hù)人員距叉車較遠(yuǎn)時(shí)均會(huì)發(fā)出告警,能夠100%無死角識(shí)別監(jiān)護(hù)人員的到位情況,并在界面彈出告警提示信息,如圖18—圖19所示。

圖18 叉裝過程無人協(xié)助告警

圖19 協(xié)助人員距離叉車較遠(yuǎn)告警

4 結(jié) 論

上面通過對基于機(jī)器深度學(xué)習(xí)的電力作業(yè)現(xiàn)場安全生產(chǎn)行為辨識(shí)技術(shù)的研究,提出了以機(jī)器人為載體的智能安全監(jiān)督方法。該方法適用于典型作業(yè)場景的智能安全監(jiān)督,成功實(shí)現(xiàn)了典型場景下的作業(yè)安全風(fēng)險(xiǎn)智能識(shí)別和告警,彌補(bǔ)人工安全監(jiān)督存在的方式單一、長時(shí)工作易疲勞、易出現(xiàn)疏忽、水平參差不齊等不足。所提方法在多個(gè)變電站、換流站得到成功運(yùn)用,具備較為廣闊的工程應(yīng)用前景,對智能安全監(jiān)督相關(guān)技術(shù)的向前發(fā)展具有一定借鑒意義。