黑穎頓

(云南電網(wǎng)公司電力科學(xué)研究院,昆明 650217)

頭戴式攝像機變電站防誤操作圖像識別

黑穎頓

(云南電網(wǎng)公司電力科學(xué)研究院,昆明 650217)

為了滿足變電站智能防誤的需求,提出了一種基于圖像識別方法的變電站防誤操作智能識別系統(tǒng)。利用頭戴式攝像機獲取變電站現(xiàn)場的實時視頻圖像,基于尺度不變特征變換對標(biāo)志牌以及操作目標(biāo)進行智能識別,實現(xiàn)對操作人員定位,防止走錯間隔。采用隱馬爾科夫模型對采集到的操作人員手部軌跡進行匹配識別,結(jié)合操作票判斷操作人員是否有誤操作行為發(fā)生。本文詳細(xì)介紹該系統(tǒng)的組成和實現(xiàn)方法。通過變電站內(nèi)的現(xiàn)場測試驗證了所提出方法的有效性。

防誤操作；SIFT變換；HMM模型；圖像識別；軌跡識別

0 前言

變電站是電力系統(tǒng)的重要生產(chǎn)場所,變電運行操作是電力系統(tǒng)工作中的重要環(huán)節(jié),其直接關(guān)系到整個電網(wǎng)的安全穩(wěn)定運行。由于變電站內(nèi)隔離刀閘、斷路器、接地刀閘等設(shè)備眾多,如果操作人員操作不當(dāng),極易出現(xiàn)誤操作行為。變電站人員的誤操作行為是電力系統(tǒng)中頻繁發(fā)生的惡性事故,錯誤的電氣操作往往導(dǎo)致大面積停電、設(shè)備損壞、人身傷亡,并可能對電網(wǎng)造成永久性故障[1-2]。變電運行的惡性電氣誤操作是一個困擾電力部門多年的問題

盡管變電站內(nèi)電氣操作的規(guī)則和步驟已經(jīng)非常細(xì)化和完善,但誤操作事故還是頻頻發(fā)生?，F(xiàn)階段的防誤手段主要包括：對操作人員的管理培訓(xùn),防誤裝置的管理使用,設(shè)備標(biāo)識的定期檢查。這些方法過于依賴操作人員的主觀能動性,智能化程度較低,不能從根本上防止誤操作事故的發(fā)生。

采用計算機視覺技術(shù)達到客觀防誤的效果,是一種新的防誤手段,與傳統(tǒng)方法相比該類方法對操作人員依賴性較低。該類方法通過移動視頻設(shè)備采集現(xiàn)場信息,通過智能算法分析和理解操作行為,利用計算機代替人眼實現(xiàn)對操作過程的智能監(jiān)控。目前陳峰等[3]設(shè)計實現(xiàn)了穿戴式移動音視頻交互系統(tǒng),該系統(tǒng)對操作行為進行監(jiān)控和錄像,并且實現(xiàn)了站內(nèi)的語音通信,但該系統(tǒng)無法對操作行為進行智能分析,依然需要人員進行監(jiān)視。樂健等[4]開發(fā)的變電站防誤操作系統(tǒng),則通過對變電站內(nèi)標(biāo)志牌進行識別,防止操作人員走錯間隔,該系統(tǒng)僅實現(xiàn)定位功能,對操作人員的后續(xù)操作無法進行監(jiān)控。

本文針對上述系統(tǒng)的缺點,結(jié)合計算機智能視覺技術(shù),提出一種變電站防誤操作的圖像識別方法。采用頭戴式攝像機獲取變電站現(xiàn)場的實時視頻圖片,基于SIFT變換對標(biāo)志牌以及操作目標(biāo)進行智能識別,采用HMM模型對采集到的操作人員手部軌跡進行分析與識別,進而通過后臺操作系統(tǒng)對操作人員進行指導(dǎo)與糾錯,從根本上防止誤操作的發(fā)生。通過對某變電站采集的現(xiàn)場圖像進行測試,結(jié)果驗證了本文所提方法的有效性。

1 系統(tǒng)總體結(jié)構(gòu)

本文提出的變電站防誤操作智能識別系統(tǒng)的整體結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)總體結(jié)構(gòu)

整個系統(tǒng)按照工作流程可分為4個部分：

信息采集部分通過頭戴式攝像機采集現(xiàn)場的實時圖像。包括各操作間隔的標(biāo)志牌圖像、各操作柜內(nèi)的電氣單元圖像、操作人員的操作圖像等,為后續(xù)的圖像處理提供原始信息。

無線傳輸部分采用3G無線網(wǎng)絡(luò)將采集到的實時圖像信息通過終端設(shè)備發(fā)送到后臺服務(wù)器進行后續(xù)處理。傳輸延時小,平均延時小于3秒,并且終端設(shè)備內(nèi)配備SD卡,可進行圖像的本地儲存,防止圖像在傳輸過程中丟失信息。

智能識別部分通過圖像識別算法對后臺服務(wù)器接收到的圖像進行處理和識別。主要進行三類識別：標(biāo)志牌識別、操作目標(biāo)識別、操作軌跡識別。標(biāo)志牌識別通過匹配標(biāo)志牌圖像,對操作人員的位置進行定位,防止操作人員走錯間隔。操作目標(biāo)識別通過匹配柜內(nèi)圖像對操作目標(biāo)進行識別定位,獲得操作目標(biāo)的實時位置,而且通過匹配分合閘內(nèi)圖像信息自動識別開關(guān)分合情況。操作軌跡識別通過對操作人員的手部軌跡進行識別,實現(xiàn)對操作行為的智能理解和分類,防止誤操作行為的發(fā)生。

后臺處理部分負(fù)責(zé)系統(tǒng)的后續(xù)操作,主要包括以下功能：語音通信、圖像儲存、實時報警、智能解鎖。語音系統(tǒng)通過外置的耳麥實現(xiàn)與操作人員的實時交流,當(dāng)接收到報警信號時,對操作人員進行語音提示；語音系統(tǒng)還可實現(xiàn)操作人員與監(jiān)控室的實時通信,對于現(xiàn)場發(fā)生的復(fù)雜情況,可讓專家人員對操作人員進行語音指導(dǎo)。圖像儲存功能將后臺服務(wù)器接收到圖像信息和語音信息與五防系統(tǒng)產(chǎn)生的操作票信息進行配對保存在后臺服務(wù)器上,方便事后的查看和分析。實時報警功能在操作人員處于錯誤區(qū)間或者做出錯誤操作行為時,將向后臺服務(wù)器和終端設(shè)備發(fā)出告警信號。智能解鎖功能與變電站五防系統(tǒng)結(jié)合,當(dāng)采集到的圖像匹配成功后,可實現(xiàn)對相應(yīng)門禁、開關(guān)和按鈕的智能解鎖。

2 基于SIFT變換的目標(biāo)識別

尺度不變特征變換 (SIFT)變換[5-6]是一種提取局部特征的算法,其基于尺度空間對圖像縮放、旋轉(zhuǎn)、亮度變化保持不變性,對視角變化、仿射變換、噪聲等也保持一定程度的穩(wěn)定性。因此,在圖像的識別、目標(biāo)跟蹤定位等方面得到了廣泛的應(yīng)用。

2.1 尺度不變特征變換算法原理

尺度空間的圖像是利用一組連續(xù)的高斯卷積核與原圖像進行卷積生成的。一幅二維圖像I(x,y),其在不同尺度空間下的表示L(x,y, σ)可由圖像I(x,y)與高斯核G(x,y,σ)的卷積得到。由不同的高斯核卷積得到的高斯圖像兩兩相減生成高斯差分尺度空間 (DOG scalespace),即：

尺度不變特征變換主要包含4個步驟：

1)檢測尺度空間極值點：為了尋找尺度空間的極值點,每一個采樣點要和它所有的相鄰點比較,看其是否比它的圖像域和尺度域的相鄰點大或者小。如圖2所示,中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的9×2個點共26個點比較,以確保在尺度空間和二維圖像空間都檢測到極值點。

2)關(guān)鍵點方向分配：利用關(guān)鍵點鄰域像素的梯度方向分布特性,為每個關(guān)鍵點指定方向參數(shù),使算子具備旋轉(zhuǎn)不變性。

圖2 高斯差尺度空間

式中：m(x,y)為 (x,y)處梯度的模值, θ(x,y)為(x,y)處梯度的方向,L所用的尺度為每個關(guān)鍵點各自所在的尺度。

3)特征點描述子生成

首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點的方向,以確保旋轉(zhuǎn)不變性。在以關(guān)鍵點為中心的8×8的窗口內(nèi),分成4個4×4的小塊,在每個4×4的小塊上計算8個方向的梯度方向直方圖。繪制每個梯度方向的累加值,即可形成一個種子點,如圖4所示。

實際計算過程中,為了增強匹配的穩(wěn)健性, Lowe建議對每個關(guān)鍵點使用4×4共16個種子點來描述,這樣對于一個關(guān)鍵點就可以產(chǎn)生128個數(shù)據(jù),即最終形成128維的SIFT特征向量。SIFT特征描述符對光照、噪聲、旋轉(zhuǎn)和尺度都具有良好的不變性。

圖3 SIFT特征向量

4)特征點匹配：SIFT的匹配算法是通過計算兩個特征點描述子之間的歐氏距離得到的。采用SIFT特征向量的歐式距離作為兩幅圖像中SIFT特征點的相似性判定度量,將具有最小歐式距離的兩個SIFT特征點匹配起來。一個特征點可能存在多個相似匹配點,為了減少由此引起的誤匹配問題,可先比較最近鄰和次近鄰特征點距離之比,當(dāng)比值小于閾值,則接受該匹配點對,否則丟棄。降低閾值,可以減少SIFT匹配點對的數(shù)目,增加匹配的穩(wěn)定性。

2.2 圖像配準(zhǔn)

通過SIFT變換得到兩幅圖像特征點之間的匹配關(guān)系,根據(jù)匹配點對構(gòu)建圖像序列之間的變換矩陣,即兩幅圖像之間存在投影變換H：

式中：投影變換矩陣H的自由度為8,p= (x,y)與q=()是匹配的特征點對。根據(jù)上式可用4組最佳匹配求出矩陣H的8個自由度參數(shù)。為消除匹配過程中有可能存在的錯誤匹配點,本文采用RANSAC方法來求得變換矩陣H。

RANSAC估計算法的步驟如下：

1)從N個候選匹配特征點對中隨機選取4個點對建立方程組,解出變換矩陣H的8個未知參數(shù)。

2)計算其余(N-4)個特征點經(jīng)過變換矩陣H的變換,與它的候選匹配點之間的距離dv。

3)若dv小于某一閾值,則該候選特征點為內(nèi)點,否則為外點。這里內(nèi)點是指正確匹配的特征點對。

4)統(tǒng)計在此變換矩陣下內(nèi)點的數(shù)量。

5)再選另外4對候選匹配點,執(zhí)行步驟1)到4),重復(fù)若干次后,選擇具有內(nèi)點數(shù)量最多的集合作為最佳內(nèi)點集合。在此最佳內(nèi)點集合下的變換矩陣H的8個參數(shù)值作為參數(shù)估計的最優(yōu)值。

據(jù)此,求出了兩幅圖像之間的坐標(biāo)轉(zhuǎn)換關(guān)系,即變換矩陣H。根據(jù)坐標(biāo)轉(zhuǎn)換關(guān)系將一幅圖像變換到另一幅圖像上,實現(xiàn)兩幅圖像之間點的對應(yīng)。

2.3 目標(biāo)識別

目標(biāo)的識別主要包括兩類：一種是標(biāo)志牌的識別,另一種是操作目標(biāo)的識別。標(biāo)志牌的識別將通過攝像頭獲得的當(dāng)前間隔的標(biāo)志牌與目標(biāo)標(biāo)志牌進行匹配識別,準(zhǔn)確判斷操作人員的實時位置,防止誤入非工作區(qū)間,若操作人員走錯間隔,則系統(tǒng)發(fā)出報警信號,提示操作人員；若操作人員處在正確的間隔,則允許操作人員進行后續(xù)操作。操作目標(biāo)的識別則將現(xiàn)場采集到的柜內(nèi)圖像與標(biāo)準(zhǔn)圖像之間做匹配,通過在標(biāo)準(zhǔn)圖像上對操作目標(biāo)進行定位,對應(yīng)獲得操作目標(biāo)的實時位置。其中對開關(guān)、斷路器等操作柜的識別,可通過匹配分合閘內(nèi)圖像信息自動識別開關(guān)分合情況,即識別 “分”“合”“1”“0”等分合閘信息圖像。獲得操作目標(biāo)位置后,即可追蹤操作人員的手部位置,獲取其手部運動軌跡進行行為分析。

3 基于軌跡識別的誤操作檢測

變電站惡性誤操作事故主要包括：帶負(fù)荷拉、合隔離開關(guān),帶電掛 (合)接地線 (接地刀閘),帶接地線 (接地刀閘)合斷路器 (隔離開關(guān)),誤入帶電間隔等。觀察統(tǒng)計變電站內(nèi)的這些誤操作可知,這些操作大部分都是手部運動,本文通過對操作人員手部進行跟蹤,根據(jù)手部的動作和相對于操作目標(biāo)的運動軌跡,可對操作行為進行匹配識別,進而防止誤操作的發(fā)生。目前軌跡識別分類的方法主要有隱馬爾科夫模型和神經(jīng)網(wǎng)絡(luò)[7]。本文采用隱馬爾科夫模型對操作人員的手部軌跡進行匹配識別。

3.1 軌跡的提取

為了獲得操作人員的操作軌跡,首先需要進行手部分割,得到手部輪廓。本文采用基于膚色的檢測方法實現(xiàn)手部分割,即通過將RGB空間轉(zhuǎn)換為YUV空間,轉(zhuǎn)換公式為：

根據(jù)膚色對應(yīng)的顏色矢量即可方便的完成手部分割。獲得手部輪廓后通過下式獲得手部質(zhì)心：

式中：(xc,yc)為質(zhì)心坐標(biāo),(xi,yi)為輪廓上的像素點坐標(biāo),n為手部輪廓上的像素點總數(shù)。根據(jù)質(zhì)心坐標(biāo),將手部的輪廓點的坐標(biāo)轉(zhuǎn)換成為以質(zhì)心位置為原點的極坐標(biāo)系,然后分析輪廓曲線中的局部最大值,映射得到手指的位置。通過追蹤手指的位置變化,得到手部的運動軌跡。獲得軌跡后,需要對軌跡進行編碼,通過計算軌跡相鄰點之間位移,得到運動方向編碼,組成手勢運動向量特征。

3.2 基于HMM的軌跡識別

隱馬爾科夫模型 (Hidden Markov Model, HMM)是在馬爾科夫鏈的基礎(chǔ)上發(fā)展起來的,它是一種雙重隨機過程,其一為馬爾科夫鏈,用于描述狀態(tài)的轉(zhuǎn)移；另一個隨機過程描述狀態(tài)和觀測值之間的統(tǒng)計關(guān)系。本文采用從左到右結(jié)構(gòu)的多觀察值離散HMM[8]對操作人員的手部軌跡進行匹配識別。

3.2.1 HMM模型的初始化

模型由三個元素組成,即λ=(π,A,B ),則給定狀態(tài)集S={s1,s2,…,sN},初始化狀態(tài)轉(zhuǎn)移矩陣A,設(shè)定狀態(tài)i只能返回到本身或轉(zhuǎn)移到i+1狀態(tài),即：

其中aNN=1,其他aij=0.5。對于初始概率密度π,設(shè)定π1=1,πi=0,i≠1。對于觀察概率矩陣B則有：

這樣就完成了一個初始化的HMM模型。

3.2.2 HMM模型訓(xùn)練

本文采用Baum-Welch算法調(diào)整模型參數(shù),使得觀測序列的概率最大。設(shè)有L個觀察序列O(l),l=1,…,L,此時

使用多個觀察序列進行HMM訓(xùn)練,則參數(shù)的重估公式為：

式中：

為了估計出對于觀察值序列的最優(yōu)HMM模型,設(shè)定閾值C,當(dāng)時,即得到訓(xùn)練出的HMM模型,否則令重復(fù)上述步驟,直到收斂。

3.2.3 操作軌跡識別

操作軌跡的識別實際上是在已經(jīng)訓(xùn)練好的HMM模型中選出一個能夠最好描述觀察序列的模型。根據(jù)軌跡樣本序列O=O1,O2,…,OT,對于模型庫中的模型集λ={λ1,λ2,…,λn},計算樣本序列對于這些模型的條件概率利用Viterbi算法,根據(jù)最大似然公式,最大的軌跡模型即為樣本軌跡的識別結(jié)果。

后臺系統(tǒng)得到HMM模型識別得出的結(jié)果后,若操作軌跡無法識別,則通過語音系統(tǒng)提示操作人員中止該操作,重新進行該次操作行為。若得到操作結(jié)果,則將該結(jié)果與操作票內(nèi)容進行比對,若比對結(jié)果錯誤,系統(tǒng)發(fā)出報警信號,語音系統(tǒng)提示操作人員正確操作；若比對結(jié)果無誤,則語音系統(tǒng)允許操作人員進行該操作,智能解鎖該操作目標(biāo)。

3.3 隔離開關(guān)等的操作識別

對隔離開關(guān)、接地線等的操作識別,需將操作棒或絕緣棒的輪廓提取出來,對棒頭位置進行定位,將棒頭位置與對應(yīng)目標(biāo)位置進行匹配,即可完成識別。首先根據(jù)式5利用操作棒對應(yīng)的顏色區(qū)間,排除不必要的背景信息。然后采用高斯混合模型進行運動目標(biāo)檢測,提取操作棒的二值輪廓。

高斯混合模型對圖像的每個像素點在時間域內(nèi)的變化用K個高斯分布來模擬。即：

式中：K為高斯分布個數(shù),ωi,t為第i個高斯分布的權(quán)值,μi,t和Σi,t為第i個高斯分布的均值和協(xié)方差矩陣。根據(jù)隔離開關(guān)分合情況,判斷棒頭位置,當(dāng)隔離開關(guān)處于分狀態(tài)時,合隔離開關(guān)應(yīng)自下而上操作,棒頭位置為操作棒最高點,分隔離開關(guān)操作則相反。圖7給出了合隔離開關(guān)操作的圖像檢測結(jié)果。

4 實驗結(jié)果

4.1 目標(biāo)識別結(jié)果

對國內(nèi)某110 kV變電站現(xiàn)場采集到的視頻圖像進行處理和識別。在該變電站共采集到15張標(biāo)志牌圖像,利用SIFT變換對標(biāo)志牌進行匹配識別,所有圖片均能正確識別,識別率為100%。

對操作目標(biāo)的識別實驗,選取了7個操作柜內(nèi)的37個操作目標(biāo)進行識別,所有操作柜內(nèi)圖像均能進行正確匹配,其中35個操作目標(biāo)能準(zhǔn)確匹配,準(zhǔn)確率為94.6%,剩余2個操作目標(biāo)由于其位置較高,圖像不清晰,得到的匹配點較少,其中還有一些誤匹配點,導(dǎo)致對目標(biāo)的定位有一定偏差,但不會影響軌跡識別的準(zhǔn)確性。

在分合閘內(nèi)圖像識別中,我們隨機選取了40張 “分”“合”“1”“0”的現(xiàn)場圖像進行識別。39張圖像信息能得到準(zhǔn)確識別,識別率為97.5% .剩余一張由于采集位置遠,目標(biāo)較小,圖像不清晰,導(dǎo)致匹配點數(shù)少而識別失敗,被判別為無法識別。在該種情況下,語音系統(tǒng)會提示操作人員近距離采集圖像信息。

4.2 軌跡識別結(jié)果

對操作軌跡的匹配識別,我們隨機選擇了2個操作柜內(nèi)的7個操作目標(biāo)進行實驗,通過訓(xùn)練出的HMM模型對操作軌跡進行識別,每個目標(biāo)重復(fù)進行20次操作行為。操作行為按照變電站規(guī)范操作要求進行操作,每次操作均需由視頻下方進入視頻區(qū)間,直接對目標(biāo)進行操作,操作完成后手部需退出視頻區(qū)間。對于一些無法識別的復(fù)雜的手部軌跡,我們對其進行簡單的變換,保留其首末兩點,以這兩點之間的直線來代替該軌跡,以避免由于個人操作習(xí)慣造成的實驗誤差。

識別結(jié)果如表1所示?？偣?40次測試行為中,有130次行為能得到準(zhǔn)確識別,識別率為92.9%,剩余的10次行為被判別為無法識別的軌跡。測試結(jié)果與真實情況接近,能夠?qū)^大部分的操作行為準(zhǔn)確識別,并且有較小的誤警率。在隔離開關(guān)、接地線等的操作實驗中,選取了兩種行為各20次,共40次操作行為,實驗結(jié)果均能準(zhǔn)確識別棒頭位置,進行準(zhǔn)確匹配。

表1 軌跡識別結(jié)果

5 結(jié)束語

本文提出一種變電站防誤操作的圖像識別方法,將目標(biāo)識別算法與手部運動軌跡匹配識別算法相結(jié)合來判斷是否有誤操作行為發(fā)生。該方法首先利用SIFT變換對標(biāo)志牌進行識別,對操作人員進行定位來防止走錯間隔,將SIFT變換與軌跡識別算法相結(jié)合,實現(xiàn)對操作行為的識別和分類。這種方法在很大程度上提高了變電站誤操作行為的識別率,能夠及時有效的防止誤操作行為的發(fā)生。

基于上述圖像識別方法,本文設(shè)計了一套變電站防誤操作智能識別系統(tǒng),結(jié)合現(xiàn)有的五防系統(tǒng),可實現(xiàn)對變電站內(nèi)操作行為的智能管理,對提高變電站內(nèi)的操作安全性具有重大意義。

[1] 梁廣,張勇軍,凌毅,等.變電運行人因事故分析的擬REASON模型 [J].繼電器,2008,36(3)：23-26.

[2] 周鄴飛,梁鋒,許祖鋒.基于三態(tài)拓?fù)溆嬎愕淖冸娬痉勒`操作研究 [J].電力系統(tǒng)保護與控制,2011,39(18)：145-149.

[3] 陳鋒,施俊.穿戴式移動音視頻交互系統(tǒng)在電力生產(chǎn)中的應(yīng)用 [J].華東電力,2009,37(9)：1514-1516.

[4] 蔡偉,樂健,靳超,等.變基于視頻識別技術(shù)的變電站防誤操作系統(tǒng)的研究 [J].電力系統(tǒng)保護與控制,2011,39 (12)：112-116.

[5] LOWE D G.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision,2004, 60(2)：91-110.

[6] 汪道寅.基于SIFT圖像配準(zhǔn)算法的研究 [D].中國科技大學(xué),2011：23-40.

[7] 潘奇明,周文輝,程詠梅.運動目標(biāo)軌跡分類與識別[J].火力與指揮控制,2009,34(11)：79-83.

[8] 蔡金錠,鄢仁武.ARMA雙譜分析與離散隱馬爾可夫模型在電力電子電路故障診斷中的應(yīng)用 [J].中國電機工程學(xué)報,2010,30(24)：54-60.

Research on Image Recognition Method of Substation Anti-mal-operation Based on Head-camera

HEI Yingdun
(Yunnan Electric Power Research Institute,Kunming 650217,China)

A substation anti-mal-operation intelligent identification system based on image recognition method is proposed in order to meet the needs of substation intelligent anti-mal-operation.The real-time video image of substation site is captured by headcamera,the scale invariant feature transform is used to recognize the signboard image and the operation target,and it can determine whether the working staff has accessed to the proper bay.The movement trajectory of the hand is matched and recognized by building the Hidden Markov Model,and it can distinguish whether there exist anti-mal-operation by referring to the operation order.The composition and realization method of the system is introduced in this paper.The results by the site tests in substation were presented to verify the effectiveness of the proposed method.

anti-mal-operation；scale invariant feature transform；hidden Markov model；image recognition；trajectory recognition

TM63

B

1006-7345(2015)01-0096-06

2014-10-31

黑穎頓 (1987),男,碩士,云南電網(wǎng)公司電力科學(xué)研究院,研究方向為變電運行 (e-mail)yndzhyd＠163.com。