翟永杰， 龍雅蕓， 江 柳， 李 冰， 趙振兵

(1.華北電力大學 控制與計算機工程學院，河北 保定 071003；2.華北電力大學 電氣與電子工程學院，河北 保定 071003)

0 引 言

電網(wǎng)是國民經(jīng)濟社會發(fā)展的重要基礎設施。隨著經(jīng)濟的增長，電網(wǎng)的規(guī)模不斷擴大，輸電線路的建設任務也愈發(fā)繁重。輸電線路一般都建立在人跡罕至的野外、山地甚至森林之中，受到天氣、人為以及自身因素的影響，輸電線路附近極易發(fā)生山火，導致大規(guī)模停電事故，嚴重影響國民經(jīng)濟和人民的日常生活[1]。

因此，必須對輸電線路進行實時巡檢，才能避免山火的發(fā)生而導致停電事故[2]。傳統(tǒng)的人工巡檢并不適用于地形復雜且地域廣闊的輸電線路山火巡檢工作，當前大多采用自動監(jiān)測山火的方法，如激光雷達檢測技術(shù)[3]、衛(wèi)星遙感技術(shù)[4]、無線傳感器技術(shù)[5]、紅外線技術(shù)[6]以及以計算機視覺為基礎的各種圖像處理技術(shù)[7]。而早期山火通常以煙霧形式出現(xiàn)，所以及時發(fā)現(xiàn)早期煙霧是目前研究的重點[8，9]。

為響應“智能電網(wǎng)”的建設，目前輸電線路通常采用傳統(tǒng)視頻監(jiān)控系統(tǒng)：安裝固定攝像頭，并將畫面實時傳回后臺結(jié)合計算機和人工指示來監(jiān)控線路的異常狀況。它占用額外的帶寬，依賴高配置的服務器提高檢測速度。而采用智能前端攝像機可直接在前端實時獲取高質(zhì)量畫面并檢測，不僅檢測速度快、分析更精確，且穩(wěn)定性高，只需傳輸分析結(jié)果給后臺，占用的帶寬可忽略不計，也不需高成本的服務器資源。因此，本文基于異常檢測提出一個低復雜度方法，以適于智能監(jiān)控前端使用。

另外，由于輸電線路發(fā)生山火的情況較少，尤其缺乏早期山火發(fā)生而產(chǎn)生的煙霧圖像和視頻資料，因此，海量數(shù)據(jù)驅(qū)動的深度學習目標檢測方法[10，11]不適用。而異常檢測的方法通常使用無監(jiān)督或半監(jiān)督的學習方法來實現(xiàn)異常點檢測[12-14]，不需大量正負標注樣本，可解決正負樣本不均衡的問題。目前異常檢測在電力領(lǐng)域已有一定的應用，例如對輸電線路的傳輸通道進行異常監(jiān)控[15，16]、高壓電纜故障監(jiān)控[17]、電力調(diào)度流數(shù)據(jù)異常檢測[18]等。而針對早期山火的異常檢測研究較少。

本文通過安裝在輸電線路的固定攝像機，獲得實時監(jiān)控畫面，在分析煙霧監(jiān)控圖像特點的基礎上，提出基于網(wǎng)格劃分的圖像特征提取方法，利用固定攝像頭拍攝的監(jiān)控視頻的上下文信息，通過異常點檢測的方法來檢測早期山火煙霧，并標記著火點。

1 基于網(wǎng)格劃分的圖像特征提取

圖像特征提取是基于圖像的目標檢測必不可少的一部分。采用深度學習的方法可以提取比較全面的特征，但由于難以獲取足夠的訓練樣本，圖像樣本不均衡，所以該方法并不適用，則需要人工提取特征。

輸電線路附近的監(jiān)控視頻中早期煙霧的特點如下：

(1)監(jiān)控視角為俯拍，拍攝畫面往往包括一段輸電線路，面積較廣，而早期煙霧占比很小且模糊，肉眼不易發(fā)現(xiàn)。

(2)攝像頭固定，人流較少，不易出現(xiàn)遮擋的現(xiàn)象，且地域比較偏僻，外物干擾較少。

(3)多以復雜山林為背景，背景顏色通常較深，此時煙霧的顯著特征為白色。

基于以上三個早期煙霧所呈現(xiàn)的特點，提出一種面向像素的圖像特征提取方法。通過最大化灰度值的類間方差的方法來找到一個閾值，并根據(jù)此閾值將圖像分為前景和背景，也就是圖像二值化。此時煙霧區(qū)域表現(xiàn)為聚集性白色小塊，統(tǒng)計白色像素的個數(shù)即可作為早期山火煙霧圖像的顯著特征。具體計算過程如下：

首先統(tǒng)計圖像的總灰度值Grayall，并計算總灰度均值M_Grayall，其中Pixelall為該圖像的總像素個數(shù)：

M_Grayall=Grayall×255/Pixelall

(1)

設置灰度閾值t，以t為基準將圖像灰度分為[0,t] 、[t,255] 兩個區(qū)間，并分別計算灰度均值M_GaryA、M_GaryB：

(2)

同理，統(tǒng)計兩個區(qū)間各自的像素個數(shù)占總像素個數(shù)的比值PixelA、PixelB：

(3)

最終，通過找到最大類間方差I(lǐng)CV下的灰度閾值t確定二值化閾值：

(4)

以t為閾值，遍歷整張圖像的像素值，若小于閾值則為背景，將像素值設置為0，否則為前景，設置為1。圖像二值化過程如下式：

(5)

圖像二值化后，將其劃分為10×10的網(wǎng)格，統(tǒng)計每個網(wǎng)格中像素值為1像素個數(shù)，并以此作為該圖像的網(wǎng)格特征矩陣，即以每個網(wǎng)格內(nèi)白色像素點個數(shù)為元素的10×10矩陣。用于特征提取的網(wǎng)格煙霧圖像如圖1所示，圖(a)、圖(b)、圖(c)為早期山火煙霧的三個不同時段的原始圖像：從無煙霧到煙霧逐漸擴大，圖(d)、圖(e)、圖(f)分別對應于二值化圖像?？捎^察到出現(xiàn)煙霧的網(wǎng)格中，白色像素點的個數(shù)隨山火的發(fā)展呈明顯的增加趨勢，這表明面向像素的特征提取方式有利于后續(xù)山火的檢測工作。

圖1 特征提取網(wǎng)格圖Fig. 1 Feature extraction grid image

在山火發(fā)生的較早時段，煙霧在在監(jiān)控圖像中呈現(xiàn)為一個或幾個小白點，此時從10×10的網(wǎng)格監(jiān)控圖像中提取的網(wǎng)格特征矩陣，能夠較好的反映面積較小煙霧區(qū)域的特征。而隨著山火的發(fā)展，煙霧逐漸擴散，所占圖像的面積也相應擴大，一個網(wǎng)格不足以包含煙霧的全部面積，影響最終檢測結(jié)果。為此，利用不同大小的高斯核對10×10網(wǎng)格特征矩陣進行卷積操作，濾波后的網(wǎng)格特征矩陣可表達不同面積的煙霧特征，更加符合煙霧隨山火發(fā)展的擴散特點。

高斯濾波就是針對網(wǎng)格特征矩陣的每一個元素，用高斯核來確定該元素鄰域內(nèi)元素的加權(quán)平均值來代替高斯核的中心元素的過程。首先定義高斯核大小為K×K，對應構(gòu)建一個K×K的初始標準二維矩陣。根據(jù)煙霧的擴散程度，選擇不同大小的高斯核，本文選用大小為1×1、2×2、3×3的高斯核。則高斯核模板中心(xk,yk)為

xk=yk=(k/2)+0.5

(6)

運用高斯函數(shù)對二維矩陣(x,y)中的每一個元素進行計算得到不同K值下高斯矩陣G(x,y)：

(7)

其中σ為標準差，設置值為0.5，再對其做歸一化處理得到矩陣H，即為高斯核：

Hk=Gk/sum(Gk)

(8)

利用高斯核與網(wǎng)格特征矩陣M做卷積操作得到不同K值下濾波矩陣N:

Nk=Mk×Hk

(9)

卷積分為full、same和valid三種模式，其中full與same需要先在矩陣邊緣以0填充，再使用高斯核做卷積運算，而valid是直接在矩陣內(nèi)部做卷積，不需填充。經(jīng)實驗發(fā)現(xiàn)，填充與不填充的兩種卷積方式對實驗結(jié)果幾乎沒有差異，分析原因主要在于：(1)選擇的高斯核較小，對卷積的結(jié)果影響不大，(2)填充再卷積的方式主要是對矩陣邊緣的值做增強處理，但由于固定位置監(jiān)控主要是對監(jiān)控中心的輸電線路區(qū)域進行檢測，對邊緣檢測準確率要求不高，且填充操作會相應增加計算量，使運行時間延長。所以，為保證輸電線路區(qū)域煙霧實時檢測的準確率，最終選擇valid模式的卷積，卷積過后得到濾波矩陣尺寸為

(10)

式中：N1為網(wǎng)格特征矩陣M的大小，即為10；N2為卷積核大小；步長S為1。則當高斯核為1×1、2×2、3×3時，對應濾波矩陣尺寸為[10×10] 、[9×9]和[8×8]。

2 早期山火煙霧異常檢測

異常事件發(fā)生的時間是不可預測的，且發(fā)生幾率極小，通常情況下是正常的，且固定攝像頭傳輸回后臺的是現(xiàn)場的圖像幀。因此本文以20 min為單位更新正常情況的基準圖像幀；若有異常情況發(fā)生，則發(fā)出警報，等到警報解除后繼續(xù)更新。在20 min之內(nèi)，提取當前幀f的濾波網(wǎng)格特征矩陣，并與基準圖像幀f0作差值比較，得到差值矩陣。若有早期山火煙霧發(fā)生，當前圖像幀的濾波網(wǎng)格特征矩陣中的某些元素必然會顯著增大，且其與基準圖像幀的差值為正值，差值越大，山火煙霧發(fā)生的概率越高。因此，理想情況下，差值矩陣中值大于0的元素即為異常點，通過檢測其中是否存在異常點，即可判斷有無山火發(fā)生。然而，室外攝像頭的拍攝會受到光照、天氣因素的影響，差值矩陣中的差值會在一定程度內(nèi)有波動。圖2展示了理想和實際情況下差值矩陣中元素值的變化情況。

圖2 理想與實際差值對比圖Fig. 2 Comparison chart of ideal and actual difference

理想情況下差值矩陣中只有異常點大于0，其余元素全為0；而實際上除異常點外仍存在許多大于0的元素。為避免這些因素擾亂異常點檢測，且保證能檢測出初期較小的煙霧，采用基于網(wǎng)格劃分的圖像特征提取方法提取待檢測圖像特征，并在高斯核K=1時對差值矩陣中的元素做異常值檢測，初步判斷有無早期山火發(fā)生。此時差值矩陣為[10×10]，共有100個元素。因為元素個數(shù)大于10，可采用“3σ準則”檢測有無異常值發(fā)生，公式如下：

(11)

圖3 異常檢測算法框圖Fig. 3 Block diagram of anomaly detection algorithm

3 著火點標注

檢測出早期山火煙霧后，為更加便于觀察和后續(xù)處理，根據(jù)由三種不同大小的高斯核進行卷積操作的區(qū)域，反向查找異常點對應在網(wǎng)格特征矩陣中的位置，并將其映射到原圖像上，可獲得大小不同的三類標注框。隨著山火的發(fā)展，煙霧會逐漸擴散，所占圖像的面積逐漸擴大，甚至會出現(xiàn)多個煙霧區(qū)域，所以不僅標注框大小需要改變，其個數(shù)也應隨之變化。

本文對應三種高斯核(K=1，2，3)，通過設定閾值J來比較最值的方法，確定三類不同大小的標注框。具體流程如圖4所示。

圖4 著火點標注流程圖Fig. 4 Flow chart for marking fire point

其中max1,max2…maxi為差值矩陣中元素由大到小的排序。如圖4(a)所示，首先進行單個著火點標注：尋找差值矩陣中最大值max1和次大值max2，并設置閾值J為0.8(通過實驗發(fā)現(xiàn)J在0.70～0.85之間都能取得較好的效果，本文統(tǒng)一設定為0.8)，依次比較K在1，2，3時次大值和閾值與最大值乘積的大小，由此可獲得適應不同煙霧大小的三類標注框。

若循環(huán)結(jié)束后仍不滿足條件，則說明有多個著火點，此時返回高斯核為1時尋找多個著火點，如圖4(b)所示。同樣對差值矩陣中的n個元素進行大小排序，并按從大到小的順序每次取出三個相鄰元素maxi、maxi+1、maxi+2，比較相鄰兩者之間的差值大小：若前者差值小于后者，則說明此時maxi+1比較大，異常概率高，為另一個著火點；此后繼續(xù)循環(huán)作差值判斷，直到前者差值大于后者，此時第二大元素值較小，即可排除異常點，循環(huán)終止。通過圖4中兩種方法能夠自適應的對圖像中的早期山火煙霧進行自動標注，經(jīng)實驗驗證，取得了不錯的效果。

4 實驗結(jié)果分析

為驗證本文提出的使用不同大小高斯核過濾網(wǎng)格特征矩陣的方法的實際適用性，分別采用不同K值對同一張山火煙霧圖像進行特征提取并標注。圖5(a)展示了不同K值下差值矩陣的數(shù)值大小，檢測效果如圖5(b)、(c)、(d)所示。

圖5 不同K值檢測結(jié)果Fig. 5 Different K value detection results

可觀察到，K=1時出現(xiàn)兩個不重疊的標注框，K=3時則出現(xiàn)了兩個重疊的標注框，都造成了計算資源的浪費，且混淆最終檢測結(jié)果。由圖5(a)可知，在本文方法下將自動選擇K=2，此時只使用一個標注框就包圍了煙霧的全部區(qū)域，對比驗證了本文提出的使用不同K值自適應提取特征且標注的實用性。

最終通過基于網(wǎng)格劃分的圖像特征提取、早期山火煙霧異常檢測和著火點標注三個步驟，對輸電線路固定攝像頭拍攝的視頻圖像做早期山火煙霧檢測的結(jié)果如圖6(a)、(b)、(c)所示。圖6(d)、(e)、(f)展示了某地輸電線路于2021-01-29日內(nèi)發(fā)生三次山火的實際圖像檢測結(jié)果。另外，為展示不同大小的標注框，以及多個著火點的情況，還選取了類似輸電線路環(huán)境的早期山火煙霧的視頻進行了實驗，如圖6(g)、(h)、(i)所示。

圖6 早期山火煙霧檢測結(jié)果Fig. 6 Early wildfire smoke detection results

由上圖可知，本文提出的早期山火煙霧檢測方法能夠很好的檢測出早期山火煙霧并進行標注。其中圖(a)、圖(b)和圖(c)是山火發(fā)生時煙霧逐漸擴散的不同時段的圖像，可以觀察到標注框的大小隨著煙霧面積變化而改變，說明本文提出的使用不同大小高斯核過濾網(wǎng)格特征矩陣的方法，可以應對不同階段的煙霧標注；而圖5(d)、(e)、(f)則驗證本文方法在野外實際情況中面對一天中的不同時刻同樣具有實時檢測能力；此外，圖(g)為面積特別小的早期山火煙霧，圖(h)則是同時存在兩個著火點的情況，圖(i)是有車輛經(jīng)過時的檢測結(jié)果，其中黑色框中是行駛的小車。以上展示的三張圖像涵括了三種具有代表性的情形：煙霧極小、多個著火點以及有移動目標。實驗結(jié)果驗證了本文方法對早期山火煙霧檢測的有效性。

此外，為進一步驗證該方法檢測的準確率，對以上三種具有代表性的視頻截成圖像幀，每個視頻圖像幀數(shù)量約為2 500張。并與幾個常用的有監(jiān)督的機器學習方法做了準確率對比實驗，其中訓練集和測試集按照4∶1的比例劃分，設置分類結(jié)果為有山火和無山火。表1展示了檢測結(jié)果。

表1 針對早期山火煙霧的不同方法檢測結(jié)果對比

為對比特征提取方式對檢測結(jié)果的影響，實驗對比了三種不同的特征提取方法。其中HOG和LBP為兩個傳統(tǒng)的特征提取方法，VGG為經(jīng)典的深度學習特征提取方法。由上表可知，針對較小的早期山火煙霧檢測，三種方法準確率都較低，同時虛警率和漏檢率較高，且在樣本極度不平衡的情況下，采用深度學習的特征提取方法甚至比不上采用傳統(tǒng)的特征提取方法所獲得的準確率高。另外，可觀察到在對視頻3的檢測中，HOG和LBP兩種方法的漏檢率為0，這是由于樣本極度不平衡，導致幾乎將所有的樣本都檢測為有火，雖然最終準確率高，但無意義。而本文的方法對三個視頻的檢測準確率幾乎都達到了90%及以上，且虛警率和漏檢率也比較低，對于早期非常小的山火煙霧檢測效果比較突出，對輸電線路山火防治有重大意義。

5 結(jié) 論

本文在分析固定攝像頭拍攝的早期山火煙霧圖像特點的基礎上，提出基于網(wǎng)絡劃分的圖像特征提取方法，通過異常點檢測判斷有無早期山火煙霧發(fā)生，從而檢測山火，并采用不同大小高斯核濾波得到適應煙霧大小的著火點標注框。

與有監(jiān)督的機器學習方法對比，本文方法在保持較高的檢測準確率的同時，能夠獲得較低的虛警率和漏檢率。該方法是半監(jiān)督的，且計算復雜度低，不依賴于服務器，只需視頻的上下文信息就能有效地檢測早期極小山火煙霧。應用于智能前端攝像機，可減少系統(tǒng)帶寬消耗，節(jié)約服務器資源，降低成本的同時完成實時監(jiān)測，適合在實際嵌入式攝像頭中應用。